跳到正文
Google DeepMind·· 2026-08-27精選AI 評分69

Google DeepMind 發佈 Gemini 3.5 Transcribe 語音轉文字模型

Intelligent transcription with Gemini 3.5 Transcribe

AI 導讀

Google DeepMind 發佈 Gemini 3.5 Transcribe,這是一款面向智能語音互動的語音轉文字模型。它可透過 Live API 以低於一秒的延遲進行即時串流,亦可經 Interactions API 處理預錄音訊,提供説話者歸屬及逐字時間戳。

推薦理由

材料同時提供串流與非串流 WER,以及相較 Chirp 3 的最終轉錄時間改善幅度,讓準確度與延遲兩項表現有具體數據可供對照。

正文 · 繁體中文

2026 年 8 月 26 日

|

我們最新的語音轉文字模型,專為精確、智能的即時轉寫而設。


Diego Melendo Casado

Gemini Audio 工程高級總監

Luke Leonhard

Gemini Audio 幕僚長,代表 Gemini Audio 團隊


Text "Gemini 3.5 Transcribe" next to the Gemini spark, all on a blue background

聆聽文章

[[duration]] 分鐘

此內容由 Google AI 生成。生成式 AI 尚屬實驗性技術

今天,我們推出 Gemini 3.5 Transcribe,這是我們至今最精確的語音轉文字模型,專為智能語音互動而設。傳統語音識別模型往往難以處理背景噪音、複雜術語和口語不流暢等問題;Gemini 3.5 Transcribe 則可將原始音訊直接轉換為準確、經整理和格式化的文字。

Gemini app 和 Android 等產品的用戶已受惠於 Gemini 3.5 Transcribe 模型提供的新語音功能,例如 Android 上的 Rambler,以及 macOS 版 Gemini app。現在,開發者亦可透過 Google AI Studio 中的 Gemini API 和 Gemini Enterprise Agent Platform,建構類似功能。

我們建構 3.5 Transcribe 時,特別考慮如何無縫融入開發者工作流程,無論你是在建構語音代理、即時字幕工具,還是通話後分析流程。模型可透過兩種不同 API 使用:

  • 即時串流:透過 Live API 為互動式語音應用程式提供連續雙向串流,延遲低於一秒;使用的模型為 gemini-3.5-transcribe-live。
  • 預錄音訊處理:透過 Interactions API 轉寫錄音、會議、通話記錄等內容,並提供説話者標註和逐字時間戳記;使用的模型為 gemini-3.5-transcribe。

更精準、更智能的轉寫

Gemini 3.5 Transcribe 專為捕捉自然説話方式而設,能更好地理解你的意圖和辨識自訂詞彙,讓你透過語音執行任務。

  • 智能轉寫:無縫處理自我更正(例如「我們星期二見——不,星期三」)、移除填充詞(「嗯」、「啊」),並自動整理文字格式。
  • 函式呼叫:模型可透過函式呼叫,將複雜任務(例如生成圖片和分析檔案)委派給其他 Gemini 模型。目前已在 macOS 版 Gemini app 推出。
  • 轉寫更精確:根據 Artificial Analysis 的測量,串流使用情境的平均詞錯誤率(WER)為 4.0%,非串流使用情境則為 2.6%。模型在嘈雜的真實環境中也表現出色,能準確辨識郵政編碼和訂單 ID 等字母數字組合。
  • 自訂詞彙:透過順暢配合你提供的自訂詞彙調整轉寫內容,辨識專業術語和特殊拼法。
  • 全球語言支援:自動識別並轉寫超過 85 種語言,妥善處理地區口音和不同方言。
  • 多説話者識別:為預錄音訊中的語音準確標註説話者,並附上時間戳記,最多支援三位説話者(支援 3 位以上説話者仍屬實驗功能)。

Gemini 3.5 Transcribe 的表現較上一代轉寫模型 Chirp 3 大幅提升,帶來新功能、更低詞錯誤率和顯著更低延遲。根據 Artificial Analysis 的測量,完成最終轉寫所需時間例如縮短了 70%。在涵蓋多種主要語言和地區設定的 FLEURS 基準測試中,模型展現精準的多語言表現,超越 Chirp 3;串流模式 WER 為 5.50%,非串流使用情境則為 5.04%。

Graph of streaming speech recognition accuracy

Graph of streaming speech recognition accuracy

體驗智能轉寫和進階聽寫

除了可透過 Google AI Studio 和 Gemini Enterprise Agent Platform 使用 Gemini API,3.5 Transcribe 更超越一般語音轉文字功能,令你在 Google 生態系統中的工作更自然、更直覺。它將具上下文感知能力的理解帶到 Gboard、Antigravity、Gemini app 和 Chrome 等日常介面,輕鬆捕捉細節、意圖和即時修改。

  • 在 Android 版 Gboard,透過全新 Rambler 功能,3.5 Transcribe 可將口述想法轉成格式整齊的文字,並過濾填充詞。你亦可用語音編輯內容、更正拼字錯誤及更改寫作風格。
  • 在 Google Antigravity,3.5 Transcribe 經你允許後會結合螢幕上下文和聊天記錄,精準轉寫檔案名稱、代理思路和目前開啟的文件。
  • 在 Google AI Studio 中,你可於 Build mode 使用 3.5 Transcribe,隨時透過語音快速編寫應用程式。
  • 在 macOS 版 Gemini app 中,3.5 Transcribe 不但能將自然口語轉成清晰、格式整齊的文字,亦支援語音指令,結合螢幕上下文,流暢執行複雜工作流程。模型會在背景呼叫其他 Gemini 模型處理繁重工作,讓你只需用聲音便可輕鬆摘要本機檔案、在不同應用程式間轉用文字,或直接在遊標位置生成圖片。
  • Chrome 即將推出語音輸入功能,你可在任何網頁欄位直接説話輸入,輕鬆口述回覆、撰寫帖文,或更自然方便地以語音向 Chrome 中的 Gemini 提問。

閲讀早期評價

透過 Gemini Live API,Agora、Fishjam、LangChain、LiveKit、Pipecat、Vercel 和 Vision Agents 等開發者平台,讓開發者輕鬆建構和部署高效能語音介面。這些平台會在幕後管理複雜的即時媒體串流基礎設施,讓開發者能專注打造用戶體驗。

vivo、Intellitek Health 和 Lingopal 等公司亦分享了對 3.5 Transcribe 的正面評價,特別提到其低延遲、高準確度和廣泛語言支援。

vivo testimonial

IntelliTek testimonial

Lingopal testimonial

Stream testimonial

Agora testimonial

fishjam testimonial

立即開始使用 3.5 Transcribe

在收件匣中取得 Google 最新消息

訂閲電子報,接收產品更新、活動資訊、特別優惠等內容。

你的資料將按照 Google 私隱政策使用。你可隨時選擇退出。

來源:Google DeepMind · deepmind.google