Google DeepMind 發佈 Gemini 3.5 Transcribe 語音轉文字模型
Intelligent transcription with Gemini 3.5 Transcribe
Google DeepMind 發佈 Gemini 3.5 Transcribe,這是一款面向智能語音互動的語音轉文字模型。它可透過 Live API 以低於一秒的延遲進行即時串流,亦可經 Interactions API 處理預錄音訊,提供説話者歸屬及逐字時間戳。
材料同時提供串流與非串流 WER,以及相較 Chirp 3 的最終轉錄時間改善幅度,讓準確度與延遲兩項表現有具體數據可供對照。
2026 年 8 月 26 日
|
我們最新的語音轉文字模型,專為精確、智能的即時轉寫而設。
Diego Melendo Casado
Gemini Audio 工程高級總監
Luke Leonhard
Gemini Audio 幕僚長,代表 Gemini Audio 團隊
聆聽文章
[[duration]] 分鐘
此內容由 Google AI 生成。生成式 AI 尚屬實驗性技術
今天,我們推出 Gemini 3.5 Transcribe,這是我們至今最精確的語音轉文字模型,專為智能語音互動而設。傳統語音識別模型往往難以處理背景噪音、複雜術語和口語不流暢等問題;Gemini 3.5 Transcribe 則可將原始音訊直接轉換為準確、經整理和格式化的文字。
Gemini app 和 Android 等產品的用戶已受惠於 Gemini 3.5 Transcribe 模型提供的新語音功能,例如 Android 上的 Rambler,以及 macOS 版 Gemini app。現在,開發者亦可透過 Google AI Studio 中的 Gemini API 和 Gemini Enterprise Agent Platform,建構類似功能。
我們建構 3.5 Transcribe 時,特別考慮如何無縫融入開發者工作流程,無論你是在建構語音代理、即時字幕工具,還是通話後分析流程。模型可透過兩種不同 API 使用:
- 即時串流:透過 Live API 為互動式語音應用程式提供連續雙向串流,延遲低於一秒;使用的模型為
gemini-3.5-transcribe-live。 - 預錄音訊處理:透過 Interactions API 轉寫錄音、會議、通話記錄等內容,並提供説話者標註和逐字時間戳記;使用的模型為
gemini-3.5-transcribe。
更精準、更智能的轉寫
Gemini 3.5 Transcribe 專為捕捉自然説話方式而設,能更好地理解你的意圖和辨識自訂詞彙,讓你透過語音執行任務。
- 智能轉寫:無縫處理自我更正(例如「我們星期二見——不,星期三」)、移除填充詞(「嗯」、「啊」),並自動整理文字格式。
- 函式呼叫:模型可透過函式呼叫,將複雜任務(例如生成圖片和分析檔案)委派給其他 Gemini 模型。目前已在 macOS 版 Gemini app 推出。
- 轉寫更精確:根據 Artificial Analysis 的測量,串流使用情境的平均詞錯誤率(WER)為 4.0%,非串流使用情境則為 2.6%。模型在嘈雜的真實環境中也表現出色,能準確辨識郵政編碼和訂單 ID 等字母數字組合。
- 自訂詞彙:透過順暢配合你提供的自訂詞彙調整轉寫內容,辨識專業術語和特殊拼法。
- 全球語言支援:自動識別並轉寫超過 85 種語言,妥善處理地區口音和不同方言。
- 多説話者識別:為預錄音訊中的語音準確標註説話者,並附上時間戳記,最多支援三位説話者(支援 3 位以上説話者仍屬實驗功能)。
Gemini 3.5 Transcribe 的表現較上一代轉寫模型 Chirp 3 大幅提升,帶來新功能、更低詞錯誤率和顯著更低延遲。根據 Artificial Analysis 的測量,完成最終轉寫所需時間例如縮短了 70%。在涵蓋多種主要語言和地區設定的 FLEURS 基準測試中,模型展現精準的多語言表現,超越 Chirp 3;串流模式 WER 為 5.50%,非串流使用情境則為 5.04%。
體驗智能轉寫和進階聽寫
除了可透過 Google AI Studio 和 Gemini Enterprise Agent Platform 使用 Gemini API,3.5 Transcribe 更超越一般語音轉文字功能,令你在 Google 生態系統中的工作更自然、更直覺。它將具上下文感知能力的理解帶到 Gboard、Antigravity、Gemini app 和 Chrome 等日常介面,輕鬆捕捉細節、意圖和即時修改。
- 在 Android 版 Gboard,透過全新 Rambler 功能,3.5 Transcribe 可將口述想法轉成格式整齊的文字,並過濾填充詞。你亦可用語音編輯內容、更正拼字錯誤及更改寫作風格。
- 在 Google Antigravity,3.5 Transcribe 經你允許後會結合螢幕上下文和聊天記錄,精準轉寫檔案名稱、代理思路和目前開啟的文件。
- 在 Google AI Studio 中,你可於 Build mode 使用 3.5 Transcribe,隨時透過語音快速編寫應用程式。
- 在 macOS 版 Gemini app 中,3.5 Transcribe 不但能將自然口語轉成清晰、格式整齊的文字,亦支援語音指令,結合螢幕上下文,流暢執行複雜工作流程。模型會在背景呼叫其他 Gemini 模型處理繁重工作,讓你只需用聲音便可輕鬆摘要本機檔案、在不同應用程式間轉用文字,或直接在遊標位置生成圖片。
- Chrome 即將推出語音輸入功能,你可在任何網頁欄位直接説話輸入,輕鬆口述回覆、撰寫帖文,或更自然方便地以語音向 Chrome 中的 Gemini 提問。
閲讀早期評價
透過 Gemini Live API,Agora、Fishjam、LangChain、LiveKit、Pipecat、Vercel 和 Vision Agents 等開發者平台,讓開發者輕鬆建構和部署高效能語音介面。這些平台會在幕後管理複雜的即時媒體串流基礎設施,讓開發者能專注打造用戶體驗。
vivo、Intellitek Health 和 Lingopal 等公司亦分享了對 3.5 Transcribe 的正面評價,特別提到其低延遲、高準確度和廣泛語言支援。
立即開始使用 3.5 Transcribe
- 開發者:現於 Google AI Studio 的 Gemini API 和 Google Antigravity 開放公開預覽。
- 企業:現於 Gemini Enterprise Agent Platform 開放公開預覽,並即將推出至 Gemini Enterprise for Customer Experience。
- 所有人:英文版 macOS Gemini app、Android 版 Rambler(僅在部分國家和語言提供),以及即將推出的 Chrome。
在收件匣中取得 Google 最新消息
訂閲電子報,接收產品更新、活動資訊、特別優惠等內容。
你的資料將按照 Google 私隱政策使用。你可隨時選擇退出。
來源:Google DeepMind · deepmind.google