Google DeepMind 更新 Gemini 2.5 Flash Native Audio,推出即時語音翻譯測試版
Improved Gemini audio models for powerful voice experiences
Google DeepMind 更新 Gemini 2.5 Flash Native Audio,提升其處理複雜工作流、遵循指令及進行多輪語音對話的能力。它在 ComplexFuncBench Audio 得分為 71.5%,開發者指令遵循率由 84% 升至 90%;目前已在 Vertex AI 正式提供,並以預覽版開放 Gemini API。
更新同時改善即時語音 Agent 的函數調用、指令遵循與多輪對話,並以 ComplexFuncBench Audio 的 71.5% 得分呈現多步函數調用表現。
Bibo Xu
產品管理總監
Tara Sainath
傑出研究科學家
聆聽文章
[[duration]] 分鐘
此內容由 Google AI 生成。生成式 AI 尚屬實驗性技術
本週稍早,我們宣佈升級 Gemini 2.5 Pro 和 Flash 文字轉語音模型,讓用戶更精準控制音訊生成。
但生成富有表現力的語音只是對話的一部分。今天,我們為即時語音代理推出升級版 Gemini 2.5 Flash Native Audio。此次更新提升模型處理複雜工作流程、理解用戶指示及進行自然對話的能力。
Gemini 2.5 Flash Native Audio 現已在多項 Google 產品推出,包括 Google AI Studio、Vertex AI,並開始陸續推出至 Gemini Live 和 Search Live,首次將原生音訊的自然對話體驗帶到 Search Live。這代表你可以更有效地與 Gemini 即時腦力激盪、在 Search Live 取得即時協助,或建構新一代企業級客戶服務代理。
除了支援實用代理,原生音訊亦為全球溝通帶來新可能。我們推出即時語音翻譯功能,支援耳機串流式語音轉語音翻譯。翻譯會保留説話者的語調、節奏和音高。這項 Beta 體驗今天起陸續推出至 Google Translate app。
即時語音代理
為支援不同介面和產品上的多種用途,我們在以下三個關鍵方面改進了 Gemini 2.5 Native Audio:
- 更精準的函式呼叫:我們提升了模型觸發外部函式時的可靠性。現在,它更能準確判斷對話何時需要擷取即時資訊,並將數據自然融入音訊回應,不會打斷對話。在 ComplexFuncBench Audio 評測中,該測試涵蓋在多種限制條件下執行多步驟函式呼叫,Gemini 2.5 Native Audio 以 71.5% 得分領先。
- 穩健遵循指示:模型現在更善於處理複雜指示,用戶對內容完整度的滿意程度亦更高。模型遵循開發者指示的比例由 84% 提升至 90%,帶來更可靠的輸出。
- 對話更流暢:我們大幅提升了多輪對話的品質。Gemini 2.5 Flash Native Audio 能更有效地從之前的對話輪次擷取上下文,讓對話更連貫。
升級版 Gemini 2.5 Flash Native Audio 在 ComplexFuncBench 上與先前版本及業界競品的表現比較
客戶的評價
Google Cloud 客戶已使用 Gemini 原生音訊功能帶來實際業務成果,涵蓋按揭處理和客戶來電等用途。
- 「用戶使用 Sidekick 不到一分鐘,往往已忘記自己正在與 AI 對話;有時長談之後,甚至會向機械人道謝……透過 Gemini 提供的新 Live API AI 功能[2.5 Flash Native Audio],讓商戶更有優勢。」 – David Wurtz,Shopify 產品副總裁
- 「整合 Gemini 2.5 Flash Native Audio 模型後……自 2025 年 5 月推出 Mia 以來,我們大幅提升了它的能力。這項強大組合讓我們為按揭經紀合作夥伴促成超過 14,000 筆貸款。」 – Jason Bressler,United Wholesale Mortgage(UWM)技術總監
- 「透過 Vertex AI 使用 Gemini 2.5 Flash Native Audio 模型,Newo.ai 的 AI 接待員因此具備無與倫比的對話智能……即使在嘈雜環境中也能辨認主要説話者,在對話中途切換語言,並以極自然、富有情感表現力的方式説話。」 – David Yang,Newo.ai 共同創辦人
即時語音翻譯
Gemini 現已原生支援全新的即時語音轉語音翻譯功能,能處理持續聆聽和雙向對話。
持續聆聽模式下,Gemini 會自動將多種語言的語音翻譯成同一目標語言。戴上耳機後,你便能以自己的語言聆聽周遭世界。
雙向對話模式下,Gemini 的即時語音翻譯可即時互譯兩種語言,並根據説話者自動切換輸出語言。例如,你説英文並想與一位説印地語的人交談時,你會即時在耳機中聽到英文翻譯;你説完後,手機則會播放印地語翻譯。
Gemini 即時語音翻譯具備多項實用功能:
- 語言覆蓋範圍:結合 Gemini 模型的世界知識、多語言能力和原生音訊能力,支援翻譯超過 70 種語言和 2000 種語言組合
- 風格轉換:捕捉人類語音的細微變化,保留説話者的語調、節奏和音高,令翻譯聽起來自然。
- 多語言輸入:在同一工作階段同時理解多種語言,讓你輕鬆跟上多語言對話,無須反覆調整語言設定。
- 自動偵測:識別所説的語言並開始翻譯,因此即使你不知道對方説甚麼語言,也可以直接開始翻譯。
- 抗噪能力:過濾環境噪音,讓你即使身處嘈雜的戶外環境,仍能舒適交談。
今天起,你可以在 Google Translate app 的全新 Beta 體驗中試用耳機即時翻譯:將耳機連接至裝置,然後點按「Live translate」。此功能正陸續向美國、墨西哥和印度的所有 Android 裝置推出,iOS 支援和更多地區亦即將推出。
我們會根據意見持續改進此體驗,並於 2026 年將功能帶到更多 Google 產品,包括 Gemini API。
立即開始使用
立即開始使用 Gemini 2.5 Flash Native Audio 建構語音代理;此模型現已在 Vertex AI 正式推出,並在 Gemini API 開放預覽。你亦可在 Google AI Studio 試用。
Gemini 2.5 Flash 和 2.5 Pro 文字轉語音模型亦可透過 Google AI Studio 中的 Gemini API 使用。請從語音生成文件開始,探索提示詞指南,或查看 Gemini API Cookbook。
來源:Google DeepMind · deepmind.google