跳到正文
Google DeepMind·· 2025-12-13精選AI 評分78

Google DeepMind 更新 Gemini 2.5 Flash Native Audio,推出即時語音翻譯測試版

Improved Gemini audio models for powerful voice experiences

AI 導讀

Google DeepMind 更新 Gemini 2.5 Flash Native Audio,提升其處理複雜工作流、遵循指令及進行多輪語音對話的能力。它在 ComplexFuncBench Audio 得分為 71.5%,開發者指令遵循率由 84% 升至 90%;目前已在 Vertex AI 正式提供,並以預覽版開放 Gemini API。

推薦理由

更新同時改善即時語音 Agent 的函數調用、指令遵循與多輪對話,並以 ComplexFuncBench Audio 的 71.5% 得分呈現多步函數調用表現。

正文 · 繁體中文

Bibo Xu

產品管理總監

Tara Sainath

傑出研究科學家


Gemini Audio text logo

聆聽文章

[[duration]] 分鐘

此內容由 Google AI 生成。生成式 AI 尚屬實驗性技術

本週稍早,我們宣佈升級 Gemini 2.5 Pro 和 Flash 文字轉語音模型,讓用戶更精準控制音訊生成。

但生成富有表現力的語音只是對話的一部分。今天,我們為即時語音代理推出升級版 Gemini 2.5 Flash Native Audio。此次更新提升模型處理複雜工作流程、理解用戶指示及進行自然對話的能力。

Gemini 2.5 Flash Native Audio 現已在多項 Google 產品推出,包括 Google AI Studio、Vertex AI,並開始陸續推出至 Gemini Live 和 Search Live,首次將原生音訊的自然對話體驗帶到 Search Live。這代表你可以更有效地與 Gemini 即時腦力激盪、在 Search Live 取得即時協助,或建構新一代企業級客戶服務代理。

除了支援實用代理,原生音訊亦為全球溝通帶來新可能。我們推出即時語音翻譯功能,支援耳機串流式語音轉語音翻譯。翻譯會保留説話者的語調、節奏和音高。這項 Beta 體驗今天起陸續推出至 Google Translate app。

即時語音代理

為支援不同介面和產品上的多種用途,我們在以下三個關鍵方面改進了 Gemini 2.5 Native Audio:

  • 更精準的函式呼叫:我們提升了模型觸發外部函式時的可靠性。現在,它更能準確判斷對話何時需要擷取即時資訊,並將數據自然融入音訊回應,不會打斷對話。在 ComplexFuncBench Audio 評測中,該測試涵蓋在多種限制條件下執行多步驟函式呼叫,Gemini 2.5 Native Audio 以 71.5% 得分領先。
  • 穩健遵循指示:模型現在更善於處理複雜指示,用戶對內容完整度的滿意程度亦更高。模型遵循開發者指示的比例由 84% 提升至 90%,帶來更可靠的輸出。
  • 對話更流暢:我們大幅提升了多輪對話的品質。Gemini 2.5 Flash Native Audio 能更有效地從之前的對話輪次擷取上下文,讓對話更連貫。

升級版 Gemini 2.5 Flash Native Audio 在 ComplexFuncBench 上與先前版本及業界競品的表現比較

updated Gemini 2.5 Flash Native Audio’s performance against previous versions and industry competitors

客戶的評價

Google Cloud 客戶已使用 Gemini 原生音訊功能帶來實際業務成果,涵蓋按揭處理和客戶來電等用途。

  • 「用戶使用 Sidekick 不到一分鐘,往往已忘記自己正在與 AI 對話;有時長談之後,甚至會向機械人道謝……透過 Gemini 提供的新 Live API AI 功能[2.5 Flash Native Audio],讓商戶更有優勢。」 – David Wurtz,Shopify 產品副總裁
  • 「整合 Gemini 2.5 Flash Native Audio 模型後……自 2025 年 5 月推出 Mia 以來,我們大幅提升了它的能力。這項強大組合讓我們為按揭經紀合作夥伴促成超過 14,000 筆貸款。」 – Jason Bressler,United Wholesale Mortgage(UWM)技術總監
  • 「透過 Vertex AI 使用 Gemini 2.5 Flash Native Audio 模型,Newo.ai 的 AI 接待員因此具備無與倫比的對話智能……即使在嘈雜環境中也能辨認主要説話者,在對話中途切換語言,並以極自然、富有情感表現力的方式説話。」 – David Yang,Newo.ai 共同創辦人

即時語音翻譯

Gemini 現已原生支援全新的即時語音轉語音翻譯功能,能處理持續聆聽和雙向對話。

持續聆聽模式下,Gemini 會自動將多種語言的語音翻譯成同一目標語言。戴上耳機後,你便能以自己的語言聆聽周遭世界。

雙向對話模式下,Gemini 的即時語音翻譯可即時互譯兩種語言,並根據説話者自動切換輸出語言。例如,你説英文並想與一位説印地語的人交談時,你會即時在耳機中聽到英文翻譯;你説完後,手機則會播放印地語翻譯。

Gemini 即時語音翻譯具備多項實用功能:

  • 語言覆蓋範圍:結合 Gemini 模型的世界知識、多語言能力和原生音訊能力,支援翻譯超過 70 種語言和 2000 種語言組合
  • 風格轉換:捕捉人類語音的細微變化,保留説話者的語調、節奏和音高,令翻譯聽起來自然。
  • 多語言輸入:在同一工作階段同時理解多種語言,讓你輕鬆跟上多語言對話,無須反覆調整語言設定。
  • 自動偵測:識別所説的語言並開始翻譯,因此即使你不知道對方説甚麼語言,也可以直接開始翻譯。
  • 抗噪能力:過濾環境噪音,讓你即使身處嘈雜的戶外環境,仍能舒適交談。

今天起,你可以在 Google Translate app 的全新 Beta 體驗中試用耳機即時翻譯:將耳機連接至裝置,然後點按「Live translate」。此功能正陸續向美國、墨西哥和印度的所有 Android 裝置推出,iOS 支援和更多地區亦即將推出。

我們會根據意見持續改進此體驗,並於 2026 年將功能帶到更多 Google 產品,包括 Gemini API。

立即開始使用

立即開始使用 Gemini 2.5 Flash Native Audio 建構語音代理;此模型現已在 Vertex AI 正式推出,並在 Gemini API 開放預覽。你亦可在 Google AI Studio 試用。

Gemini 2.5 Flash 和 2.5 Pro 文字轉語音模型亦可透過 Google AI Studio 中的 Gemini API 使用。請從語音生成文件開始,探索提示詞指南,或查看 Gemini API Cookbook。

來源:Google DeepMind · deepmind.google