Google 發佈 Gemini 3.1 Flash Live,提升語音對話並擴展多語言即時搜尋
Google 於 2026 年 3 月 26 日發佈音訊及語音模型 Gemini 3.1 Flash Live,提升即時對話的語音理解和函數調用能力,並兼顧音質與速度。
推薦理由:文章把語音理解改進、基準測試表現與 Search Live 擴展至 200 多個國家和地區並列,呈現模型能力如何進入 Google 產品服務。
Google 於 2026 年 3 月 26 日發佈音訊及語音模型 Gemini 3.1 Flash Live,提升即時對話的語音理解和函數調用能力,並兼顧音質與速度。
推薦理由:文章把語音理解改進、基準測試表現與 Search Live 擴展至 200 多個國家和地區並列,呈現模型能力如何進入 Google 產品服務。
Google DeepMind 推出 Gemini 3.1 Flash Live,提升即時語音對話的精準度並降低延遲。它在 ComplexFuncBench Audio 得分 90.8%,在 Scale AI 的 Audio MultiChallenge 開啟 thinking 時得分 36.1%。
推薦理由:原文以兩項語音基準呈現多步函數調用與複雜指令跟隨表現,並列出開發者、企業及一般用户的使用入口,可對照其能力與部署場景。
Google 發佈 gemini-3.1-flash-live-preview,這是一款面向即時對話及語音優先 AI 應用的音訊到音訊(A2A)模型。如要開始使用,可參閲 Live API 文件。
Fun-CineForge 開源面向多元電影場景的零樣本配音數據集流程及模型,並以此建立大型中文電視配音數據集 CineDub-CN,收錄豐富標註及多元場景。模型在獨白、旁白、對話及多説話者場景中,於音質、唇形同步、音色轉換和指令遵循方面持續優於現有先進方法。reW
Mistral AI 發佈 4B 參數的 Voxtral TTS,支援 9 種語言語音生成。在典型的 10 秒語音樣本和 500 characters 輸入下,模型延遲為 70ms;人評顯示其自然度高於 ElevenLabs Flash v2.5,TTFA 相近。
推薦理由:原文以人評比較 Voxtral TTS 與 ElevenLabs Flash v2.5 的自然度和 TTFA,並列出模型延遲及 API 定價,提供評估語音智能體應用的具體依據。
Descript 更新色彩調整工具,並把圖片及影片生成整合至同一面板。更新亦改善 Underlord 專案連結、翻譯影片的唇形同步及 Regenerate 音訊自然度,並支援直接匯出 Scenes。上載至 Drive Media Library 的音訊或影片會自動轉錄,逐字稿會與媒體庫檔案一同儲存。
OpenMOSS/TTSD-eval 提供多説話人對話生成的客觀評測流程,以説話人歸屬準確率(ACC)和説話人相似度(SIM)為核心指標。WER 作為評估可理解度的補充指標,數值愈低愈好;測試集設有中文和英文子集,每種語言各含 50 段對話樣本。流程使用 MMS-FA 對齊輸入文字與生成音訊,並以輸入稿的説話人標籤核對預測結果。
AI 技術正推動虛擬歌手成為平台化創作工具及 IP 載體,並改變音樂、影視和內容創作模式。中國 AI 虛擬歌手 Yuri 的英文歌曲「Surreal」在全球串流平台累積超過 700 萬次播放;其唇形同步技術由 ByteDance 的 Jimeng OmniHuman 開發,可從單張照片和一首歌自動生成逼真的演唱影片。
AI 正把虛擬歌手由單一角色轉變為創作工具與 IP 載體,並重塑音樂、電影、電視及內容創作。中國 AI 虛擬歌手 Yuri 的英文歌曲《Surreal》在全球串流平台累積逾 700 萬次播放;Jimeng OmniHuman 可根據一張相片和一首歌曲自動生成寫實演唱影片。相關技術降低創作門檻,同時引發聲音權利、肖像權及 AI 合成內容標示等爭議。
Google Research 推出 WAXAL 開放語音資料集,首批涵蓋 27 種撒哈拉以南非洲語言,這些語言由超過 100 million 人使用。資料包含約 1,846 小時已轉錄的自然語音 ASR 數據,以及超過 565 小時高保真 TTS 錄音,採用 CC-BY-4.0 授權開放。資料收集由非洲學術及社區組織主導,Google 表示計劃持續擴充語言範圍。
推薦理由:WAXAL 將自然口語 ASR 與高保真 TTS 語料以 CC-BY-4.0 授權開放,呈現支援低資源語言語音技術所需的資料建置基礎。
InnoHK博智感知交互研究中心與港台連續第三年合作,為財政司司長財政預算案演辭直播提供「實時自動生成字幕撮要技術」支援。系統可即時轉錄、翻譯演辭並生成持續更新的撮要,支援廣東話、英語及普通話切換。今年優化撮要重點生成並引入自動評估指標,以提升相關性及準確度,另支援自訂關鍵詞的大語言模型(LLM)翻譯。
MOSS-Speech 實現無需文字引導的端到端語音對語音互動,可直接生成語音而毋須先產生文字。模型以 Qwen3-8B 為基礎,採用模態分層架構及凍結式預訓練策略,在擴展語音模態時保留 LLM 能力。程式碼採用 Apache 2.0 授權;MOSS-Speech-Base 則列為後續發布項目。
Mistral AI 發佈 Voxtral Transcribe 2,包含用於批次轉寫的 Voxtral Mini Transcribe V2,以及面向即時應用的 Voxtral Realtime。
推薦理由:批次版與即時版的定位和能力差異清晰,文章亦列出即時轉寫的延遲設定、開放權重授權及兩款模型的 API 價格,便於比較部署選項。
ServiceNow 擴大對 OpenAI 前沿模型的存取,藉此支援 ServiceNow Platform 上的 AI 驅動企業功能。支援範圍包括企業工作流程、摘要、搜尋及語音。
Google 發佈開放醫療多模態模型 MedGemma 1.5 4B,新增 CT、MRI、病理全切片及胸部 X 光時間序列等醫療影像處理能力。其基準結果較 MedGemma 1 4B 提升,例如 CT 疾病分類準確率為 61%(58%),MRI 為 65%(51%),醫療文本 EHRQA 為 90%(68%)。
推薦理由:MedGemma 1.5 4B 在多項醫療影像與文本基準上較前代提升,文中列出的具體分數可用來比較不同任務的改進幅度。
Manus 推出 Meeting Minutes,可把面對面會議、訪談或獨白轉成含要點、與會者和待辦事項的結構化筆記。錄音期間會即時轉錄並識別説話者;筆記亦可作為同一任務的上下文,用於製作簡報、網站或社交媒體素材,並邀請他人協作。該功能現已向所有 Manus 用户開放,不適用於線上會議;錄音免費,分析及生成筆記會消耗積分。
Tolan 以 GPT-5.1 打造語音優先的 AI 伴侶,結合低延遲回應、即時情境重建與記憶驅動的人格,帶來自然對話體驗。
Together AI 現已原生提供 MiniMax Speech 2.6 Turbo,讓語音生成可與 LLM 及 STT 工作負載在同一平台運行。模型支援 40 多種語言的串流語言切換、10 秒語音克隆,並在 Together AI 專用端點上達到低於 250ms 的延遲。
Rime 將 Arcana v2 和 Mist v2 加入 Together Model Library,讓用戶可透過 Together AI 使用專有 TTS 模型。
Google DeepMind 更新 Gemini 2.5 Flash Native Audio,提升其處理複雜工作流、遵循指令及進行多輪語音對話的能力。它在 ComplexFuncBench Audio 得分為 71.5%,開發者指令遵循率由 84% 升至 90%;目前已在 Vertex AI 正式提供,並以預覽版開放 Gemini API。
推薦理由:更新同時改善即時語音 Agent 的函數調用、指令遵循與多輪對話,並以 ComplexFuncBench Audio 的 71.5% 得分呈現多步函數調用表現。
gemini-2.5-flash-native-audio-preview-12-2025 已作為 Live API 的新原生音訊模型推出。這次更新提升了模型處理複雜工作流程的能力。
Gemini API 為 Gemini 2.5 Flash TTS 預覽版及 Gemini 2.5 Pro TTS 預覽版推出文字轉語音模型優化,前者針對低延遲,後者針對品質。更新包括提升表達力、精準節奏控制及流暢對話。
Google Research 推出 Massive Sound Embedding Benchmark(MSEB),以統一框架評估八項機器聽覺能力。基準涵蓋語義與聲學任務,並可評估不同類型的模型;初步實驗顯示,現有聲音表徵在八項任務上仍有明顯提升空間。
Google Research 介紹端到端即時語音到語音翻譯模型,以原説話者聲線輸出譯音,標準延遲為 2 秒。模型採用串流架構及時間同步訓練資料,支援英語與西班牙語、德語、法語、意大利語、葡萄牙語之間的雙向翻譯。相關功能已在 Google Meet 伺服器端提供,並作為 Pixel 10 的內置裝置端功能推出;Pixel Voice Translate 採用級聯式流程以擴大語言覆蓋。
推薦理由:文章説明串流架構如何配合時間同步訓練資料,把語音互譯的標準延遲控制在 2 秒,並以原説話者聲線輸出譯音,可瞭解低延遲與個人化如何結合。
Seed-VC 可用任意數量的音訊檔案訓練,以提升生成聲音與參考音訊的相似度;作者以「つくよみちゃんコーパス」的100個音檔示範流程。文章涵蓋 V2 訓練、即時轉換和 CLI 操作,並指出訓練基本需要 8GiB 以上 VRAM 的 GPU。採用+12dB增幅及高音域削減素材後,轉換聲音較低沉,但風格轉換產生了無意義語音。
文章示範在 Ubuntu 上安裝及使用 Seed-VC,無需事前訓練即可按參照音訊轉換輸入語音。作者以 Ubuntu 25.10 和 RTX A1000 8GiB 實測,介紹 Web UI 與即時 GUI;使用 GPU 時,轉換速度約接近即時。
Together AI 擴展雲端語音基礎設施,新增即時串流轉錄、文字轉語音及批次音訊轉錄能力,供語音智能體使用。Streaming Whisper 的轉錄速度比替代方案快至 35%;Orpheus TTS 平均 TTFB 為 187ms,Kokoro TTS 基線 TTFB 為 97ms。
Hugging Face Blog 提出語音複製「同意閘門」設計並提供示例 Space 和程式碼,系統需先確認説話者已明確同意才會啟動。示例會為每次同意生成一組新句子,分別表達明確同意及補充語音的音素多樣性,並以語音識別確認同意語句。作者指出,仍可能有人用另一個 TTS 系統生成相符語句,並列出音訊來源驗證、説話者嵌入向量相似度及即時錄音 metadata 作為可探索方向。
推薦理由:把每次生成的同意語句與語音辨識綁定,並以同一段錄音作複製輸入,展示了將知情同意設為工作流程前置條件的實作思路。
FireRedTeam 為 FireRedTTS-2 發佈完整微調程式碼及教學,示例以 LJSpeech 數據集為基礎。團隊表示,該系統支援多語言和零樣本聲音克隆,使用對話數據微調可生成與示範相若的播客內容。
紅杉資本與 Sesame 合作,並共同領投其 Series B 融資;Sesame 正開發以語音為先的 AI,並打造可日常佩戴的 AI 眼鏡。其 2 月分享的早期示範以 Maya 和 Miles 兩個角色呈現,最初幾週吸引超過 100 萬人互動,累計對話超過 500 萬分鐘。Sesame 的對話層直接生成語音,呈現自然對話的節奏、情感與表達力,而非只將 LLM 輸出轉成音訊。
美團 LongCat 推出 LongCat-Audio-Codec,作為面向語音大語言模型的音訊 tokenizer 與 detokenizer 方案。它以 16.6Hz 低幀率並行提取語義與聲學 tokens,並在極低位元率下重建高可懂度音訊。
Gemini Live API 的 gemini-2.5-flash-preview-native-audio-dialog 和 gemini-2.5-flash-exp-native-audio-thinking-dialog 已停止服務,用戶可改用 gemini-2.5-flash-native-audio-preview-09-2025。
Yum! Brands 透過 Byte by Yum 整合旗下品牌的營運工具,推動全球餐廳的數碼化及 AI 應用。平台於 2025 年推出,現已在全球超過 25,000 間餐廳上線,並處理超過 300 million 張數碼訂單。Taco Bell 會員活躍度按年上升 30%,部分得來速地點使用的語音點餐系統則據初步數據可縮短約 10-20% 等候時間。
gemini-2.5-flash-native-audio-preview-09-2025 作為 Live API 的新原生音訊模型推出。模型改善函數呼叫及語音中斷處理能力。
InnoHK 博智感知交互研究中心與香港電台合作,在 2025 年《施政報告》直播中使用 CPII會議摘要助理,透過即時轉錄、翻譯及滾動摘要支援廣播。系統支援廣東話、英語及普通話即時轉錄,並可把粵語轉錄內容翻譯成英文。最新版本以修正後的完整句子生成摘要,並調整摘要長度以兼顧準確性與可讀性。
虛擬歌手正由小眾文化走向主流,為東南亞結合音樂、電影與本地文化創作帶來新機會。由中國工程師創作的虛擬歌手 Yuri 結合 Suno、Gemini 及智譜 AI 的 DreamOmniHuman,全球巡演吸引超過 700,000 名粉絲。文章亦指出,AI 複製聲音與外貌引發版權及數碼身份權利問題,馬來西亞需為相關規管作準備。
AI 虛擬歌手已由小眾文化走向主流,文章指出東南亞可結合多語言和本地文化,發展文化創新。Yuri 由中國工程師創作,結合 Suno、Gemini 和智譜 AI 的 DreamOmniHuman,並在全球巡演中吸引超過 700,000 名粉絲。文章亦討論 AI 創作工具在音樂、電影及品牌內容的應用,以及聲音和肖像權帶來的法律挑戰。
Cosyvoice 3 發佈 CV3-Eval,作為面向真實場景零樣本語音合成的評測基準。數據集採用 Common Voice、FLUERS、EmoBox 及網絡爬取的真實語音,涵蓋多種語言、方言、領域、環境、情緒和風格。評測包括客觀與主觀子集,並衡量內容一致性、説話者相似度及音質。
OpenAI 語音應用指南介紹三種語音智能體架構:GPT-Live 搭配獨立後端、Realtime API 在單一會話中處理語音、推理與工具使用,以及可逐階段檢視或替換元件的串接式語音管線。指南列出任務與工具結果、對話時序、語音與語言、會話可靠性等評估面向,並建議以 Crawl、Walk、Run 逐步增加測試複雜度。
OpenAI 的音訊與語音指南按應用場景介紹 GPT-Live、Realtime API 及專用音訊 API 的選用方式。