Sarvam AI 發佈 Saaras V4 語音識別模型
Sarvam AI 發佈 Saaras V4 語音識別模型,稱其在 22 種印度語言達到 SOTA,並支援五種轉寫格式。模型結合音訊編碼器與從零開始訓練的 3B 混合狀態空間 LLM 解碼器,在七個英語基準測試中取得最低平均 WER。Saaras V4 支援低延遲串流,首個 token 延遲低於 150 ms。
Sarvam AI 發佈 Saaras V4 語音識別模型,稱其在 22 種印度語言達到 SOTA,並支援五種轉寫格式。模型結合音訊編碼器與從零開始訓練的 3B 混合狀態空間 LLM 解碼器,在七個英語基準測試中取得最低平均 WER。Saaras V4 支援低延遲串流,首個 token 延遲低於 150 ms。
Google DeepMind 推出 Gemini 3.8 Live with Live Avatar,將近乎即時視像生成與語音結合,讓企業智能體以動態虛擬形象進行多模態對話。
Fun-Audio-Chat-8B 已發佈,並提供模型、訓練及推理程式碼,供自然、低延遲語音互動使用。模型採用 5Hz 共享骨幹與 25Hz 精細化輸出頭的雙解析度語音表徵,在維持語音質素下可減少近 50% GPU 使用時數。它支援語音問答、音訊理解、語音函數調用、語音指令跟隨及語音共情。
Google 於 2026 年 9 月 23 日發佈 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS,兩者可按自然語言指示生成語音。
研究提出免訓練的 Accent Analogy Guidance(AAG),用於跨語言零樣本文字轉語音,在相同口音下提升説話者相似度。四個開放式 TTS 模型中,AAG 均高於口音與説話者身份的取捨曲線;OmniVoice 在三個測試集的 ΔSIM 為 +0.11 至 +0.27。
Google DeepMind 推出 Gemini 3.8 Flash TTS 與 Gemini 3.8 Flash-Lite TTS,支援自訂聲線、逐句控制表演及雙人對話生成。
推薦理由:兩款 TTS 模型涵蓋逐句演繹與長篇生成,Flash TTS 另可自訂聲線;聲音複製設有同意驗證,生成音訊加入 SynthID 水印,呈現創作控制與防護安排。
inclusionAI 發佈 Ming-3.0-tts-0.5B 語音合成模型,基於 Qwen2.5-0.5B,支援中文、英文等七種語言及四川話、粵語方言控制。
inclusionAI 發佈 Ming-3.0-tts-tiny,這款基於 Ling V3 的 MoE 語音合成模型共 7.9B 參數,每個 token 約啟用 1.3B 參數。
Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 正式提供文字轉語音(TTS)服務,Gemini API 同時推出 Voices endpoint(/v1beta/voices)。
博智感知交互研究中心(CPII)連續第三年與香港電台合作,在2026年《施政報告》現場直播中部署升級版「即時語音轉摘要會議助手」,即時提供字幕、分節逐字稿及政策摘要。新版本以經錯字修正的完整句子生成摘要,並擴展日語、俄語、印地語、法語、韓語、西班牙語及葡萄牙語支援。
inclusionAI 發佈 Realtime-Venus 全雙工互動系統,提供視聽版 Realtime-Venus-Omni 與音訊版 Realtime-Venus-Audio,兩者均為 9B。
Google 於 2026 年 9 月 15 日發佈語音對話模型 Gemini 3.8 Live 和 Gemini 3.8 Live Extended Thinking,兩者可在持續對話時理解視覺資訊及非同步呼叫外部工具。
推薦理由:兩款模型分別面向快速、具成本效益的語音智能體與複雜多步任務,並可在不中斷對話下呼叫工具,清楚區分兩者的適用場景。
Google DeepMind 發佈 Gemini 3.8 Live 與 Gemini 3.8 Live Extended Thinking,前者面向規模化與成本效率,後者針對高複雜度任務。
推薦理由:文章區分兩款模型在規模化成本效率與高複雜度任務上的定位,並列出語音代理基準成績,方便比較其應用取向。
Google 表示,其技術與產品現已支援超過 300 種語言的日常互動,涉及逾 70 億人,約佔全球人口 86%。在語音方面,Google 以 Gemini 等模型直接處理音訊,目標支援全球最常用的 1,000 種語言,並透過 WAXAL、Project Vaani 等合作擴充地方語音資料。
OpenMOSS 開源 MOSS-Transcribe-Diarize 0.9B,這款端到端音訊理解模型可在單次處理中完成長篇多説話人音訊轉寫、説話人分離及時間戳標註。模型支援 50+ 種語言,亦可選擇輸出聲學事件標註。整體表現更高的 MOSS-Transcribe-Diarize Pro 可透過線上 playground 使用。
Gemini API 正式開放 Gemini 3.8 Live(gemini-3.8-live)及 Gemini 3.8 Live Extended Thinking(gemini-3.8-live-extended-thinking)兩款音訊轉音訊模型,供 Live API 即時語音應用使用。
香港人工智能專業協會代表出席黃大仙區「AI 防騙分享會」,講解換臉、扮聲及虛假訊息等詐騙手法,並即場示範以相片生成旅遊照片。分享會提出三項自保做法:有懷疑先掛斷並自行回撥已知號碼、追問只有真人才知道的事,以及透過視像通話要求對方即時做指定動作。
OpenAI 已開始透過 API 提供語音模型 GPT-Live-1,開發者可用它建立能在用戶發言期間聆聽、處理插話和要求變更的語音智能體。
Tongyi Lab 發佈 Fun-ASR 端到端語音識別模型系列,分為支援中英日及中文方言的 Fun-ASR-Nano-2512,以及支援 31 種語言的 Fun-ASR-MLT-Nano-2512。兩款模型均為 800M 參數,前者以數千萬小時語音訓練,後者以數十萬小時語音訓練。兩者均可接入 FunASR 作推理與服務,項目亦提供 vLLM 批次推理、即時串流及 WebSocket 服務路徑。
OpenAI 將 GPT‑Live‑1 引入 API,提供自然的全雙工語音對話及更強的指令遵循能力。它亦支援自訂聲音及電話服務。
推薦理由:原文列出全雙工對話、指令遵循、自訂聲音及電話支援,能讓讀者迅速掌握 GPT‑Live‑1 接入 API 後涵蓋的語音能力。
FireRedTeam 公開 FireRedTTS3 語音生成與編輯系統,並提供 FireRedTTS3-Base 和 FireRedTTS3-Instruct 兩個版本的模型與 PyTorch 程式碼。
FireRedTeam 發佈 FireRedAudio,一款以共用 9B 參數 LLM 為基礎、涵蓋音訊理解與語音生成的音訊語言模型。Audio Encoder 負責理解、RedAE pathway 負責生成;模型支援 ASR、音訊理解、零樣本及指令式 TTS、語音編輯,並可處理最長一小時的錄音。除 ASR 外,其他功能只支援中文和英文。
MOSS-TTS-Nano 示範網站展示一款 100M 參數的多語言語音生成模型及樣本,模型支援 CPU 推理和聲音複製。網站提供模型下載及本機執行方式;ONNX CPU 部署、聲音複製和微調的資訊則見 MOSS-TTS-Nano README。
OpenMOSS 團隊與 MOSI.AI 發佈開源語音生成模型 MOSS-TTS-Nano,參數量為 0.1B,支援 20 種語言。模型提供聲音複製和串流生成,並採用 Audio Tokenizer + LLM 純自回歸架構。ONNX CPU 版本在團隊測試中處理效率接近原版的 2 倍,並可在 MacBook Air M4 單核流暢運行。
OpenMOSS 團隊開源 MOSS-Audio,推出 4B、8B 的 Instruct 和 Thinking 版本。模型支援語音、環境音及音樂理解、音訊描述、時間感知問答與複雜推理,並採用跨層特徵注入和時間標記設計。在 MMAU、MMAU-Pro、MMAR 和 MMSU 四項通用音訊理解基準中,MOSS-Audio-8B-Thinking 的平均準確率為 71.08。
呼叫中心 AI 的推行應視為營運模式變革,先選定一條客戶旅程,訂立基準及擴展準則,再於真實渠道條件下驗證完整流程。指南聚焦自主語音及由 AI 路由的旅程,涵蓋渠道與系統銜接、路由和佇列安排、人手規劃、品質校準及故障復原,並指出客服代表輔助、預測和品質分析部署須採用不同切換準則。
Sierra 的企業級 Voice AI 指南説明,AI 語音智能體可結合客戶背景及業務系統,在通話中處理要求並完成工作。企業準備程度須以整通電話作端到端評估,涵蓋延遲、輪流發言、語音辨識、上下文、操作、護欄及轉接七項測試,並納入噪音、打斷、模糊請求和整合失敗等情況。Sierra 的 tau-voice 基準以 278 項客戶服務任務,結合真實音訊及重疊發言,測試對話行為與資料庫狀態是否正確。
Voice Arena 與 Hugging Face 為 Open ASR Leaderboard 加入 Monsoon en-IN 和 Monsoon hi-IN 評測集,涵蓋 Indian English 與 Hindi,令 Hindi 成為其多語言分頁首個 Indic language。
推薦理由:這批評測集把説話者背景與可接受的拼寫變體納入 ASR 評估,讓總體 WER 之外的區域差異和 Hindi 正字法誤差更容易被辨識。
Google DeepMind 發佈 Gemini 3.5 Transcribe,這是一款面向智能語音互動的語音轉文字模型。它可透過 Live API 以低於一秒的延遲進行即時串流,亦可經 Interactions API 處理預錄音訊,提供説話者歸屬及逐字時間戳。
推薦理由:材料同時提供串流與非串流 WER,以及相較 Chirp 3 的最終轉錄時間改善幅度,讓準確度與延遲兩項表現有具體數據可供對照。
Pydantic AI 加入即時語音對話支援,既有智能體可透過統一 API 連接 OpenAI Realtime、Azure OpenAI、Gemini Live 及 xAI Grok Voice。
Gemini API 將 Gemini 3.5 Transcribe 與 Gemini 3.5 Transcribe Live 兩款專用語音轉文字模型開放一般使用。
IBM 發佈 Granite 4.2 語言模型,提供 3B、8B 和 30B 參數版本,並加入原生逐步推理與工具調用能力,面向企業智能體工作流程。模型基於 Granite 4.0 foundation models,採多階段強化學習;8B 和 30B 版本另經 agentic RL,並以 1 trillion tokens 的合成程式碼訓練,採 Apache 2.0 授權。
Mistral AI 與 HUMAIN 宣佈戰略合作,將在沙特阿拉伯及區域內推進 AI 基礎設施、先進模型開發和 AI 解決方案部署。雙方將開發並本地化先進 AI 模型,初期聚焦網絡安全和語音,並計劃開發阿拉伯語表現出色的前沿模型;合作規模達數億歐元。Mistral AI 將探討使用 HUMAIN 的數據中心基礎設施,雙方亦計劃在沙特制定面向受監管行業的共同市場策略。
Hugging Face 的研究提出三項測試衡量語音辨識中的基準優化,並評估 11 個常用開源 ASR 模型,發現多個模型會重現與音訊不符的基準文本。研究在所分析的 VoxPopuli 測試片段中標記出 40% 的潛在參考文本錯誤,涉及約 3% 的參考詞;呈現基準優化行為的模型在相關測試中有 18–30% 的情況會重現錯誤參考文本。
Soundcore 推出 Liberty 5 Pro MAX,主打 AI 錄音與會議摘要,充電盒配備 1.78 吋 AMOLED 彩色觸控螢幕,可切換 ANC 模式和調整 EQ。充電盒可獨立錄音,並同步至手機 App 將語音轉為文字及整理重點。耳機售價 $1,780,支援 Hi-Res Audio Wireless、LDAC、Dolby Atmos 及 Adaptive ANC 4.0。
Google Assistant 將於 2026年9月在流動裝置上退場,全面轉用 Gemini。轉變將規則式指令處理改為自回歸大型語言模型推理,支援含糊表達、上下文任務及讀取畫面內容,但回應時間可能增加。裝置端 Gemini Nano 有助降低延遲及保護私隱,但穩定運行需要足夠硬件效能。
Sarvam 與 AI4Bharat 建立 Indic DiarBench,這是一個涵蓋印度憲法列定全部 22 種語言、聯合評估語音識別與説話人分段的開放基準數據集。數據集包含 108 小時自然即興語音,每段錄音有 2–9 名説話者,並涵蓋重疊發言、近場及遠場會議,以及 YouTube 真實對話。轉錄文本和帶説話人歸屬的時間戳均經人工核驗。
NVIDIA Magpie Multilingual TTS 最新版本擴展至 12 種語言,是一款 364M 參數、開放權重的語音合成模型,可部署於自有基礎設施並按工作負載調校。
Sarvam AI 在 Sarvam Epoch 公佈 Sarvam 105B 的對話及工作智能體版本,並介紹 Sarvam Vision 2.0、Saaras V4 和研究預覽版 Bulbul V4。
OpenAI 用六個月構建 GPT-Live 即時語音系統,支援與 AI 持續進行語音互動。系統採用無需輪次切換的語音模型和低延遲架構,以實現更快、更自然的對話。