OpenAI 介紹為 ChatGPT Voice 提供支援的 GPT-Live 新一代語音模型
OpenAI 介紹 GPT-Live,將其定位為面向自然人機互動的新一代語音模型,並稱其現正為 ChatGPT Voice 提供支援。
OpenAI 介紹 GPT-Live,將其定位為面向自然人機互動的新一代語音模型,並稱其現正為 ChatGPT Voice 提供支援。
Hugging Face 與 Treble Technologies 推出並開放提交 FFASR Leaderboard,這是針對真實遠場聲學條件的開放、社羣協作 ASR 評測基準。
Fano 以講者及參展商身份參與 NetCraft Week 2026,分享智能體語音 AI 平台如何協助企業由語音互動邁向可信行動。平台涵蓋多語言語音識別、智能體對話協調、即時智能體輔助、語音分析、合規監察及工作流程自動化。
Google DeepMind 發佈 Gemini 3.5 Live Translate,這款音訊模型可自動識別 70+ 種語言,並進行近乎即時的語音轉語音翻譯。
推薦理由:模型以連續生成譯語音訊取代逐輪等待,並透過 API、Google Meet 和 Google Translate 進入開發、企業會議及日常翻譯場景,呈現其部署路徑。
Fano Connect+ 2026 BFSI Edition 聚集來自 30 多間銀行、保險公司及金融服務機構的 50 多名業界人士,探討企業如何把 AI 從實驗推進至可信賴的實際部署。討論聚焦受規管行業的 Agentic AI、治理、合規、營運韌性、防詐及客戶信任,並涵蓋 Voice AI、語音詐騙與 deepfake 防護,以及合規和風險監察的應用。
Parloa 利用 OpenAI 模型驅動可擴展、語音驅動的 AI 客户服務智能體,讓企業能設計、模擬並部署可靠的即時互動。
OpenAI 在 API 推出新的即時語音模型,可對語音進行推理、翻譯和轉錄。這些模型旨在支援更自然、智能的語音體驗。
Uber 藉助 OpenAI 為全球即時市場提供 AI 助手及語音功能,協助司機更精明地賺取收入,並讓乘客更快預訂。
Hugging Face 為 Open ASR Leaderboard 加入 Appen Inc. 和 DataoceanAI 提供的私有英語 ASR 評測資料集,涵蓋多種口音及朗讀式、對話式語音。
OpenAI 重建 WebRTC 技術堆疊,為即時語音 AI 提供低延遲及全球規模支援,並支援流暢的對話輪替。
Google DeepMind 發佈 Gemini 3.1 Flash TTS,提升文字轉語音的可控性、表現力與品質,並加入音訊標籤細調語音表現。模型支援 70+ 種語言及原生多説話者對話,在 Artificial Analysis TTS leaderboard 的 Elo 分數為 1,211。
推薦理由:文章聚焦音訊標籤如何細調語氣、節奏與表達,並列出 Gemini 3.1 Flash TTS 面向開發者、企業及 Workspace 用户的推出渠道。
Google DeepMind 推出 Gemini 3.1 Flash Live,提升即時語音對話的精準度並降低延遲。它在 ComplexFuncBench Audio 得分 90.8%,在 Scale AI 的 Audio MultiChallenge 開啟 thinking 時得分 36.1%。
推薦理由:原文以兩項語音基準呈現多步函數調用與複雜指令跟隨表現,並列出開發者、企業及一般用户的使用入口,可對照其能力與部署場景。
Mistral AI 發佈 4B 參數的 Voxtral TTS,支援 9 種語言語音生成。在典型的 10 秒語音樣本和 500 characters 輸入下,模型延遲為 70ms;人評顯示其自然度高於 ElevenLabs Flash v2.5,TTFA 相近。
推薦理由:原文以人評比較 Voxtral TTS 與 ElevenLabs Flash v2.5 的自然度和 TTFA,並列出模型延遲及 API 定價,提供評估語音智能體應用的具體依據。
AI 技術正推動虛擬歌手成為平台化創作工具及 IP 載體,並改變音樂、影視和內容創作模式。中國 AI 虛擬歌手 Yuri 的英文歌曲「Surreal」在全球串流平台累積超過 700 萬次播放;其唇形同步技術由 ByteDance 的 Jimeng OmniHuman 開發,可從單張照片和一首歌自動生成逼真的演唱影片。
AI 正把虛擬歌手由單一角色轉變為創作工具與 IP 載體,並重塑音樂、電影、電視及內容創作。中國 AI 虛擬歌手 Yuri 的英文歌曲《Surreal》在全球串流平台累積逾 700 萬次播放;Jimeng OmniHuman 可根據一張相片和一首歌曲自動生成寫實演唱影片。相關技術降低創作門檻,同時引發聲音權利、肖像權及 AI 合成內容標示等爭議。
Google Research 推出 WAXAL 開放語音資料集,首批涵蓋 27 種撒哈拉以南非洲語言,這些語言由超過 100 million 人使用。資料包含約 1,846 小時已轉錄的自然語音 ASR 數據,以及超過 565 小時高保真 TTS 錄音,採用 CC-BY-4.0 授權開放。資料收集由非洲學術及社區組織主導,Google 表示計劃持續擴充語言範圍。
推薦理由:WAXAL 將自然口語 ASR 與高保真 TTS 語料以 CC-BY-4.0 授權開放,呈現支援低資源語言語音技術所需的資料建置基礎。
InnoHK博智感知交互研究中心與港台連續第三年合作,為財政司司長財政預算案演辭直播提供「實時自動生成字幕撮要技術」支援。系統可即時轉錄、翻譯演辭並生成持續更新的撮要,支援廣東話、英語及普通話切換。今年優化撮要重點生成並引入自動評估指標,以提升相關性及準確度,另支援自訂關鍵詞的大語言模型(LLM)翻譯。
Mistral AI 發佈 Voxtral Transcribe 2,包含用於批次轉寫的 Voxtral Mini Transcribe V2,以及面向即時應用的 Voxtral Realtime。
推薦理由:批次版與即時版的定位和能力差異清晰,文章亦列出即時轉寫的延遲設定、開放權重授權及兩款模型的 API 價格,便於比較部署選項。
ServiceNow 擴大對 OpenAI 前沿模型的存取,藉此支援 ServiceNow Platform 上的 AI 驅動企業功能。支援範圍包括企業工作流程、摘要、搜尋及語音。
Google 發佈開放醫療多模態模型 MedGemma 1.5 4B,新增 CT、MRI、病理全切片及胸部 X 光時間序列等醫療影像處理能力。其基準結果較 MedGemma 1 4B 提升,例如 CT 疾病分類準確率為 61%(58%),MRI 為 65%(51%),醫療文本 EHRQA 為 90%(68%)。
推薦理由:MedGemma 1.5 4B 在多項醫療影像與文本基準上較前代提升,文中列出的具體分數可用來比較不同任務的改進幅度。
Tolan 以 GPT-5.1 打造語音優先的 AI 伴侶,結合低延遲回應、即時情境重建與記憶驅動的人格,帶來自然對話體驗。
Google DeepMind 更新 Gemini 2.5 Flash Native Audio,提升其處理複雜工作流、遵循指令及進行多輪語音對話的能力。它在 ComplexFuncBench Audio 得分為 71.5%,開發者指令遵循率由 84% 升至 90%;目前已在 Vertex AI 正式提供,並以預覽版開放 Gemini API。
推薦理由:更新同時改善即時語音 Agent 的函數調用、指令遵循與多輪對話,並以 ComplexFuncBench Audio 的 71.5% 得分呈現多步函數調用表現。
Google Research 推出 Massive Sound Embedding Benchmark(MSEB),以統一框架評估八項機器聽覺能力。基準涵蓋語義與聲學任務,並可評估不同類型的模型;初步實驗顯示,現有聲音表徵在八項任務上仍有明顯提升空間。
Google Research 介紹端到端即時語音到語音翻譯模型,以原説話者聲線輸出譯音,標準延遲為 2 秒。模型採用串流架構及時間同步訓練資料,支援英語與西班牙語、德語、法語、意大利語、葡萄牙語之間的雙向翻譯。相關功能已在 Google Meet 伺服器端提供,並作為 Pixel 10 的內置裝置端功能推出;Pixel Voice Translate 採用級聯式流程以擴大語言覆蓋。
推薦理由:文章説明串流架構如何配合時間同步訓練資料,把語音互譯的標準延遲控制在 2 秒,並以原説話者聲線輸出譯音,可瞭解低延遲與個人化如何結合。
Hugging Face Blog 提出語音複製「同意閘門」設計並提供示例 Space 和程式碼,系統需先確認説話者已明確同意才會啟動。示例會為每次同意生成一組新句子,分別表達明確同意及補充語音的音素多樣性,並以語音識別確認同意語句。作者指出,仍可能有人用另一個 TTS 系統生成相符語句,並列出音訊來源驗證、説話者嵌入向量相似度及即時錄音 metadata 作為可探索方向。
推薦理由:把每次生成的同意語句與語音辨識綁定,並以同一段錄音作複製輸入,展示了將知情同意設為工作流程前置條件的實作思路。
Yum! Brands 透過 Byte by Yum 整合旗下品牌的營運工具,推動全球餐廳的數碼化及 AI 應用。平台於 2025 年推出,現已在全球超過 25,000 間餐廳上線,並處理超過 300 million 張數碼訂單。Taco Bell 會員活躍度按年上升 30%,部分得來速地點使用的語音點餐系統則據初步數據可縮短約 10-20% 等候時間。
InnoHK 博智感知交互研究中心與香港電台合作,在 2025 年《施政報告》直播中使用 CPII會議摘要助理,透過即時轉錄、翻譯及滾動摘要支援廣播。系統支援廣東話、英語及普通話即時轉錄,並可把粵語轉錄內容翻譯成英文。最新版本以修正後的完整句子生成摘要,並調整摘要長度以兼顧準確性與可讀性。
虛擬歌手正由小眾文化走向主流,為東南亞結合音樂、電影與本地文化創作帶來新機會。由中國工程師創作的虛擬歌手 Yuri 結合 Suno、Gemini 及智譜 AI 的 DreamOmniHuman,全球巡演吸引超過 700,000 名粉絲。文章亦指出,AI 複製聲音與外貌引發版權及數碼身份權利問題,馬來西亞需為相關規管作準備。
AI 虛擬歌手已由小眾文化走向主流,文章指出東南亞可結合多語言和本地文化,發展文化創新。Yuri 由中國工程師創作,結合 Suno、Gemini 和智譜 AI 的 DreamOmniHuman,並在全球巡演中吸引超過 700,000 名粉絲。文章亦討論 AI 創作工具在音樂、電影及品牌內容的應用,以及聲音和肖像權帶來的法律挑戰。
Mistral AI 為 Le Chat 推出 Deep Research、語音、多語言推理、Projects 和圖片編輯等新功能。Deep Research(Preview)可搜尋可信來源並生成附參考資料的結構化報告,語音模式採用 Voxtral,多語言推理由 Magistral 驅動,圖片編輯則與 Black Forest Labs 合作。
推薦理由:Le Chat 把研究、語音、多語言推理、Projects 與圖片編輯納入同一產品,呈現其如何覆蓋資訊整理、語音互動和圖像修改等不同任務。
Mistral AI 發佈 Voxtral 語音理解模型,提供 24B 生產級版本及 3B 本地與邊緣部署版本。兩者均以 Apache 2.0 授權發布,並可透過 API 使用;32k token 上下文支援最長 30 分鐘音訊轉錄或 40 分鐘音訊理解,也可對音訊提問及生成摘要。API 價格由每分鐘 $0.001 起。
推薦理由:Voxtral 同時提供 24B 與 3B 版本及 API 使用方式,並列出音訊時長上限和起始價格,方便比較本地部署與雲端接入的適用情境。
Hugging Face 為 Inference Endpoints 推出新的 OpenAI Whisper 部署方案,效能較前一版本最高提升 8 倍。
推薦理由:文章比較三款 Whisper 變體與 Transformers 基線的轉錄速度及 WER,呈現 Large V3 接近 8 倍的 RTFx 提升與各款相若的 WER 表現。
ChatGPT 的視覺與語音功能協助團隊處理多模態輸入,並以更自然的方式溝通。
OpenAI 介紹 API 新一代音訊模型,文字轉語音模型可按開發者指示採用特定説話方式。例如,開發者可要求模型「像富有同理心的客服智能體那樣説話」,為語音智能體提供更多自訂空間。
推薦理由:開發者可用指示控制文字轉語音模型的説話方式,例如採用富有同理心的客服智能體語氣,讓語音智能體的表達方式有更多自訂空間。
博智感知交互研究中心連續兩年與香港電台合作,為財政司司長財政預算案演辭直播提供實時語音轉錄、翻譯及撮要。新功能包括以知識庫識別和修正錯誤、為撮要評分、根據實時轉錄提供人工智能問答,以及手機同步傳譯,讓用戶查看撮要、收聽原聲或即時翻譯語音。
Hugging Face 推出 FastRTC,這是一個讓開發者以 Python 建構即時音訊與影片 AI 應用的通訊程式庫。它內置語音偵測與輪次控制,提供支援 WebRTC 的 Gradio UI,並可將 Stream 掛載至 FastAPI 應用;亦支援 WebSocket。程式庫另提供語音轉文字、文字轉語音等工具,並可接駁不同 LLM、語音 API 或語音到語音模型。
推薦理由:FastRTC 將語音偵測、輪次控制和即時通訊整合起來,並提供 Gradio 測試介面及 FastAPI 部署方式,展示以 Python 搭建即時語音應用的實作流程。
Hugging Face 示範以自訂 Docker 映像,將 Speech-to-Speech(S2S)流程部署至 Hugging Face Inference Endpoints。
推薦理由:文章把多模型語音流程拆解為自訂 Docker 映像、端點設定和 WebSocket 音訊服務等步驟,提供部署複雜推理管線時可參照的實作路徑。
OpenAI 推出 Realtime API,開發者現可在應用程式中構建快速語音到語音體驗。
OpenAI 進一步説明文字轉語音模型 Voice Engine 的運作方式,並分享相關安全研究。內容聚焦於 Voice Engine 背後的技術。
OpenAI 分享從 Voice Engine 小規模預覽中汲取的經驗。Voice Engine 是一款用於建立自訂語音的模型。