跳到正文

#語音

今日 38 條
8月25日週二
  1. Mistral AI55

    Mistral AI 與 HUMAIN 宣佈戰略合作,推進沙特阿拉伯及中東主權 AI

    Mistral AI 與 HUMAIN 宣佈戰略合作,將在沙特阿拉伯及區域內推進 AI 基礎設施、先進模型開發和 AI 解決方案部署。雙方將開發並本地化先進 AI 模型,初期聚焦網絡安全和語音,並計劃開發阿拉伯語表現出色的前沿模型;合作規模達數億歐元。Mistral AI 將探討使用 HUMAIN 的數據中心基礎設施,雙方亦計劃在沙特制定面向受監管行業的共同市場策略。

8月21日週五
  1. Hugging Face Blog54

    研究測量語音辨識模型的基準優化現象

    Hugging Face 的研究提出三項測試衡量語音辨識中的基準優化,並評估 11 個常用開源 ASR 模型,發現多個模型會重現與音訊不符的基準文本。研究在所分析的 VoxPopuli 測試片段中標記出 40% 的潛在參考文本錯誤,涉及約 3% 的參考詞;呈現基準優化行為的模型在相關測試中有 18–30% 的情況會重現錯誤參考文本。

8月11日週二
  1. Sarvam AI55

    Indic DiarBench:面向印度語言的聯合説話人分段與語音識別基準數據集

    Sarvam 與 AI4Bharat 建立 Indic DiarBench,這是一個涵蓋印度憲法列定全部 22 種語言、聯合評估語音識別與説話人分段的開放基準數據集。數據集包含 108 小時自然即興語音,每段錄音有 2–9 名説話者,並涵蓋重疊發言、近場及遠場會議,以及 YouTube 真實對話。轉錄文本和帶説話人歸屬的時間戳均經人工核驗。

8月7日週五
8月3日週一
7月30日週四
7月16日週四
7月15日週三
  1. Hugging Face Blog55

    Real World VoiceEQ 推出語音 AI 真人互動品質評測基準

    Real World VoiceEQ 是一套衡量語音 AI 真人互動品質的新基準,評估 40+ 款專有及開源語音模型,涵蓋 15+ 個評測維度和 60+ 項指標。基準以超過 1 million 次人工評分建立,評測範圍包括 ASR、TTS、S2S 和 Speech Understanding。結果顯示,各模型能力各有側重,而傳統基準可能高估模型在真實對話中的表現。

7月14日週二
7月8日週三
6月24日週三
6月9日週二
6月2日週二
5月7日週四
5月6日週三
5月4日週一
4月16日週四
  1. Google DeepMind68

    Google DeepMind 發佈 Gemini 3.1 Flash TTS,加入音訊標籤細調語音表現

    Google DeepMind 發佈 Gemini 3.1 Flash TTS,提升文字轉語音的可控性、表現力與品質,並加入音訊標籤細調語音表現。模型支援 70+ 種語言及原生多説話者對話,在 Artificial Analysis TTS leaderboard 的 Elo 分數為 1,211。

    推薦理由:文章聚焦音訊標籤如何細調語氣、節奏與表達,並列出 Gemini 3.1 Flash TTS 面向開發者、企業及 Workspace 用户的推出渠道。

4月2日週四
  1. Sarvam AI59

    印度語言 ASR 分層評測指南

    Sarvam AI 介紹印度語言 ASR 的分層評測方法,涵蓋 WER/CER、LLM-WER/LLM-CER、Intent Score、Entity Preservation Score 和 COMET。文中亦介紹兩個適用於任何 Indic ASR 系統的開源評測框架,均使用經 Google Vertex AI 呼叫的 Gemini 作為 LLM 評審。

3月26日週四
  1. Google DeepMind73

    Google DeepMind 推出 Gemini 3.1 Flash Live,提升語音 AI 的自然度與可靠性

    Google DeepMind 推出 Gemini 3.1 Flash Live,提升即時語音對話的精準度並降低延遲。它在 ComplexFuncBench Audio 得分 90.8%,在 Scale AI 的 Audio MultiChallenge 開啟 thinking 時得分 36.1%。

    推薦理由:原文以兩項語音基準呈現多步函數調用與複雜指令跟隨表現,並列出開發者、企業及一般用户的使用入口,可對照其能力與部署場景。

3月24日週二
  1. Mistral AI66

    Mistral AI 發佈 4B 參數語音生成模型 Voxtral TTS

    Mistral AI 發佈 4B 參數的 Voxtral TTS,支援 9 種語言語音生成。在典型的 10 秒語音樣本和 500 characters 輸入下,模型延遲為 70ms;人評顯示其自然度高於 ElevenLabs Flash v2.5,TTFA 相近。

    推薦理由:原文以人評比較 Voxtral TTS 與 ElevenLabs Flash v2.5 的自然度和 TTFA,並列出模型延遲及 API 定價,提供評估語音智能體應用的具體依據。

3月7日週六
  1. Google Research64

    WAXAL 為 27 種撒哈拉以南非洲語言提供大型開放語音資源

    Google Research 推出 WAXAL 開放語音資料集,首批涵蓋 27 種撒哈拉以南非洲語言,這些語言由超過 100 million 人使用。資料包含約 1,846 小時已轉錄的自然語音 ASR 數據,以及超過 565 小時高保真 TTS 錄音,採用 CC-BY-4.0 授權開放。資料收集由非洲學術及社區組織主導,Google 表示計劃持續擴充語言範圍。

    推薦理由:WAXAL 將自然口語 ASR 與高保真 TTS 語料以 CC-BY-4.0 授權開放,呈現支援低資源語言語音技術所需的資料建置基礎。

2月5日週四
1月20日週二
1月14日週三
  1. Google Research70

    Google 發佈 MedGemma 1.5 4B,介紹 MedASR 醫療語音轉文字模型

    Google 發佈開放醫療多模態模型 MedGemma 1.5 4B,新增 CT、MRI、病理全切片及胸部 X 光時間序列等醫療影像處理能力。其基準結果較 MedGemma 1 4B 提升,例如 CT 疾病分類準確率為 61%(58%),MRI 為 65%(51%),醫療文本 EHRQA 為 90%(68%)。

    推薦理由:MedGemma 1.5 4B 在多項醫療影像與文本基準上較前代提升,文中列出的具體分數可用來比較不同任務的改進幅度。

1月12日週一
  1. Manus:Blog54

    Manus 介紹 Meeting Minutes 會議紀要功能

    Manus 推出 Meeting Minutes,可把面對面會議、訪談或獨白轉成含要點、與會者和待辦事項的結構化筆記。錄音期間會即時轉錄並識別説話者;筆記亦可作為同一任務的上下文,用於製作簡報、網站或社交媒體素材,並邀請他人協作。該功能現已向所有 Manus 用户開放,不適用於線上會議;錄音免費,分析及生成筆記會消耗積分。

1月7日週三
12月13日週六
  1. Google DeepMind78

    Google DeepMind 更新 Gemini 2.5 Flash Native Audio,推出即時語音翻譯測試版

    Google DeepMind 更新 Gemini 2.5 Flash Native Audio,提升其處理複雜工作流、遵循指令及進行多輪語音對話的能力。它在 ComplexFuncBench Audio 得分為 71.5%,開發者指令遵循率由 84% 升至 90%;目前已在 Vertex AI 正式提供,並以預覽版開放 Gemini API。

    推薦理由:更新同時改善即時語音 Agent 的函數調用、指令遵循與多輪對話,並以 ComplexFuncBench Audio 的 71.5% 得分呈現多步函數調用表現。

12月4日週四
11月19日週三
  1. Google Research75

    Google Research 介紹即時語音到語音翻譯模型,標準延遲為 2 秒

    Google Research 介紹端到端即時語音到語音翻譯模型,以原説話者聲線輸出譯音,標準延遲為 2 秒。模型採用串流架構及時間同步訓練資料,支援英語與西班牙語、德語、法語、意大利語、葡萄牙語之間的雙向翻譯。相關功能已在 Google Meet 伺服器端提供,並作為 Pixel 10 的內置裝置端功能推出;Pixel Voice Translate 採用級聯式流程以擴大語言覆蓋。

    推薦理由:文章説明串流架構如何配合時間同步訓練資料,把語音互譯的標準延遲控制在 2 秒,並以原説話者聲線輸出譯音,可瞭解低延遲與個人化如何結合。

10月28日週二
  1. Hugging Face Blog65

    Hugging Face Blog 介紹語音複製「同意閘門」設計,並提供示例 Space 和程式碼

    Hugging Face Blog 提出語音複製「同意閘門」設計並提供示例 Space 和程式碼,系統需先確認説話者已明確同意才會啟動。示例會為每次同意生成一組新句子,分別表達明確同意及補充語音的音素多樣性,並以語音識別確認同意語句。作者指出,仍可能有人用另一個 TTS 系統生成相符語句,並列出音訊來源驗證、説話者嵌入向量相似度及即時錄音 metadata 作為可探索方向。

    推薦理由:把每次生成的同意語句與語音辨識綁定,並以同一段錄音作複製輸入,展示了將知情同意設為工作流程前置條件的實作思路。

10月26日週日
7月21日週一
  1. OpenAI Developers61

    OpenAI 語音應用入門:三種語音智能體架構的選擇與評估

    OpenAI 語音應用指南介紹三種語音智能體架構:GPT-Live 搭配獨立後端、Realtime API 在單一會話中處理語音、推理與工具使用,以及可逐階段檢視或替換元件的串接式語音管線。指南列出任務與工具結果、對話時序、語音與語言、會話可靠性等評估面向,並建議以 Crawl、Walk、Run 逐步增加測試複雜度。

  2. OpenAI Developers61

    OpenAI Realtime API 即時轉錄指南:工作階段設定與延遲調校

    OpenAI Realtime API 的即時轉錄指南説明如何建立即時音訊轉錄工作階段,接收隨語音到達的逐步文本,並在提交每個音訊回合後取得最終轉錄。指南建議使用 gpt-live-transcribe,伺服器端音訊管線可用 WebSocket,瀏覽器音訊可用 WebRTC。較高的 delay 會讓模型取得更多音訊上下文並可能改善詞錯誤率,設定應以具代表性的真實音訊測試。

7月18日週五