香港中文大學(深圳)與微軟研究院提出 ConvexLLM,讓聲音接入大語言模型的知識與推理能力
香港中文大學(深圳)與微軟研究院提出多模態建模架構 ConvexLLM,以 C-Gate 將音頻表示映射至語言模型凍結文字詞向量的凸包中。ConvexLLM 在 VoiceBench 11 項任務綜合評測中取得 75.36 分,領先同量級開源權重模型。模型在 BBH 得分為 80.40%,較最強基線高 8.80 個百分點。
香港中文大學(深圳)與微軟研究院提出多模態建模架構 ConvexLLM,以 C-Gate 將音頻表示映射至語言模型凍結文字詞向量的凸包中。ConvexLLM 在 VoiceBench 11 項任務綜合評測中取得 75.36 分,領先同量級開源權重模型。模型在 BBH 得分為 80.40%,較最強基線高 8.80 個百分點。
1 月 31 日發表的四篇 AI 論文分別提出 RAPO 視覺保留方法、VoxMel 無 tokenizer 的 TTS 框架、LoopFill 推測解碼算法,以及 DominoBench 物理推理基準。RAPO 在貪婪解碼下的平均評分由 GRPO 的 27.87 提升至 31.41;VoxMel 的 0.6B 配置在 LibriSpeech 上達到 WER 1.98、SIM 0.721。
VoxMel 提出一種無 tokenizer 的自回歸 TTS 框架,透過可逆的雙軸 Haar 變換拆分 mel 頻譜圖,生成 Coarse-Mel 及殘差層。
eDIAR 以 e-means 在所有説話者槽位用盡後再聚類嵌入向量,無需重新訓練即可解除串流説話者分段的固定人數上限。在長達一小時的會議中,它比 Streaming Sortformer 更準確,而且每次更新的成本不隨會議長度增加;e-means 亦以快數倍的速度達到 Lloyd's k-means 的聚類品質。
Kezek 將雙人單聲道錄音拆分為兩條對應説話者的音軌,供全雙工語音模型使用;音軌保持原錄音的長度和時間位置,重疊發言及短回覆留在相應説話者音軌,兩條音軌相加後與輸入完全一致。
WaveGen 提出以 Spectral Forcing 為基礎的端到端擴散式文字轉波形框架,在單一模型內共同學習頻譜與波形軌跡,無需外部音訊編解碼器、聲碼器、潛在模型或對齊模組。在 Seed-en benchmark 上,WaveGen 的 WER 為 1.47、SIM 為 0.75,並在 Emilia 訓練數據集上達到最先進的文字轉語音表現;模型規模由 0.1B 擴展至 0.6B 參數。
Hugging Face 與 Liva AI 合作,為 Open ASR Leaderboard 加入 Egyptian 和 Nigerian 兩種口音的私有語音數據集。新數據集分別提供 1.34 小時和 1.55 小時的自然對話語音,並採用標點、區分大小寫及保留語音不流暢之處的轉錄。新增口音亦令排行榜可按 Kachru 的三圈模型提供更豐富的口音分類。
GigaSpeech 3 建立涵蓋阿爾及利亞、埃及、伊拉克、沙特及敍利亞阿拉伯語的弱標註語音語料庫,包含 39,000 小時及 10 million 段語音。
Speculative Listening 是一種免訓練、無損的推測解碼框架,利用分塊交錯式全雙工語音語言模型的閒置運算,預先草擬並驗證後續音訊區塊。在八項任務的 TickTock-Bench 上,它令語音區塊加速 2.6-2.8x、工具呼叫區塊最高加速 23.4x,並將回應開始前的解碼延遲平均降低 73% 至 74-241 ms。
VeriSpoof 是一款音訊語言模型,以共用權重整合深偽偵測、生成器歸因、錄音條件分析、合成片段定位和來源驗證五項任務。
TaoMate-HD 是一款自回歸串流模型,透過漸進式去噪及歷史延續,分段生成高解像度音影片內容。相較使用相同模型和硬件直接生成高解像度內容,速度提升 1.6 倍;階段並行部署則較序列式漸進生成再提升 1.9 倍。延續訓練令字符錯誤率較基準降低 11.18 個百分點,模型亦支援生成長達一小時的音影片內容。
七款語音模型在真實新聞廣播上的 WER 相差不超過 0.94 個百分點,排行榜第一的 30B 模型與 0.6B 模型之間的差異未達統計顯著。測試涵蓋 31 段廣播、共 2.6 小時;速度介乎 13x 至 1,117x,每小時音訊成本約為 $0.003 至 $0.220。選擇模型時,吞吐量和服務配置比模型規模更值得考慮。
Neuralink 公佈 VOICE 語音恢復項目的早期可行性研究,報告一名 ALS 參與者使用首週達每分鐘 75 詞輸出,並將大腦訊號轉為文字和語音。在 12.5 萬詞詞庫下,詞錯誤率(WER)為 5.8%。研究計劃招募約 6 名因 ALS、脊髓損傷或中風失去溝通能力的參與者;目前數據來自單一參與者,尚未有經同行評審的完整論文。
Neuralink 於 10 月 28 日公佈 VOICE 語音恢復項目的早期可行性研究,一名 ALS 參與者在使用首週達每分鐘 75 詞輸出。使用 12.5 萬詞詞庫時,詞錯誤率為 5.8%。研究計劃招募約 6 名參與者,首要評估植入後 12 個月內與設備或手術相關的不良事件;目前未有經同行評審的完整論文。
Neuralink 公佈語音恢復項目 VOICE 的早期可行性研究,一名 ALS 參與者使用首周達每分鐘 75 個單詞的輸出速度。在 12.5 萬詞詞庫下,詞錯誤率(WER)為 5.8%。研究計劃招募約 6 名參與者,首要評估植入後 12 個月內的設備或手術相關不良事件;目前數據來自單一參與者,完整論文尚未經同行評審。
TurnTurk-GPT 是以 GPT-2 微調而成的土耳其語文本發言輪替預測器,在錄音分離及説話者分離評估中均勝過多語言偵測器。移除輪次末詞語的後綴,平均精確率(AP)最多下降 44%;移除句內詞語則下降 2%,顯示輪替線索與動詞句末形態有關。模型及評估流程已公開發布。
VoxLock 是一款供語音智能體使用的因果式目標説話者提取模型,可利用通話本身截取的語音樣本,無需預先登記。在 Krisp 的 265 段錄音基準中,WER 為 4.95%,未處理音訊為 23.21%;在 400 個 AMI 會議片段中,WER 由 42.95% 降至 10.63%。
研究測試以 11 種語言訓練的 SLAM-ASR 單語投影器能否讓模型執行零樣本口語理解,結果顯示投影器未能有效傳遞相關能力。回答是非問題的平均指令遵循率為 49.8%,要求以單一數字選項作答時則升至 81.3%。主題分類平衡準確率為 23.2%,低於同一解碼器使用參考轉錄文本時的 71.5%。
Apriel Voice 27B Preview 是一款開放式語音語言模型,在共享推理骨幹中整合語音理解、推理及工具調用,並保留文字和圖像輸入。模型以經後訓練的 Gemma 4 26B-A4B checkpoint 為基礎,透過兩階段訓練及線上蒸餾適配語音。
Yap 比較 Parakeet v3、Whisper large-v3-turbo 與 Apple macOS 26 裝置端語音辨識模型在 25 種語言的表現,並公開所有轉錄內容。
Lipi-Ghor 研究提出大型弱監督孟加拉語語音語料庫,收錄 885 小時音訊,並附有説話者分離的長篇標註及 gold 評測集。語料來自 998 個 YouTube 影片、596 個頻道及 17 個領域,以自動説話者分離結合字幕製成 SSTT 標註;gold 評測集經 17 名志願標註者共 30 小時校訂,研究亦提供可複製的建置流程。
AMBIT 是一套統一框架,透過自回歸場景規劃與 rectified-flow 渲染,生成及編輯一階 Ambisonics(FOA)音訊。框架以可執行 ScenePlans 描述聲源內容、活動及 3D 軌跡,並結合 FOA 專用連續 VAE 和 on-policy 自蒸餾。評測顯示,AMBIT 在語音、音樂及音效生成的內容與空間品質,以及指令引導編輯的音質保真度和未編輯聲源保留方面,優於比較基線。
EchoChat 將共情語音對話建模為感知、心智理論推理和語音回覆生成三個相連環節,並以統一訓練框架協同優化。模型在監督微調階段引入 Acoustic-Anchored Attention(AAA),在強化學習階段採用 Step-Decomposed Credit Assignment(SDCA),針對不同環節提供訓練回饋。
Audible 技術團隊開發可控文字轉語音技術,為有聲書角色生成更具區別度的語音。BookLLM 在 25 本英文及西班牙文書籍中識別角色,準確率分別為 97% 和 94%。測試顯示,角色對白區分度在 MUSHRA 評分中提升 3.7 分,兩種語言的測試中有十種聲線的八種帶來顯著聆聽體驗改善。
香港中文大學(深圳)與安菲翁科技提出 DuplexAgent-RSI,讓語音智能體在執行後台任務時持續對話,並透過測試和驗證改進協作控制層。在 Nvidia-VoiceChat 配置下,Duplex-Harness-RSI 經十輪後將協作得分由 54.6% 提升至 85.3%;改進作用於 Harness,交互模型權重保持不變。
Falcon 是一個因果式音訊視訊目標説話者提取模型,利用目標説話者的嘴部影片,從嘈雜及重疊的語音中提取其聲音。論文提出 RealSSA 基準,涵蓋不同説話者數量、遠近場幹擾、混響及突發噪音,並包括模擬場景和保留的真實錄音評測集。
Sierra 推出 𝜏-Entity,這項基準以 200 項任務、10 類資料欄位評估語音智能體擷取資料、察覺可能錯誤及修正錯誤的能力。排行榜涵蓋 𝜏-i18n 的六種語言,GPT Live 1 在一般通話中準確擷取資料的比例為 60.3%,但三種環境皆成功的 Pass³ 僅為 34.0%。
RubatoCodec 是基於 X-Codec-2 的可變影格率語音編碼器,以固定的長句事件預算和自適應事件編碼,支援串流解碼。受控實驗顯示,在低事件率下,其重建保真度和清晰度優於固定速率編碼;與其他編碼器相比,它在英語和日語基準測試中保留清晰度的表現最佳。用於文字轉語音時,該表示法取得較低 WER、較高 UTMOS 和 UTMOSv2,説話者相似度則相若。
Sierra 推出 τ-i18n,將 τ-Voice 擴展至西班牙語、巴西葡萄牙語、印地語、韓語和普通話五種語言。評測涵蓋航空、零售和電訊任務中的三個語音代理及 2,700 次主要通話,分別衡量任務完成率、互動表現和生成品質;韓語任務完成率平均較英語低 22.6 個百分點。Sierra 開源程式碼庫及 LanguageFactory,供母語人士、研究人員和語言社羣擴展至更多語言和地區設定。
Qwen-Audio-3.1-ASR 模型系列在 Qwen-Audio-3.0-ASR 基礎上提升語音識別能力,並擴展説話人分段轉錄及通用音訊理解。系列支援 30 種語言和 16 種中文方言,提供適用於非同步檔案轉錄、低延遲串流、互動式語音輸入及非串流識別的不同版本。部分版本支援説話人分段轉錄和通用音訊理解,包括音訊問答、聲音事件檢測及音樂描述。
StyleStream 2.0 以少步 MeanFlow 模型降低串流語音轉換延遲,並透過統一的 flow matching 模型支援文字語音設計及指令式語音編輯。系統在消費級 GPU 上的端到端延遲為 520 ms,速度較 StyleStream 1.0 快 2 倍,同時維持轉換品質。評測顯示,其目標風格保真度表現突出,在可懂度及非編輯屬性保留方面亦具競爭力。
Heartbeat Thinking 讓語音智能體在語音更新期間持續推理及準備工具呼叫,並讓進行中的推理和已派發工具完成。在 SpeechFCEval、FDBench v3 和 AudioCRAG 上,該方法相較 SHANKS 式分窗基線提升推測式工具覆蓋率或檢索重用率,對最終任務質素的影響則因基準而異。
SEAM 透過頻譜篩選和嶺迴歸,從已知子詞嵌入初始化未見 token,為低資源 TTS 擴展詞彙。研究涵蓋三種語言和兩種 TTS 架構,使用最多少四倍的訓練數據,仍可接近或達到基準表現;相較隨機初始化和平均池化,樣本複雜度降低 75%。
CoSTA 透過解耦語音對話模型的生成與合成 token 空間,在保留原有語音 tokenizer 和 decoder 的同時,提升生成效率。雙語語音對話基準測試顯示,CoSTA 的擴展語音 token 生成速度約提升 1.7 倍,完整回應延遲更低、吞吐量更高,並維持回應質素。
研究提出輕量方法,利用預訓練語音編碼器的語言選擇性隱藏狀態維度,直接從語音檢測語碼轉換。在 CS-FLEURS 的 14 組語言配對上,Whisper-small 編碼器平均 F1 為 0.798,高於 CNN(0.776)及以單語言語言識別訓練的 HuBERT 線性基線(0.751)。
Fish Audio Drama 3 技術報告介紹一款開源語音生成模型,採用 35B 參數 MoE 骨幹,每個 token 啟用 3B 參數。Drama 3 新增多輪修訂、場景配音、以 infilling 編輯既有語音及串流文字輸入等能力。
墨爾本大學與新南威爾士大學的研究以 VoxMem 評測大型音頻語言模型,發現模型對説話人、語氣及環境聲等聲學資訊的記憶明顯弱於對話文字內容。VoxMem 收錄超過3.4萬段口語會話,總長177小時;在32K tokens下測試的15個模型,整體準確率均低於40%,最佳為38.5%。跨會話聲學狀態追蹤準確率僅0.9%–3.7%;在64K檔位,15個模型中只有10個能完整跑通,環境聲準確率為0.9%。
MIT 研究人員開發以 LLM 為基礎的系統,從數週真實對話學習重複模式,預測用戶下一步的對話行為。研究收集 14 名參與者逾 1,000 小時的自然對話,整理成行為歷史後交由 Gemini 2.5 Pro 預測。結果顯示,情境化模式可改善口語行為預測;參與者重視模式可供閲讀及修訂的透明度。
動態頻帶切分(DBS)是一種端到端音源分離框架,能在固定頻帶 token 預算下,為每個混合音訊學習頻率軸的切分位置。使用 128 個頻帶時,DnR v2 上 BSRNN 的平均 SI-SDR 由 7.69 提升至 9.07 dB,TIGER 則由 8.74 提升至 10.13 dB。程式碼、預訓練模型及音訊範例已在項目頁提供。
Speech Event Detector 是一款 5.8-million-parameter convolutional-Transformer 模型,可識別 54 類説話及背景事件,並將帶時間戳的事件合併至 Whisper 轉錄稿。