跳到正文
目前篩選:論文
11月19日週四
  1. 新浪科技48

    香港中文大學(深圳)與微軟研究院提出 ConvexLLM,讓聲音接入大語言模型的知識與推理能力

    香港中文大學(深圳)與微軟研究院提出多模態建模架構 ConvexLLM,以 C-Gate 將音頻表示映射至語言模型凍結文字詞向量的凸包中。ConvexLLM 在 VoiceBench 11 項任務綜合評測中取得 75.36 分,領先同量級開源權重模型。模型在 BBH 得分為 80.40%,較最強基線高 8.80 個百分點。

11月18日週三
  1. DEV Community40

    四篇新 AI 論文推進推理、TTS 與解碼效率

    1 月 31 日發表的四篇 AI 論文分別提出 RAPO 視覺保留方法、VoxMel 無 tokenizer 的 TTS 框架、LoopFill 推測解碼算法,以及 DominoBench 物理推理基準。RAPO 在貪婪解碼下的平均評分由 GRPO 的 27.87 提升至 31.41;VoxMel 的 0.6B 配置在 LibriSpeech 上達到 WER 1.98、SIM 0.721。

11月15日週日
11月13日週五
  1. HuggingFace Daily Papers(社區熱門論文)47

    eDIAR:透過 e-means 實現免訓練的開放説話者串流分段,適用於長會議和大型檔案庫

    eDIAR 以 e-means 在所有説話者槽位用盡後再聚類嵌入向量,無需重新訓練即可解除串流説話者分段的固定人數上限。在長達一小時的會議中,它比 Streaming Sortformer 更準確,而且每次更新的成本不隨會議長度增加;e-means 亦以快數倍的速度達到 Lloyd's k-means 的聚類品質。

11月12日週四
11月11日週三
  1. HuggingFace Daily Papers(社區熱門論文)42

    WaveGen:透過內部頻譜軌跡學習實現真正端到端的波形生成

    WaveGen 提出以 Spectral Forcing 為基礎的端到端擴散式文字轉波形框架,在單一模型內共同學習頻譜與波形軌跡,無需外部音訊編解碼器、聲碼器、潛在模型或對齊模組。在 Seed-en benchmark 上,WaveGen 的 WER 為 1.47、SIM 為 0.75,並在 Emilia 訓練數據集上達到最先進的文字轉語音表現;模型規模由 0.1B 擴展至 0.6B 參數。

11月6日週五
  1. Hugging Face Blog40

    Egyptian and Nigerian English 加入 Open ASR Leaderboard

    Hugging Face 與 Liva AI 合作,為 Open ASR Leaderboard 加入 Egyptian 和 Nigerian 兩種口音的私有語音數據集。新數據集分別提供 1.34 小時和 1.55 小時的自然對話語音,並採用標點、區分大小寫及保留語音不流暢之處的轉錄。新增口音亦令排行榜可按 Kachru 的三圈模型提供更豐富的口音分類。

11月4日週三
  1. HuggingFace Daily Papers(社區熱門論文)47

    先解碼再聆聽:分塊交錯式全雙工語音語言模型的 Speculative Listening

    Speculative Listening 是一種免訓練、無損的推測解碼框架,利用分塊交錯式全雙工語音語言模型的閒置運算,預先草擬並驗證後續音訊區塊。在八項任務的 TickTock-Bench 上,它令語音區塊加速 2.6-2.8x、工具呼叫區塊最高加速 23.4x,並將回應開始前的解碼延遲平均降低 73% 至 74-241 ms。

11月3日週二
11月2日週一
  1. HuggingFace Daily Papers(社區熱門論文)43

    TaoMate-HD:漸進式解像度自回歸音影片生成

    TaoMate-HD 是一款自回歸串流模型,透過漸進式去噪及歷史延續,分段生成高解像度音影片內容。相較使用相同模型和硬件直接生成高解像度內容,速度提升 1.6 倍;階段並行部署則較序列式漸進生成再提升 1.9 倍。延續訓練令字符錯誤率較基準降低 11.18 個百分點,模型亦支援生成長達一小時的音影片內容。

10月31日週六
  1. DEV Community47

    真實新聞廣播中的七款語音模型:排行榜第一與 0.6B 模型表現相若

    七款語音模型在真實新聞廣播上的 WER 相差不超過 0.94 個百分點,排行榜第一的 30B 模型與 0.6B 模型之間的差異未達統計顯著。測試涵蓋 31 段廣播、共 2.6 小時;速度介乎 13x 至 1,117x,每小時音訊成本約為 $0.003 至 $0.220。選擇模型時,吞吐量和服務配置比模型規模更值得考慮。

10月30日週五
  1. 新浪科技68

    Neuralink 公佈 VOICE 早期可行性研究:一名 ALS 參與者首週達每分鐘 75 詞輸出

    Neuralink 公佈 VOICE 語音恢復項目的早期可行性研究,報告一名 ALS 參與者使用首週達每分鐘 75 詞輸出,並將大腦訊號轉為文字和語音。在 12.5 萬詞詞庫下,詞錯誤率(WER)為 5.8%。研究計劃招募約 6 名因 ALS、脊髓損傷或中風失去溝通能力的參與者;目前數據來自單一參與者,尚未有經同行評審的完整論文。

  2. 新浪科技66

    Neuralink 公佈 VOICE 早期可行性研究,ALS 參與者使用首週達每分鐘 75 詞輸出

    Neuralink 於 10 月 28 日公佈 VOICE 語音恢復項目的早期可行性研究,一名 ALS 參與者在使用首週達每分鐘 75 詞輸出。使用 12.5 萬詞詞庫時,詞錯誤率為 5.8%。研究計劃招募約 6 名參與者,首要評估植入後 12 個月內與設備或手術相關的不良事件;目前未有經同行評審的完整論文。

  3. IT之家65

    Neuralink 公佈 VOICE 早期研究數據,ALS 參與者使用首周達每分鐘 75 個單詞

    Neuralink 公佈語音恢復項目 VOICE 的早期可行性研究,一名 ALS 參與者使用首周達每分鐘 75 個單詞的輸出速度。在 12.5 萬詞詞庫下,詞錯誤率(WER)為 5.8%。研究計劃招募約 6 名參與者,首要評估植入後 12 個月內的設備或手術相關不良事件;目前數據來自單一參與者,完整論文尚未經同行評審。

  4. HuggingFace Daily Papers(社區熱門論文)40

    TurnTurk-GPT:土耳其語文本發言輪替預測

    TurnTurk-GPT 是以 GPT-2 微調而成的土耳其語文本發言輪替預測器,在錄音分離及説話者分離評估中均勝過多語言偵測器。移除輪次末詞語的後綴,平均精確率(AP)最多下降 44%;移除句內詞語則下降 2%,顯示輪替線索與動詞句末形態有關。模型及評估流程已公開發布。

10月29日週四
  1. Cohere Labs:官方研究博客42

    SLAM-ASR 的單語 ASR 訓練線性投影器能實現甚麼零樣本口語理解?

    研究測試以 11 種語言訓練的 SLAM-ASR 單語投影器能否讓模型執行零樣本口語理解,結果顯示投影器未能有效傳遞相關能力。回答是非問題的平均指令遵循率為 49.8%,要求以單一數字選項作答時則升至 81.3%。主題分類平衡準確率為 23.2%,低於同一解碼器使用參考轉錄文本時的 71.5%。

10月26日週一
  1. HuggingFace Daily Papers(社區熱門論文)54

    Lipi-Ghor 研究提出大型多領域、具説話者分離標註的孟加拉語語音語料庫及可擴展建置流程

    Lipi-Ghor 研究提出大型弱監督孟加拉語語音語料庫,收錄 885 小時音訊,並附有説話者分離的長篇標註及 gold 評測集。語料來自 998 個 YouTube 影片、596 個頻道及 17 個領域,以自動説話者分離結合字幕製成 SSTT 標註;gold 評測集經 17 名志願標註者共 30 小時校訂,研究亦提供可複製的建置流程。

10月25日週日
  1. HuggingFace Daily Papers(社區熱門論文)39

    AMBIT 以可執行計劃及自蒸餾 Transfusion 生成與編輯空間音訊

    AMBIT 是一套統一框架,透過自回歸場景規劃與 rectified-flow 渲染,生成及編輯一階 Ambisonics(FOA)音訊。框架以可執行 ScenePlans 描述聲源內容、活動及 3D 軌跡,並結合 FOA 專用連續 VAE 和 on-policy 自蒸餾。評測顯示,AMBIT 在語音、音樂及音效生成的內容與空間品質,以及指令引導編輯的音質保真度和未編輯聲源保留方面,優於比較基線。

10月24日週六
  1. 新浪科技41

    NeurIPS 26:EchoChat 如何理解並表達共情

    EchoChat 將共情語音對話建模為感知、心智理論推理和語音回覆生成三個相連環節,並以統一訓練框架協同優化。模型在監督微調階段引入 Acoustic-Anchored Attention(AAA),在強化學習階段採用 Step-Decomposed Credit Assignment(SDCA),針對不同環節提供訓練回饋。

  2. Amazon Science46

    Audible 改善有聲書語音合成

    Audible 技術團隊開發可控文字轉語音技術,為有聲書角色生成更具區別度的語音。BookLLM 在 25 本英文及西班牙文書籍中識別角色,準確率分別為 97% 和 94%。測試顯示,角色對白區分度在 MUSHRA 評分中提升 3.7 分,兩種語言的測試中有十種聲線的八種帶來顯著聆聽體驗改善。

10月23日週五
10月22日週四
  1. HuggingFace Daily Papers(社區熱門論文)39

    RubatoCodec:具固定語音長句事件預算的自適應語音標記化與串流解碼

    RubatoCodec 是基於 X-Codec-2 的可變影格率語音編碼器,以固定的長句事件預算和自適應事件編碼,支援串流解碼。受控實驗顯示,在低事件率下,其重建保真度和清晰度優於固定速率編碼;與其他編碼器相比,它在英語和日語基準測試中保留清晰度的表現最佳。用於文字轉語音時,該表示法取得較低 WER、較高 UTMOS 和 UTMOSv2,説話者相似度則相若。

  2. Sierra:Blog54

    τ-i18n 評估跨語言語音代理,並衡量任務完成以外的表現

    Sierra 推出 τ-i18n,將 τ-Voice 擴展至西班牙語、巴西葡萄牙語、印地語、韓語和普通話五種語言。評測涵蓋航空、零售和電訊任務中的三個語音代理及 2,700 次主要通話,分別衡量任務完成率、互動表現和生成品質;韓語任務完成率平均較英語低 22.6 個百分點。Sierra 開源程式碼庫及 LanguageFactory,供母語人士、研究人員和語言社羣擴展至更多語言和地區設定。

10月20日週二
  1. HuggingFace Daily Papers(社區熱門論文)34

    Qwen-Audio-3.1-ASR 技術報告

    Qwen-Audio-3.1-ASR 模型系列在 Qwen-Audio-3.0-ASR 基礎上提升語音識別能力,並擴展説話人分段轉錄及通用音訊理解。系列支援 30 種語言和 16 種中文方言,提供適用於非同步檔案轉錄、低延遲串流、互動式語音輸入及非串流識別的不同版本。部分版本支援説話人分段轉錄和通用音訊理解,包括音訊問答、聲音事件檢測及音樂描述。

  2. HuggingFace Daily Papers(社區熱門論文)41

    StyleStream 2.0:快速、可控的串流語音風格轉換

    StyleStream 2.0 以少步 MeanFlow 模型降低串流語音轉換延遲,並透過統一的 flow matching 模型支援文字語音設計及指令式語音編輯。系統在消費級 GPU 上的端到端延遲為 520 ms,速度較 StyleStream 1.0 快 2 倍,同時維持轉換品質。評測顯示,其目標風格保真度表現突出,在可懂度及非編輯屬性保留方面亦具競爭力。

10月19日週一
  1. HuggingFace Daily Papers(社區熱門論文)45

    Heartbeat Thinking:語音智能體在聆聽期間進行推測式推理與工具執行

    Heartbeat Thinking 讓語音智能體在語音更新期間持續推理及準備工具呼叫,並讓進行中的推理和已派發工具完成。在 SpeechFCEval、FDBench v3 和 AudioCRAG 上,該方法相較 SHANKS 式分窗基線提升推測式工具覆蓋率或檢索重用率,對最終任務質素的影響則因基準而異。

10月15日週四
10月14日週三
10月13日週二
  1. 比特網 AI57

    VoxMem 研究指出,大型音頻語言模型的記憶短板在聲音資訊而非上下文長度

    墨爾本大學與新南威爾士大學的研究以 VoxMem 評測大型音頻語言模型,發現模型對説話人、語氣及環境聲等聲學資訊的記憶明顯弱於對話文字內容。VoxMem 收錄超過3.4萬段口語會話,總長177小時;在32K tokens下測試的15個模型,整體準確率均低於40%,最佳為38.5%。跨會話聲學狀態追蹤準確率僅0.9%–3.7%;在64K檔位,15個模型中只有10個能完整跑通,環境聲準確率為0.9%。

  2. Unite.AI47

    MIT 新 AI 系統從過往對話預測用戶下一步的對話行為

    MIT 研究人員開發以 LLM 為基礎的系統,從數週真實對話學習重複模式,預測用戶下一步的對話行為。研究收集 14 名參與者逾 1,000 小時的自然對話,整理成行為歷史後交由 Gemini 2.5 Pro 預測。結果顯示,情境化模式可改善口語行為預測;參與者重視模式可供閲讀及修訂的透明度。

10月10日週六
  1. HuggingFace Daily Papers(社區熱門論文)39

    Learning Where to Split: Dynamic Band Splitting for Audio Source Separation

    動態頻帶切分(DBS)是一種端到端音源分離框架,能在固定頻帶 token 預算下,為每個混合音訊學習頻率軸的切分位置。使用 128 個頻帶時,DnR v2 上 BSRNN 的平均 SI-SDR 由 7.69 提升至 9.07 dB,TIGER 則由 8.74 提升至 10.13 dB。程式碼、預訓練模型及音訊範例已在項目頁提供。

10月9日週五