跳到正文
3月27日週五
  1. gihyo.jp76

    Google 發佈 Gemini 3.1 Flash Live,提升語音對話並擴展多語言即時搜尋

    Google 於 2026 年 3 月 26 日發佈音訊及語音模型 Gemini 3.1 Flash Live,提升即時對話的語音理解和函數調用能力,並兼顧音質與速度。

    推薦理由:文章把語音理解改進、基準測試表現與 Search Live 擴展至 200 多個國家和地區並列,呈現模型能力如何進入 Google 產品服務。

3月26日週四
  1. Google DeepMind73

    Google DeepMind 推出 Gemini 3.1 Flash Live,提升語音 AI 的自然度與可靠性

    Google DeepMind 推出 Gemini 3.1 Flash Live,提升即時語音對話的精準度並降低延遲。它在 ComplexFuncBench Audio 得分 90.8%,在 Scale AI 的 Audio MultiChallenge 開啟 thinking 時得分 36.1%。

    推薦理由:原文以兩項語音基準呈現多步函數調用與複雜指令跟隨表現,並列出開發者、企業及一般用户的使用入口,可對照其能力與部署場景。

3月25日週三
  1. 通義 QwenAudio:原創語音項目47

    QwenAudio/FunCineForge

    Fun-CineForge 開源面向多元電影場景的零樣本配音數據集流程及模型,並以此建立大型中文電視配音數據集 CineDub-CN,收錄豐富標註及多元場景。模型在獨白、旁白、對話及多説話者場景中,於音質、唇形同步、音色轉換和指令遵循方面持續優於現有先進方法。reW

3月24日週二
  1. Mistral AI66

    Mistral AI 發佈 4B 參數語音生成模型 Voxtral TTS

    Mistral AI 發佈 4B 參數的 Voxtral TTS,支援 9 種語言語音生成。在典型的 10 秒語音樣本和 500 characters 輸入下,模型延遲為 70ms;人評顯示其自然度高於 ElevenLabs Flash v2.5,TTFA 相近。

    推薦理由:原文以人評比較 Voxtral TTS 與 ElevenLabs Flash v2.5 的自然度和 TTFA,並列出模型延遲及 API 定價,提供評估語音智能體應用的具體依據。

3月18日週三
  1. Descript 官方產品更新50

    Descript 2026 年 3 月 17 日產品更新一覽

    Descript 更新色彩調整工具,並把圖片及影片生成整合至同一面板。更新亦改善 Underlord 專案連結、翻譯影片的唇形同步及 Regenerate 音訊自然度,並支援直接匯出 Scenes。上載至 Drive Media Library 的音訊或影片會自動轉錄,逐字稿會與媒體庫檔案一同儲存。

3月16日週一
  1. OpenMOSS / 復旦NLP / 上海創智 / MOSI48

    OpenMOSS/TTSD-eval:多説話人對話生成的客觀評測流程

    OpenMOSS/TTSD-eval 提供多説話人對話生成的客觀評測流程,以説話人歸屬準確率(ACC)和説話人相似度(SIM)為核心指標。WER 作為評估可理解度的補充指標,數值愈低愈好;測試集設有中文和英文子集,每種語言各含 50 段對話樣本。流程使用 MMS-FA 對齊輸入文字與生成音訊,並以輸入稿的説話人標籤核對預測結果。

  2. AiX Society · 原創觀點33

    AI 正重塑「東方荷里活」:虛擬歌手如何改寫音樂與娛樂業的未來

    AI 技術正推動虛擬歌手成為平台化創作工具及 IP 載體,並改變音樂、影視和內容創作模式。中國 AI 虛擬歌手 Yuri 的英文歌曲「Surreal」在全球串流平台累積超過 700 萬次播放;其唇形同步技術由 ByteDance 的 Jimeng OmniHuman 開發,可從單張照片和一首歌自動生成逼真的演唱影片。

  3. AiX Society · 原創觀點33

    AI 正重塑「東方荷里活」:虛擬歌手如何改寫音樂與娛樂的未來

    AI 正把虛擬歌手由單一角色轉變為創作工具與 IP 載體,並重塑音樂、電影、電視及內容創作。中國 AI 虛擬歌手 Yuri 的英文歌曲《Surreal》在全球串流平台累積逾 700 萬次播放;Jimeng OmniHuman 可根據一張相片和一首歌曲自動生成寫實演唱影片。相關技術降低創作門檻,同時引發聲音權利、肖像權及 AI 合成內容標示等爭議。

3月7日週六
  1. Google Research64

    WAXAL 為 27 種撒哈拉以南非洲語言提供大型開放語音資源

    Google Research 推出 WAXAL 開放語音資料集,首批涵蓋 27 種撒哈拉以南非洲語言,這些語言由超過 100 million 人使用。資料包含約 1,846 小時已轉錄的自然語音 ASR 數據,以及超過 565 小時高保真 TTS 錄音,採用 CC-BY-4.0 授權開放。資料收集由非洲學術及社區組織主導,Google 表示計劃持續擴充語言範圍。

    推薦理由:WAXAL 將自然口語 ASR 與高保真 TTS 語料以 CC-BY-4.0 授權開放,呈現支援低資源語言語音技術所需的資料建置基礎。

2月26日週四
  1. CPII 博智感知交互研究中心 · AI 研究及應用33

    博智「實時自動生成字幕撮要技術」連續三年支援財政預算案演辭直播

    InnoHK博智感知交互研究中心與港台連續第三年合作,為財政司司長財政預算案演辭直播提供「實時自動生成字幕撮要技術」支援。系統可即時轉錄、翻譯演辭並生成持續更新的撮要,支援廣東話、英語及普通話切換。今年優化撮要重點生成並引入自動評估指標,以提升相關性及準確度,另支援自訂關鍵詞的大語言模型(LLM)翻譯。

2月13日週五
  1. OpenMOSS / 復旦NLP / 上海創智 / MOSI48

    MOSS-Speech:無需文字引導的端到端語音對語音模型

    MOSS-Speech 實現無需文字引導的端到端語音對語音互動,可直接生成語音而毋須先產生文字。模型以 Qwen3-8B 為基礎,採用模態分層架構及凍結式預訓練策略,在擴展語音模態時保留 LLM 能力。程式碼採用 Apache 2.0 授權;MOSS-Speech-Base 則列為後續發布項目。

2月5日週四
1月20日週二
1月14日週三
  1. Google Research70

    Google 發佈 MedGemma 1.5 4B,介紹 MedASR 醫療語音轉文字模型

    Google 發佈開放醫療多模態模型 MedGemma 1.5 4B,新增 CT、MRI、病理全切片及胸部 X 光時間序列等醫療影像處理能力。其基準結果較 MedGemma 1 4B 提升,例如 CT 疾病分類準確率為 61%(58%),MRI 為 65%(51%),醫療文本 EHRQA 為 90%(68%)。

    推薦理由:MedGemma 1.5 4B 在多項醫療影像與文本基準上較前代提升,文中列出的具體分數可用來比較不同任務的改進幅度。

1月12日週一
  1. Manus:Blog54

    Manus 介紹 Meeting Minutes 會議紀要功能

    Manus 推出 Meeting Minutes,可把面對面會議、訪談或獨白轉成含要點、與會者和待辦事項的結構化筆記。錄音期間會即時轉錄並識別説話者;筆記亦可作為同一任務的上下文,用於製作簡報、網站或社交媒體素材,並邀請他人協作。該功能現已向所有 Manus 用户開放,不適用於線上會議;錄音免費,分析及生成筆記會消耗積分。

1月7日週三
2025年12月23日週二
2025年12月18日週四
2025年12月13日週六
  1. Google DeepMind78

    Google DeepMind 更新 Gemini 2.5 Flash Native Audio,推出即時語音翻譯測試版

    Google DeepMind 更新 Gemini 2.5 Flash Native Audio,提升其處理複雜工作流、遵循指令及進行多輪語音對話的能力。它在 ComplexFuncBench Audio 得分為 71.5%,開發者指令遵循率由 84% 升至 90%;目前已在 Vertex AI 正式提供,並以預覽版開放 Gemini API。

    推薦理由:更新同時改善即時語音 Agent 的函數調用、指令遵循與多輪對話,並以 ComplexFuncBench Audio 的 71.5% 得分呈現多步函數調用表現。

2025年12月12日週五
2025年12月10日週三
2025年12月4日週四
2025年11月19日週三
  1. Google Research75

    Google Research 介紹即時語音到語音翻譯模型,標準延遲為 2 秒

    Google Research 介紹端到端即時語音到語音翻譯模型,以原説話者聲線輸出譯音,標準延遲為 2 秒。模型採用串流架構及時間同步訓練資料,支援英語與西班牙語、德語、法語、意大利語、葡萄牙語之間的雙向翻譯。相關功能已在 Google Meet 伺服器端提供,並作為 Pixel 10 的內置裝置端功能推出;Pixel Voice Translate 採用級聯式流程以擴大語言覆蓋。

    推薦理由:文章説明串流架構如何配合時間同步訓練資料,把語音互譯的標準延遲控制在 2 秒,並以原説話者聲線輸出譯音,可瞭解低延遲與個人化如何結合。

2025年11月12日週三
  1. gihyo.jp64

    第887回:如何使用任意音訊檔案訓練 AI 變聲工具 Seed-VC

    Seed-VC 可用任意數量的音訊檔案訓練,以提升生成聲音與參考音訊的相似度;作者以「つくよみちゃんコーパス」的100個音檔示範流程。文章涵蓋 V2 訓練、即時轉換和 CLI 操作,並指出訓練基本需要 8GiB 以上 VRAM 的 GPU。採用+12dB增幅及高音域削減素材後,轉換聲音較低沉,但風格轉換產生了無意義語音。

2025年11月5日週三
2025年11月4日週二
2025年10月28日週二
  1. Hugging Face Blog65

    Hugging Face Blog 介紹語音複製「同意閘門」設計,並提供示例 Space 和程式碼

    Hugging Face Blog 提出語音複製「同意閘門」設計並提供示例 Space 和程式碼,系統需先確認説話者已明確同意才會啟動。示例會為每次同意生成一組新句子,分別表達明確同意及補充語音的音素多樣性,並以語音識別確認同意語句。作者指出,仍可能有人用另一個 TTS 系統生成相符語句,並列出音訊來源驗證、説話者嵌入向量相似度及即時錄音 metadata 作為可探索方向。

    推薦理由:把每次生成的同意語句與語音辨識綁定,並以同一段錄音作複製輸入,展示了將知情同意設為工作流程前置條件的實作思路。

2025年10月26日週日
  1. FireRedTeam:原創語音與多模態項目58

    FireRedTTS-2 發佈微調程式碼及教學

    FireRedTeam 為 FireRedTTS-2 發佈完整微調程式碼及教學,示例以 LJSpeech 數據集為基礎。團隊表示,該系統支援多語言和零樣本聲音克隆,使用對話數據微調可生成與示範相若的播客內容。

2025年10月21日週二
  1. Sequoia Capital:Stories52

    紅杉資本與 Sesame 合作,並共同領投其 Series B 融資

    紅杉資本與 Sesame 合作,並共同領投其 Series B 融資;Sesame 正開發以語音為先的 AI,並打造可日常佩戴的 AI 眼鏡。其 2 月分享的早期示範以 Maya 和 Miles 兩個角色呈現,最初幾週吸引超過 100 萬人互動,累計對話超過 500 萬分鐘。Sesame 的對話層直接生成語音,呈現自然對話的節奏、情感與表達力,而非只將 LLM 輸出轉成音訊。

2025年10月20日週一
  1. Gemini API:更新日誌31

    October 20, 2025

    Gemini Live API 的 gemini-2.5-flash-preview-native-audio-dialog 和 gemini-2.5-flash-exp-native-audio-thinking-dialog 已停止服務,用戶可改用 gemini-2.5-flash-native-audio-preview-09-2025。

2025年9月27日週六
  1. AiX Society · 原創觀點46

    AI 如何推動 KFC、Pizza Hut 與 Yum! Brands 邁向未來:Byte by Yum 案例研究

    Yum! Brands 透過 Byte by Yum 整合旗下品牌的營運工具,推動全球餐廳的數碼化及 AI 應用。平台於 2025 年推出,現已在全球超過 25,000 間餐廳上線,並處理超過 300 million 張數碼訂單。Taco Bell 會員活躍度按年上升 30%,部分得來速地點使用的語音點餐系統則據初步數據可縮短約 10-20% 等候時間。

2025年9月23日週二
2025年9月18日週四
  1. CPII 博智感知交互研究中心 · AI 研究及應用38

    InnoHK博智感知交互研究中心助力 2025 年《施政報告》: 推動人工智能驅動的廣播新模式

    InnoHK 博智感知交互研究中心與香港電台合作,在 2025 年《施政報告》直播中使用 CPII會議摘要助理,透過即時轉錄、翻譯及滾動摘要支援廣播。系統支援廣東話、英語及普通話即時轉錄,並可把粵語轉錄內容翻譯成英文。最新版本以修正後的完整句子生成摘要,並調整摘要長度以兼顧準確性與可讀性。

2025年9月9日週二
  1. AiX Society · 原創觀點29

    AI 重塑娛樂產業:虛擬歌手如何改寫音樂與電影的未來?

    虛擬歌手正由小眾文化走向主流,為東南亞結合音樂、電影與本地文化創作帶來新機會。由中國工程師創作的虛擬歌手 Yuri 結合 Suno、Gemini 及智譜 AI 的 DreamOmniHuman,全球巡演吸引超過 700,000 名粉絲。文章亦指出,AI 複製聲音與外貌引發版權及數碼身份權利問題,馬來西亞需為相關規管作準備。

  2. AiX Society · 原創觀點30

    AI 如何重塑娛樂業:虛擬歌手如何改寫音樂與電影的未來?

    AI 虛擬歌手已由小眾文化走向主流,文章指出東南亞可結合多語言和本地文化,發展文化創新。Yuri 由中國工程師創作,結合 Suno、Gemini 和智譜 AI 的 DreamOmniHuman,並在全球巡演中吸引超過 700,000 名粉絲。文章亦討論 AI 創作工具在音樂、電影及品牌內容的應用,以及聲音和肖像權帶來的法律挑戰。

2025年8月25日週一
  1. 通義 QwenAudio:原創語音項目44

    QwenAudio/CV3-Eval

    Cosyvoice 3 發佈 CV3-Eval,作為面向真實場景零樣本語音合成的評測基準。數據集採用 Common Voice、FLUERS、EmoBox 及網絡爬取的真實語音,涵蓋多種語言、方言、領域、環境、情緒和風格。評測包括客觀與主觀子集,並衡量內容一致性、説話者相似度及音質。

2025年7月21日週一
  1. OpenAI Developers61

    OpenAI 語音應用入門:三種語音智能體架構的選擇與評估

    OpenAI 語音應用指南介紹三種語音智能體架構:GPT-Live 搭配獨立後端、Realtime API 在單一會話中處理語音、推理與工具使用,以及可逐階段檢視或替換元件的串接式語音管線。指南列出任務與工具結果、對話時序、語音與語言、會話可靠性等評估面向,並建議以 Crawl、Walk、Run 逐步增加測試複雜度。