ChatGPT 能讀出歌詞,卻難以辨認旋律
作者實測 ChatGPT 語音功能,並測試三種 OpenAI API 路線,發現這些系統能依歌詞辨認歌曲,卻幾乎不能只憑哼唱辨認旋律。在 MTG-QBH 測試中,逐字稿路線和 gpt-audio-1.5 各辨認有歌詞歌曲 71/76 首,gpt-realtime-2.1 辨認 74 首;對 30 段無詞錄音,三者分別只辨認 0、1、1 首。
作者實測 ChatGPT 語音功能,並測試三種 OpenAI API 路線,發現這些系統能依歌詞辨認歌曲,卻幾乎不能只憑哼唱辨認旋律。在 MTG-QBH 測試中,逐字稿路線和 gpt-audio-1.5 各辨認有歌詞歌曲 71/76 首,gpt-realtime-2.1 辨認 74 首;對 30 段無詞錄音,三者分別只辨認 0、1、1 首。
OpenAI 已在 API 提供語音模型 GPT-Live-1.1,新增待機模式,閒置 WebRTC 時段每分鐘收費 $0.02,低於啟用時的 $0.05。模型支援多語言全雙工對話;OpenAI 稱其口音、轉錄、字母與數字處理及任務完成能力有所改善,但未公佈基準分數。待機期間推理會暫停而 WebRTC 連線保持開啟,閒置逾時可設定為 5 至 60 秒。
Qwen-Audio-ASR-Flash-Streaming 是面向低延遲、高並發即時互動的語音識別模型,透過 WebSocket 或 AOQ 長連線逐段輸出文字,RPM 為 1200。
ja-reading-tagger-v1 是一款日語同形異讀標註器,按語境逐段輸出供假名標註顯示的書寫讀音,以及供文字轉語音使用的發音讀音。在 5,000 句封存測試中,整體準確率為 0.9354,高於 Sudachi 的 0.9308;同形異讀測試為 0.7230,勝過字典的 0.5570,但普通文本略低於 Sudachi(0.9360 對 0.9432)。
OpenAI 向開發者開放 GPT-Live-1.1 API,讓第三方可把模型整合至應用程式,構建能即時聆聽、回應及執行複雜任務的語音智能體。GPT-Live-1.1 支援全雙工語音互動,可同時聆聽和説話,並改進多語言處理、指令遵循及語音保真度。它亦可把需要深入推理或工具調用的任務交由開發者選擇的後端模型處理,期間語音對話可繼續;後端可選用 OpenAI 或第三方模型。
2026年11月20日,OpenAI 向全球開發者開放 GPT-Live-1.1 語音模型 API,供開發者整合至應用。模型支援全雙工即時語音交互,可邊聽邊説,並能識別停頓、打斷及語速變化;相較前代,多語言處理、指令遵循和語音保真度顯著提升,尤其強化字母數字等精確資訊的識別。
微軟在 Ignite 2026 公佈 6 款 AI 模型與服務,涵蓋軟件開發、網絡安全、影像生成、即時語音、醫療轉錄及自動化決策。其中 Code 2 和 Code 2 Flash 主攻程式編碼,Cyber 2 Flash 用於漏洞分析,另有 Realtime 1 即時語音模型及 Image 2.7 Flash 影像模型。
Qwen-Audio-3.1-Realtime 是端到端全雙工語音大模型,支援文本與音訊輸入輸出、可打斷對話、Function Calling 及聯網搜尋,提供 Flash 和 Plus 兩個版本。
Rumble-2-Flash 以 Apache 2.0 授權開源,是支援 40+ 種語言的 0.5B 語音辨識模型。在 Open ASR Leaderboard 多語言賽道,它跨 9 種語言的平均錯誤率為 6.96%,優於 Meta 的 omniASR-LLM 7B 和 Whisper large-v3。
推薦理由:文章以多語言辨識榜單及真實客服通話基準比較 Rumble-2-Flash,呈現小型模型在不同語音條件下的錯誤率表現。
Reson8 免費開放下載語音轉錄模型 Rumble-2-Flash 的權重;模型有 500 million parameters,支援超過 40 種語言。據 Reson8 自行測試,模型在涵蓋德語、法語和荷蘭語等 7 種語言的多語測試中,平均詞錯誤率為 7.09%;在 10 種低資源語言測試中為 17.6%,而 Whisper Large V3 在同一測試為 39.82%。
作者以 whisper.cpp v1.9.5 在四種硬件配置測試同一段錄音,medium 在兩款 CPU 上較快;large-v3-turbo 在 CUDA 上較快,在 Intel iGPU 的總耗時則與 medium 相差 15ms。
Microsoft 發佈首款語音對語音模型 MAI Realtime 1,基本語音使用費為每音頻分鐘 0.01 美元;涉及推理時,每百萬輸入 token 收費 1 美元、每百萬輸出 token 收費 5 美元。
Microsoft 在 Ignite 2026 擴大 MAI 模型及能力組合,涵蓋文字與推理、編碼、圖像生成、語音、轉錄及網絡安全。Microsoft-Decision-1.1 決策模型系列及 Microsoft Perception 威脅防禦框架均已正式開放使用;後者結合由 MAI-Cyber 驅動的專用智能體。
微軟在 Ignite 2026 宣佈,Dragon Copilot Transcribe 全面啟用自研語音識別模型 MAI-Transcribe-2。模型支援 60 種語言及中英、印地語-英語混説,詞錯誤率為 5.2%,處理速度達競品的 10 倍。它目前承擔 100% 醫患對話轉寫任務,每月處理約 1000 萬次就診錄音,覆蓋全美約三分之一醫師,並提供説話人區分、詞級時間戳及多模式輸出。
微軟在 Ignite 2026 大會宣佈推出首款語音對語音模型 MAI Realtime 1,定位為面向企業場景的即時語音 AI。基礎語音對語音使用費為每音訊分鐘 0.01 美元,推理另按每百萬輸入 token 1 美元、每百萬輸出 token 5 美元計費。
微軟於2026年11月17日在 Ignite 2026 發佈面向企業場景的實時語音對語音模型 MAI Realtime 1。模型可處理打斷、快速確認、多人聲音混雜及嘈雜環境下的語音互動,並可調用推理引擎、連接企業系統執行預訂及客服任務,且兼容 OpenAI Realtime API。
Microsoft 推出首個自研語音到語音模型 MAI Realtime 1,透過 MAI Labs 提供有限預覽,基本語音互動收費由每分鐘音訊 $0.01 起。
Microsoft AI 在 Ignite 2026 宣佈 7 款新模型,並公佈多款模型相對競品的性能與價格比較。
Microsoft 發佈首個語音到語音模型 MAI Realtime 1,基本語音到語音使用費為每分鐘音訊 $0.01,推理另按 $5 per million output tokens 計費。
Microsoft 在 Ignite 2026 發佈七款新模型,涵蓋網絡安全、編碼、圖像生成、即時語音、轉錄及決策。
推薦理由:文章按網絡安全、日常企業編碼等場景列出基準表現及成本比較,呈現不同模型在任務表現與價格之間的取捨。
Microsoft 推出六款涵蓋編碼、網絡安全、圖像及語音的 AI 模型。Microsoft 稱,MAI Code 2 的表現達 GPT-6.1 Sol 的 98%,價格則為其 40%。
Alibaba Cloud 於 2026 年 11 月 16 日正式開放 Qwen4-Max 使用;該模型採用 2.4T 參數骨幹,每個 token 啟用 71B 參數。
Bland 推出面向電話通話的全雙工語音轉語音模型 Tofu-1,目前以研究預覽版形式提供。模型直接聆聽音訊,並可在説話時聆聽及推理,無須經過文字轉錄;用戶可在通話中打斷或更正它。研究預覽版只向有限數量的企業開放。
騰訊混元發佈實時語音模型 Hy Realtime,具備語音理解、指令遵循、擬人化表達、Agentic 工具調用及唱歌能力。模型已在元寶語音通話和騰訊客服上線,近期將登陸騰訊雲並提供 API;用戶亦可透過最新版元寶 App 選用「初語」音色,或在網頁 Demo 體驗部分能力。
騰訊混元於11月13日發布即時語音模型 Hy Realtime,提升語音理解、指令遵循和擬人化表達能力,並新增智能體工具調用與唱歌能力。模型目前已在元寶語音通話、騰訊客服上線,近期將登陸騰訊雲並對外提供 API 服務。下一階段將重點提升雙工互動、長期個人化記憶及前後台 Agent 互動能力。
騰訊混元正式發佈即時語音模型 Hy Realtime,提升語音理解、指令遵循及擬人化表達能力,並新增智能體工具調用和唱歌能力。模型已在騰訊元寶語音通話及騰訊客服上線,近期將登陸騰訊雲,向開發者和企業客戶提供 API。下一階段將重點提升雙工互動、長期個性化記憶及前後台 Agent 互動能力。
騰訊混元發佈即時語音模型 Hy Realtime,新增智能體工具調用和唱歌能力,並已在元寶語音通話、騰訊客服等產品上線。模型可結合上下文理解不完整或經修改的語音意圖,並判斷是否調用網絡搜尋;近期也將上線騰訊雲並提供 API 服務。
騰訊混元於11月13日發佈全新即時語音模型 Hy Realtime,新增 Agentic 工具調用與唱歌能力。模型在語音理解、指令遵循及擬人化表達等基礎對話能力上表現優異。Hy Realtime 已在元寶語音通話、騰訊客服等產品上線,近期亦將上線騰訊雲並提供 API 服務。
Microsoft 發佈七款自研 MAI 模型,涵蓋推理、編碼、圖像生成、語音轉錄及語音生成。MAI-Code-1-Flash 已整合 GitHub Copilot 和 Visual Studio Code。
Liquid AI 發佈 LiquidCodec,這是一款約 74M 參數的串流語音 codec,可將 24 kHz 語音編碼為語言模型可預測的 token,再解碼還原音訊。
Chariot 發佈 Chariot-1-TTS-Multilingual,支援 11 種印度語言及英語,提供超過 50 種聲線、句內兩種支援語言混讀,以及用數秒參考音訊複製聲線。
字節 Seed 發布 Seed Audio 1.0 音訊創作模型,在統一框架下聯合建模人聲、音效及環境聲,以生成完整聲音場景。模型支援 100ms 間隔精度的時間控制、單次約 2 分鐘音訊生成及 20+ 語種,並已在火山方舟體驗中心上線。
字節 Seed 正式推出 SeedRealtime 原生音影片全雙工大模型,將音訊、影片與文字整合於統一架構,並支援連續多模態資訊流即時互動。它可進行音影片聯合理解、主動介入及對話節奏判斷;端到端人工評測顯示,相較級聯模型,音影片對話節奏問題減少一半。SeedRealtime 已在豆包 App 全量上線,更新至最新版本後,可在對話框選擇「打電話」進入影片通話體驗。
Decagon 推出 Decagon Labs 模型 Alto,負責控制雙向語音智能體的對話層,決定何時發言及説甚麼。Decagon 表示,Alto 在實際客戶通話中令問題解決率提升超過五個百分點,平均回應時間約 700 毫秒。模型推出前曾以超過 90 million 次模擬通話進行測試,並在實際流量中以影子模式評估。
DeepL 推出語音 AI 翻譯模型 Aure,稱其是迄今最具動態感、表現最逼真的語音 AI 模型,能在即時翻譯中重現説話者的語氣、情緒、重音及語速變化。Aure 已支援 DeepL Voice 網頁會議版、DeepL Voice 面對面交談版及 DeepL 語音 API,首發支援英語、德語、西班牙語、法語、意大利語、日語、葡萄牙語及韓語。
Fish Audio 發佈 Live 3,這款面向即時語音智能體的全雙工語音模型可同時聆聽和説話,並在語音模型內處理對話輪次時機。短促回應的決策最快可在 186 ms 內完成,這不是完整回答的首段音訊延遲;Fish Audio 尚未公佈基準分數。
Zyphra 發佈 ZONOS3-Mini,一款採用 MoE 架構、總參數量 800M、每個 token 約有 100M 活躍參數的開源即時文字轉語音模型。模型支援零樣本聲音克隆及逐詞表達控制,權重採 Apache 2.0,並提供 WebGPU、MLX、ggml 和 SGLang-Omni 等部署路徑。
InferenceKey 在單張 32 GB RTX PRO 4500 Blackwell 上實測 NVIDIA Nemotron 3.5 Transcribe,評估提示詞如何選擇逐字稿、清理稿或附逐字時間戳的説話者輸出。
Zyphra 發佈 ZONOS3-Mini,這是一款採用 MoE 架構、支援零樣本聲音克隆的實時 TTS 模型。
Shizuku AI 公佈全雙工模型 Shizuku-Duplex,模型無需等待用戶完成提問便會啟動思考流程。在 6 個參測模型中,其日語對話自然性最高,回應質素僅次於 OpenAI 的 GPT-Live。模型以 80ms 為一個互動「幀」,並每 5min 壓縮一次上下文。