Mistral AI 發佈 Voxtral Transcribe 2,涵蓋批次與即時語音轉文字
Voxtral transcribes at the speed of sound.
Mistral AI 發佈 Voxtral Transcribe 2,包含用於批次轉寫的 Voxtral Mini Transcribe V2,以及面向即時應用的 Voxtral Realtime。
批次版與即時版的定位和能力差異清晰,文章亦列出即時轉寫的延遲設定、開放權重授權及兩款模型的 API 價格,便於比較部署選項。
今天我們推出 Voxtral Transcribe 2,這是一系列兩款新一代語音轉文字模型,具備頂尖轉錄品質、説話者分離功能和極低延遲。系列包括適用於批次轉錄的 Voxtral Mini Transcribe V2,以及適用於即時應用程式的 Voxtral Realtime。Voxtral Realtime 以 Apache 2.0 授權開放權重。
我們亦在 Mistral Studio 推出音訊試用平台,以 Voxtral Transcribe 2 提供説話者分離和時間戳記功能,讓你即時測試轉錄。
重點摘要。
Voxtral Mini Transcribe V2:頂尖轉錄能力,提供説話者分離、上下文偏置,以及 13 種語言的詞級時間戳記。
Voxtral Realtime:專為即時轉錄打造,延遲可調低至 200ms 以下,支援語音代理和即時應用程式。
同級最佳效率:以極低成本實現業界領先準確度;Voxtral Mini Transcribe V2 的詞錯誤率最低,價格亦最便宜。
開放權重:Voxtral Realtime 採用 Apache 2.0 授權,可部署於邊緣裝置,適合以私隱為先的應用程式。
Voxtral Realtime。
Voxtral Realtime 專為重視延遲的應用程式打造。不同於把離線模型切分音訊片段處理的做法,Realtime 採用全新串流架構,音訊一到便即時轉錄。模型的轉錄延遲可調低至 200ms 以下,開創一系列以語音為先的全新應用。

FLEURS 轉錄基準測試中各語言的詞錯誤率(越低越好)。
延遲為 2.4 秒時,Realtime 適合製作字幕,表現可媲美我們最新的批次模型 Voxtral Mini Transcribe V2。延遲為 480ms 時,詞錯誤率仍維持在 1 至 2%,足以支援準確度接近離線轉錄的語音代理。
模型原生支援多種語言,在 13 種語言中均具備出色轉錄表現,包括英語、中文、印地語、西班牙語、阿拉伯語、法語、葡萄牙語、俄語、德語、日語、韓語、意大利語和荷蘭語。模型只有 4B 參數,可在邊緣裝置上高效運行,確保敏感部署的私隱和安全。
我們以 Apache 2.0 授權在 Hugging Face Hub發布模型權重。
Voxtral Mini Transcribe V2。

五項英語基準測試(Switchboard、CallHome、AMI-IHM、AMI-SDM、SBCSAE)和 TalkBank 多語言基準測試(德語、西班牙語、英語、中文、日語)中的平均説話者分離錯誤率(越低越好)。

FLEURS 轉錄基準測試中排名前 10 種語言的平均詞錯誤率(越低越好)。
Voxtral Mini Transcribe V2 在不同語言和領域的轉錄及説話者分離品質均大幅提升。在 FLEURS 的詞錯誤率約為 4%,每分鐘只需 $0.003,是所有轉錄 API 中性價比最高的選擇。它在準確度方面勝過 GPT-4o mini Transcribe、Gemini 2.5 Flash、Assembly Universal 和 Deepgram Nova;處理音訊的速度約為 ElevenLabs Scribe v2 的 3 倍,品質相若,成本則只有五分之一。
模型功能。
Voxtral Mini Transcribe 2 新增多項重要功能。
説話者分離。
生成帶有説話者標籤和精確起止時間的轉錄文本,適用於會議轉錄、訪談分析和多人通話處理。注意:若説話者同時發言,模型通常只會轉錄其中一位。
上下文偏置。
最多提供 100 個詞語或短語,引導模型正確拼寫人名、技術詞彙或特定領域用語。這對模型經常無法辨識的專有名詞或行業術語特別有用。上下文偏置功能針對英語最佳化;其他語言的支援仍屬實驗性質。
詞級時間戳記。
為每個詞生成精確的起止時間戳記,支援字幕生成、音訊搜尋和內容對齊等應用。
擴展語言支援。
與 Realtime 一樣,此模型現支援 13 種語言:英語、中文、印地語、西班牙語、阿拉伯語、法語、葡萄牙語、俄語、德語、日語、韓語、意大利語和荷蘭語。非英語的表現大幅超越競爭產品。
抗噪能力。
在工廠車間、繁忙的聯絡中心和戶外錄音等具挑戰性的聲學環境中,仍能維持轉錄準確度。
支援更長音訊。
單次請求可處理長達 3 小時的錄音。

FLEURS 轉錄基準測試中各語言的詞錯誤率(越低越好)。
音訊試用平台。
在 Mistral Studio直接測試 Voxtral Transcribe 2。你可上載最多 10 個音訊檔案、切換説話者分離功能、選擇時間戳記精細度,並加入特定領域詞彙的上下文偏置詞語。支援 .mp3、.wav、.m4a、.flac、.ogg 格式,每個檔案上限為 1GB。
革新語音應用。
Voxtral 為各行各業的多種應用提供語音工作流程。
會議智能。
以 Voxtral 的價格,透過説話者分離清楚標示發言者及發言時間,高效標註大量會議內容,並維持業界領先的成本效益。語音代理和虛擬助理。
以低於 200ms 的轉錄延遲構建對話式 AI。把 Voxtral Realtime 連接到 LLM 和 TTS 管道,打造自然流暢、反應迅速的語音介面。聯絡中心自動化。
即時轉錄通話,讓 AI 系統可在對話進行期間分析情緒、建議回應並填寫 CRM 欄位。説話者分離可清晰區分客服人員和客戶。媒體和廣播。
以極低延遲生成即時多語言字幕。上下文偏置功能能處理一般轉錄服務難以辨識的專有名詞和技術術語。合規和文件記錄。
監察並轉錄互動內容以符合監管要求;説話者分離能清楚標示發言者,時間戳記則可建立精確的審核記錄。
兩款模型均支援透過安全的本地或私有雲端配置,部署符合 GDPR 和 HIPAA 要求的方案。
立即開始。
Voxtral Mini Transcribe V2現已透過 API 提供,每分鐘 $0.003。立即在全新的 Mistral Studio音訊試用平台或 Le Chat試用。
Voxtral Realtime現已透過 API 提供,每分鐘 $0.006;亦以開放權重形式於 Hugging Face發布。
閲讀文件,深入瞭解 Mistral 的音訊和轉錄能力。
我們正在招聘。
如果你熱衷打造世界級語音 AI,並把前沿模型帶給各地開發者,我們期待收到你的申請。申請加入團隊。
來源:Mistral AI · mistral.ai