Mistral AI 發佈 Voxtral 語音理解模型
Voxtral
Mistral AI 發佈 Voxtral 語音理解模型,提供 24B 生產級版本及 3B 本地與邊緣部署版本。兩者均以 Apache 2.0 授權發布,並可透過 API 使用;32k token 上下文支援最長 30 分鐘音訊轉錄或 40 分鐘音訊理解,也可對音訊提問及生成摘要。API 價格由每分鐘 $0.001 起。
Voxtral 同時提供 24B 與 3B 版本及 API 使用方式,並列出音訊時長上限和起始價格,方便比較本地部署與雲端接入的適用情境。

語音:最原始的使用者介面。
早在文字和打字出現之前,語音已是人類最初的介面,讓我們分享想法、協調工作並建立關係。隨著數碼系統日益強大,語音正回歸成為人類與電腦互動最自然的方式。
然而,現今系統仍有侷限:不可靠、屬專有技術,而且在真實環境中過於脆弱。要彌合這個差距,需要具備出色轉錄能力、深入理解、多語言流暢度,以及開放靈活部署方式的工具。
我們推出 Voxtral 模型,推動這個未來加速實現。這些最先進的語音理解模型有兩種尺寸:適用於生產規模應用的 24B 版本,以及適用於本機和邊緣部署的 3B 版本。兩個版本均以 Apache 2.0 授權發布,也可透過我們的 API 使用。API 會將轉錄請求轉送至經轉錄最佳化的 Voxtral Mini 版本(Voxtral Mini Transcribe),提供無可比擬的成本效益和低延遲。若要全面瞭解 Voxtral 背後的研究和開發,請參閲我們的詳細研究論文,可在此下載。
為所有人提供開放、價格相宜、可投入生產的語音理解能力。
直到最近,要在正式環境中真正運用語音智能,仍要在以下兩種取捨之間作選擇:
開源 ASR 系統,但字詞錯誤率高、語義理解能力有限
封閉的專有 API,兼具出色轉錄和語言理解能力,但成本高得多,而且部署控制權較少
Voxtral 彌合了這個差距。它以開放方式提供最先進的準確度和原生語義理解能力,價格不到同類 API 的一半,讓高質素語音智能得以大規模使用並受控。
兩款 Voxtral 模型都不止能進行簡單轉錄,還具備以下能力:
長篇內容理解:支援 32k token 上下文長度;Voxtral 可轉錄最長 30 分鐘的音訊,或理解最長 40 分鐘的音訊
內置問答和摘要:可直接就音訊內容提問,或生成結構化摘要,毋須串接獨立的 ASR 和語言模型
原生多語言能力:自動偵測語言,並在全球最廣泛使用的語言(包括英語、西班牙語、法語、葡萄牙語、印地語、德語、荷蘭語、意大利語等)中達到最先進表現,助團隊以單一系統服務全球受眾
直接透過語音呼叫函數:根據用戶口述意圖,直接觸發後端函數、工作流程或 API 呼叫,無須中間解析步驟,即可將語音互動轉化為可執行的系統指令。
強大的文本能力:保留其語言模型骨幹 Mistral Small 3.1 的文本理解能力
這些能力令 Voxtral 模型非常適合真實互動和後續操作,例如摘要、回答、分析和洞見。對成本敏感的用途,Voxtral Mini Transcribe 的表現勝過 OpenAI Whisper,價格不到一半。對高階用途,Voxtral Small 的表現媲美 ElevenLabs Scribe,價格同樣不到一半。
基準測試
語音轉錄
為評估 Voxtral 的轉錄能力,我們使用多項英語和多語言基準測試。每項任務均報告各語言字詞錯誤率的宏平均值(越低越好)。英語則分別報告短篇(<30-seconds)和長篇(>30-seconds)的平均值。
Voxtral 全面勝過目前領先的開源語音轉錄模型 Whisper large-v3。它在所有任務中均勝過 GPT-4o mini Transcribe 和 Gemini 2.5 Flash,並在英語短篇和 Mozilla Common Voice 基準測試中取得最先進成績,超越 ElevenLabs Scribe,展現強大的多語言能力。

在 FLEURS 的多語言評估中,Voxtral Small 在每項任務都勝過 Whisper,並在多種歐洲語言中達到最先進表現。

宏平均的詳細內容:
英語短篇:LibriSpeech Clean、LibriSpeech Other、GigaSpeech、VoxPopuli、Switchboard、CHiME-4、SPGISpeech
英語長篇:Earnings-21 10-m、Earnings-22 10-m
Mozilla Common Voice 15.1:英語、法語、德語、西班牙語、意大利語、葡萄牙語、荷蘭語、印地語
FLEURS:英語、法語、德語、西班牙語、意大利語、葡萄牙語、荷蘭語、印地語、阿拉伯語
音訊理解
Voxtral Small 和 Mini 能直接根據語音回答問題,也能同時使用音訊和文字提示作答。為評估音訊理解能力,我們建立了三項常見文本理解任務的語音合成版本。我們亦使用內部音訊理解(AU)基準測試評估模型,要求模型回答 40 個長篇音訊範例中的難題。最後,我們在 FLEURS-Translation 基準測試評估語音翻譯能力。
Voxtral Small 在所有任務中的表現均可媲美 GPT-4o-mini 和 Gemini 2.5 Flash,並在語音翻譯方面達到最先進表現。

文字
Voxtral 保留其語言模型骨幹的文本能力,可直接取代 Ministral 和 Mistral Small 3.1 使用。

免費試用
無論你是在手提電腦上製作原型、在本地部署私人工作負載,還是在雲端擴展至生產規模,開始使用都很簡單。
下載並在本機執行:Voxtral(24B)和 Voxtral Mini(3B)均可在 Hugging Face 下載
試用 API:只需一次 API 呼叫,即可在應用程式整合前沿語音智能。價格由每分鐘 $0.001 起,讓高質素轉錄和理解服務得以普及。請參閲我們的説明文件。
在 Le Chat 試用:在 Le Chat 的語音模式體驗 Voxtral(未來數星期內會陸續向所有用戶推出),可在網頁或流動版使用。錄製或上載音訊、取得轉錄、提問或生成摘要。
進階企業功能。
我們亦為 Voxtral 提供企業專用能力,滿足更高安全性、更大規模或特定領域需求。若你正考慮以下方案,請聯絡我們:
生產規模的私人部署:我們的方案團隊可協助你在自家基礎設施內部,為生產規模推論部署 Voxtral。這特別適合有嚴格數據私隱要求的受規管行業。我們亦會提供指引和工具,協助你在多個 GPU 或節點上部署 Voxtral,並採用針對生產吞吐量和成本效益最佳化的量化版本。
領域專用微調:與我們的應用 AI團隊合作,針對法律、醫療、客戶支援或內部知識庫等專門情境調整 Voxtral,提升它在你使用場景中的準確度。
進階上下文能力:我們正邀請設計合作夥伴,一同建立説話者識別、情緒偵測、進階説話者分離,以及更長上下文視窗等功能,以便開箱即用地滿足更多需求。
專屬整合支援:優先獲得工程資源和顧問協助,將 Voxtral 順利整合至現有工作流程、產品或數據管道。
即將推出。
我們將與 Inworld 的朋友舉辦網上直播研討會(可看看他們使用 Voxtral 和 Inworld TTS 的精彩語音轉語音示範!),展示如何建立端對端語音代理。活動將於 8 月 6 日(星期三)舉行。若有興趣,請在此登記。
我們正努力在未來數月豐富音訊功能。除了語音理解之外,我們很快亦會支援:
説話者分段
年齡和情緒等音訊標記
字詞級時間戳
非語音音訊識別
以及更多功能!
我們很期待看看你會用 Voxtral 創作甚麼。
順帶一提,我們正在招聘!
Voxtral 模型的發布是重要進展,但我們的旅程尚未完結。我們的目標是打造最自然、最愉悦、近似人類的語音介面,還有很多工作要做。我們正積極擴展剛成立的音訊團隊,尋找志同道合、才華出眾的研究科學家和工程師。
若你有興趣加入我們普及人工智能的使命,歡迎加入團隊!
來源:Mistral AI · mistral.ai