跳到正文
Mistral AI·· 2025-07-15精選AI 評分77

Mistral AI 發佈 Voxtral 語音理解模型

Voxtral

AI 導讀

Mistral AI 發佈 Voxtral 語音理解模型,提供 24B 生產級版本及 3B 本地與邊緣部署版本。兩者均以 Apache 2.0 授權發布,並可透過 API 使用;32k token 上下文支援最長 30 分鐘音訊轉錄或 40 分鐘音訊理解,也可對音訊提問及生成摘要。API 價格由每分鐘 $0.001 起。

推薦理由

Voxtral 同時提供 24B 與 3B 版本及 API 使用方式,並列出音訊時長上限和起始價格,方便比較本地部署與雲端接入的適用情境。

正文 · 繁體中文
Triangle Voxtral Blog

語音:最原始的使用者介面。

早在文字和打字出現之前,語音已是人類最初的介面,讓我們分享想法、協調工作並建立關係。隨著數碼系統日益強大,語音正回歸成為人類與電腦互動最自然的方式。

然而,現今系統仍有侷限:不可靠、屬專有技術,而且在真實環境中過於脆弱。要彌合這個差距,需要具備出色轉錄能力、深入理解、多語言流暢度,以及開放靈活部署方式的工具。

我們推出 Voxtral 模型,推動這個未來加速實現。這些最先進的語音理解模型有兩種尺寸:適用於生產規模應用的 24B 版本,以及適用於本機和邊緣部署的 3B 版本。兩個版本均以 Apache 2.0 授權發布,也可透過我們的 API 使用。API 會將轉錄請求轉送至經轉錄最佳化的 Voxtral Mini 版本(Voxtral Mini Transcribe),提供無可比擬的成本效益和低延遲。若要全面瞭解 Voxtral 背後的研究和開發,請參閲我們的詳細研究論文,可在此下載。 

為所有人提供開放、價格相宜、可投入生產的語音理解能力。 

直到最近,要在正式環境中真正運用語音智能,仍要在以下兩種取捨之間作選擇:

  1. 開源 ASR 系統,但字詞錯誤率高、語義理解能力有限

  2. 封閉的專有 API,兼具出色轉錄和語言理解能力,但成本高得多,而且部署控制權較少

Voxtral 彌合了這個差距。它以開放方式提供最先進的準確度和原生語義理解能力,價格不到同類 API 的一半,讓高質素語音智能得以大規模使用並受控。 

兩款 Voxtral 模型都不止能進行簡單轉錄,還具備以下能力:

  • 長篇內容理解:支援 32k token 上下文長度;Voxtral 可轉錄最長 30 分鐘的音訊,或理解最長 40 分鐘的音訊 

  • 內置問答和摘要:可直接就音訊內容提問,或生成結構化摘要,毋須串接獨立的 ASR 和語言模型

  • 原生多語言能力:自動偵測語言,並在全球最廣泛使用的語言(包括英語、西班牙語、法語、葡萄牙語、印地語、德語、荷蘭語、意大利語等)中達到最先進表現,助團隊以單一系統服務全球受眾

  • 直接透過語音呼叫函數:根據用戶口述意圖,直接觸發後端函數、工作流程或 API 呼叫,無須中間解析步驟,即可將語音互動轉化為可執行的系統指令。

  • 強大的文本能力:保留其語言模型骨幹 Mistral Small 3.1 的文本理解能力

這些能力令 Voxtral 模型非常適合真實互動和後續操作,例如摘要、回答、分析和洞見。對成本敏感的用途,Voxtral Mini Transcribe 的表現勝過 OpenAI Whisper,價格不到一半。對高階用途,Voxtral Small 的表現媲美 ElevenLabs Scribe,價格同樣不到一半。

基準測試

語音轉錄

為評估 Voxtral 的轉錄能力,我們使用多項英語和多語言基準測試。每項任務均報告各語言字詞錯誤率的宏平均值(越低越好)。英語則分別報告短篇(<30-seconds)和長篇(>30-seconds)的平均值。

Voxtral 全面勝過目前領先的開源語音轉錄模型 Whisper large-v3。它在所有任務中均勝過 GPT-4o mini Transcribe 和 Gemini 2.5 Flash,並在英語短篇和 Mozilla Common Voice 基準測試中取得最先進成績,超越 ElevenLabs Scribe,展現強大的多語言能力。

V Plot 1

在 FLEURS 的多語言評估中,Voxtral Small 在每項任務都勝過 Whisper,並在多種歐洲語言中達到最先進表現。

V Plot 2

宏平均的詳細內容:

  • 英語短篇:LibriSpeech Clean、LibriSpeech Other、GigaSpeech、VoxPopuli、Switchboard、CHiME-4、SPGISpeech

  • 英語長篇:Earnings-21 10-m、Earnings-22 10-m

  • Mozilla Common Voice 15.1:英語、法語、德語、西班牙語、意大利語、葡萄牙語、荷蘭語、印地語

  • FLEURS:英語、法語、德語、西班牙語、意大利語、葡萄牙語、荷蘭語、印地語、阿拉伯語

音訊理解

Voxtral Small 和 Mini 能直接根據語音回答問題,也能同時使用音訊和文字提示作答。為評估音訊理解能力,我們建立了三項常見文本理解任務的語音合成版本。我們亦使用內部音訊理解(AU)基準測試評估模型,要求模型回答 40 個長篇音訊範例中的難題。最後,我們在 FLEURS-Translation 基準測試評估語音翻譯能力。

Voxtral Small 在所有任務中的表現均可媲美 GPT-4o-mini 和 Gemini 2.5 Flash,並在語音翻譯方面達到最先進表現。

V Plot 3

文字

Voxtral 保留其語言模型骨幹的文本能力,可直接取代 Ministral 和 Mistral Small 3.1 使用。

V Plot 4

免費試用 

無論你是在手提電腦上製作原型、在本地部署私人工作負載,還是在雲端擴展至生產規模,開始使用都很簡單。

  • 下載並在本機執行:Voxtral(24B)和 Voxtral Mini(3B)均可在 Hugging Face 下載

  • 試用 API:只需一次 API 呼叫,即可在應用程式整合前沿語音智能。價格由每分鐘 $0.001 起,讓高質素轉錄和理解服務得以普及。請參閲我們的説明文件。 

  • 在 Le Chat 試用:在 Le Chat 的語音模式體驗 Voxtral(未來數星期內會陸續向所有用戶推出),可在網頁或流動版使用。錄製或上載音訊、取得轉錄、提問或生成摘要。

進階企業功能。 

我們亦為 Voxtral 提供企業專用能力,滿足更高安全性、更大規模或特定領域需求。若你正考慮以下方案,請聯絡我們: 

  • 生產規模的私人部署:我們的方案團隊可協助你在自家基礎設施內部,為生產規模推論部署 Voxtral。這特別適合有嚴格數據私隱要求的受規管行業。我們亦會提供指引和工具,協助你在多個 GPU 或節點上部署 Voxtral,並採用針對生產吞吐量和成本效益最佳化的量化版本。

  • 領域專用微調:與我們的應用 AI團隊合作,針對法律、醫療、客戶支援或內部知識庫等專門情境調整 Voxtral,提升它在你使用場景中的準確度。

  • 進階上下文能力:我們正邀請設計合作夥伴,一同建立説話者識別、情緒偵測、進階説話者分離,以及更長上下文視窗等功能,以便開箱即用地滿足更多需求。

  • 專屬整合支援:優先獲得工程資源和顧問協助,將 Voxtral 順利整合至現有工作流程、產品或數據管道。

即將推出。

我們將與 Inworld 的朋友舉辦網上直播研討會(可看看他們使用 Voxtral 和 Inworld TTS 的精彩語音轉語音示範!),展示如何建立端對端語音代理。活動將於 8 月 6 日(星期三)舉行。若有興趣,請在此登記。 

我們正努力在未來數月豐富音訊功能。除了語音理解之外,我們很快亦會支援: 

  • 説話者分段 

  • 年齡和情緒等音訊標記

  • 字詞級時間戳

  • 非語音音訊識別

  • 以及更多功能!

我們很期待看看你會用 Voxtral 創作甚麼。

順帶一提,我們正在招聘!

Voxtral 模型的發布是重要進展,但我們的旅程尚未完結。我們的目標是打造最自然、最愉悦、近似人類的語音介面,還有很多工作要做。我們正積極擴展剛成立的音訊團隊,尋找志同道合、才華出眾的研究科學家和工程師。

若你有興趣加入我們普及人工智能的使命,歡迎加入團隊! 

來源:Mistral AI · mistral.ai