Mistral 發佈 Voxtral 3 語音模型系列及智能體 SDK

思考

摘要

Voxtral 3 推出尖端語音代理 SDK 及最先進的語音模型，專為 50 多種語言的即時多步對話而設。它結合準確的轉錄、可隨情緒變化調整的自然語音合成，以及深度工具整合，讓工作流程自動化更流暢。用戶可透過 Mistral 設於歐盟的 API 使用，或自行部署；這既保障數據主權，也能為聯絡中心、虛擬助理及免提副駕駛助手帶來低延遲、近似真人的互動體驗。

語音轉錄和語音生成技術已有長足進展，但要建構能聆聽、推理、互動並處理複雜工作流程的端到端語音代理，仍然不容易。 

可靠的語音代理必須同時出色地完成四件事： 

1. 準確聆聽不同語言、口音和説話者的語音，並應對有人打斷的情況；

2. 深入推理用戶在特定情境下的意思；

3. 自然地説話，展現情緒和語氣；以及 

4. 採取行動，透過相連系統完成多步操作。 

要讓這四項能力在即時情況下可靠地協同運作，至今仍是一項挑戰。 

為此，我們推出 Voxtral 3：全新系列的頂尖語音轉文字和文字轉語音模型，以及一套語音代理 SDK，將聆聽、思考、呼叫工具和説話整合至單一即時串流流程。

Voxtral 3 專為打造自然的對話體驗而設，適用於聯絡中心代理和服務台，也適用於虛擬助理及免提副駕駛助手。Voxtral 支援數十種語言、富表現力的語音、複雜推理，以及與自有工具和數據的深度整合。以此建構的代理能理解細緻的意圖、推理複雜要求，並透過相連系統執行多步操作。

與其他 Mistral 模型一樣，Voxtral 3 系列專為自主部署而設。現可透過 Mistral 設於歐盟的 API 使用，或部署於自有基礎設施，讓機構掌控音訊的處理地點、數據的處理方式，以及是否保留對話。

重點

1. 支援 50 多種語言的準確轉錄。語音轉文字模型 Voxtral Small Transcribe 3 在多語言轉錄方面處於領先地位，能識別每句話由誰説出（説話者分離），並利用關鍵詞組提升準確度（上下文偏置）。模型也能偵測説話者何時説完，讓代理毋須延遲即可回應（回合結束偵測）。

2. 自然語音隨對話調整。文字轉語音模型 Voxtral Mini TTS 3 帶來全新語音，可根據對話情境調整情緒、語速和重音，並支援 35 多種語言及 50 多種方言。

3. 只需口頭指令，即可調用類人智能。全新語音代理 SDK 將聆聽、推理、呼叫工具和説話融入即時體驗。代理可在電話或網上即時對話期間搜尋資訊、與業務系統互動並完成任務。

4. Pro Voice，實現高度精準的聲音適配。對於基本語音複製未能滿足需求的專業用途，Voxtral 的 Pro Voice 適配功能只需 30 分鐘音訊，便能跨語言重現説話者獨特的個性、情感表達範圍及説話風格。 

5. 在你的基礎設施上部署語音 AI。使用 Mistral 託管於 EU 的 API，或在自己的基礎設施上部署 Voxtral 3。敏感對話會留在你的環境內，而你亦可控制是否保留任何音訊。 

立即試用 Voxtral  | 瞭解更多

可辨識 50 多種語言，準確度達業界頂尖水平。

Voxtral Transcribe 3 在轉錄、説話者分離（誰在何時發言）及上下文偏置功能方面取得重大突破。支援語言擴展至 50 種，包括 24 種 EU 官方語言，以及多種資源較少的亞洲語言和印度語系語言。

Small 版本在説話者分離及多語言轉錄方面均達到業界頂尖水平，涵蓋英語、法語和西班牙語。其表現優於 Whisper、Scribe v2 和 Gemini 3.5 Transcribe。Mini 版本有 4B 個參數，能以每分鐘 $0.0035 的價格提供快速而準確的轉錄。

兩款模型均支援上下文偏置功能，可提供關鍵詞及自由格式文字，讓轉錄結果偏向這些內容，並提升技術詞彙的召回率。這讓模型無需微調，亦可在使用特定領域詞彙的生產環境中應用。

Voxtral Realtime Transcribe 3 是專為 Agent 應用場景打造的即時轉錄模型。它支援超過 35 種語言，延遲低於 500ms，並能提供高質素轉錄，亦支援説話者分離及語境偏置。

模型原生支援回合結束預測，會結合聲學及語義資訊，準確判斷用戶何時説完。這有助打造低延遲的語音 Agent 應用，同時減少用戶尚未説完便被錯誤截斷的情況。

它會以恰當的情感回應，並採用你或客戶品牌專屬的聲線及本地口音。

Voxtral Mini TTS 3.0 支援批次及即時處理，在 35 種以上語言及 50 種以上方言中，展現領先業界的表達能力及指令遵循能力。Voxtral Speech 3 每 1M 個字元收費 $13，運行成本低於 OpenAI TTS-1、Deepgram、ElevenLabs Flash 和 Gemini Flash 等同類模型。

語音模型更善於解讀語境中的語義，能以多種語言及情感生成自然語音。新增及改良功能包括以 30+ 分鐘的取樣音訊複製聲線、自訂提示詞指令遵循（IF）、語境式 TTS，以及詞彙庫，均有助提升語音在實際部署時的可靠性。明確指令遵循（IF）的變數包括 emotion、pacing 及 emphasis。

提示詞

就此結束爭論：它是 GIF。

預設

非標準音素提示：dʒ ɪ f

所有聽起來自然的語音都依賴情感，而情感會決定其韻律、節奏、語速、重音及轉折。Voxtral TTS 原生理解提示詞的文字語境，以判斷情感及聲線風格，因此無須額外指令或聲線提示，模型也能自然地生成語音。

展示 Voxtral 在表達力、數字和獨特名稱方面的逐步提升。

提示詞

感謝致電 Mistral！我明白您登入 AI Studio 時遇到困難。可以確認您的電郵地址嗎？我這裏顯示的是 elena.vance82@yahoo.com，正確嗎？

Voxtral 1

Voxtral 3

以 35 種語言和超過 50 種方言發聲，聽起來自然地道。

Voxtral TTS 支援超過 35 種語言和多種地區方言。我們的多語言評估會因應各方言在發音、正式與非正式語體、拼寫、詳略程度，以及地區慣例（時間、日期、温度、地址、貨幣）上的差異。

Voxtral 3 多語言語音庫

語音預設支援 18 種語言：阿拉伯語（阿聯酋阿拉伯語、現代標準阿拉伯語）、巴西葡萄牙語、加泰羅尼亞語、中文（普通話）、荷蘭語、英語（美式、英式）、法語（法國）、德語、希臘語、印地語、意大利語、韓語、挪威語、俄語、西班牙語（西班牙）和越南語。

語音 Agent 掌控整段對話。

Voxtral 3 推出以 LiveKit 為基礎的語音 Agent SDK，將語音輸入、推理及語音輸出整合為單一串流管線。Voxtral Mini Transcribe Realtime 3 負責聆聽並偵測來電者何時説完；通用模型（例如 Mistral Small）負責推理和呼叫工具；Voxtral Speech 3 則會按照目前對話的語氣作答。每個階段無須等待上一個階段完成，因此每輪互動均可在一秒內完成；來電者插話時，Agent 亦會停止説話。

通話期間，Agent 可透過函數呼叫、網頁搜尋，以及從您的系統中檢索資料，核實來電者身份、查詢帳單或預約。它可透過 SIP 接聽和撥打電話，透過 WebRTC 在瀏覽器和應用程式中運作，並連接您現有的電話、IVR 和聯絡中心軟件。

每個階段都由獨立模型負責，因此您可以更換大型語言模型、語音或語言，而無須重寫 Agent；也可以在 Mistral 位於歐洲的 API 上或自己的基礎架構上運行整套技術堆疊。

開始使用。

Voxtral 3 即日起可透過 Mistral API 使用，並由我們的歐洲、美國及全球端點提供託管服務。

您可以在 Studio 測試環境中試用語音 Agent、音訊轉錄、語音生成和語音複製。 

如要在本地部署或私有雲上運行整套技術堆疊，請聯絡我們的團隊。