Mistral AI 發佈 4B 參數語音生成模型 Voxtral TTS
Speaking of Voxtral
Mistral AI 發佈 4B 參數的 Voxtral TTS,支援 9 種語言語音生成。在典型的 10 秒語音樣本和 500 characters 輸入下,模型延遲為 70ms;人評顯示其自然度高於 ElevenLabs Flash v2.5,TTFA 相近。
原文以人評比較 Voxtral TTS 與 ElevenLabs Flash v2.5 的自然度和 TTFA,並列出模型延遲及 API 定價,提供評估語音智能體應用的具體依據。
思考
摘要
Mistral AI 推出 Voxtral TTS,這款 4B 參數文字轉語音模型以尖端多語言語音生成能力見稱,可用 9 種語言生成自然、富感情表達的語音,同時具備低延遲及便於轉換聲線的特點。模型擅長理解上下文、建立説話者模型,以及零樣本跨語言聲線適配,適合企業語音工作流程和可擴展 AI 代理程式。模型現可透過 API 及 Mistral Studio 使用,生成高質素語音的收費由每 1k 個字元 $0.016 起。
今天,我們推出 Voxtral TTS,這是我們首款在多語言語音生成方面達到頂尖表現的文字轉語音模型。模型只有 4B 參數,體積輕巧,讓 Voxtral 驅動的代理程式自然、可靠,而且可大規模以具成本效益的方式運作。
重點特色。
以 9 種常用語言生成自然、富感情表達的語音,並支援多種方言。
首次產生音訊的延遲極低。
可輕易適配新聲線。
可在 Mistral Studio 試用。
企業級文字轉語音,支援關鍵語音代理工作流程。
自然的語音生成不只取決於模型能否朗讀文字,更要看它能否準確理解文字。對上下文的理解——例如語氣中性、開心、諷刺等——決定聽者會覺得生成語音準確還是像機械人。我們的模型在上下文理解和説話者建模兩方面都表現出色,能掌握特定人士自然的説話方式。相較於傳統朗讀語音,我們的聲線適配更進一步,能捕捉説話者的個性,包括自然停頓、節奏、語調及情感表達能力。Voxtral TTS 體積精簡、成本及延遲低,而且容易適配,讓企業可全面掌控和自訂自己的語音 AI 技術堆疊。
音訊是全新的使用者體驗。透過語音創造協作與理解的新互動方式。立即到 AI Studio 試用我們以美式、英式及法式口音呈現的 Mistral Voices。
聽聽看,分辨得出差異嗎?
我們的團隊成員會説數十種語言和多種方言,深明文化細微差異的重要,因此打造出反映我們自身特點的模型。語音生成透過自然的節奏、情感,甚至幽默感建立信任。因此,在聲線模仿方面,我們著重真實感和情感表達。
聲線模仿
達到尖端表現。
字詞錯誤率和音訊質素分數等自動指標,無法衡量多語言文字轉語音系統的自然程度。語音自然與否涉及極細微的差異,需要深入理解文化差異及典型説話模式。因此,由母語人士進行比較式人手評估至關重要。
對語音代理程式而言,延遲和質素一直互相制衡。人手評估顯示,Voxtral TTS 的自然度優於 ElevenLabs Flash v2.5,而首次音訊生成時間(TTFA)則相若。Voxtral 的質素亦可媲美 ElevenLabs v3,並能有效支援情感控制,帶來更逼真的互動。

我們在零樣本自訂聲線情境下,對 Voxtral TTS 和 ElevenLabs v2.5 Flash 進行比較式人手評估。對 9 種支援語言中的每一種,我們各選用兩把辨識度高、以其母語方言説話的聲線;由 3 位標註員逐對比較,評估自然度、口音貼合度及與原始參考音訊的聲學相似度。在這種零樣本多語言自訂聲線設定下,Voxtral TTS 擴大了與 v2.5 Flash 的質素差距,突顯 Voxtral TTS 可即時適配任何聲線。
以母語説出。
Voxtral TTS 以大型語音資料集訓練,專為全球應用而設。它支援 9 種語言的尖端效能:英文、法文、德文、西班牙文、荷蘭文、葡萄牙文、意大利文、印地語及阿拉伯文。
模型只需 3 秒的參考音訊,便能適配自訂聲線;它不只捕捉聲線,也能掌握細微口音、語音變化、語調,甚至參考音訊中的不流暢表達。我們在 API 中提供一些預設聲線選項,也可輕易擴充至企業內部聲線庫,按使用情境調整、配合語言和口音作本地化,設定為中性或更富情感、輕鬆或正式、較自然對話式或機械式。
即使沒有針對此能力作明確訓練,模型仍展示零樣本跨語言聲線適配能力。例如,模型可使用法語聲線提示和英文文字生成英語語音。生成的語音聽來自然,同時採用提示聲線的口音(此例中,生成的英語帶有自然的法國口音)。這令模型適合用來建構級聯式語音到語音翻譯系統。
級聯式語音到語音翻譯
點選説話者以執行級聯式語音到語音翻譯。
提示
開始之前,我需要核實幾項資料。你可以確認你的全名和出生日期嗎?
生成音訊
Voxtral TTS
專為低延遲串流而建。
延遲對語音代理應用至關重要。對典型的 10 秒語音樣本及 500 個字元輸入,Voxtral TTS 的模型延遲為 70ms,實時係數(RTF)約為 9.7x。模型原生可生成長達兩分鐘的音訊,而我們的 API 透過靈活交錯處理,支援任意長度的生成。
Voxtral TTS 架構。
模型以 Ministral 3B 為基礎,採用 Transformer 架構、自回歸及流匹配技術。它由以下組件構成:
3.4B 參數的 Transformer 解碼器骨幹
390M 流匹配聲學 Transformer
300M 神經音訊編解碼器(對稱式編碼器-解碼器)
模型會接收一段語音提示(5 至 25 秒)和一段以 9 種支援語言撰寫的文字提示。對每個音訊影格,Transformer 骨幹會預測一個語義 token,然後流匹配 Transformer 執行 16 次函數評估(NFE),產生聲學潛在表示。
我們自行開發了一款編解碼器,以語義 VQ(8192 個詞彙)及聲學 FSQ(36 維、21 個層級)潛在表示,因果式處理音訊,並以 12.5Hz 影格速率輸出。

支援企業語音工作流程。
Voxtral TTS 為音訊智能閉環補上最後一環,為企業語音流程提供經得起真人聆聽檢驗的輸出層。它可與 Voxtral Transcribe 配合,實現完整的語音到語音流程;亦可整合至任何現有的語音轉文字及 LLM 技術堆疊,並支援跨語言應用。
工作流程
客戶支援
語音代理程式可透過自然、符合品牌風格的語音,在不同渠道分流及處理查詢。 把 Voxtral TTS 加入現有客戶支援電話系統,以自動語音回應客戶,並將輸出整合至現有工作流程。
在 Mistral Studio 試用模型。
在 Mistral Studio playground 直接試驗 Voxtral TTS。選擇其中一把 Mistral 聲線,或錄下自己的聲音。
開始使用 Voxtral TTS。
Voxtral TTS 現已可透過 API 使用,收費為每 1k 個字元 $0.016。
立即在 Mistral Studio 或 Le Chat 試用。
附有多款參考聲線的模型,以開放權重形式於 Hugging Face 提供,採用 CC BY NC 4.0 授權。
立即報名參加即將舉行的網上研討會,瞭解更多!
我們正在招聘!
我們正為 AI 建構語音層。如果你希望參與解決這類問題,歡迎與我們聯絡。
來源:Mistral AI · mistral.ai