Open TTS Leaderboard 為多語言文字轉語音與聲音複製提供可擴展評估
Open TTS Leaderboard: Scalable Evaluation for Multilingual Text-to-Speech and Voice Cloning
Hugging Face 建立 Open TTS Leaderboard,以客觀指標評估開源、多語言 TTS 模型及聲音複製能力。評估涵蓋 WER/CER、批次推理速度(RTFx)、首段音訊延遲(TTFA)及説話者相似度(SIM),可把單個模型的評估時間由數週縮短至數小時。排行榜不取代人工偏好評選,並設有 Listen 頁籤供用户比較生成音訊及投票;其指標不直接衡量自然度、表現力或聽者偏好。
排行榜以客觀指標並列呈現語音清晰度、説話者相似度與速度表現,並保留聆聽投票,方便比較多語言及聲音複製模型。
TLDR 👉 全新 TTS 排行榜,聚焦開放原始碼和多語言
開放原始碼文字轉語音(TTS)模型近年推出速度驚人。截至 2026 年 9 月 30 日,Hugging Face Hub 上已有超過 8K 款 TTS 模型 🚀
然而,評估工作並未跟上發展步伐:目前仍各自為政,缺乏統一標準。業界公認的黃金標準,是 MOS 或 MUSHRA 等人類偏好評分(詳情請參閲評估指標)。為此,多個以競技場形式運作的排行榜已成為社羣有用的參考依據:
這些競技場會向使用者展示兩個模型的 TTS 輸出,請他們選出較佳者,以此比較模型。收集足夠票數後,系統會計算 Elo 分數來排列模型,通常會採用 Bradley–Terry 模型(請參閲 Voice Arena 方法説明)。
雖然人類偏好才是最終判斷依據,但競技場的規模無法跟上 TTS 模型推出速度。這或許可以解釋為何開放原始碼模型在競技場排行榜上代表性不足:截至 2026 年 9 月 30 日,Artificial Analysis 的 92 款模型中,只有 16 款採用開放權重;Voice Arena 亦有類似失衡。這可能反映實際因素:新增 API 模型只需 API 金鑰;開放模型則必須由競技場營運者託管並提供服務,而商業 Provider 尋求上榜的動機通常比開放原始碼作者更強。競技場評估的另一項限制是投票者一致性:任何競技場都無法確保相同投票者長期採用相同的「較佳」標準,持續評估模型。正如哲學家赫拉克利特的名言:「人不能兩次踏進同一條河。」
為此,我們建立了 Open TTS Leaderboard,運用客觀指標評估模型在多個互補效能面向的表現:
- 可理解度:使用 Qwen3 ASR(Open ASR Leaderboard 上排名最高的開放原始碼模型),比較提示與生成音訊轉錄文字之間的詞錯誤率和字元錯誤率(WER 和 CER)。
- 速度:以 H200 GPU 進行批次離線推論時,計算即時因子倒數(RTFx);並以 H200 GPU 和 CPU 在批次大小為 1 時的首段音訊時間(TTFA),量度串流延遲。
- 説話者相似度:計算生成音訊和參考片段的 WavLM 説話者嵌入之間的餘弦相似度(SIM)。
採用客觀指標後,評估模型所需時間由數週(收集投票)縮短至數小時 ⚡
重要的是,Open TTS Leaderboard 並不取代人類偏好排名。以 ASR 為基礎的 WER 是可理解度的替代指標,説話者相似度則估算聲音身分的保留程度。兩者都不會直接量度自然度、表達力或聽眾偏好。儘管如此,這些指標亦可協助投票式排行榜決定納入哪些模型。
我們希望排行榜由社羣共同塑造;我們期待聽到你的意見,讓評估維持實用且具參考價值。以下幾節會介紹 Open TTS Leaderboard 的主要功能。
多語言與聲音複製評估
在排行榜的預設頁面,模型會按 Seed TTS Eval(專案,論文)和 CV3 Eval(零樣本)(專案,論文)的英文資料切分宏平均 WER 排名。
在這兩個資料切分上的平均英語 WER 排名中,hexgrad/Kokoro-82M、Supertone/supertonic-3 和 fishaudio/s2-pro 名列前茅;Pareto 圖則展示哪些模型能在 WER、批次推論(RTFx)和模型大小之間取得良好平衡。
英語表現未必能反映其他語言的表現。你可以切換語言,按多語言表現為模型排名。Seed TTS Eval 只有英語和中文音訊,因此其他語言只採用 CV3 Eval(零樣本)的分數。請注意,中文、日文和韓文以字元為單位,因此會回報字元錯誤率(CER);不同語言的「平均 WER」則是各語言 WER 的宏平均。
k2-fsa/OmniVoice、fishaudio/s2-pro 和 FunAudioLLM/Fun-CosyVoice3-0.5B-2512 都是優秀的多語言模型。
切換「Voice cloning」後,即可比較支援此功能的模型(限已選取的語言)。
此外,表格現已加入 SIM 説話者相似度欄位,亦新增兩張 Pareto 圖,以視覺化比較 SIM、批次推論和模型大小之間的取捨。
部分模型在提供參考音訊以進行聲音複製後,平均 WER 會有所改善,例如 bosonai/higgs-tts-3-4b 和 openbmb/VoxCPM2。
比較並投票選出 TTS 輸出
數字只能反映部分情況;如前所述,人類偏好才是最終判斷依據。在「Listen」分頁中,你可以比較各項指標背後的生成結果,找出自己喜歡的模型!
選擇你感興趣的語言/數據集,決定是否要比較聲音複製,並可選擇指定模型,或聆聽隨機抽選的輸出。
「Listen」分頁填補了現有 TTS 排行榜的重要缺口:提供空間探索不同模型的輸出。
你亦可對生成結果提供意見。隨著社羣投票增加,我們可能會把這些資料納入排行榜。記得投票!請先登入 HF 帳戶,以協助我們過濾垃圾內容和機械人投票。
串流效能
「Streaming」分頁用來比較串流能力。模型按 TTFA(首段音訊時間)排名,該指標量度使用者向模型發出請求後,要等多久才取得可播放音訊。這對語音代理和其他互動應用程式十分重要。
對於串流模型(「Streaming API」下方有 ✅),TTFA 是首段音訊到達所需的時間;對於非串流模型,則是整段語音生成所需的時間,因為無法更早開始播放。每款模型都會在相同硬件上,以預設聲線一次處理一段音訊(批次大小為 1),並使用 CV3-Eval 相同的 50 條英語提示。我們會略過最初 3 次預熱執行,再回報其餘結果的 TTFA 中位數。
預設頁面比較模型在 H200 GPU 上的表現。目前亦有少量模型提供 CPU 結果,涵蓋範圍正逐漸增加!
kyutai/pocket-tts 是一款在 GPU 和 CPU 上都很適合串流的優秀模型!
總結
Open TTS Leaderboard 的目標不只是跟上 TTS 模型驚人的推出速度,也希望由社羣共同塑造;我們期待聽到你的意見,讓評估維持實用且具參考價值。告訴我們你希望看到哪些數據集、模型和指標!
目前,我們聚焦於:
- 開放原始碼模型,讓許多在競技場式評估中被忽略的優秀模型也能登上排行榜。
- 多語言,因為英語表現不足以代表其他語言。
我們即將開源評估程式碼,做法類似 Open ASR Leaderboard 的儲存庫;屆時你可直接透過 GitHub Issues 和 PR 提供意見及建議!讓我們攜手塑造 TTS 評估 🤗
來源:Hugging Face Blog · huggingface.co