Rumble-2-Flash 開源,支援 40+ 種語言的 0.5B 語音辨識模型
Rumble-2-Flash: an open 0.5B speech model for 40+ languages
Rumble-2-Flash 以 Apache 2.0 授權開源,是支援 40+ 種語言的 0.5B 語音辨識模型。在 Open ASR Leaderboard 多語言賽道,它跨 9 種語言的平均錯誤率為 6.96%,優於 Meta 的 omniASR-LLM 7B 和 Whisper large-v3。
文章以多語言辨識榜單及真實客服通話基準比較 Rumble-2-Flash,呈現小型模型在不同語音條件下的錯誤率表現。
今天,我們以 Apache 2.0 授權條款開源 Rumble-2-Flash。這是一個適用於 40+ 種語言、擁有 0.5B 參數的語音識別模型,效能可媲美規模達其 3-60x 的模型。
- 可在任何環境執行:原生支援 🤗 Transformers 和 vLLM,毋須自訂程式碼
- 支援 40+ 種語言:自動偵測語言
- 輸出控制:數字可輸出為數字或文字、填充詞、逐字重複內容,以及指定語言
- 速度極快:約半秒即可處理一小時音訊;批次滿載時,RTFx 超過 7,000
- 處理真實電話通話表現出色:在一項 302 小時的客服中心基準測試中,表現媲美 NVIDIA 的 Nemotron 3.5 Transcribe (30B)
快速入門
使用 🤗 Transformers 進行轉錄
uv pip install torch transformers accelerate
from transformers import AutoProcessor, AutoModelForMultimodalLM
model_id = "Reson8/Rumble-2-Flash"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(model_id, device_map="auto")
inputs = processor.apply_transcription_request(
audio="https://hf.co/datasets/hf-internal-testing/dummy-audio-samples/resolve/main/bcn_weather.mp3",
language="English", # omit to detect automatically
).to(model.device, dtype=model.dtype)
output = model.generate(**inputs, max_new_tokens=512)
generated = output[:, inputs["input_ids"].shape[-1]:]
print(processor.decode(generated, return_format="transcription_only")[0]) # return_format="parsed" if detecting language
audio 接受本機路徑、URL、NumPy 陣列,或上述項目的清單。
建構方式
Rumble-2-Flash 採用 Qwen3-ASR 架構,提供 day-0 支援。如果你的技術堆疊執行 Transformers 或 vLLM,就能執行 Rumble-2-Flash,毋須使用分支版本的執行環境或 trust_remote_code。
為了找出模型縮小到甚麼程度時準確度才會開始下降,我們透過 on-policy 蒸餾,把較大型的生產模型 Rumble-2 蒸餾成這個模型。學生模型不會以教師模型寫出的轉錄稿訓練,而是自行轉錄音訊,再由教師模型逐個 token 評估轉錄稿:在每個位置,教師模型都會給出自己對下一個 token 的機率,學生模型則學習配合這些機率。由於學生模型是從自己的輸出中學習,因此它會針對自己實際犯下的錯誤接受修正,每個 token 都能得到回饋,而不是每段音訊只得到一個分數。
on-policy 蒸餾通常要求教師模型和學生模型使用相同的 tokenizer,但我們的模型並非如此:選用 Qwen3-ASR 亦代表採用其詞彙表。GOLD 解除了這項限制。它會合併兩種 tokenizer 以不同方式切分文字的 token,讓兩個模型能以相同文字作比較。兩個詞彙表都有的 token 會直接比較,其餘 token 則按排序後的機率比較。
結果
以模型規模而言的準確度
在 Open ASR Leaderboard 的多語言賽道上,Rumble-2-Flash 在中文、德文、法文、意大利文、西班牙文、葡萄牙文、印地文、荷蘭文和英文的平均錯誤率為 6.96%。它的表現勝過 Meta 的 omniASR-LLM 7B(規模大 15x),亦領先 Whisper large-v3。在英文賽道上,它的平均詞錯誤率 (WER) 為 6.6%。
速度
Rumble-2-Flash 的速度同樣很快。其吞吐量取決於批次的滿載程度:在 HF 的 Open ASR Leaderboard 較大型數據集上,批次能保持滿載,RTFx 可超過 7,000。換言之,約半秒即可處理一小時音訊。
真實電話通話
清晰的音訊很容易處理。電話通話經過壓縮,帶有雜訊,而且説話者的口音往往差異很大。在AppTek 的客服中心基準測試中(302 小時的求助熱線通話、14 種英語口音,並使用 AppTek 自家的腳本評分),Rumble-2-Flash 的詞錯誤率 (WER) 為 7.86%,表現媲美 WER 為 7.78% 的 NVIDIA Nemotron 3.5 Transcribe (30B)。它的表現遠勝同一模型系列的 Qwen3-ASR 0.6B (8.7%),亦接近 Qwen3-ASR 1.7B (7.4%);後者是比較中唯一表現更好的模型。
立即試用
權重已上載至 Hub,網址為 Reson8/Rumble-2-Flash。亦可透過我們的 API 使用。
我們很想知道你會用它製作甚麼。請在討論分頁告訴我們你製作了甚麼、喜歡哪些地方,以及希望下一個版本作出哪些改動。
來源:Hugging Face Blog · huggingface.co