跳到正文
Hugging Face Blog·· 2 天前精選AI 評分67

Rumble-2-Flash 開源,支援 40+ 種語言的 0.5B 語音辨識模型

Rumble-2-Flash: an open 0.5B speech model for 40+ languages

AI 導讀

Rumble-2-Flash 以 Apache 2.0 授權開源,是支援 40+ 種語言的 0.5B 語音辨識模型。在 Open ASR Leaderboard 多語言賽道,它跨 9 種語言的平均錯誤率為 6.96%,優於 Meta 的 omniASR-LLM 7B 和 Whisper large-v3。

推薦理由

文章以多語言辨識榜單及真實客服通話基準比較 Rumble-2-Flash,呈現小型模型在不同語音條件下的錯誤率表現。

正文 · 繁體中文

今天,我們以 Apache 2.0 授權條款開源 Rumble-2-Flash。這是一個適用於 40+ 種語言、擁有 0.5B 參數的語音識別模型,效能可媲美規模達其 3-60x 的模型。

  • 可在任何環境執行:原生支援 🤗 Transformers 和 vLLM,毋須自訂程式碼
  • 支援 40+ 種語言:自動偵測語言
  • 輸出控制:數字可輸出為數字或文字、填充詞、逐字重複內容,以及指定語言
  • 速度極快:約半秒即可處理一小時音訊;批次滿載時,RTFx 超過 7,000
  • 處理真實電話通話表現出色:在一項 302 小時的客服中心基準測試中,表現媲美 NVIDIA 的 Nemotron 3.5 Transcribe (30B)

快速入門

使用 🤗 Transformers 進行轉錄

uv pip install torch transformers accelerate
from transformers import AutoProcessor, AutoModelForMultimodalLM

model_id = "Reson8/Rumble-2-Flash"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(model_id, device_map="auto")

inputs = processor.apply_transcription_request(
    audio="https://hf.co/datasets/hf-internal-testing/dummy-audio-samples/resolve/main/bcn_weather.mp3",
    language="English",  # omit to detect automatically
).to(model.device, dtype=model.dtype)

output = model.generate(**inputs, max_new_tokens=512)
generated = output[:, inputs["input_ids"].shape[-1]:]
print(processor.decode(generated, return_format="transcription_only")[0])  # return_format="parsed" if detecting language

audio 接受本機路徑、URL、NumPy 陣列,或上述項目的清單。

建構方式

Rumble-2-Flash 採用 Qwen3-ASR 架構,提供 day-0 支援。如果你的技術堆疊執行 Transformers 或 vLLM,就能執行 Rumble-2-Flash,毋須使用分支版本的執行環境或 trust_remote_code。

為了找出模型縮小到甚麼程度時準確度才會開始下降,我們透過 on-policy 蒸餾,把較大型的生產模型 Rumble-2 蒸餾成這個模型。學生模型不會以教師模型寫出的轉錄稿訓練,而是自行轉錄音訊,再由教師模型逐個 token 評估轉錄稿:在每個位置,教師模型都會給出自己對下一個 token 的機率,學生模型則學習配合這些機率。由於學生模型是從自己的輸出中學習,因此它會針對自己實際犯下的錯誤接受修正,每個 token 都能得到回饋,而不是每段音訊只得到一個分數。

on-policy 蒸餾通常要求教師模型和學生模型使用相同的 tokenizer,但我們的模型並非如此:選用 Qwen3-ASR 亦代表採用其詞彙表。GOLD 解除了這項限制。它會合併兩種 tokenizer 以不同方式切分文字的 token,讓兩個模型能以相同文字作比較。兩個詞彙表都有的 token 會直接比較,其餘 token 則按排序後的機率比較。

On-policy distillation with GOLD: the student transcribes, the teacher scores every token, and GOLD aligns the two tokenizers On-policy distillation with GOLD: the student transcribes, the teacher scores every token, and GOLD aligns the two tokenizers
使用 GOLD 進行 on-policy 蒸餾

結果

以模型規模而言的準確度

在 Open ASR Leaderboard 的多語言賽道上,Rumble-2-Flash 在中文、德文、法文、意大利文、西班牙文、葡萄牙文、印地文、荷蘭文和英文的平均錯誤率為 6.96%。它的表現勝過 Meta 的 omniASR-LLM 7B(規模大 15x),亦領先 Whisper large-v3。在英文賽道上,它的平均詞錯誤率 (WER) 為 6.6%。

Average error rate against model size for open-weight models on the Open ASR Leaderboard multilingual track, including English Average error rate against model size for open-weight models on the Open ASR Leaderboard multilingual track, including English
同等規模模型中的最佳成績

速度

Rumble-2-Flash 的速度同樣很快。其吞吐量取決於批次的滿載程度:在 HF 的 Open ASR Leaderboard 較大型數據集上,批次能保持滿載,RTFx 可超過 7,000。換言之,約半秒即可處理一小時音訊。

真實電話通話

清晰的音訊很容易處理。電話通話經過壓縮,帶有雜訊,而且説話者的口音往往差異很大。在AppTek 的客服中心基準測試中(302 小時的求助熱線通話、14 種英語口音,並使用 AppTek 自家的腳本評分),Rumble-2-Flash 的詞錯誤率 (WER) 為 7.86%,表現媲美 WER 為 7.78% 的 NVIDIA Nemotron 3.5 Transcribe (30B)。它的表現遠勝同一模型系列的 Qwen3-ASR 0.6B (8.7%),亦接近 Qwen3-ASR 1.7B (7.4%);後者是比較中唯一表現更好的模型。

WER on the AppTek call-centre benchmark WER on the AppTek call-centre benchmark
真實電話通話,14 種英語口音

立即試用

權重已上載至 Hub,網址為 Reson8/Rumble-2-Flash。亦可透過我們的 API 使用。

我們很想知道你會用它製作甚麼。請在討論分頁告訴我們你製作了甚麼、喜歡哪些地方,以及希望下一個版本作出哪些改動。

來源:Hugging Face Blog · huggingface.co