跳到正文
Hugging Face Blog·· 2025-05-13精選AI 評分62

Hugging Face Inference Endpoints 推出 OpenAI Whisper 高速轉錄部署方案

Blazingly fast whisper transcriptions with Inference Endpoints

AI 導讀

Hugging Face 為 Inference Endpoints 推出新的 OpenAI Whisper 部署方案,效能較前一版本最高提升 8 倍。

推薦理由

文章比較三款 Whisper 變體與 Transformers 基線的轉錄速度及 WER,呈現 Large V3 接近 8 倍的 RTFx 提升與各款相若的 WER 表現。

正文 · 繁體中文

今天,我們很高興在 Inference Endpoints 推出全新、極速的 OpenAI Whisper 部署選項。與上一版本相比,效能提升最高達 8 倍,任何人只需按一下,即可經濟高效地部署專用而強大的轉錄模型,善用 AI 社羣的出色成果。

透過這次發布,我們希望令 Inference Endpoints 更以社羣為本,讓任何人都能參與,在 Hugging Face 平台上共同打造出色的推論部署方案。我們希望與社羣攜手,運用優秀且開放原始碼的技術,為不同類型的任務提供最佳化部署方案。

Hugging Face 身處開放原始碼 AI 社羣的核心,並與個人、機構及業界夥伴緊密合作,因此在不同硬件和軟件上部署 AI 模型推論時,平台具備最廣泛多元的選擇。

推論技術堆疊

全新的 Whisper Endpoint 善用多個出色的開放原始碼社羣專案。推論由 vLLM 專案提供支援,該專案能在多種硬件系列上高效執行 AI 模型,尤其適用於 NVIDIA GPU,但並不限於此。我們採用 vLLM 對 OpenAI Whisper 模型的實作,得以在軟件堆疊更底層進一步最佳化。

首個版本以運算能力達 8.9 或以上的 NVIDIA GPU(Ada Lovelace)為目標,例如 L4 和 L40s;這些 GPU 可解鎖多種軟件最佳化:

  • PyTorch 編譯(torch.compile)
  • CUDA graphs
  • float8 KV cache 使用 torch.compile 編譯程式碼,會以即時編譯(JIT)方式產生最佳化核心,並可修改計算圖、重新排序運算、呼叫專用方法等。

CUDA graphs 會記錄 GPU 上一連串運算(即核心)的執行流程,並嘗試把它們合併為較大的工作單位,在 GPU 上執行。這種分組方式會把多個較小工作單位合併成單一的大型工作單位,從而減少資料搬移、同步處理和 GPU 排程開銷。

最後但同樣重要的是,我們會動態量化 activations,以減少 KV cache 所需的記憶體。運算採用半精度,在此情況下是 bfloat16;輸出則以較低精度儲存(float8 為 1 byte,bfloat16 為 2 bytes),這讓我們能在 KV cache 儲存更多元素,提升快取命中率。

我們還有很多方法可以繼續推進這項工作,並正準備與社羣攜手改善!

基準測試

Whisper Large V3 的 RTFx 幾乎提升 8 倍,推論速度大幅加快,而且轉錄品質毫無損失。

我們評估了多款 Whisper 模型的轉錄品質和執行效率,包括 Whisper Large V3、Whisper Large V3-Turbo 和 Distil-Whisper Large V3.5,並與它們在 Transformers 函式庫中的實作比較,在相同條件下檢視準確度和解碼速度。

我們在 Open ASR Leaderboard 的 8 個標準數據集上計算詞錯誤率(WER),包括 AMI、GigaSpeech、LibriSpeech(Clean 和 Other)、SPGISpeech、Tedlium、VoxPopuli 和 Earnings22。這些數據集涵蓋不同領域和錄音環境,可穩健評估模型的泛化能力及實際轉錄品質。WER 會計算錯誤預測的詞語百分比(包括插入、刪除或替換);WER 越低,代表效能越好。三款 Whisper 變體的 WER 表現均與相應的 Transformer 基準模型相若。 Word Error Rate comparison

為評估推論效率,我們從 rev16 長篇數據集抽取樣本;該數據集包含長度超過 45 分鐘的音訊片段,代表會議、播客或訪談等實際轉錄工作負載。我們測量即時因子(RTFx),即音訊時長與轉錄時間的比值,並計算樣本平均值。所有模型都在單一 L4 GPU 上以 bfloat16 執行,並採用一致的解碼設定(語言、beam size 和 batch size)。

Real-Time Factor comparison

如何部署

你可以透過 Hugging Face Endpoints 部署自己的 ASR 推論流程。Endpoints 讓任何想在正式環境部署 AI 模型的人,只需填寫幾項參數即可完成。 它亦提供市場上最完整的 AI 硬件陣列,配合成本和效能需要。 以上所有操作都可直接在 AI 社羣的建構平台上完成。 要開始使用非常簡單,只需選擇你想部署的模型:

推論

已部署模型端點的推論,只需幾行 Python 程式碼即可執行;你亦可使用 JavaScript 或任何熟悉的語言,沿用相同結構。

以下是快速測試已部署 checkpoint 的簡短程式碼範例。

import requests

ENDPOINT_URL = "https://<your‑hf‑endpoint>.cloud/api/v1/audio/transcriptions"  # 🌐 replace with your URL endpoint
HF_TOKEN     = "hf_xxxxxxxxxxxxxxxxxxxxxxxxxxxxx"                              # 🔑 replace with your HF token
AUDIO_FILE   = "sample.wav"                                                    # 🔊 path to your local audio file

headers = {"Authorization": f"Bearer {HF_TOKEN}"}

with open(AUDIO_FILE, "rb") as f:
    files = {"file": f.read()}

response = requests.post(ENDPOINT_URL, headers=headers, files=files)
response.raise_for_status()

print("Transcript:", response.json()["text"])

FastRTC 示範

有了這個高速端點,你便可建構即時轉錄應用程式。試試這個範例,它以 FastRTC 建構。只要對著咪高峯説話,就能即時看到語音轉錄結果!

Spaces 很容易複製,歡迎隨意複製。以上所有內容均已在 Hugging Face Hub 的專用 HF Endpoints 機構空間開放予社羣使用。歡迎在此提出 issue、建議使用案例並參與貢獻: hfendpoints-images (Inference Endpoints Images) 🚀

來源:Hugging Face Blog · huggingface.co