跳到正文
Hugging Face Blog·· 2026-07-08精選AI 評分75

Hugging Face 更新 vLLM Transformers 建模後端,多種相容 LLM 架構推理吞吐量達原生實作水平

Native-speed vLLM transformers modeling backend

AI 導讀

Hugging Face 更新 vLLM 的 Transformers 建模後端,令多種相容 LLM 架構的推理吞吐量達到或超過 vLLM 手寫原生實作。測試涵蓋 Qwen3-4B 單 GPU、Qwen3-32B 張量並行,以及 Qwen3-235B-A22B-FP8 MoE 在同一 8×H100 節點上的數據並行與專家並行,三者均達到或超越原生實作吞吐量。

推薦理由

文章以三種不同規模及並行配置的 Qwen3 模型對照 vLLM 手寫實作,並説明 torch.fx 分析與運行時融合如何使相容模型達到原生推理速度。

正文 · 繁體中文

簡要總結:對於不少 LLM 架構,transformers vLLM 後端現時已與自訂 vLLM 實作一樣快,甚至更快。模型作者可自動運用其 transformers 實作,免費取得超高速 vLLM 推論。

# Upgrade the vllm pip package
uv pip install --upgrade vllm --torch-backend auto

Transformers 函式庫已成為機器學習的參考建模函式庫。它透過一致的 API 支援 450 多種架構,設計的主要目標是令模型實作自成一體且容易理解。閲讀 transformers 程式碼,能讓貢獻者輕易瞭解某個架構的運作方式,然後移植到 vLLM、SGLang、MLX、llama.cpp 等其他框架。

我們已全面承擔這個生態角色,並投入大量心力令這件事更容易。去年把 transformers 整合為 vLLM 的建模後端,是其中一大步。這讓模型作者可以在 vLLM 內執行 transformers 模型(包括 LLM 和 VLM),毋須移植任何內容。Transformers 提供建模程式碼,而 vLLM 則提供連續批次處理、自訂注意力核心等高度最佳化的推論技術。

這項整合如今更進一步了 🚀!

展示

我們讓 vLLM 的 transformers 建模後端,與 vLLM 手寫的原生實作正面較量,測試三款截然不同的 Qwen3 模型:

  • 單一 GPU 上的 4B dense 模型
  • 採用 tensor parallelism 的 32B dense 模型
  • 在同一台 8×H100 節點上,採用 data + expert parallelism 的 235B 參數 FP8 Mixture-of-Experts
Pre and Post PR benchmarks with trasnformers vllm backend
結果是:transformers 建模後端如今在每款模型上都追平或超越原生吞吐量。

透過 transformers 建模後端執行任何* Hugging Face 模型,只需一個旗標:--model-impl transformers。它可配合一般的平行處理選項,因此服務設定毋須作任何改動:

# Qwen3-4B dense, single GPU
vllm serve Qwen/Qwen3-4B --model-impl transformers

# Qwen3-32B dense, tensor-parallel across 2 GPUs
vllm serve Qwen/Qwen3-32B --model-impl transformers --tensor-parallel-size 2

# Qwen3-235B-A22B-FP8 MoE, data-parallel + expert-parallel across 8 GPUs
vllm serve Qwen/Qwen3-235B-A22B-FP8 --model-impl transformers --data-parallel-size 8 --enable-expert-parallel
# add --max-model-len 8192 if your node is memory constrained

*目前尚未支援採用 linear attention 的模型,但很快便會支援!程式碼存放在 Hub repo 的自訂模型,則不太可能運作,因為這些模型的編寫方式未必符合規範。

測試方法

每款模型都在三種條件下比較;三者在所有方面都完全相同,唯一分別是程式碼路徑:

  1. 原生 — --model-impl vllm,vLLM 手寫的模型(作為對照基準)
  2. 改進後 — --model-impl transformers 包含該 PR
  3. 改進前 — --model-impl transformers 不包含該 PR

完整且可重現的執行程式可在 gist 取得:benchmark.sh

那麼,有甚麼新功能?

以往,vLLM 的 transformers 建模後端主要把注意力機制視為推論瓶頸。透過在執行階段接入 vLLM 的注意力實作,我們可以令 transformers 模型在 vLLM 引擎內高效運行。不過,部署還有許多層面,只有自訂移植才能針對這些層面發揮最大推論效能。跨 GPU 平行化、編譯、融合核心等多項技術,都有助充分運用硬件,實現超高速推論。

New model integration to transformers and vLLM
以往,每個新模型都要先整合到 transformers,再以自訂最佳化方式整合到 vLLM

模型作者若想取得最佳效能,仍要自行編寫自訂 vLLM 實作。

New model integrates to transformers, and is immediately available to vLLM
新模型一旦整合到 transformers,現在即可在 vLLM 中使用,並達到原生 vLLM 實作的速度

vLLM 的 transformers 建模後端最新版本,會在執行階段動態套用專為推論設計的層融合,在相容架構上達到與自訂程式碼實作相同的速度。

它如何運作?

vLLM 的 transformers 建模後端如今會使用 torch.fx,對模型計算圖進行靜態分析。這個程序會搜尋已知模式,以便進行最佳化。識別出模式後,便會使用 ast(抽象語法樹)操作原始碼,並就地改寫部分運算。

我們可以達到甚麼效果?

  • 把多個運算融合,並映射至經(極度)最佳化的 vLLM 核心,例如 Mixture-of-Experts(MoE)模型中用於 Expert Parallelization(EP)的核心。
  • 其他主要融合運算是 vLLM 的 MergedColumnParallelLinear 和 QKVParallelLinear。這些區塊讓我們能為 TP(tensor-parallel)推斷平行處理計劃。如果容易識別 decoder block 清單,也可以推斷 PP(pipeline-parallel)計劃。
  • 經修改的模型仍可完整(以 torch)編譯,並如專用 vLLM 模型實作一樣,通過 torch.compile 和 CUDA Graphs。
  • 與 vLLM 模型實作不同,Transformers 模型實作亦可用於訓練。因此,你可以用同一套模型程式碼進行訓練、評估和 RL rollout。

如上所示,對於相容模型,這能帶來原生 vLLM 推論速度,而且毋須編寫任何程式碼來最佳化模型的推論效能。

我們正撰寫一篇詳盡的網誌文章,深入介紹這些最佳化推論方法,並詳細解釋我們如何改寫模型以適應這些方法。

資源

來源:Hugging Face Blog · huggingface.co