Hugging Face 更新 vLLM Transformers 建模後端,多種相容 LLM 架構推理吞吐量達原生實作水平
Native-speed vLLM transformers modeling backend
Hugging Face 更新 vLLM 的 Transformers 建模後端,令多種相容 LLM 架構的推理吞吐量達到或超過 vLLM 手寫原生實作。測試涵蓋 Qwen3-4B 單 GPU、Qwen3-32B 張量並行,以及 Qwen3-235B-A22B-FP8 MoE 在同一 8×H100 節點上的數據並行與專家並行,三者均達到或超越原生實作吞吐量。
文章以三種不同規模及並行配置的 Qwen3 模型對照 vLLM 手寫實作,並説明 torch.fx 分析與運行時融合如何使相容模型達到原生推理速度。
簡要總結:對於不少 LLM 架構,transformers vLLM 後端現時已與自訂 vLLM 實作一樣快,甚至更快。模型作者可自動運用其 transformers 實作,免費取得超高速 vLLM 推論。
# Upgrade the vllm pip package
uv pip install --upgrade vllm --torch-backend auto
Transformers 函式庫已成為機器學習的參考建模函式庫。它透過一致的 API 支援 450 多種架構,設計的主要目標是令模型實作自成一體且容易理解。閲讀 transformers 程式碼,能讓貢獻者輕易瞭解某個架構的運作方式,然後移植到 vLLM、SGLang、MLX、llama.cpp 等其他框架。
我們已全面承擔這個生態角色,並投入大量心力令這件事更容易。去年把 transformers 整合為 vLLM 的建模後端,是其中一大步。這讓模型作者可以在 vLLM 內執行 transformers 模型(包括 LLM 和 VLM),毋須移植任何內容。Transformers 提供建模程式碼,而 vLLM 則提供連續批次處理、自訂注意力核心等高度最佳化的推論技術。
這項整合如今更進一步了 🚀!
展示
我們讓 vLLM 的 transformers 建模後端,與 vLLM 手寫的原生實作正面較量,測試三款截然不同的 Qwen3 模型:
- 單一 GPU 上的 4B dense 模型
- 採用 tensor parallelism 的 32B dense 模型
- 在同一台 8×H100 節點上,採用 data + expert parallelism 的 235B 參數 FP8 Mixture-of-Experts
![]() |
|---|
| 結果是:transformers 建模後端如今在每款模型上都追平或超越原生吞吐量。 |
透過 transformers 建模後端執行任何* Hugging Face 模型,只需一個旗標:--model-impl transformers。它可配合一般的平行處理選項,因此服務設定毋須作任何改動:
# Qwen3-4B dense, single GPU
vllm serve Qwen/Qwen3-4B --model-impl transformers
# Qwen3-32B dense, tensor-parallel across 2 GPUs
vllm serve Qwen/Qwen3-32B --model-impl transformers --tensor-parallel-size 2
# Qwen3-235B-A22B-FP8 MoE, data-parallel + expert-parallel across 8 GPUs
vllm serve Qwen/Qwen3-235B-A22B-FP8 --model-impl transformers --data-parallel-size 8 --enable-expert-parallel
# add --max-model-len 8192 if your node is memory constrained
*目前尚未支援採用 linear attention 的模型,但很快便會支援!程式碼存放在 Hub repo 的自訂模型,則不太可能運作,因為這些模型的編寫方式未必符合規範。
測試方法
每款模型都在三種條件下比較;三者在所有方面都完全相同,唯一分別是程式碼路徑:
- 原生 —
--model-impl vllm,vLLM 手寫的模型(作為對照基準) - 改進後 —
--model-impl transformers包含該 PR - 改進前 —
--model-impl transformers不包含該 PR
完整且可重現的執行程式可在 gist 取得:benchmark.sh
那麼,有甚麼新功能?
以往,vLLM 的 transformers 建模後端主要把注意力機制視為推論瓶頸。透過在執行階段接入 vLLM 的注意力實作,我們可以令 transformers 模型在 vLLM 引擎內高效運行。不過,部署還有許多層面,只有自訂移植才能針對這些層面發揮最大推論效能。跨 GPU 平行化、編譯、融合核心等多項技術,都有助充分運用硬件,實現超高速推論。
![]() |
|---|
| 以往,每個新模型都要先整合到 transformers,再以自訂最佳化方式整合到 vLLM |
模型作者若想取得最佳效能,仍要自行編寫自訂 vLLM 實作。
![]() |
|---|
| 新模型一旦整合到 transformers,現在即可在 vLLM 中使用,並達到原生 vLLM 實作的速度 |
vLLM 的 transformers 建模後端最新版本,會在執行階段動態套用專為推論設計的層融合,在相容架構上達到與自訂程式碼實作相同的速度。
它如何運作?
vLLM 的 transformers 建模後端如今會使用 torch.fx,對模型計算圖進行靜態分析。這個程序會搜尋已知模式,以便進行最佳化。識別出模式後,便會使用 ast(抽象語法樹)操作原始碼,並就地改寫部分運算。
我們可以達到甚麼效果?
- 把多個運算融合,並映射至經(極度)最佳化的 vLLM 核心,例如 Mixture-of-Experts(MoE)模型中用於 Expert Parallelization(EP)的核心。
- 其他主要融合運算是 vLLM 的
MergedColumnParallelLinear和QKVParallelLinear。這些區塊讓我們能為 TP(tensor-parallel)推斷平行處理計劃。如果容易識別 decoder block 清單,也可以推斷 PP(pipeline-parallel)計劃。 - 經修改的模型仍可完整(以 torch)編譯,並如專用 vLLM 模型實作一樣,通過
torch.compile和 CUDA Graphs。 - 與 vLLM 模型實作不同,Transformers 模型實作亦可用於訓練。因此,你可以用同一套模型程式碼進行訓練、評估和 RL rollout。
如上所示,對於相容模型,這能帶來原生 vLLM 推論速度,而且毋須編寫任何程式碼來最佳化模型的推論效能。
我們正撰寫一篇詳盡的網誌文章,深入介紹這些最佳化推論方法,並詳細解釋我們如何改寫模型以適應這些方法。
資源
來源:Hugging Face Blog · huggingface.co


