Transformers v5:以簡潔模型定義支撐 AI 生態系統
Transformers v5: Simple model definitions powering the AI ecosystem
Hugging Face 發佈 Transformers v5.0.0rc-0,將簡化模型定義、訓練、推理和生產支援列為重點,並以互操作性貫穿版本改造。
文章説明 Transformers v5 如何銜接訓練工具、推理引擎與本地部署,並呈現其聚焦 PyTorch、提升量化支援的工程取捨。
![]()
Transformers 版本 v4.0.0rc-1(第 4 版的首個候選版本)於 2020 年十一月 19 日發布。五年後的今天,我們推出 v5.0.0rc-0。
今天,隨着 v5 推出,Transformers 每天透過 pip 安裝超過3 百萬次,而 v4 時每天只有20,000 次 🤯。累計安裝量現已突破1.2 十億次!
生態系統已由 v4 的40 種模型架構,擴展至現時超過 400 種;社羣亦在 Hub 上貢獻了超過 750,000 個與 Transformers 相容的模型檢查點,而 v4 推出時約有1,000 個。
這種增長來自領域發展,以及 AI 現已普及。作為生態系統中領先的模型定義程式庫,我們必須持續演進和調整,才能保持相關性。持續革新是 AI 領域長久發展的關鍵。
我們很高興能與許多以 transformers 為基礎的程式庫和應用程式合作,以下排名不分先後:llama.cpp、MLX、onnxruntime、Jan、LMStudio、vLLM、SGLang、Unsloth、LlamaFactory、dLLM、MaxText、TensorRT、Argmax,以及許多其他夥伴。
v5 的開發重點包括幾個重要方面:簡潔性、訓練、推論和正式環境部署。本文會詳細介紹這些工作。
簡潔性
團隊首先聚焦簡潔性。開發 transformers 時,我們把程式碼視為產品。我們希望模型整合方式清晰,讓生態系統可以依賴我們的模型定義,並瞭解底層實際運作方式、各模型之間的差異,以及每個新模型的主要特性。簡潔設計可促進更廣泛的標準化、通用性和支援。
模型新增
Transformers 是數十萬個專案的核心基礎,Unsloth 亦然。我們以 Transformers 為基礎,協助用戶高效微調和訓練模型,無論是 BERT、文字轉語音(TTS)或其他模型;即使其他程式庫尚未支援某些模型,也能快速執行強化學習(RL)推論。我們對 Transformers v5 感到興奮,也很高興能與 Hugging Face 團隊合作!
-- Unsloth 的 Michael Han
Transformers 的核心仍然是模型架構工具套件。我們希望涵蓋所有近期架構,並成為模型定義的「唯一準據」。過去 5 年,我們每週新增 1 至 3 個模型,如下方時間線所示:
我們一直致力改善新增模型的流程。
模組化方法
過去一年,我們大力推動模組化設計,這是重要的進展,有助簡化維護、加快整合,並促進社羣協作。
我們在維護不可維護之物的網誌文章中提供更深入介紹。簡而言之,我們希望大幅簡化模型貢獻流程,並減輕維護負擔。一項可突顯的指標是:採用模組化方式時,貢獻(和審閲)所需的程式碼行數會大幅減少:

我們尊重「一個模型、一個檔案」的理念,同時繼續引入一些抽象,簡化常用輔助工具的管理。最主要的例子是新增 AttentionInterface,集中抽象處理注意力方法。eager 方法會保留在建模檔案中;FA1/2/3、FlexAttention 或 SDPA 等其他方法則會移至介面。
過去幾年,持續支援新模型架構的 0-day 更新,以及標準化注意力處理方式,有助簡化我們對現代 LLM 進行後訓練的支援。
-- Axolotl 的 Wing Lian
模型轉換工具
我們正建構工具,協助識別新模型與哪種現有模型架構相似。此功能會以機器學習找出獨立建模檔案之間的程式碼相似性。進一步而言,我們希望透過為模型開啟草稿 PR,自動完成轉換,將模型整合至 transformers 格式。這個流程可減少人手工作,並確保一致性。
減少程式碼
精簡建模和 Tokenization/處理檔案
我們大幅重構了建模和 tokenization 檔案。受惠於上述模組化方法,以及跨模型標準化,建模檔案已有顯著改善。標準化有助抽象處理大部分不屬於模型本身的工具,令建模程式碼只包含模型前向和反向傳遞所需的部分。
與此同時,我們正在精簡 tokenization 和處理檔案:今後只會專注支援 tokenizers 後端,移除「Fast」和「Slow」tokenizer 的概念。
我們會像處理以 PyTorch 為基礎的模型一樣,以 tokenizers 作為主要 tokenization 後端。Sentencepiece 或 MistralCommon 後端 tokenizer 仍會支援,但不會設為預設。圖像處理器今後只會提供快速版本,並依賴 torchvision 後端。
最後,我們將停止支援 Flax/TensorFlow,集中以 PyTorch 作為唯一後端;不過,我們亦正與 Jax 生態系統的合作夥伴合作,確保模型與該生態系統相容。
Transformers v5 全面採用 PyTorch。Transformers 是整個領域模型建構的準據和基礎;我們一直與團隊合作,確保整個技術堆疊都有良好效能。
我們期待日後在訓練、推論和部署方面持續推進這項工作。
-- Matt White,PyTorch Foundation 執行總監、Linux Foundation AI 總經理
訓練
邁向 v5 之際,訓練仍是團隊的重點。過去我們較着重微調,而非大規模預訓練或完整訓練;最近亦大幅改善了對後兩者的支援。
大規模預訓練
支援預訓練意味著要重新設計模型初始化方式,確保模型可在不同平行處理模式下大規模運作,並為前向和反向傳遞提供最佳化 kernels。
未來我們期待擴大與 torchtitan、megatron、nanotron 等工具的相容性,也歡迎其他有興趣合作的預訓練工具。
微調和後訓練
我們持續與 Python 生態系統中的所有微調工具緊密合作,並希望繼續提供相容的模型實作,包括 Unsloth、Axolotl、LlamaFactory、TRL 等 PyTorch 生態系統工具;我們亦與 JAX 生態系統中的 MaxText 等工具合作,提升不同框架與 transformers 之間的互通性。
現在所有微調和後訓練工具都可依賴 transformers 提供模型定義;透過 OpenEnv 或 Prime Environment Hub,進一步支援代理式用途。
推論
v5 會大幅聚焦推論,並帶來多項模式上的改變:新增專用 kernels、更簡潔的預設設定、新 API,以及支援最佳化推論引擎。
與訓練相似,我們亦致力封裝 kernels,令硬件和軟件環境許可時自動使用。如果你未聽過 kernels,建議參閲這份説明文件。
配合這項工作,我們推出兩個專為推論而設的新 API:
- 我們支援連續批次處理和分頁注意力機制。這些功能已在內部使用一段時間,目前正收尾處理細節並撰寫使用指南。
- 我們推出
transformers serve,作為 Transformers 專用的新服務系統,提供與 OpenAI API 相容的伺服器。
我們認為這是評估等用途的一大進步,因為這些用途會同時發出大量推論請求。我們不打算像 vLLM、SGLang、TensorRT LLM 等專用推論引擎一樣進行特定最佳化,而是致力與它們實現完全互通,詳情見下一節。
vLLM 中的 Transformers 後端非常有助於讓更多用戶使用 BERT 和其他編碼器等架構。我們一直與 Transformers 團隊合作,確保多種模態都有大量模型可用,並盡可能提供最佳效能。這只是合作的開始:很高興看到 Transformers 團隊將把這方面列為 v5 的重點。
-- vLLM 的 Simon Mo、Harry Mellor
標準化是加快 AI 創新的關鍵。Transformers v5 讓 SGLang 團隊減少重新實作模型所需的時間,轉而專注最佳化 kernels。我們期待攜手建構更高效和統一的 AI 生態系統!
-- SGLang 的 Chenyang Zhao
正式環境和本機使用
最近,我們一直與最受歡迎的推論引擎攜手合作,讓它們使用 transformers 作為後端。這帶來顯著價值:模型一旦加入 transformers,便可供這些推論引擎使用,同時受惠於各引擎的優勢,例如推論最佳化、專用 kernels、動態批次處理等。
我們亦一直與 ONNXRuntime、llama.cpp 和 MLX 緊密合作,提升 transformers 與這些建模程式庫實作之間的互通性。例如,社羣付出大量努力後,現在可輕鬆在 transformers 中載入 GGUF 檔案,進一步微調。反過來,transformers 模型也可輕鬆轉換成 GGUF 檔案,供 llama.cpp 使用。
Transformers 框架是取得參考 AI 模型實作的首選。此框架在推動整個技術堆疊的現代 AI 發展上扮演關鍵角色。專案團隊和社羣真正理解並擁抱開源開發與協作精神。
-- ggml-org 的 Georgi Gerganov
MLX 亦是如此,transformers 的 safetensors 檔案可直接與 MLX 模型相容。
Transformers(以及 datasets、tokenizers 等)對開源和整體 AI 生態系統的重要性,再怎樣強調也不為過。我已數不清自己有多少次把 Transformers 當作唯一準據。
-- MLX 的 Awni Hannun
最後,我們正拓展本機推論的可能性,並與 executorch 團隊攜手合作,讓裝置端亦可使用 transformers 模型。我們透過 optimum 擴展對多模態模型(視覺、音訊)的支援。
量化
量化正迅速成為最先進模型開發的標準。許多 SOTA 模型現以低精度格式發布,例如 8-bit 和 4-bit(如 gpt-oss、Kimi-K2、Deepseek-r1);硬件亦愈來愈針對低精度工作負載最佳化,社羣則積極分享高質素量化檢查點。v5 將把量化列為 Transformers 支援的核心重點,確保與所有主要功能完全相容,並提供可靠的訓練和推論框架。
我們大幅改變模型權重載入方式,並讓量化成為一等公民。
我們與 Transformers 團隊合作非常順利。他們主動審閲程式碼、提供意見和技術專長,合作成果豐碩。他們的支持對在 v5 中整合 TorchAO、擴充量化功能,以及改善文件以促進更廣泛採用至關重要。
-- TorchAO 的 Jerry Zhang
我們很高興 v5 讓量化成為一等公民。這為 bitsandbytes 更完善地支援 TP 和 MoE 等重要功能奠定基礎,亦令整合新量化方法更容易。
-- bitsandbytes 的 Matthew Douglas 和 Titus von Koeller
總結
v5 的整體主題是「互通性」。所有重構、效能改進和標準化工作都圍繞這個主題。v5 可與不斷擴大的生態系統協作,實現端到端流程:使用 Unsloth/Axolotl/LlamaFactory/MaxText 訓練模型,以 vLLM/SGLang 部署,再匯出至 llama.cpp/executorch/MLX,在本機運行!
v5 是社羣眾多人士過去五年努力的成果。我們亦視之為一項承諾,並為未來方向指明路徑。
我們藉此機會精簡工具套件,聚焦真正重要的部分;現在基礎已整潔,方便我們繼續建構。感謝社羣和團隊作出的眾多改進,以及在效能、易用性和可讀性方面的提升,日後發布改進將會更簡單。
v5.0.0 首個 RC 現已發布,我們熱切期待你的意見。請參閲發布説明瞭解所有技術細節,並在GitHub issues提供意見!
來源:Hugging Face Blog · huggingface.co