跳到正文
Hugging Face Blog·· 2025-05-15精選AI 評分65

Hugging Face Transformers 計劃推動模型定義標準化

The Transformers Library: standardizing model definitions

AI 導讀

Hugging Face 表示,Transformers 將朝跨框架模型定義標準化發展,目標是讓其支援的模型架構更易被其他生態工具採用。目前 Transformers 支援 300+ 種模型架構,平均每週新增約 3 種;團隊計劃簡化建模程式碼和 API,並加強模組化模型定義。

推薦理由

文章交代 Transformers 希望成為跨框架模型定義的共同基礎,並列出簡化模型貢獻流程、提升訓練與推理工具互通的具體方向。

正文 · 繁體中文

簡而言之:展望未來,我們希望 Transformers 成為各框架之間的樞紐:只要 Transformers 支援某種模型架構,你就可以預期整個生態系統的其他部分也會支援它。


Transformers 於 2019 年、BERT Transformer 模型發布後不久建立。此後,我們一直致力加入最先進的模型架構,最初聚焦 NLP,之後擴展至音訊和電腦視覺。如今,Transformers 已是 Python 生態系統中 LLM 和 VLM 的預設程式庫。

Transformers 現在支援 300 多種模型架構,平均每星期新增約 3 種。我們致力及時發布這些架構,並在發布當日便支援最受關注的架構(例如 Llamas、Qwens、GLMs 等)。

模型定義程式庫

Transformers standardizing model definitions

隨着時間推移,Transformers 已成為 ML 生態系統的核心組件,也是模型多樣性最完整的工具組之一;它已整合至所有熱門訓練框架,例如 Axolotl、Unsloth、DeepSpeed、FSDP、PyTorch-Lightning、TRL、Nanotron 等。

最近,我們一直與最熱門的推理引擎(vLLM、SGLang、TGI 等)緊密合作,讓它們使用 transformers 作為後端。這帶來顯著價值:模型一旦加入 transformers,便可在這些推理引擎中使用,同時善用各引擎的優勢,例如推理最佳化、專用核心和動態批次處理等。

例如,以下示範如何在 vLLM 中使用 transformers 後端:

from vllm import LLM

llm = LLM(model="new-transformers-model", model_impl="transformers")

只需這樣做,新模型便可透過 vLLM 享有超高速、達到生產級別的服務!

如欲瞭解詳情,請參閲 vLLM 文件。


我們亦一直與 llama.cpp 和 MLX 緊密合作,確保 transformers 與這些模型程式庫的實作能高度互通。例如,得益於社羣的大量投入,現在在 transformers 載入 GGUF 檔案以進一步微調模型,已變得非常容易。反過來説,Transformers 模型也可以輕鬆轉換成 GGUF 檔案,供 llama.cpp 使用。

MLX 也有相同情況:Transformers 的 safetensors 檔案可直接與 MLX 模型相容。

我們非常自豪,社羣正採用 transformers 格式,帶來大家都受惠的高度互通性。使用 Unsloth 訓練模型、以 SGLang 部署,再匯出至 llama.cpp 在本機執行!我們會繼續支援社羣。

致力讓模型貢獻流程更簡單

為了讓社羣更容易以 Transformers 作為模型定義的參考,我們致力大幅降低貢獻模型的門檻。這項工作已持續數年,而未來幾星期我們會顯著加快步伐:

  • 進一步簡化各模型的建模程式碼,為最重要的組件(KV 快取、不同的 Attention 函式、核心最佳化)提供清晰精簡的 API
  • 淘汰重複的組件,改為以簡單一致的方式使用 API:透過淘汰速度較慢的 tokenizer 來鼓勵高效 tokenization,並同樣改用快速的向量化視覺處理器。
  • 繼續推動模組化模型定義,目標是讓新模型只需極少的程式碼變更。動輒 6000 行的貢獻,以及為加入新模型而修改 20 個檔案的日子,已經過去。

這對你有甚麼影響?

對模型使用者而言,這代表甚麼?

身為模型使用者,未來你應會在所用工具之間享有更高的互通性。

這並不代表我們打算要求你在實驗中只能使用 transformers;而是透過模型標準化,你可以預期用於訓練、推理和生產的工具能夠高效協同運作。

對模型創作者而言,這代表甚麼?

身為模型創作者,只需貢獻一次,你的模型便可供所有已整合該模型實作的下游程式庫使用。多年來我們屢次見證這種情況:發布模型本身已令人壓力不少,還要將模型整合至所有重要程式庫,往往又十分耗時。

透過由社羣共同推動模型實作標準化,我們希望降低在不同程式庫中貢獻模型的門檻。


我們深信,這個重新聚焦的方向有助標準化一個經常面臨分裂風險的生態系統。我們期待聽到你對團隊所定方向的意見,也歡迎就如何達成目標提出建議。歡迎到 Hub 上的 transformers-community 支援頁籤與我們交流!

來源:Hugging Face Blog · huggingface.co