Hugging Face 發佈 TRL v1.0,打造能隨後訓練領域演進的函式庫
TRL v1.0: Post-Training Library Built to Move with the Field
Hugging Face 發佈 TRL v1.0,將已實作超過 75 種後訓練方法的研究程式碼庫明確定位為具穩定性契約的函式庫。穩定核心遵循語義化版本,實驗層則可快速變動;從最後一個 0.x 版本升級只需少量遷移。
TRL v1.0 把遵循語義化版本的穩定核心與可快速變動的實驗層置於同一套函式庫,呈現下游穩定需求與新方法迭代之間的契約設計。
我們發布 TRL v1.0,這標誌着 TRL 的定位真正轉變。它從研究程式碼庫發展成為可靠的函式庫,使用者可據此建構專案,穩定性方面的預期亦更清晰。 這不只是版本號更新,而是反映 TRL 現已支援生產系統,並願意承擔相應責任。
TRL 現已實作超過 75 種後訓練方法。但涵蓋方法本身並非目標,真正重要的是讓人容易試用、比較並在實務中採用。 函式庫的設計並非一開始便定好,而是多年反覆改進的成果:首次提交距今超過六年,期間經歷領域內各種變化,包括新演算法、新模型和範式轉移。這些壓力逐漸令程式碼庫形成非常具體的設計。有些部分乍看可能不尋常,但就像許多演進中的程式碼庫一樣,每項設計都有其原因。
TRL 為一個不斷變化的領域而建。因此,問題不是如何設計完美抽象,而是如何在假設不斷被推翻的領域中打造穩定軟件。這正是我們在 TRL v1.0 試圖解決的問題,本文會解釋當中的做法。
1. 不斷變化的目標:後訓練領域持續轉變
後訓練並非沿着單一方法逐步完善,而是經歷多個重心轉移;每次轉變不只改變目標,也改變整個技術堆疊的形態。
PPO [Schulman 等人,(2017);Ziegler 等人,(2019)] 曾令一種架構看來成為標準:策略模型、參考模型、訓練好的獎勵模型、抽樣 rollout,以及一個 RL 循環。
接着,原始 DPO [Rafailov 等人,(2023)]、ORPO [Hong 等人,(2024)] 和 KTO [Ethayarajh 等人,(2024)] 等 DPO 類方法精簡了整個堆疊:偏好最佳化不再需要獨立獎勵模型、價值模型或任何線上 RL。曾被視為基本要素的組件,突然變成可選項。
GRPO [Shao 等人,(2024)] 等 RLVR 類方法再度轉移了重心。在數學、程式碼和工具使用等任務中,獎勵往往來自驗證器或確定性檢查,而非訓練好的獎勵模型。抽樣和 rollout 再次變得重要,但循環中的對象已不完全是 PPO 函式庫原先為之設計的對象。
教訓不只是方法會變,核心的定義亦會隨之改變。這個領域的強假設往往很快失效,可能正因如此,目前沒有任何後訓練函式庫真正穩定。
2. 從專案到函式庫:TRL 的設計適應混沌
那麼,如何為不斷變化的領域建立函式庫?答案有點反直覺:不要試圖捕捉當下穩定事物的本質,而要圍繞可能改變的事物來設計。獎勵模型正好説明原因:它在 PPO 中看似不可或缺,在 DPO 中變成可選,到了 RLVR 方法又以驗證器形式回歸;驗證器可以是確定性函式,而不一定是訓練模型。任何圍繞獎勵模型原有形式建立的抽象,到現在已過時兩次。函式庫得以延續,是因為它明白強假設的生命週期很短,並將可變性置於程式碼庫組織方式的核心。
TRL 每月下載量達 3 million 次,許多主要下游專案亦把它視為穩定基礎設施。領域不斷變動,同時這些用戶又需要系統保持穩定。
性質轉變:從程式碼到合約
TRL 並非刻意決定要成為函式庫,而是後來才發現它早已是。Unsloth 和 Axolotl 等專案各有數千名用戶,並直接建基於 TRL 的 trainers 和 API。TRL 的重大變更會即時傳遞至它們的技術堆疊。重新命名參數、改動預設值或重組輸出,都可能成為其他團隊的事故。轉變早已發生;v1.0 是 TRL 明確認知這件事的時刻。
穩定與實驗功能並存
TRL 穩定性模型的特別之處,不在於它保證甚麼,而在於它容許甚麼與保證並存。穩定和實驗功能共處於同一套件中,但各自有明確不同的合約。穩定核心遵循語義化版本控制;實驗層則不作此承諾,讓仍在評估的新方法在此推出,API 亦可快速改動以跟上領域發展。
這並非折衷,而是回應一項特定限制:新方法出現的速度,比任何方法取得穩定地位的速度更快。若拒絕加入未成熟方法,TRL 幾個月內便會失去相關性;若全部納入穩定層,每當演算法證明不如預期,就會破壞所有下游專案。
from trl import SFTTrainer # ⚖️ stable
from trl.experimental.orpo import ORPOTrainer # 🧪 experimental
由實驗層升級至穩定層並非自動發生,關鍵在於維護成本與實際使用量的比例。有些方法因社羣大量採用而值得納入;另一些方法則因我們能把維護成本降至足夠低而變得可行,而程式碼庫設計正是成就這一點的關鍵。
實際上,穩定介面包括 SFT、DPO、獎勵建模、RLOO 和 GRPO 的 trainers,以及相關變體。實驗介面範圍更廣、變動更快;如欲查看最新狀況,請參閲 TRL 文件。
為達到 v1.0 所需的重大變更,已刻意分散至 0.x 各版本推出。從最後一個 0.x 版本遷移所需改動極少,詳情請參閲遷移指南。
刻意限制抽象
在模式不斷改變的領域,建立靈活、包辦一切的抽象很誘人。我們採取相反做法:將抽象限制在絕對最低限度,同時認清這個「最低限度」幾乎總是被高估。
實際上,這代表採取非常局部的程式碼設計方式:
- 避免通用類別階層
- 優先採用明確實作
- 接受甚至鼓勵重複
目標並非完全消除結構,仍會保留共用工具,但要避免在領域本身尚未穩定時強加抽象。例如,我們不會為離線 trainers 定義共同基底類別,而是在其未來演進方向不明時,採用各自獨立的實作。
# ❌ No
class OfflineTrainer(Trainer):
def some_common_method(self): ...
class DPOTrainer(OfflineTrainer): ...
class KTOTrainer(OfflineTrainer): ...
# ✅ Better
class DPOTrainer(Trainer):
def some_common_method(self): ...
class KTOTrainer(Trainer):
def some_common_method(self): ...
另一個例子:
# ❌ No
# collator.py
class TRLCollator: ...
# dpo_trainer.py
class DPOTrainer:
def __init__(self, ...):
self.collator = TRLCollator(...)
# kto_trainer.py
class KTOTrainer:
def __init__(self, ...):
self.collator = TRLCollator(...)
# ✅ Better
# dpo_trainer.py
class DataCollatorForPreference: ...
class DPOTrainer:
def __init__(self, ...):
self.collator = DataCollatorForPreference(...)
# kto_trainer.py
class DataCollatorForUnpairedPreference: ...
class KTOTrainer:
def __init__(self, ...):
self.collator = DataCollatorForUnpairedPreference(...)
評審器正好説明違反此原則會怎樣。早期我們引入 Judge 抽象,統一評估模型輸出的不同方法。當時看來合理,但實際上從未真正被使用:這個抽象不符合人們實際評估的方式,只增加間接層,沒有創造價值。它仍留在儲存庫中,主要作為歷史遺留。回頭看,若當初直接發布具體實作、不加統一抽象,對用戶會更有幫助。
更明確,也更具適應力
這種做法重視明確且可修改的用法,而非僵化框架:少一點魔法,多一點控制。明顯代價是程式碼重複。雖然重複往往被視為反模式,但在此情境下不但可以接受,也證明有效。與直覺相反,只要維持簡單而一致的紀律,實務上仍容易管理:讓各實作之間的差異保持最小,避免不必要的分歧。就像 Transformers 設計理念一樣,我們刻意接受重複和局部明確性。兩者的動機大致相同,但關注重點略有不同。
與其描述,不如直接比較:RLOO 和 GRPO 的大部分實作幾乎逐行重複。這並非偶然,也不是多餘負擔。兩種方法十分相近,讓程式碼路徑保持一致,會更易閲讀、演進和維護。
3. TRL 的定位
這項比較並非要主張 TRL 在所有方面都最好,它確實不是。有些系統以最高處理量為目標(例如 PipelineRL),有些專注於問題中較窄的一部分(例如 LLaMA-Factory),另一些則在特定環境提供立場較鮮明的開發體驗(例如 Tinker)。TRL 在生態系統中另有定位:它是通用後訓練函式庫,盡可能讓 API 和程式碼保持簡單,同時兼具廣泛方法覆蓋、深入的 Hugging Face 整合、較低的基礎設施負擔,以及明確的穩定性合約。
此處沒有列入 Unsloth 和 Axolotl 等函式庫,因為它們建基於 TRL,而非作為同類項目參與比較;某程度上,許多 Unsloth 和 Axolotl 用戶亦間接是 TRL 用戶。
生態系統
| TRL | OpenRLHF | veRL | PRIME-RL | PipelineRL | OAT | Tinker | LLaMA-Factory | torchtune | |
|---|---|---|---|---|---|---|---|---|---|
| Hugging Face Hub 整合 | 🟢 完整 | 🟡 不支援推送 | 🟡 僅模型載入 | 🟡 不支援推送 | 🟡 不支援推送 | 🟡 不支援推送 | 🟡 不支援資料集載入 | 🟢 完整 | 🟡 僅支援資料集載入 |
| PEFT / LoRA / QLoRA 支援 | 🟢 LoRA + QLoRA | 🟢 LoRA + QLoRA | 🟡 僅 LoRA(以 QAT 取代 QLoRA) | 🟡 僅 LoRA | 🔴 不支援 | 🟢 LoRA + QLoRA | 🟡 僅 LoRA | 🟢 LoRA + QLoRA | 🟢 LoRA + QLoRA(torchao,非 bitsandbytes) |
| 實驗追蹤器彈性 | 🟢 任意工具(透過 report_to) |
🟡 wandb + tensorboard | 🟢 wandb、mlflow、swanlab、tensorboard | 🔴 僅 wandb | 🔴 僅 wandb | 🔴 僅 wandb | 🟡 自行整合(API 回傳指標,沒有內置追蹤器) | 🟢 任意工具(透過 report_to)+ swanlab |
🟡 wandb + tensorboard(需手動設定) |
| 基礎設施負擔 | 🟢 低(單張 GPU,標準技術堆疊) | 🟠 高(需要 Ray) | 🔴 非常高(Ray + rollout 引擎) | 🟠 高(獨立 vLLM 伺服器 + ZMQ) | 🟠 高(非同步 vLLM 流程) | 🟡 中(RL 需要 vLLM) | 🟢 低(託管雲端服務) | 🟢 低(單一腳本) | 🟢 低(單一腳本) |
訓練方法
| TRL | OpenRLHF | veRL | PRIME-RL | PipelineRL | OAT | Tinker | LLaMA-Factory | torchtune | |
|---|---|---|---|---|---|---|---|---|---|
| VLM 支援 | 🟢 支援(SFT、DPO、GRPO) | 🔴 不支援 | 🟢 支援(SFT + PPO trainers) | 🟡 部分支援(僅 Qwen3-VL) | 🟢 支援(透過 processor_factory) | 🔴 不支援 | 🔴 不支援 | 🟢 支援(透過 mm_plugin) | 🟡 部分支援(僅 Llama Vision) |
| 監督式後訓練 | 🟢 支援(透過 SFTTrainer) | 🟢 支援(透過 SFTTrainer) | 🟢 支援(透過 SFTTrainer) | 🟢 支援(透過 SFT 入口點) | 🔴 不支援 | 🟢 支援(透過 SFTLearner) | 🔴 不支援(僅低階原語) | 🟢 支援(透過 SFT trainer) | 🟢 支援(透過微調配方) |
| 蒸餾式後訓練 | 🟢 支援(GKD、SDFT、SDPO) | 🔴 不支援 | 🟢 支援(專用蒸餾 trainer) | 🟢 支援(on-policy 蒸餾) | 🔴 不支援 | 🔴 不支援 | 🔴 不支援(僅低階原語) | 🔴 不支援 | 🟢 支援(原生 KD 配方) |
| 偏好式後訓練 | 🟢 支援(DPO、KTO、ORPO、CPO、SimPO、IPO、…) | 🟡 僅 DPO | 🔴 不支援 | 🔴 不支援 | 🔴 不支援 | 🟢 支援(DPO、SimPO、IPO、XPO) | 🔴 不支援(僅低階原語) | 🟡 DPO、KTO、ORPO(透過 TRL) | 🟡 僅 DPO |
| RL 後訓練 | 🟢 支援(PPO、GRPO、RLOO、…) | 🟢 支援(PPO、REINFORCE++、GRPO、RLOO) | 🟢 支援(PPO、GRPO、RLOO、REINFORCE++、DAPO、PRIME、…) | 🟢 支援(非同步 GRPO 類) | 🟢 支援(GRPO、非同步) | 🟢 支援(PPO、GRPO、Online DPO) | 🔴 不支援(僅低階原語) | 🟠 僅 PPO(透過 TRL) | 🟠 PPO(GRPO 開發中) |
| 代理/環境支援 | 🟢 支援(GRPO 中靈活的 environment_factory) |
🟢 支援(靈活的 AgentInstance 介面) |
🟢 支援(靈活的 BaseInteraction 介面) |
🟡 部分支援(綁定 Prime Intellect 的 Environments Hub) | 🟡 部分支援(內置領域:fn_calling、miniwob、…) | 🔴 不支援 | 🔴 不支援(僅低階原語) | 🔴 不支援 | 🔴 不支援 |
| 擴展能力 | 🟡 多節點 DeepSpeed/FSDP,不原生支援 TP | 🟢 Ray + DeepSpeed + 大規模 vLLM TP | 🟢 Megatron 3D 平行化,已測試至 671B | 🟢 FSDP2 + TP/CP/EP、SLURM 和 K8s | 🟡 DeepSpeed/FSDP,不原生支援訓練 TP | 🔴 僅 DeepSpeed ZeRO,研究規模 | 🟢 託管服務,可處理大型模型 | 🟡 FSDP2 + DeepSpeed,不原生支援 TP | 🟡 FSDP + PyTorch TP,不支援 PP |
專案健康狀況
| TRL | OpenRLHF | veRL | PRIME-RL | PipelineRL | OAT | Tinker | LLaMA-Factory | torchtune | |
|---|---|---|---|---|---|---|---|---|---|
| 語義化版本穩定性 | 🟢 是 | 🟡 部分 | 🟡 部分 | 🔴 否 | 🔴 否 | 🔴 否 | 🟡 部分 | 🟡 部分 | 🟡 部分 |
| 每月 PyPI 下載量 | 3.0M | 3.6k | 101.6k | N/A | N/A | 218 | 363.3k | 25.6k | 370.9k |
| GitHub 星數 | 17.8k | 9.2k | 20.2k | 1.2k | 0.4k | 0.6k | 3.0k | 69.0k | 5.7k |
| 最後發布時間 | 🟢 今天 | 🟢 昨天 | 🟡 一週前 | 🟠 七週前 | ⚫ 沒有發布版本 | 🔴 三個月前 | ⚫ 沒有發布版本 | 🔴 三個月前 | 🔴 十一個月前 |
| 最後提交時間 | 🟢 昨天 | 🟢 昨天 | 🟢 今天 | 🟢 今天 | 🟡 三週前 | 🟠 八週前 | 🟢 昨天 | 🟢 昨天 | 🟡 一週前 |
部分列項是客觀資料(GitHub stars、Last release、Last commit),另一些則是質性判斷(Semver stability)。
綜合而言,這些比較清楚指出 TRL 的定位:一個通用函式庫,致力於同時兼顧廣度、簡潔、整合和穩定。由於大部分部署屬私人用途,反向依賴亦難以看見,其完整下游影響難以衡量;不過現有訊號已顯示,TRL 的運作規模明顯不同。
4. 下一步
至此,v1.0 背後的思路應已清晰:這並非宣稱後訓練已趨穩定,恰恰相反,它承認領域仍會持續變化,同時表明我們有信心函式庫已具備合適形態,能承接未來一切發展。問題不是 v1.0 之後會怎樣,而是 v1.0 接下來會怎樣。
非同步 GRPO
目前,TRL 中的 GRPO 主要透過同步循環使用:生成 rollout、評分,再更新最佳化器。這種流程簡單可靠,但處理量受最慢階段限制,大規模執行時無法充分發揮效能。
解決概念上很簡單:生成和訓練不必鎖步進行。我們已有早期非同步 GRPO 設計,下一步是令其更穩健。核心概念是將生成與訓練解耦:生成可在專用推論資源上持續執行,訓練則消耗穩定串流的已評分軌跡,同時提供緩衝、背壓和清晰的策略版本追蹤。這可提高資源使用率,並擴展至多張 GPU 和多個節點。其他函式庫已提供某些非同步 RL 形式;將其引入 TRL,便能透過更廣泛的整合、更簡單的 API 和更低的採用門檻,提供這種訓練方式。
將方法升級至穩定層
下一批候選方法包括 KTO,以及較新的蒸餾 trainers,例如 SDFT、SDPO,或許還有 GOLD 或 GKD。如第 2 節所述,在升級至穩定層之前,目標是盡量減少各實作之間的程式碼差異,並監察社羣興趣能否持續,以及其與維護成本是否相稱。
擴展能力
TRL 支援大規模訓練,包括多節點執行和較大型模型;下一步是令這條路徑更穩健,並更容易在生產環境操作。這包括加強分散式穩定性保障、提供更清晰的擴展預設值,以及深入支援混合專家(MoE),尤其是專家平行化,因為路由、負載平衡和記憶體行為在此至關重要。
讓代理能理解訓練狀況
訓練至今仍太常靠感覺判斷。損失曲線下降、獎勵曲線上升、幾個樣本看起來比以前好,大家便説服自己訓練正在奏效。失敗時,他們翻查日誌、用肉眼比較不同執行結果,再靠猜測判斷。對人類而言,這已是薄弱的介面;對代理而言更糟,幾乎稱不上介面。
TRL 最重要的發展方向之一,是讓軟件也能理解訓練,而不只讓人理解。這不只是提供儀錶板和原始指標,而是產生明確訊號:策略正在改善、崩潰、過度最佳化驗證器、偏離分佈,還是停滯不前?目標是讓 TRL 自動呈現這些模式、清楚解釋,並將其轉化為行動。
計劃是在訓練循環中直接加入啟發式規則,並發出結構化、可採取行動的警告,讓初學者可即時跟進,代理亦能解析:
[TRL] WARNING: VRAM utilization at 34%. Consider increasing per_device_train_batch_size from 4 to 16.
...
[TRL] WARNING: Group reward std is 0.01 (near zero). Advantage signal has collapsed. Consider revisiting your reward function to ensure it provides sufficient variance for learning.
...
[TRL] WARNING: Clip ratio outside [0.8, 1.2] for 43% of updates. Consider reducing the learning rate.
不只是記錄發生了甚麼,而是推論其意義和下一步該怎樣做。這既可為需要防護指引的初學者提供幫助,也可讓代理使用真正能自動化的訓練堆疊。
5. 結論
後訓練不會收斂,而是持續變化;下一次轉變已經到來。
v1.0 並非宣稱一切已塵埃落定,而是承認仍未穩定,同時承諾函式庫仍值得信賴。六年來與領域共同演進,以及數百位貢獻者的努力,塑造出我們有信心能迎接未來任何發展的設計。社羣和下游專案早已假定它具備穩定性;v1.0 則讓這份穩定成為事實。
pip install --upgrade trl
從上一個 0.x 版本遷移只需極少改動,遷移指南已涵蓋所有內容。如果你剛接觸 TRL,現在正是開始使用的好時機。
來源:Hugging Face Blog · huggingface.co
