Hugging Face 在 TRL 推出 RLOO Trainer，作為 PPO 的線上 RLHF 替代方案

Hugging Face 在 TRL 引入 RLOO Trainer，這是一種較 PPO 更易實作、較省 GPU 記憶體的線上 RLHF 訓練方法。測試顯示，RLOO 約比 PPO 少用 50–70% vRAM，1B 模型快 2 倍、6.9B 模型最高快 3 倍；6.9B checkpoint 的 GPT4 評審偏好率為 78.7%（k=2）。