RLHF 圖解：人類反饋強化學習的訓練流程

Hugging Face Blog 梳理 RLHF 的三階段訓練流程，包括預訓練語言模型、收集偏好數據並訓練獎勵模型，以及以強化學習微調模型。人類標註者透過比較並排序同一提示下生成的文本來建立偏好數據；PPO 微調時，KL 懲罰用於限制策略偏離初始模型。