RLHF 圖解:人類反饋強化學習的訓練流程
Illustrating Reinforcement Learning from Human Feedback (RLHF)
Hugging Face Blog 梳理 RLHF 的三階段訓練流程,包括預訓練語言模型、收集偏好數據並訓練獎勵模型,以及以強化學習微調模型。人類標註者透過比較並排序同一提示下生成的文本來建立偏好數據;PPO 微調時,KL 懲罰用於限制策略偏離初始模型。
文章拆解 RLHF 的三階段訓練流程,並説明偏好排序如何訓練獎勵模型,以及 KL 懲罰如何約束後續策略更新。
過去數年,語言模型只要接收人類輸入提示詞,便能生成多樣而引人入勝的文字,展現出令人印象深刻的能力。然而,「好」文字本質上難以定義,因為它既主觀又取決於上下文。應用情境各有不同:寫故事時需要創意、資訊文章應該真確,而程式碼片段則必須能夠執行。
要撰寫一個能涵蓋上述特性的損失函數,似乎難以實現;大部分語言模型仍然使用簡單的下一個 token 預測損失(例如交叉熵)訓練。為彌補損失函數本身的不足,人們會設計更能反映人類偏好的指標,例如 BLEU 或 ROUGE。這些指標雖然比損失函數更適合衡量表現,但只是按簡單規則比較生成文字與參考答案,因此同樣有所侷限。如果能用人類對生成文字的回饋作為表現指標,甚至更進一步把回饋作為優化模型的損失,豈不是很好?這就是人類回饋強化學習(RLHF)的概念:運用強化學習方法,直接以人類回饋優化語言模型。RLHF 讓語言模型開始能把以一般文字語料訓練的模型,調整至符合複雜的人類價值觀。
RLHF 最近一次成功應用,是用於 ChatGPT。看到 ChatGPT 能力出眾,我們便請它為我們解釋 RLHF:
它的解釋出奇地不錯,但仍未涵蓋所有內容。接下來我們會補上這些缺漏!
RLHF:逐步拆解
人類回饋強化學習(亦稱人類偏好強化學習)是一個具挑戰性的概念,因為它涉及多模型訓練流程和不同部署階段。本文會把訓練流程拆分為三個核心步驟:
- 預訓練語言模型(LM),
- 收集數據並訓練獎勵模型,以及
- 透過強化學習微調 LM。
首先,我們會瞭解語言模型如何預訓練。
預訓練語言模型
RLHF 通常以已按傳統預訓練目標完成預訓練的語言模型作為起點(詳情請參閲這篇網誌文章)。OpenAI 第一個廣受歡迎的 RLHF 模型 InstructGPT,使用較小版本的 GPT-3。Anthropic 公開的論文則使用 10 million 至 52 billion 參數的 Transformer 模型訓練此任務。DeepMind 曾記錄使用其多達 280 billion 參數的模型 Gopher。這些公司很可能在採用 RLHF 的產品中使用更大型模型。
這個初始模型亦可用額外文字或條件進行微調,但並非必要。例如,OpenAI 以人類撰寫、較「理想」的文字進行微調;Anthropic 則透過蒸餾原始 LM,利用情境線索中的「有幫助、誠實、無害」準則生成 RLHF 的初始 LM。這兩種做法都屬於成本高昂的增強數據來源,但理解 RLHF 並不需要採用這些技術。開始 RLHF 流程的核心,是擁有一個能妥善回應不同指令的模型。
一般而言,對於「哪個模型」最適合作為 RLHF 起點,目前並無明確答案。這也是本文反覆提及的情況:RLHF 訓練的選項設計空間仍未經充分探索。
接着,有了語言模型後,便需要生成數據來訓練獎勵模型,以便把人類偏好整合至系統。
獎勵模型訓練
RLHF 中較新的研究,由生成一個按人類偏好校準的獎勵模型(RM,亦稱偏好模型)開始。核心目標是取得一個能接收文字序列並回傳純量獎勵的模型或系統,而該獎勵應以數值表示人類偏好。系統可以是端到端 LM,亦可以是輸出獎勵的模組化系統(例如由模型排列輸出,再把排名轉換為獎勵)。輸出純量獎勵至關重要,這樣現有 RL 演算法才能在 RLHF 流程後續階段無縫整合。
獎勵建模所用的 LM,可以是另一個經微調的 LM,也可以是以偏好數據從頭訓練的 LM。例如 Anthropic 曾在預訓練後使用專門微調方法初始化這些模型(偏好模型預訓練,PMP),因為他們發現這比微調更具樣本效率;但目前沒有任何一種基礎模型被公認為獎勵模型的最佳選擇。
RM 的提示詞-生成結果配對訓練集,會從預先定義的資料集中抽取一批提示詞來生成(Anthropic 的數據主要透過 Amazon Mechanical Turk 聊天工具收集,並已在 Hub 上公開;OpenAI 則使用使用者提交至 GPT API 的提示詞)。再把提示詞輸入初始語言模型,生成新文字。
人類標註員會為 LM 生成的文字輸出排序。乍看之下,似乎應由人類直接為每段文字評分,以生成獎勵模型,但實際上很難做到。人類價值觀各異,令這些分數欠缺校準且雜訊甚多。相反,使用排名比較多個模型的輸出,可建立正則化效果好得多的資料集。
文字排序有多種方法。成功做法之一,是讓使用者比較兩個語言模型在相同提示詞下生成的文字。透過一對一比較模型輸出,可運用 Elo 系統,為模型和輸出相對排名。這些不同的排序方法會正規化為純量獎勵訊號,用於訓練。
這個流程的一個有趣現象是,至今成功的 RLHF 系統所用獎勵語言模型的規模,與文字生成模型並不一致(例如 OpenAI 使用 175B LM 和 6B 獎勵模型;Anthropic 使用 10B 至 52B 的 LM 和獎勵模型;DeepMind 則為兩者都使用 70B Chinchilla 模型)。直覺上,偏好模型應具備相近能力,才能理解生成模型所生成的文字。
此時,RLHF 系統已具備一個可生成文字的初始語言模型,以及一個可接收任何文字並評估其在人類眼中理想程度的偏好模型。下一步,我們會使用強化學習(RL),按獎勵模型優化原始語言模型。
透過 RL 微調
長久以來,從工程和演算法角度看,使用強化學習訓練語言模型都被認為不可能。多個機構似乎已成功做到的,是複製一份初始 LM,再以策略梯度 RL 演算法 Proximal Policy Optimization(PPO)微調部分或全部參數。 微調整個 10B 或 100B 以上參數模型成本過高,因此會凍結部分 LM 參數(詳情請參閲語言模型低秩適配(LoRA),或 DeepMind 的 Sparrow LM);具體做法視模型規模和所用基礎設施而定。凍結多少參數與是否凍結,仍是開放研究問題。 PPO 已存在相當長時間,網上有大量指南介紹其運作方式。這種方法相對成熟,因此很適合擴展至 RLHF 的分散式訓練新用途。事實證明,RLHF 的許多核心進展,都是研究如何使用熟悉的演算法更新如此大型的模型(下文再詳述)。
首先,把這個微調任務表述為 RL 問題。策略是接收提示詞並回傳文字序列(或文字上的機率分佈)的語言模型。策略的動作空間是對應語言模型詞彙表的所有 token(通常約 50k 個 token);觀察空間則是所有可能輸入 token 序列的分佈。考慮到 RL 以往的應用,這個空間也相當龐大(其維度約為詞彙表大小 ^ 輸入 token 序列長度)。獎勵函數結合偏好模型和對策略變化的限制。
獎勵函數會在 RLHF 流程中整合前文討論的所有模型。給定資料集中的提示詞 x,文字 y 由目前這一輪經微調策略生成。該文字與原始提示詞串接後傳給偏好模型,模型會回傳一個表示「理想程度」的純量 rθ r_\theta 。此外,系統會比較 RL 策略與初始模型的逐 token 機率分佈,計算兩者差異的懲罰值。OpenAI、Anthropic 和 DeepMind 的多篇論文都把這項懲罰設計為 token 分佈序列之間 Kullback–Leibler (KL)散度的縮放版本,rKL r_\text{KL} 。KL 散度項會在每個訓練批次中懲罰 RL 策略大幅偏離初始預訓練模型,以確保模型輸出合理連貫的文字片段。若沒有這項懲罰,優化過程可能會開始生成胡言亂語,但成功欺騙獎勵模型給予高分。實際上,KL 散度會透過從兩個分佈中取樣近似(John Schulman 在此處有解釋)。傳送至 RL 更新規則的最終獎勵為 r=rθ−λrKL r = r_\theta - \lambda r_\text{KL} 。
部分 RLHF 系統在獎勵函數中加入其他項目。例如,OpenAI 曾在 InstructGPT 上成功試驗,把額外預訓練梯度(來自人類標註集)混入 PPO 更新規則。隨着 RLHF 研究深入,獎勵函數的設計很可能會繼續演變。
最後,更新規則是 PPO 的參數更新方法,會最大化目前數據批次的獎勵指標(PPO 屬於採用策略方法,因此參數只會根據目前一批提示詞-生成結果配對更新)。PPO 是一種信任區域優化演算法,會限制梯度,確保更新步驟不會破壞學習過程的穩定性。DeepMind 為 Gopher 使用類似的獎勵配置,但以同步優勢演員-評論家(A2C)優化梯度;這種做法相當不同,外部亦未能重現。
技術細節説明:上圖看起來像是兩個模型會針對同一提示詞生成不同回應,但實際上,RL 策略會生成文字,再把文字輸入初始模型,取得其相對機率以計算 KL 懲罰。訓練期間,初始模型不會接受梯度更新。
RLHF 亦可選擇從此處繼續,反覆共同更新獎勵模型和策略。隨着 RL 策略更新,使用者可繼續比較這些輸出與模型較早版本的表現。大部分論文尚未討論如何實作這項操作,因為只有能接觸活躍使用者羣的對話代理,才具備所需的部署模式來收集此類數據。Anthropic 將這個選項稱為迭代式線上 RLHF(見原論文),即把不同輪次的策略納入跨模型 ELO 排名系統。這會令策略和獎勵模型演變出複雜的動態關係,仍是一個複雜且有待研究的問題。
RLHF 開源工具
最早用於對 LM 執行 RLHF 的程式碼由 OpenAI 於 2019 年以 TensorFlow 發布。
如今,從這項工作發展而來、以 PyTorch 實作的 RLHF 活躍儲存庫已有數個。主要儲存庫包括 Transformers Reinforcement Learning(TRL)、源自 TRL 分支的 TRLX,以及 Reinforcement Learning for Language Models(RL4LMs)。
TRL 專為在 Hugging Face 生態系內使用 PPO 微調預訓練 LM 而設。TRLX 是 CarperAI 製作的擴展分支,用來處理較大型模型的線上和離線訓練。目前,TRLX 的 API 已可透過 PPO 和 Implicit Language Q-Learning ILQL,在部署 LLM 所需規模(例如 33 billion 參數)上執行可用於生產環境的 RLHF。未來版本將支援多達 200B 參數的語言模型。因此,TRLX 的介面較適合具備相關規模經驗的機器學習工程師。
RL4LMs 提供一系列 RL 演算法(PPO、NLPO、A2C 和 TRPO)、獎勵函數及指標,用於微調及評估 LLM。此外,該函式庫易於客製化,可使用任何使用者指定的獎勵函數,訓練任意 encoder-decoder 或 encoder Transformer 型 LM。值得注意的是,近期研究工作已在廣泛任務上充分測試並比較該函式庫,進行多達 2000 項實驗,並提出多項實務見解,包括比較數據預算(專家示範與獎勵建模)、處理獎勵駭客及訓練不穩定等。 RL4LMs 目前計劃加入大型模型分散式訓練及新 RL 演算法。
TRLX 和 RL4LMs 都仍在積極開發,預期很快會加入更多功能。
Hub 上有 Anthropic 建立的大型資料集。
RLHF 的未來發展
這些技術極具前景、影響深遠,亦受到頂尖 AI 研究實驗室關注,但仍有明顯限制。模型雖然有所改善,仍可能在沒有表達不確定性的情況下輸出有害或事實不準確的文字。這種不完美是 RLHF 長期面對的挑戰和研究動力:在人類問題領域中運作,模型永遠沒有一條明確終點線可供判定它已完成。
部署使用 RLHF 的系統時,收集人類偏好數據成本甚高,因為要讓訓練流程以外的人類工作者直接參與。RLHF 的表現完全取決於人類標註的質素,標註主要有兩種:人類生成的文字(例如為 InstructGPT 微調初始 LM),以及標示人類對模型輸出的偏好。
要生成能針對特定提示詞作答、文筆良好的人類文字,成本相當高,因為通常需要聘請兼職人員,而不能只依賴產品使用者或羣眾外包。幸而,大部分 RLHF 應用訓練獎勵模型所用數據規模(約 50k 個偏好標註樣本)成本較低,但仍可能超出學術實驗室負擔能力。目前,只有一個大規模、針對一般語言模型的 RLHF 資料集(由 Anthropic 提供),以及少數規模較小的特定任務資料集(例如 OpenAI 的摘要數據)。RLHF 的第二項數據挑戰,是人類標註員經常意見不一;沒有真實標準答案,會為訓練數據帶來很大潛在差異。
雖然有這些限制,仍有大量未探索的設計選項可能令 RLHF 大幅進步,其中許多與改善 RL 優化器有關。PPO 是相對舊的演算法,但沒有結構性理由表明其他演算法不能為現有 RLHF 流程帶來好處或變化。LM 策略微調中回饋部分的一項重大成本,是策略每生成一段文字,就必須交由獎勵模型評估(因為在標準 RL 框架中,它相當於環境的一部分)。為避免大型模型昂貴的前向傳遞,可使用離線 RL 作為策略優化器。近期出現了新演算法,例如隱式語言 Q-learning(ILQL;CarperAI 的ILQL 講座),尤其適合這類優化。RL 流程中的其他核心取捨,例如探索與利用的平衡,也尚未有完整記錄。探索這些方向至少能加深我們對 RLHF 運作方式的理解,並有望提升其效能。
我們於 2022 年 12 月 13 日星期二舉辦了一場延伸介紹本文的講座,可在此處收看!
延伸閲讀
以下列出目前最具代表性的 RLHF 論文。DeepRL 約於 2017 年興起後,令這個領域近年受到廣泛關注,並逐漸發展成大型科技公司研究 LLM 應用的更廣泛領域。 以下是一些早於 LM 研究熱潮的 RLHF 論文:
- TAMER: Training an Agent Manually via Evaluative Reinforcement(Knox 和 Stone,2008):提出一種經學習的代理,由人類反覆為其採取的動作評分,藉此學習獎勵模型。
- Interactive Learning from Policy-Dependent Human Feedback(MacGlashan 等人,2017):提出演員-評論家演算法 COACH,使用人類正面和負面回饋調整優勢函數。
- Deep Reinforcement Learning from Human Preferences(Christiano 等人,2017):把 RLHF 應用於 Atari 軌跡之間的偏好。
- Deep TAMER: Interactive Agent Shaping in High-Dimensional State Spaces(Warnell 等人,2018):擴展 TAMER 框架,使用深度神經網絡預測獎勵。
- A Survey of Preference-based Reinforcement Learning Methods(Wirth 等人,2017):總結以上研究,並列出大量其他參考資料。
以下是展示 RLHF 在 LM 上表現的一系列「重要」論文概況:
- Fine-Tuning Language Models from Human Preferences(Zieglar 等人,2019):早期研究之一,探討獎勵學習對四項特定任務的影響。
- Learning to summarize with human feedback(Stiennon 等人,2020):把 RLHF 應用於文字摘要。另有 Recursively Summarizing Books with Human Feedback(OpenAI Alignment Team,2021),後續研究以人類回饋摘要書籍。
- WebGPT: Browser-assisted question-answering with human feedback(OpenAI,2021):使用 RLHF 訓練代理瀏覽網頁。
- InstructGPT:Training language models to follow instructions with human feedback(OpenAI Alignment Team,2022):把 RLHF 應用於一般語言模型(InstructGPT 的網誌文章)。
- GopherCite:Teaching language models to support answers with verified quotes(Menick 等人,2022):以 RLHF 訓練 LM 提供附有特定引文的答案。
- Sparrow:Improving alignment of dialogue agents via targeted human judgements(Glaese 等人,2022):使用 RLHF 微調對話代理。
- ChatGPT: Optimizing Language Models for Dialogue(OpenAI,2022):使用 RLHF 訓練 LM,使其適合作為多用途聊天機械人。
- Scaling Laws for Reward Model Overoptimization(Gao 等人,2022):研究 RLHF 中學得偏好模型的縮放特性。
- Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback(Anthropic,2022):詳細記錄使用 RLHF 訓練 LM 助理的方法。
- Red Teaming Language Models to Reduce Harms: Methods, Scaling Behaviors, and Lessons Learned(Ganguli 等人,2022):詳細記錄「發現、量度並嘗試減少[語言模型]潛在有害輸出」的工作。
- Dynamic Planning in Open-Ended Dialogue using Reinforcement Learning(Cohen 等人,2022):使用 RL 提升開放式對話代理的對話技巧。
- Is Reinforcement Learning (Not) for Natural Language Processing?: Benchmarks, Baselines, and Building Blocks for Natural Language Policy Optimization(Ramamurthy、Ammanabrolu 等人,2022):探討 RLHF 開源工具的設計空間,並提出替代 PPO 的新演算法 NLPO(自然語言策略優化)。
- Llama 2(Touvron 等人,2023):具重大影響力的開放存取模型,並詳述 RLHF 技術。
這個領域匯集多個學科,因此亦可參閲其他範疇的資源:
- 指令的持續學習(Kojima 等人,2021、Suhr 和 Artzi,2022),或從使用者回饋進行 bandit 學習(Sokolov 等人,2016、Gao 等人,2022)
- 較早運用其他 RL 演算法生成文字的研究(不一定採用人類偏好),例如使用循環神經網絡(Ranzato 等人,2015)、用於文字預測的演員-評論家演算法(Bahdanau 等人,2016),或最早把人類偏好加入此框架的研究(Nguyen 等人,2017)。
引用: 如果本文對你的學術研究有幫助,請考慮在正文引用我們的工作:
Lambert, et al., "Illustrating Reinforcement Learning from Human Feedback (RLHF)", Hugging Face Blog, 2022.
BibTeX 引用:
@article{lambert2022illustrating,
author = {Lambert, Nathan and Castricato, Louis and von Werra, Leandro and Havrilla, Alex},
title = {Illustrating Reinforcement Learning from Human Feedback (RLHF)},
journal = {Hugging Face Blog},
year = {2022},
note = {https://huggingface.co/blog/rlhf},
}
感謝 Robert Kirk 修正 RLHF 特定實作中的一些事實錯誤。感謝 Stas Bekman 修正錯字或令人困惑的句子。感謝 Peter Stone、Khanh X. Nguyen 和 Yoav Artzi 協助把相關研究延伸至更早期。感謝 Igor Kotenkov 指出 RLHF 流程中的 KL 懲罰項、其示意圖及文字説明存在技術錯誤。
來源:Hugging Face Blog · huggingface.co