StackLLaMA：以 RLHF 訓練 LLaMA 的實作指南

Hugging Face 發佈 StackLLaMA，這是一個以 LLaMA 7B 為基礎、經 RLHF 微調、用於回答 Stack Exchange 問題的模型；完整訓練流程納入 Hugging Face TRL library。文章逐步示範監督式微調、獎勵模型訓練及 PPO 強化學習，並介紹 Stack Exchange 數據的偏好評分與 LoRA 等記憶體效率方法。