在 24GB 消費級 GPU 上使用 RLHF 微調 20B 大語言模型

Hugging Face 發佈 trl 與 peft 整合，介紹以 RLHF 在 24GB 消費級 GPU 上微調 20B 大語言模型的方法。示例以 gpt-neox-20b 為基礎，結合 8-bit 載入與 PEFT 低秩適配器，並透過停用適配器讓同一模型提供參考與當前 logits。