OpenAI 研究以強化學習訓練廣泛且持續有益的模型

OpenAI 的研究發現，在強化學習中加入少量有益行為特質資料，可改善模型的對齊表現，並把效果泛化至訓練未涵蓋的領域。在 53 項內外部評估中，該模型於 44 項較使用相同起點及相同 RL 算力訓練的基線模型有所改善，涵蓋欺騙、獎勵破解、健康及安全等評估。研究亦發現，這些改善在對抗提示及有害微調下較能維持，但仍需進一步區分有益特質訓練與一般後訓練 RL 的作用。