OpenAI 與 Apollo Research 提出 Contrastive SDF 測量模型的獎勵尋求傾向

OpenAI 與 Apollo Research 開發 Contrastive SDF，透過相反的合成文件塑造評分者偏好信念，再比較模型行為以測量獎勵尋求。未接受安全訓練的 OpenAI o3 能力導向 RL 檢查點顯示，模型對評分者偏好的敏感度隨訓練推進而上升，即使該偏好與用戶或開發者要求相反。