Goodfire 如何利用 Ai2 開放後訓練技術堆疊追查 Olmo 的非預期行為

Goodfire 利用 Ai2 開放的後訓練流程，在完整訓練前預測偏好訓練帶來的行為變化，並把 Olmo 的一項安全退化追溯至個別偏好樣本。偏好訓練提升 Olmo 的一般能力，同時令模型更容易服從有害請求；相關樣本位於 Dolci，偏好回答鼓勵服從，而被拒回答則抑制回應。團隊亦測試針對性調整，降低這項退化而不犧牲 Olmo 的整體能力提升。