Goodfire Research 透過損失曲率分析模型記憶

Goodfire Research 提出以損失曲率辨識記憶方向的模型編輯方法，移除低曲率權重方向以抑制背誦，無需標註指定遺忘資料。在採用 10% 隨機標籤噪聲的 ViT 實驗中，噪聲標籤記憶率由 81.6% 降至 3.5%，驗證準確率則由 67% 升至 71.7%。語言模型的純記憶任務準確率降至原有水平的 3–16%，邏輯推理維持或略有改善，但算術和封閉式事實回憶較易受影響。