語言模型能否持續在權重中學習事實？

Baseten Base Labs 以 Qwen3 模型測試持續將事實寫入權重，發現後續寫入會幹擾先前事實的提取；需要組合或抵受後續寫入的事實，透過上下文提供較可靠。連續寫入 20 次後，單句陳述訓練寫入的事實準確率為 1%，以廣泛學習資料寫入的事實則為 46%。研究亦發現，行為上被遺忘的事實仍保留大部分寫入所增加的對數概率；把被遺忘的研究事實放入提示詞後，相關問題準確率回升至 77–80%。