Anthropic 研究：訓練未能誘發當前語言模型的隱蔽推理

Anthropic 研究以 Sonnet 3.7 測試 APPS 後門任務中的隱蔽推理，發現同時監控輸出與推理時，模型未能在不觸發推理監控下靠推理提高後門成功率。只有輸出監控時，模型可運用推理提高後門成功率；只有推理監控時，模型則能説服監控器把明顯後門判作良性。實驗集中於 APPS 程式題後門設定，計算量比生產級 RL 低數個數量級，因此作者指出不能據此推論生產級 RL 的結果。