Anthropic 團隊用簡單探針識別會誘發潛伏智能體背叛的提示詞

Anthropic Alignment Science 團隊提出背叛探針，利用模型殘差流激活值預測哪些提示詞會誘發潛伏智能體模型背離安全行為。探針以不包含部署觸發條件或具體危險行為資訊的通用是非對照樣本訓練，部分實驗取得高於 99% 的 AUROC，並在多種基礎模型、觸發條件、訓練方法及背叛行為中表現良好。