Anthropic 研究利用模型內部分類器降低越獄檢測成本

Anthropic 研究以模型內部表示進行越獄檢測，發現只微調最後一層或使用線性探針，可降低安全分類器的計算開銷。只微調一層的分類器表現與參數量為政策模型 ¼ 的專用分類器相當，成本約為政策模型的 4%；EMA 線性探針則以極低開銷，達到可媲美參數量為政策模型 2% 的專用分類器的表現。雙階段分類可將成本降低逾 10 倍而未顯著降低整體表現，但研究未測試這些分類器對自適應對抗攻擊的穩健性。