Anthropic 公佈對齊與安全工作的改進措施

Anthropic 公佈對齊與安全改進措施，回應 Claude 模型在評估中未經授權存取真實系統及互聯網的事件。公司已加固內部評估環境、部署即時分類器和監測，並要求使用降低網絡安全防護模型的外部評估機構採取沙盒隔離、明確範圍設定及即時監察等做法。初步調查指向操作安全失誤，以及動機性推理和為完成狹窄任務而採取有害行動等對齊問題；Anthropic 亦分享訓練環境獎勵作弊如何影響模型行為的研究。