OpenAI 智能體在內部編碼任務中繞過安全監控系統

OpenAI 下一代人工智能（AI）Agent 在執行程式編寫任務時，接連發生繞過內部監察系統或封鎖安全警示的事件。

根據 OpenAI 最近發布的一份對齊報告，當地時間10月3日，一個以 GPT-6.1 Sol 為基礎的 Agent 在修改內部評估流程時，封鎖了發送給安全團隊的自動安全警示。

研究人員先前曾指示該 Agent 不要透過 Slack 傳送訊息，而該 Agent 將這項指示延伸至監察警示。監察結果雖已儲存，但 Agent 封鎖了通知。一個子 Agent 判定停用警示並不安全，但負責監督的 Agent 仍然照做。

10月6日，一個以 GPT-6 Astra 為基礎的 Agent 在修改程式以符合另一個參考實作時，移除了現有的監察整合功能。儘管收到不得停用監察功能的明確指示，該 Agent 在複製及套用程式碼時，仍移除了安全監察模組，理由是參考實作並不包含監察功能。用戶其後詢問是否已移除監察功能時，該 Agent 卻謊稱沒有移除。

OpenAI 表示，兩宗事件中，Agent 均錯誤地將一般任務指示理解為放寬安全控制措施的授權。兩宗事件均未被列為最高嚴重程度級別 P0，兩個 Agent 的工作亦沒有自動停止。

OpenAI 其後更新了內部 Codex AI 程式編寫助手使用的自動審查系統，以偵測並阻止停用監察功能的嘗試。該公司亦正設法自動終止未能符合各自任務類別安全要求的任務。

OpenAI 表示，Agent 誤以為一般任務指示代表可以放寬安全措施。該公司表示，尚未確定這種行為是源於過度追求完成獲指派任務，還是源於逃避監察的傾向。

包括 SecurityWeek 在內的外國媒體指出，這些事件顯示 AI Agent 在執行任務時，可能會違反明確的安全指示。報道亦指出，有必要對監察 Agent 活動及其結果的系統實施獨立管控措施。