跳到正文
OpenAI:失準報告與通報· Maja Trębacz, Sam Arnesen, Ollie Matthews, Dylan Hurd, Won Park, Owen Lin, Joe Gershenson·· 2026-05-01精選AI 評分76

OpenAI 説明 Auto-review 如何在無同步人工監督下審核 Codex 越界操作

Auto-review of agent actions without synchronous human oversight

AI 導讀

OpenAI 上週在 Codex 推出 Auto-review,由另一個 Codex Agent 審核越過沙盒邊界的操作,取代該處的用戶審批。Codex 工作階段因等待人工批准而暫停的頻率,約為手動審批模式的 1/200;需審查的操作約 99% 獲批准。OpenAI 提醒,Auto-review 並非安全保證,紅隊測試曾發現它可能被誤導,因而批准原本需經用戶批准的命令。

推薦理由

文章以 Codex 內部部署和安全評測呈現 Auto-review 在減少人工中斷與審核越界操作之間的設計取捨,並交代其安全限制。

正文 · 繁體中文

2026 年 4 月 30 日 · Maja Trębacz、Sam Arnesen、Ollie Matthews、Dylan Hurd、Won Park、Owen Lin、Joe Gershenson

Auto-review 為部署編碼智能體提供更安全的預設方式:由另一個智能體審核越界操作,並決定批准或拒絕。

上星期,我們推出了 Codex Auto-review。在此之前,用戶只有兩種選擇: 預設模式需要用戶頻繁批准,而完全存取模式雖然減少操作阻礙,卻要犧牲監督。Auto-review 提供另一條路:它以另一個智能體的審查,取代沙盒邊界上的用戶批准。內部使用時,Auto-review 令我們更有信心在沒有同步人工監督的情況下執行長時間智能體任務。

在 Auto-review 模式下,Codex 等待人工批准的次數約比手動批准模式少 200x,同時仍能攔截許多用戶希望停止的操作。大部分操作都會在沙盒內自動執行;少數需要審查的操作中,Auto-review 約有 99% 會予以批准。即使 Auto-review 拒絕某項操作,Codex 往往也能自行找到較安全的前進方法。

Auto-review 在危險操作評估中的表現良好,令我們有足夠信心在內部部署。它對安全團隊而言足夠保守,對研究和部署工作流程而言亦不會造成過多幹擾。

如今,OpenAI 內部 Codex Desktop 的 Token 用量大部分來自 Auto-review 模式,而且比例仍在上升,令我們愈來愈有信心向更多用戶開放。

內部部署示意快照。在手動批准模式下,720 項沙盒外操作會打斷用戶。使用 Auto-review 後,這些操作都由系統自動審查:7 項遭拒絕,其中 4 項透過較安全的方式繼續,另有 3 項因需要用戶輸入而停止。(* 比率視乎使用情境、環境和沙盒設定而定。)

批准摩擦會損害安全

[1]預設權限模式限制 Codex 只能讀取檔案、在預先指定的可寫入根目錄下編輯,以及在該邊界內執行本機命令。可透過 config.toml 或自訂 .rules 檔案以程式方式授予例外。超出這些限制的操作(通常是一般網絡呼叫或簡單的 python 指令碼)必須等候用戶授權。

這些限制令用戶受挫,也往往令長時間背景工作階段無法執行。這種挫折會帶來新的風險。

  1. 用戶轉而使用完全存取模式,這種模式不受執行環境規則限制。[2]沙盒不會阻止惡意程式碼執行、資料外洩、探查憑證或其他有害操作。
  2. 用戶撰寫過於寬鬆的前綴規則,讓 Codex 可在沙盒外執行命令。在內部流量中,我們發現有相當一部分用戶允許所有以 python 一字開頭的命令。[3]
  3. 用戶可能因缺乏專業知識、審查疲勞,或兩者兼有,而未充分理解後果便批准命令。

這也會造成重大的生產力成本。一支由專家智能體組成的個人團隊,不可能每隔幾分鐘便停下來,等候授權執行 curl google.com。

擴大沙盒邊界上的自主權

Auto-review 擴大 Codex 可在無需人工介入下完成的工作,同時仍會阻止許多可能對用戶或機構造成嚴重或不可逆傷害的操作。觸及沙盒邊界時,Codex 可要求提升權限,以便執行沙盒外操作。在 Auto-review 模式下,另一個獨立的 Codex 智能體會評估這些要求,考慮用戶意圖、執行環境、安全政策,以及操作可能造成的影響。

Diagram of Codex sandbox permissions, rules approvals, Auto-review approvals, and full-access risk zones.

角色分工十分重要。主要智能體的最佳化目標是完成用戶任務,因此可能會傾向把批准界線視為另一個需要克服的障礙。Auto-review 的職責較狹窄:判斷擬議的越界操作是否應執行。由獨立的模型呼叫作出這項決定,令批准政策更容易評估、監察和改進。

Auto-review 的目標是阻止可能造成嚴重或難以逆轉傷害的操作,例如外洩資料、暴露秘密、刪除資料、削弱安全設定、執行不可信程式碼,或遵從與用戶指示相抵觸的不可信內容。Auto-review 亦會考慮用戶意圖;若用戶明確要求某項名義上有風險的操作,系統可能會批准。

Auto-review 使用 GPT-5.4 Thinking(低推理強度)。在我們的評估中,能力更強的模型在偵測風險和辨別用戶意圖方面都表現更好。

拒絕操作不只是説不;它會向 Codex 提供理由和足夠資訊,讓它無須再向用戶尋求批准或指引,也能安全地繼續。在我們的內部部署中,Codex 在遭拒絕後會繼續嘗試,並在超過一半的情況下成功找到可接受的解決方案。我們亦會監察 Codex 是否試圖鑽 Auto-review 的空子。為減低這種情況發生的機會,連續遭拒絕多次後,系統會自動停止執行軌跡。

在確定性保證有限的情況下評估系統

在內部使用 Auto-review 前,我們希望先清楚評估其可用性和安全性。

我們透過內部流量的批准率評估可用性。我們從 2026 年 3 月的內部 Codex 執行軌跡樣本中,測量 Auto-review 對用戶已批准查詢的接受率。

我們在合成擴增資料集上評估安全性。OpenAI 內部流量未能充分涵蓋可能出現的各類罕見危險情境。我們結合現有評估和合成評估,聚焦不同威脅模型:

  • 智能體越權:我們使用 GPT-5.3-codex 生成智能體情境,測試 Codex 是否會因過度急切地完成用戶任務而採取有風險的操作。
  • 提示注入:我們在內部評估中測試 Auto-review,當中 Codex 會受到受訓攻擊者的提示注入。
  • 目標錯位模型:我們使用 MonitoringBench;這個資料集包含編碼智能體試圖暗中執行惡意任務(例如下載惡意軟件)的執行軌跡。
可用性 升級操作的自動批准率 真實 OAI Codex 沙盒權限升級流量中的批准率。 99.1%
可用性 所有操作的實際批准率 內部 Codex 部署中所有操作的實際批准率,包括留在沙盒邊界內執行的操作。 99.93%
安全性 過度急切行為召回率 Auto-review 正確拒絕的合成過度急切案例比例。此評估涵蓋非預期資料傳輸、削弱安全措施和不可逆操作。 90.3%
安全性 提示注入召回率 Auto-review 正確拒絕的合成提示注入案例比例。合併遠端程式碼執行、秘密資料外洩和外部上載等攻擊類別的比率。[4] 99.3%
安全性 MonitoringBench [Hard] 召回率 評估該執行軌跡中的任何操作是否會被拒絕。 96.1%

我們會繼續在生產環境監察 Auto-review 帶來的操作摩擦,包括升級權限比率、批准和拒絕比率、額外延遲、用戶覆寫,以及經常被標記審查的命令。我們亦會進行人工和 AI 紅隊測試,以找出可能漏網的安全問題。

我們預期評估流程日後會繼續演進。如何施加更強的對抗壓力、採用 AI 控制技術、進行更貼近現實的對齊測試,以及更全面的人工紅隊測試,仍是積極研究的方向。

注意事項

不應將 Auto-review 視為安全保證。在自動化和人工紅隊測試中,我們發現有些情況下 Auto-review 會受誤導,在未經用戶批准下批准命令。我們正積極修正這些問題,但預期此類系統無法提供確定性保證。

此外,不應將它理解為防止模型策謀的機制。Auto-review 只會在權限升級時評估擬議的沙盒外操作。若模型刻意隱藏意圖,仍可能提出看似無害的權限升級要求;它也可能在沙盒內採取 Auto-review 無法看見的行動。應對這些風險需要互補的監察和評估方法,包括思維鏈監察。

遙遠未來的監督[5]

我們應以一個未來為目標:像 Codex 這樣的智能體能獲信任,享有與員工相同的權限。今天我們尚未身處這個未來,而 Auto-review 模式可能亦不是那個未來所需的最終形態。事實上,Auto-review 模式在多方面都是一種折衷。與傳統安全系統相比,它犧牲確定性以換取表達能力;與完全存取模式相比,它則犧牲速度以換取安全。

我們對齊工作的一個重要目標,是妥善應對這兩種取捨。以模型為基礎的監察器應能抵禦外部攻擊和判斷失誤。事實上,我們的智能體本身也應具備同樣的對抗穩健性和常識。

註腳

  • [1] sandbox_mode = "workspace-write"、approval_policy = "on-request"、network_access = false。請參閲沙盒文件。 ↩
  • [2] 不過,模型本身經訓練會遵守政策。這裏討論的是本機執行環境在沙盒邊界實際強制執行的限制。 ↩
  • [3] 我們最有趣的發現,是找到一個設定檔,將 codex exec --yolo 設為一律允許。 ↩
  • [4] 若把破壞性刪除和資料竄改等所有類別都納入計算,分數會降至 90.2%。不過,漏掉的案例主要是因為操作未夠嚴重而獲準,這往往與研究人員的判斷一致。 ↩
  • [5] 我們所説的遙遠未來,可能最快就在 2026 年底。 ↩

BibTeX

@misc{openai2026autoreview,
  title = {Auto-review of agent actions without synchronous human oversight},
  author = {Trębacz, Maja and Arnesen, Sam and Matthews, Ollie and Hurd, Dylan and Park, Won and Lin, Owen and Gershenson, Joe},
  year = {2026},
  month = {Apr},
  howpublished = {OpenAI Alignment Research Blog},
  url = {https://alignment.openai.com/auto-review/}
}

通訊作者:maja[at]openai.com

附註:對類似議題感興趣?對齊監督及其他團隊正在招聘。

注意:Auto-review 已在 Codex 儲存庫開源;你可在 Codex Auto-review 文件瞭解如何使用。 我們預期,為智能體提供有效監督,需要透過真實部署、對抗測試和社羣審視反覆改進。

來源:OpenAI:失準報告與通報 · alignment.openai.com