跳到正文
Anthropic:Claude.dev 開發者博客· Barry Zhang, Tianyi Peng, Elle Najt, Keller Scholl, and Lance Martin·· 10 天前精選AI 評分78

Anthropic 以 Claude Fable 5.2 探索安全擴展多智能體團隊

Safely scaling multi-agent teams with Claude Fable 5.2

AI 導讀

Anthropic 以 1,000 個運行早期 Claude Fable 5.2 的智能體,在沒有 Prove2Me 或研究員指導下重現費馬大定理的形式化證明。任務耗時 28.7 小時,輸出 token 數為先前工作的三分之一,證明長度為原作的七分之一。每個智能體均在無網絡沙盒中運行,分類器預先檢查 shell 指令和檔案編輯,離線監控器則審查團隊行動。

推薦理由

文章呈現多智能體處理長程證明任務的協作方式,並交代沙盒、即時分類器與離線監控如何構成安全邊界。

正文 · 繁體中文

多代理團隊能夠解決具挑戰性、需要長時程處理的問題。9 月,我們發表了費馬最後定理的首個端到端形式化證明,由數十個代理使用一個內部研究模型撰寫,其能力大致相當於 Claude Fable 5.1。這項工作依靠 Prove2Me(一個用於數學形式化的平台)以及一名研究人員的指導。在一項新的玩具實驗中,一支由 1,000 個代理組成的團隊使用 Claude Fable 5.2 的早期版本,在沒有 Prove2Me 提供的支援架構或研究人員引導下,重現了該證明。團隊耗時 28.7 小時,使用的輸出 token 數量只有原來的三分之一,撰寫出的證明篇幅則只有原證明的七分之一。

每個代理都在無法存取互聯網的沙盒中工作。每條 shell 指令和每項檔案編輯在執行前都會由分類器檢查,離線監察器亦會審查團隊的每一項行動。我們向代理提供了一份包含 60 個命題的清單、一句概述經典證明路徑的簡介、這些命題所用的定義,以及我們較早前形式化工作中 47 個已證明的引理,並分派主導及協助角色。我們沒有就如何證明定理或如何組織團隊提供其他指引。

這項玩具實驗顯示,使用 Fable 5.2 等模型的代理團隊,可以在精心設計的安全界限內,完成具雄心且需要長時程處理的目標。

問題

費馬最後定理指出,對任何大於 2 的 n,均不存在正整數 a、b 和 c,使 aⁿ + bⁿ = cⁿ。這個定理 350 多年來一直未獲證明,直至 Sir Andrew Wiles 於 1995 年提出長達 129 頁的證明。將證明形式化——令電腦能夠檢查每一步——一直是數學界的長期目標。

我們在 9 月進行的形式化工作,由一名研究人員和數十個代理耗時 11 天完成,使用了約 60 億個輸出 token。他們以 Lean 編寫了 1,300 萬行程式碼。Lean 是一種程式語言,電腦會在其中檢查證明的每一步。

代理透過 Prove2Me 協作。這個平台由 Tianyi Peng(現為 Anthropic 的技術團隊成員)及其 Columbia University 的合作者設計。Prove2Me 使用一個共享圖,將每個待證命題連結至拆分後較小的命題。任何代理都可以拆分命題,其他代理則可以查詢圖譜,找出哪些尚未證明的部分已準備好開始處理,避免他們無法掌握項目的進度。每個命題及其證明都存放在獨立檔案中,並可獨立編譯,因此多個代理可以並行工作,而不會編輯相同檔案。

執行框架

我們想了解,使用 Fable 5.2 等模型的代理團隊,能否在沒有 Prove2Me 或研究人員指導工作的情況下,利用由通用工具構建的執行框架,完成這項成果。

工具

在這項任務中,我們交給由 1,000 個代理組成的團隊 60 個待證命題,包括最終定理和 59 個中間里程碑。對於每個命題,代理都要以 Lean 撰寫證明,使用 Lean 工具建置並檢查證明,然後將其提交至 Git 上的共享 main 分支,由評分程式檢查。我們為每個代理提供以下工具:

  • Shell 和檔案編輯器,兩者均位於各自無法存取網絡的沙盒中。
  • Lean 工具鏈和Mathlib,已整合至沙盒映像中。
  • 各自的 Git 分支,以及向 main 分支提出合併請求的能力。
  • 可透過 shell 存取的共享 Postgres 資料庫。

協作

證明工作可以拆分,因此很適合由多 Agent 團隊處理。不過,Agent 也需要協調,才能在彼此工作上繼續推進,並避免重複工作。在我們的原始形式化工作中,Claude 早期的嘗試未能成功,因為 Agent 無法掌握項目進度,也無法繼續有效協作。改用 Prove2Me 平台後,這個問題便得到解決。

在這次測試中,每個 Agent 都在自己的輕量級虛擬機器上使用一個沙盒。單一共用機器大約在 100 個 Agent 時便達到極限:我們進行的 100 個 Agent 測試中,超過一半因記憶體、磁碟空間或 CPU 資源耗盡而必須停止或重新啟動。

有 1,000 個獨立沙盒後,Agent 需要一種分享工作的方式,因此我們為它們提供了一個 SQL 資料庫(圖 1)。我們選用 SQL,因為它提供整理資訊的通用基本機制,其交易機制能處理 1,000 個 Agent 同時寫入,而且 Claude 已熟悉 SQL。Agent 使用資料庫認領任務、分享筆記及記錄已完成的工作。

Harness architecture. A stack of 1,000 agent sandboxes (1 lead and 999 helpers), each running the agent loop, harness code inside the sandbox, with a shell and a file editor as tools and the repo, Lean and the math library as files. API requests and responses pass between the agent loop and a gateway outside the sandboxes that calls the Claude API. Git and SQL requests and their results pass through the same gateway to the team infrastructure, also outside the sandboxes: a Git repository of Lean files and plans, and a Postgres database of instructions, tasks and notes.
圖 11,000 個 Agent 各自在自己的沙盒中執行,對外唯一連接是一條通往閘道的管道。閘道呼叫 Claude API,並將 Git 和 SQL 請求轉交給共用儲存庫及資料庫。

提示詞設計

我們在提示詞中提供了 60 條待證明的陳述清單,每條附有一句非正式描述,並介紹可用工具(上文列出)。

我們只為團隊設定了一種組織架構:一名領隊和 999 名助手。我們告訴領隊要把問題拆分成不同部分,再分派給助手;也告訴助手要等候領隊分派工作,如有任務不清楚,便向領隊查詢。

執行期間,測試框架向領隊自動發送了 19 次提醒,告知剩餘時間,並鼓勵領隊繼續工作。

安全

正如我們之前分享,單一防護層不足以限制一個 Agent 團隊。在這項實驗中,我們結合沙盒隔離、即時監察及離線監察,讓每個 Agent 留在自己的虛擬機器內,無法存取網絡,並偵測任何試圖逃離沙盒或篡改監察機制的行為。

沙盒隔離

我們以以下方式保護每個 Agent 的沙盒(圖 2):

  • 通訊:Agent 沒有專用的訊息工具,只透過資料庫和 Git 協調。
  • 程式碼變更:Agent 只能推送至自己的 Git 分支,並可向 main 提交合併請求。之後,獨立工作程序會將變更合併至 main;只有在發生衝突或錯誤(例如歷史紀錄不相關)時才會拒絕變更。
  • 資料庫存取:資料庫呼叫均以共用的非特權角色執行。每條 SQL 陳述式的時限為五秒,寫入超過 256 MiB 則會被拒絕。
  • 網絡控制:沙盒無法存取網絡。對外唯一連接是一條通往閘道的管道,由閘道轉送其請求。
  • 身分識別:閘道在沙盒外為每個請求加上 Agent 的身分標記,以防止一個 Agent 冒充另一個 Agent。
  • 核心:建置每個沙盒的核心時,已移除可讓 root 用戶直接突破沙盒的功能,例如可載入模組、kexec、原始記憶體存取及核心探針。核心以核心鎖定模式執行。
  • 最小權限原則:每個 Agent 的指令都在各自的沙盒內,以非特權用戶身分執行;sudo 等可重新取得 root 權限的工具則已移除。Agent 使用的工具經過設計,無法讀取或更改執行這些工具的 Agent 迴圈。
The harness architecture with its safety measures marked in three groups. Sandboxing: each agent gets its own lightweight VM with no network access, no API keys or credentials, no direct path to other sandboxes, an unprivileged user account and no tool access to the harness code. Real-time monitoring: the gateway runs a blocking classifier on each tool call, with a fail-closed design, sets each agent's identity and logs every push and query; the Git repository takes own-branch pushes only with a merge job for main, and the Postgres database uses a shared unprivileged role with time and size limits. Offline monitoring: run records kept outside the sandboxes feed offline monitoring, which tells the run owners of serious findings.
圖 2團隊周圍設有三層安全防護:沙盒隔離、即時監察及離線監察。分類器會在每次工具呼叫執行前進行檢查,離線監察器則會檢視團隊的行動。

即時監察

為了令這類執行過程更安全,我們使用一個由提示詞引導的 LLM 分類器,可封鎖每次工具呼叫,包括 shell 指令及檔案編輯。分類器會監察是否有人嘗試逃離沙盒、探測沙盒邊界或幹擾監察機制;亦會留意模型一旦成功離開沙盒後可能採取的任何有害行動。分類器封鎖工具呼叫時,整個 Agent 團隊便會停止,必須由人員審查該次封鎖,團隊才能重新啟動。這項安排旨在防止另一個 Agent 執行已被封鎖的行動。

為了測試分類器能否偵測精密的破壞行動,我們進行了多 Agent 副任務及破壞行動評估;在評估中,紅隊 Agent 使用拆解攻擊等策略,試圖欺騙分類器,令它準許 Agent 逃離沙盒。我們發現,在這些評估中,能檢視 Agent 思維鏈(CoT)及 Agent 之間通訊的監察器,能偵測所有破壞行動,因此現時我們會用它們監察多 Agent 執行過程。此外,我們亦會平行執行同一監察器的行動型版本;它只查看行動,不查看 CoT,以防 Agent 的推理説服監察器準許有害行動。

我們會透過人工引導及自動化紅隊測試,並以生產環境的對話紀錄(包括過往事件)評估監察系統,以及擴展威脅模型,持續改進監察系統。在本文所述的執行過程中,我們只使用了行動型監察器。只有封鎖主 Agent 才會令執行過程結束;若封鎖的是輔助 Agent,便只會移除該輔助 Agent。

這次執行過程結束後不久,我們便加入了平行運作的 CoT 監察器。我們會在可能尚未完成發布前對齊評估的模型上進行這類實驗,因此設計監察系統時,會考慮模型可能未對齊的情況。我們發布的模型會先完成該評估,這可降低風險,但無法完全消除風險。

在超過一百萬次工具呼叫中,本次執行過程沒有任何一次達到封鎖門檻。以 CoT 監察器及現行評估準則重新檢視這些呼叫時,只有一次(檢查 root 權限)接近被封鎖。

離線監察

除了即時監察,我們亦會使用離線監察器。這個監察器會根據與即時監察器相同的威脅模型,分析 Agent 團隊的行動;此外,它還具備其他功能,例如可查閲其他 Agent 的行動。

結果

沒有 Prove2Me,團隊便自行建立了協調系統

這項證明工作分為多個層次:

  • 證明:不存在正整數 a、b、c,能在任何大於 2 的 n 下滿足 aⁿ + bⁿ = cⁿ。
  • 命題:我們向團隊提供了 60 個待證命題,包括最終定理及 59 個中間里程碑。
  • 較小的命題:Agent 會把較難的命題拆分成較小的命題,即引理。
  • Lean:每個命題和引理在 Lean 中都是定理。

每項陳述在 Lean 中一開始都只有證明佔位符;只有在 Lean 的檢查器接受完整證明後,才會視為已證明。我們讓主導者決定如何處理證明,以及如何協調團隊在這些工作層級之間合作。

在首 10 分鐘內,主導者在資料庫中建立了五個資料表(圖 3):

  • Announce:主導者向整個團隊發布的指示(例如如何分配工作)。
  • Assign:工作分配(例如由哪位助手負責或代替負責各項陳述)。
  • Notes:開放式看板(例如用來認領工作或匯報進度)。
  • Subtasks:待辦清單,任何代理程式都可以新增任務,而第一位認領任務的助手便負責該任務。
  • Landed:已完成工作的記錄。
The five shared database tables between 1 lead and 999 helpers. Announce, the lead's orders to everyone, such as how to split up the work or to ease off the database: the lead writes and reads it, and helpers read it, with one helper write. Assign, who works on what, such as which helper owns or deputizes on each statement: the lead writes and reads it, and helpers read it, with one helper write. Notes, an open board where helpers say which piece they're taking or report progress: the lead and the helpers both write and read it. Subtasks, a shared to-do list where anyone adds a task and the first helper to grab it owns it: helpers write and read it, and the lead reads it, with two lead writes. Landed, a log of finished work recording which statement or piece landed, its commit and whether it passed the team's checks: helpers write and read it, and the lead reads it.
圖 3在首 10 分鐘內,主導者建立了五個共用資料庫資料表,以協調團隊。主導者撰寫指示及分配工作;助手記錄已完成的工作並管理 Subtasks 資料表,而主導者和助手都會在 Notes 資料表中撰寫內容。

主導者分派了各項陳述

建立資料表後,主導者做了三件事。首先,主導者在 Assign 資料表寫入 999 行資料,把每項陳述分派給一組由 16–17 位助手組成的小隊,每位助手各佔一行。其次,主導者指定每組中的一位助手擔任隊長,負責在 Notes 資料表發布計劃,並把工作拆分成任務,讓小隊成員從 Subtasks 資料表認領。第三,主導者在 Announce 資料表發布指示,要求每位助手先判斷自己負責的陳述有多難,再在 Notes 資料表發布判斷結果。

根據提示詞,助手知道資料庫的存在。他們找到 Announce 資料表,開始評估工作。大多數助手都在 Notes 資料表發布了判斷結果。約 27 分鐘後,已有三項陳述獲得證明,主導者也已讀取所發布的判斷結果。主導者隨後暫時擱置了 47 項陳述——大多數助手認為以本次執行的預算無法完成——並把幾乎所有助手重新分派到其餘 10 項,因為主導者認為這些陳述可以完成。每組人數由約 17 位助手增至 46 至 139 位。

每位助手都按循環流程工作,其中大部分步驟都列在主導者的指示中:

  • 在 Notes 資料表查看該陳述的計劃。
  • 從 Subtasks 資料表認領任務。
  • 用 Lean 撰寫證明,使用 Lean 的工具檢查,然後提交到 Git 的主分支。
  • 把任務標記為已完成。
  • 在 Notes 資料表發布進度更新。

約 45 分鐘後,10 項陳述中已有約五項獲得證明,主導者寫道:

「團隊的工作吞吐量遠高於早期『預算內不可行』判斷所預期。」

全部 10 項陳述都在約 70 分鐘內獲得證明。

主導者接着把助手調往更難的陳述

首 10 項陳述完成後,主導者寫道:「沒有理由閒着」,並把助手重新分派到較難的陳述上;這些陳述最初都被擱置。隨着更多陳述獲得證明,主導者繼續把助手調往新的任務,主要集中在首六小時內(見圖 4 中以紅色標示的 Assign 資料表寫入記錄)。

Timelapse from hour 0 to hour 30 of reads and writes between the 1,000 agents and the shared database tables: announce, assign, notes, subtasks, landed and a group of other tables. Writes run as red lines from a top row of the lead and helpers 1 to 999 down to the tables, and reads as green lines from the tables down to the same agents in a bottom row. The counts climb to 36,612 writes and 311,734 reads by hour 30. Nearly all writes go to the notes table, about 20,600, and the subtasks table, about 14,800, and the lines go quiet near hour 18, when the run was restarted.

圖 4整個執行期間,共用資料表的讀取(綠色)和寫入(紅色)情況。幾乎所有寫入都是助手的備註及任務更新,包括認領任務。總數不包括大部分指令碼呼叫。活動在約第 18 小時停止,當時我們從上次儲存狀態重新啟動執行,並讓代理程式再工作 12 小時。

起初,主導者指示隊長在子任務表中把工作拆分成各項任務。隨着工作推進,助手承擔起更多責任,負責證明各項命題。他們開始新增任務,有時是在隊長求助後。到第5.6小時,73名助手已建立756項任務,其中只有16名是隊長。圖4以紅色顯示許多助手在子任務表中的寫入,但大部分寫入都是為了認領任務或標記任務已完成。完成任務的助手也會主動接手更多任務:

「我有空……我會由頭到尾完成各個部分……指定一個深入的部分……我立即開始」

起初,主導者也會把助手指派到特定命題。這種情況在第一小時內開始改變;到第三小時,主導者告訴空閒的助手:「不要等我。」這讓空閒的助手無須等待主導者,也能接手不同命題的工作;與此同時,主導者仍不斷新增工作指派。

主導者指派團隊處理 Langlands–Tunnell

約在第18小時,剩下的只有 Langlands–Tunnell——Wiles 的證明所依據的一項經典結果、依賴它的命題,以及團隊在過程中證明的另一項命題。任務開始前段,負責 Langlands–Tunnell 的隊長曾悲觀地估計,證明至少需要0.7至1百萬行 Lean 程式碼,並認為按時完成的機會不足1%。主導者把該命題擱置一旁。

其他工作幾乎全部完成後,主導者重新把團隊的焦點放在 Langlands–Tunnell 上。在最後一次自上而下的指派中,主導者調派約750名助手處理該命題,並寫道:「坦白説,勝算不高。」

Langlands–Tunnell 遠比 Agent 曾處理過的任何其他命題複雜,所需任務數約為其他命題的九倍,新增程式碼則超過兩倍。助手再次利用子任務表拆分工作,但最初不少任務規模過大,單一助手無法獨自完成。

於是,團隊把工作整理成一棵樹。隊長制定計劃,把該命題分成10個範疇,並把每個部分列為一項任務。若助手發現某部分太大,無法獨自處理,便可將它拆分,並在其下新增較小的任務。每當某部分對單一 Agent 來説太難,這棵樹便會繼續延伸,最終達到2,418項任務,深達10層(圖5)。每個部分都可以假設其下方的部分成立,因此在那些部分尚未獲證明前,數百名助手已可並行工作。

Timelapse from hour 20.5 to hour 28.9 of the task tree under Langlands–Tunnell, drawn as rings around the statement, with its sub-areas as black dots near the center. Tasks appear as helpers write them and turn from gray to orange and then dark red as they are first marked done, with later hours in darker color. By hour 28.9 the tree holds all 2,418 tasks, 2,364 of them marked done with a known hour, and its deepest branches reach the outer rings.

圖5Langlands–Tunnell 下方的任務樹,從第20.5小時開始生長,直至該命題在第28.4小時獲證明。每向外一圈代表深入一層;任務首次標記完成時,會由灰色轉為彩色。線條顯示任務如何拆分。我們其後根據助手的任務標籤推斷出大部分連結。

圖6顯示整個過程中每位助手的工作內容:早期助手分散處理多項命題,到最後則集中處理 Langlands–Tunnell。Langlands–Tunnell 在第28.4小時獲證明,最終定理則在第28.7小時獲證明。主導者隨後寫道:

「謝謝大家:費馬最後定理已進入 main,並經官方檢查器作核心檢查。」

Timelapse from hour 0 to hour 30 of where each of the 999 helpers worked, sampled every 5 minutes. The 60 statements are dots grouped by how the lead staffed them: landed first, judged doable, set aside but staffed by hour 1.2, set aside and taken up from hour 1.5, modularity lifting, Langlands–Tunnell, and the last links up to Fermat's Last Theorem. Helpers cluster as orange dots around the statements they work on: spread across many statements in the first hours, crowded onto modularity lifting from about hour 8, stopped near hour 18, and gathered on Langlands–Tunnell after the restart. At hour 30, 54 of the 60 statements are proved and filled black.

圖 6每個點代表一名輔助 Agent;每隔五分鐘,便根據各自的記錄標示其當時正在處理的命題或工作項目,包括等候建置期間。輔助 Agent 分散處理各項命題,並集中處理 Langlands–Tunnell。最終計入 60 項中的 54 項命題,因為五個替代方案已不再需要,另有一項命題被移除。

結論

這項簡化實驗讓我們研究一支由 1,000 個 Agent 組成的團隊如何處理一項漫長而艱鉅的任務。Agent 只使用 Git 和共用資料庫,便設計資料表來分配角色和分享成果、組成團隊,並建立任務樹,拆解最具挑戰性的命題。該命題的負責人原先估計,按時完成的機會低於 1%。

這項成果並不代表不再需要針對特定領域設計的工具框架或平台。例如,Prove2Me 仍可能透過協助 Agent 更快編譯 Lean 程式碼,以及讓它們搜尋和重用人類成果,提升效率。

在某些時候,人類指引仍然有用。Agent 遇到難題時往往會放棄,也會錯估問題難度。一開始,輔助 Agent 判定 60 項命題中有 47 項無法在本次執行的預算內完成證明,但團隊其後仍證明瞭其中大部分。在這些時刻,人類的鼓勵可以避免 Agent 過早停止。

經過周詳設計的安全界限,讓我們有信心進行這項實驗。Claude 可以使用我們提供的工具,以自行選擇的方式處理問題,但只能在無法連接網絡的沙盒內操作,並受兩個獨立監察機制監督。

我們預期這些方法會迅速演進。隨着這類團隊承接更艱鉅的工作,其安全界限也需要與時並進。我們相信,能夠安全擴展的多 Agent 團隊,將有助於在未來數年解決一些最具挑戰性的問題。

來源:Anthropic:Claude.dev 開發者博客 · claude.dev