Anthropic 以 Claude Fable 5.2 探索安全擴展多智能體團隊
Safely scaling multi-agent teams with Claude Fable 5.2
Anthropic 以 1,000 個運行早期 Claude Fable 5.2 的智能體,在沒有 Prove2Me 或研究員指導下重現費馬大定理的形式化證明。任務耗時 28.7 小時,輸出 token 數為先前工作的三分之一,證明長度為原作的七分之一。每個智能體均在無網絡沙盒中運行,分類器預先檢查 shell 指令和檔案編輯,離線監控器則審查團隊行動。
文章呈現多智能體處理長程證明任務的協作方式,並交代沙盒、即時分類器與離線監控如何構成安全邊界。
多代理團隊能夠解決具挑戰性、需要長時程處理的問題。9 月,我們發表了費馬最後定理的首個端到端形式化證明,由數十個代理使用一個內部研究模型撰寫,其能力大致相當於 Claude Fable 5.1。這項工作依靠 Prove2Me(一個用於數學形式化的平台)以及一名研究人員的指導。在一項新的玩具實驗中,一支由 1,000 個代理組成的團隊使用 Claude Fable 5.2 的早期版本,在沒有 Prove2Me 提供的支援架構或研究人員引導下,重現了該證明。團隊耗時 28.7 小時,使用的輸出 token 數量只有原來的三分之一,撰寫出的證明篇幅則只有原證明的七分之一。
每個代理都在無法存取互聯網的沙盒中工作。每條 shell 指令和每項檔案編輯在執行前都會由分類器檢查,離線監察器亦會審查團隊的每一項行動。我們向代理提供了一份包含 60 個命題的清單、一句概述經典證明路徑的簡介、這些命題所用的定義,以及我們較早前形式化工作中 47 個已證明的引理,並分派主導及協助角色。我們沒有就如何證明定理或如何組織團隊提供其他指引。
這項玩具實驗顯示,使用 Fable 5.2 等模型的代理團隊,可以在精心設計的安全界限內,完成具雄心且需要長時程處理的目標。
問題
費馬最後定理指出,對任何大於 2 的 n,均不存在正整數 a、b 和 c,使 aⁿ + bⁿ = cⁿ。這個定理 350 多年來一直未獲證明,直至 Sir Andrew Wiles 於 1995 年提出長達 129 頁的證明。將證明形式化——令電腦能夠檢查每一步——一直是數學界的長期目標。
我們在 9 月進行的形式化工作,由一名研究人員和數十個代理耗時 11 天完成,使用了約 60 億個輸出 token。他們以 Lean 編寫了 1,300 萬行程式碼。Lean 是一種程式語言,電腦會在其中檢查證明的每一步。
代理透過 Prove2Me 協作。這個平台由 Tianyi Peng(現為 Anthropic 的技術團隊成員)及其 Columbia University 的合作者設計。Prove2Me 使用一個共享圖,將每個待證命題連結至拆分後較小的命題。任何代理都可以拆分命題,其他代理則可以查詢圖譜,找出哪些尚未證明的部分已準備好開始處理,避免他們無法掌握項目的進度。每個命題及其證明都存放在獨立檔案中,並可獨立編譯,因此多個代理可以並行工作,而不會編輯相同檔案。
執行框架
我們想了解,使用 Fable 5.2 等模型的代理團隊,能否在沒有 Prove2Me 或研究人員指導工作的情況下,利用由通用工具構建的執行框架,完成這項成果。
工具
在這項任務中,我們交給由 1,000 個代理組成的團隊 60 個待證命題,包括最終定理和 59 個中間里程碑。對於每個命題,代理都要以 Lean 撰寫證明,使用 Lean 工具建置並檢查證明,然後將其提交至 Git 上的共享 main 分支,由評分程式檢查。我們為每個代理提供以下工具:
- Shell 和檔案編輯器,兩者均位於各自無法存取網絡的沙盒中。
- Lean 工具鏈和Mathlib,已整合至沙盒映像中。
- 各自的 Git 分支,以及向 main 分支提出合併請求的能力。
- 可透過 shell 存取的共享 Postgres 資料庫。
協作
證明工作可以拆分,因此很適合由多 Agent 團隊處理。不過,Agent 也需要協調,才能在彼此工作上繼續推進,並避免重複工作。在我們的原始形式化工作中,Claude 早期的嘗試未能成功,因為 Agent 無法掌握項目進度,也無法繼續有效協作。改用 Prove2Me 平台後,這個問題便得到解決。
在這次測試中,每個 Agent 都在自己的輕量級虛擬機器上使用一個沙盒。單一共用機器大約在 100 個 Agent 時便達到極限:我們進行的 100 個 Agent 測試中,超過一半因記憶體、磁碟空間或 CPU 資源耗盡而必須停止或重新啟動。
有 1,000 個獨立沙盒後,Agent 需要一種分享工作的方式,因此我們為它們提供了一個 SQL 資料庫(圖 1)。我們選用 SQL,因為它提供整理資訊的通用基本機制,其交易機制能處理 1,000 個 Agent 同時寫入,而且 Claude 已熟悉 SQL。Agent 使用資料庫認領任務、分享筆記及記錄已完成的工作。

提示詞設計
我們在提示詞中提供了 60 條待證明的陳述清單,每條附有一句非正式描述,並介紹可用工具(上文列出)。
我們只為團隊設定了一種組織架構:一名領隊和 999 名助手。我們告訴領隊要把問題拆分成不同部分,再分派給助手;也告訴助手要等候領隊分派工作,如有任務不清楚,便向領隊查詢。
執行期間,測試框架向領隊自動發送了 19 次提醒,告知剩餘時間,並鼓勵領隊繼續工作。
安全
正如我們之前分享,單一防護層不足以限制一個 Agent 團隊。在這項實驗中,我們結合沙盒隔離、即時監察及離線監察,讓每個 Agent 留在自己的虛擬機器內,無法存取網絡,並偵測任何試圖逃離沙盒或篡改監察機制的行為。
沙盒隔離
我們以以下方式保護每個 Agent 的沙盒(圖 2):
- 通訊:Agent 沒有專用的訊息工具,只透過資料庫和 Git 協調。
- 程式碼變更:Agent 只能推送至自己的 Git 分支,並可向 main 提交合併請求。之後,獨立工作程序會將變更合併至 main;只有在發生衝突或錯誤(例如歷史紀錄不相關)時才會拒絕變更。
- 資料庫存取:資料庫呼叫均以共用的非特權角色執行。每條 SQL 陳述式的時限為五秒,寫入超過 256 MiB 則會被拒絕。
- 網絡控制:沙盒無法存取網絡。對外唯一連接是一條通往閘道的管道,由閘道轉送其請求。
- 身分識別:閘道在沙盒外為每個請求加上 Agent 的身分標記,以防止一個 Agent 冒充另一個 Agent。
- 核心:建置每個沙盒的核心時,已移除可讓 root 用戶直接突破沙盒的功能,例如可載入模組、kexec、原始記憶體存取及核心探針。核心以核心鎖定模式執行。
- 最小權限原則:每個 Agent 的指令都在各自的沙盒內,以非特權用戶身分執行;sudo 等可重新取得 root 權限的工具則已移除。Agent 使用的工具經過設計,無法讀取或更改執行這些工具的 Agent 迴圈。

即時監察
為了令這類執行過程更安全,我們使用一個由提示詞引導的 LLM 分類器,可封鎖每次工具呼叫,包括 shell 指令及檔案編輯。分類器會監察是否有人嘗試逃離沙盒、探測沙盒邊界或幹擾監察機制;亦會留意模型一旦成功離開沙盒後可能採取的任何有害行動。分類器封鎖工具呼叫時,整個 Agent 團隊便會停止,必須由人員審查該次封鎖,團隊才能重新啟動。這項安排旨在防止另一個 Agent 執行已被封鎖的行動。
為了測試分類器能否偵測精密的破壞行動,我們進行了多 Agent 副任務及破壞行動評估;在評估中,紅隊 Agent 使用拆解攻擊等策略,試圖欺騙分類器,令它準許 Agent 逃離沙盒。我們發現,在這些評估中,能檢視 Agent 思維鏈(CoT)及 Agent 之間通訊的監察器,能偵測所有破壞行動,因此現時我們會用它們監察多 Agent 執行過程。此外,我們亦會平行執行同一監察器的行動型版本;它只查看行動,不查看 CoT,以防 Agent 的推理説服監察器準許有害行動。
我們會透過人工引導及自動化紅隊測試,並以生產環境的對話紀錄(包括過往事件)評估監察系統,以及擴展威脅模型,持續改進監察系統。在本文所述的執行過程中,我們只使用了行動型監察器。只有封鎖主 Agent 才會令執行過程結束;若封鎖的是輔助 Agent,便只會移除該輔助 Agent。
這次執行過程結束後不久,我們便加入了平行運作的 CoT 監察器。我們會在可能尚未完成發布前對齊評估的模型上進行這類實驗,因此設計監察系統時,會考慮模型可能未對齊的情況。我們發布的模型會先完成該評估,這可降低風險,但無法完全消除風險。
在超過一百萬次工具呼叫中,本次執行過程沒有任何一次達到封鎖門檻。以 CoT 監察器及現行評估準則重新檢視這些呼叫時,只有一次(檢查 root 權限)接近被封鎖。
離線監察
除了即時監察,我們亦會使用離線監察器。這個監察器會根據與即時監察器相同的威脅模型,分析 Agent 團隊的行動;此外,它還具備其他功能,例如可查閲其他 Agent 的行動。
結果
沒有 Prove2Me,團隊便自行建立了協調系統
這項證明工作分為多個層次:
- 證明:不存在正整數 a、b、c,能在任何大於 2 的 n 下滿足 aⁿ + bⁿ = cⁿ。
- 命題:我們向團隊提供了 60 個待證命題,包括最終定理及 59 個中間里程碑。
- 較小的命題:Agent 會把較難的命題拆分成較小的命題,即引理。
- Lean:每個命題和引理在 Lean 中都是定理。
每項陳述在 Lean 中一開始都只有證明佔位符;只有在 Lean 的檢查器接受完整證明後,才會視為已證明。我們讓主導者決定如何處理證明,以及如何協調團隊在這些工作層級之間合作。
在首 10 分鐘內,主導者在資料庫中建立了五個資料表(圖 3):
- Announce:主導者向整個團隊發布的指示(例如如何分配工作)。
- Assign:工作分配(例如由哪位助手負責或代替負責各項陳述)。
- Notes:開放式看板(例如用來認領工作或匯報進度)。
- Subtasks:待辦清單,任何代理程式都可以新增任務,而第一位認領任務的助手便負責該任務。
- Landed:已完成工作的記錄。

主導者分派了各項陳述
建立資料表後,主導者做了三件事。首先,主導者在 Assign 資料表寫入 999 行資料,把每項陳述分派給一組由 16–17 位助手組成的小隊,每位助手各佔一行。其次,主導者指定每組中的一位助手擔任隊長,負責在 Notes 資料表發布計劃,並把工作拆分成任務,讓小隊成員從 Subtasks 資料表認領。第三,主導者在 Announce 資料表發布指示,要求每位助手先判斷自己負責的陳述有多難,再在 Notes 資料表發布判斷結果。
根據提示詞,助手知道資料庫的存在。他們找到 Announce 資料表,開始評估工作。大多數助手都在 Notes 資料表發布了判斷結果。約 27 分鐘後,已有三項陳述獲得證明,主導者也已讀取所發布的判斷結果。主導者隨後暫時擱置了 47 項陳述——大多數助手認為以本次執行的預算無法完成——並把幾乎所有助手重新分派到其餘 10 項,因為主導者認為這些陳述可以完成。每組人數由約 17 位助手增至 46 至 139 位。
每位助手都按循環流程工作,其中大部分步驟都列在主導者的指示中:
- 在 Notes 資料表查看該陳述的計劃。
- 從 Subtasks 資料表認領任務。
- 用 Lean 撰寫證明,使用 Lean 的工具檢查,然後提交到 Git 的主分支。
- 把任務標記為已完成。
- 在 Notes 資料表發布進度更新。
約 45 分鐘後,10 項陳述中已有約五項獲得證明,主導者寫道:
「團隊的工作吞吐量遠高於早期『預算內不可行』判斷所預期。」
全部 10 項陳述都在約 70 分鐘內獲得證明。
主導者接着把助手調往更難的陳述
首 10 項陳述完成後,主導者寫道:「沒有理由閒着」,並把助手重新分派到較難的陳述上;這些陳述最初都被擱置。隨着更多陳述獲得證明,主導者繼續把助手調往新的任務,主要集中在首六小時內(見圖 4 中以紅色標示的 Assign 資料表寫入記錄)。

起初,主導者指示隊長在子任務表中把工作拆分成各項任務。隨着工作推進,助手承擔起更多責任,負責證明各項命題。他們開始新增任務,有時是在隊長求助後。到第5.6小時,73名助手已建立756項任務,其中只有16名是隊長。圖4以紅色顯示許多助手在子任務表中的寫入,但大部分寫入都是為了認領任務或標記任務已完成。完成任務的助手也會主動接手更多任務:
「我有空……我會由頭到尾完成各個部分……指定一個深入的部分……我立即開始」
起初,主導者也會把助手指派到特定命題。這種情況在第一小時內開始改變;到第三小時,主導者告訴空閒的助手:「不要等我。」這讓空閒的助手無須等待主導者,也能接手不同命題的工作;與此同時,主導者仍不斷新增工作指派。
主導者指派團隊處理 Langlands–Tunnell
約在第18小時,剩下的只有 Langlands–Tunnell——Wiles 的證明所依據的一項經典結果、依賴它的命題,以及團隊在過程中證明的另一項命題。任務開始前段,負責 Langlands–Tunnell 的隊長曾悲觀地估計,證明至少需要0.7至1百萬行 Lean 程式碼,並認為按時完成的機會不足1%。主導者把該命題擱置一旁。
其他工作幾乎全部完成後,主導者重新把團隊的焦點放在 Langlands–Tunnell 上。在最後一次自上而下的指派中,主導者調派約750名助手處理該命題,並寫道:「坦白説,勝算不高。」
Langlands–Tunnell 遠比 Agent 曾處理過的任何其他命題複雜,所需任務數約為其他命題的九倍,新增程式碼則超過兩倍。助手再次利用子任務表拆分工作,但最初不少任務規模過大,單一助手無法獨自完成。
於是,團隊把工作整理成一棵樹。隊長制定計劃,把該命題分成10個範疇,並把每個部分列為一項任務。若助手發現某部分太大,無法獨自處理,便可將它拆分,並在其下新增較小的任務。每當某部分對單一 Agent 來説太難,這棵樹便會繼續延伸,最終達到2,418項任務,深達10層(圖5)。每個部分都可以假設其下方的部分成立,因此在那些部分尚未獲證明前,數百名助手已可並行工作。

圖6顯示整個過程中每位助手的工作內容:早期助手分散處理多項命題,到最後則集中處理 Langlands–Tunnell。Langlands–Tunnell 在第28.4小時獲證明,最終定理則在第28.7小時獲證明。主導者隨後寫道:
「謝謝大家:費馬最後定理已進入 main,並經官方檢查器作核心檢查。」

結論
這項簡化實驗讓我們研究一支由 1,000 個 Agent 組成的團隊如何處理一項漫長而艱鉅的任務。Agent 只使用 Git 和共用資料庫,便設計資料表來分配角色和分享成果、組成團隊,並建立任務樹,拆解最具挑戰性的命題。該命題的負責人原先估計,按時完成的機會低於 1%。
這項成果並不代表不再需要針對特定領域設計的工具框架或平台。例如,Prove2Me 仍可能透過協助 Agent 更快編譯 Lean 程式碼,以及讓它們搜尋和重用人類成果,提升效率。
在某些時候,人類指引仍然有用。Agent 遇到難題時往往會放棄,也會錯估問題難度。一開始,輔助 Agent 判定 60 項命題中有 47 項無法在本次執行的預算內完成證明,但團隊其後仍證明瞭其中大部分。在這些時刻,人類的鼓勵可以避免 Agent 過早停止。
經過周詳設計的安全界限,讓我們有信心進行這項實驗。Claude 可以使用我們提供的工具,以自行選擇的方式處理問題,但只能在無法連接網絡的沙盒內操作,並受兩個獨立監察機制監督。
我們預期這些方法會迅速演進。隨着這類團隊承接更艱鉅的工作,其安全界限也需要與時並進。我們相信,能夠安全擴展的多 Agent 團隊,將有助於在未來數年解決一些最具挑戰性的問題。
來源:Anthropic:Claude.dev 開發者博客 · claude.dev