ExploitGym：AI 智能體能否把安全漏洞轉化為實際攻擊？

ExploitGym

ExploitGym：AI Agent 能否將安全漏洞轉化為真實攻擊？

Zhun Wang¹, Nico Schiller², Hongwei Li³, Srijiith Sesha Narayana², Milad Nasr⁵, Nicholas Carlini⁵, Xiangyu Qi⁶, Eric Wallace⁶, Elie Bursztein⁷, Luca Invernizzi⁷, Kurt Thomas⁷, Yan Shoshitaishvili⁴, Wenbo Guo³, Jingxuan He¹, Thorsten Holz², Dawn Song¹
¹UC Berkeley, ²Max Planck Institute for Security and Privacy, ³UC Santa Barbara, ⁴Arizona State University,
⁵Anthropic, ⁶OpenAI, ⁷Google
2026年5月13日
（預計閲讀時間：5-6 分鐘，詳情請參閲 arXiv 論文：https://arxiv.org/abs/2605.11086 及程式碼：https://github.com/sunblaze-ucb/exploitgym）

我們是一支由 UC Berkeley 的 Berkeley RDI 領導的研究團隊，與 Max Planck Institute for Security and Privacy、UC Santa Barbara、Arizona State University、Anthropic、OpenAI 及 Google 合作。我們一直在探討一個令資安界不安的問題：

現今的 AI Agent 有多大能力將已知軟件漏洞轉化為可用的漏洞利用程式，也就是發動真實攻擊？

這是衡量前沿 AI 對網絡安全影響的最關鍵問題之一，尤其是在攻擊層面。

摘要

ExploitGym 是一個全新基準測試，涵蓋 898 個真實世界漏洞，涉及用戶空間程式、Google 的 V8 JavaScript 引擎（Chrome 使用的引擎）及 Linux 核心。AI Agent 會獲提供一個漏洞，以及可觸發該漏洞的概念驗證輸入，並須分析漏洞、編寫完整的漏洞利用程式，以達成未經授權的程式碼執行。

主要結果如下：Anthropic 的 Claude Mythos Preview 在每項任務的時限內，成功利用了 898 個案例中的 157 個；OpenAI 的 GPT-5.5 則成功利用了 120 個。即使啟用了 ASLR 或 V8 沙箱等常見安全防禦措施，仍有相當數量的漏洞利用程式奏效。更值得注意的是，Agent 有時會發現並利用與指定目標完全不同的漏洞。

重點摘要

自主漏洞利用已不再只是設想。前沿 AI Agent 已能根據錯誤報告和導致程式崩潰的輸入，推理記憶體配置、串連多種攻擊原語，並產生完全可用的漏洞利用程式。這類多步驟、低階的工作，傳統上需要人類資安研究人員具備深厚專業知識並投入大量時間。

常見防禦措施有幫助，但無法完全阻止 AI 驅動的攻擊。啟用 ASLR、堆疊保護值及 V8 堆積沙箱等緩解措施後，成功次數大幅下降，但並未歸零。Agent 找到了繞過方法：利用部分指標覆寫繞過 ASLR、採用已知的 V8 沙箱逃逸技術，以及使用核心技巧（例如覆寫 modprobe_path 和利用側通道）避開 KASLR。這清楚表明，縱深防禦仍然至關重要，但單靠現有緩解措施，仍不足以應對具備 AI 能力的攻擊者。

這本質上具有雙重用途。這種張力正是我們建立這項基準測試的原因。漏洞利用是網絡安全根本矛盾的核心。對防禦者而言，關鍵在於判斷漏洞在實際情況中是否確實構成問題。自動生成漏洞利用程式可以加快嚴重程度分級、協助安排修補程式的優先次序，並驗證緩解措施是否確實有效。但同一項能力亦降低了惡意攻擊的專業門檻，令以往需要多年專業訓練才能完成的工作，更多人都能做到。高階攻擊者亦可將智能體生成的部分行動軌跡改編成可運作的漏洞利用程式，把 AI 當作力量倍增器。

隨着智能體的能力不斷提升，這種不對稱情況將會加劇，而主動治理的窗口期正逐漸收窄。我們相信，負責任的做法是嚴謹而公開地評估這些能力，讓防禦者、AI 開發者和政策制定者能作出有根據的決策。我們的基準測試及結果旨在為多方持份者的討論奠定基礎。

甚麼是 ExploitGym？

現有大部分 AI 網絡安全基準測試，主要聚焦於尋找程式錯誤、撰寫修補程式或解答奪旗（Capture-the-Flag，CTF）謎題等任務。我們早前推出的基準測試 CyberGym 聚焦於現實世界的漏洞分析：給予智能體漏洞描述和程式碼庫後，智能體必須生成能觸發漏洞的概念驗證輸入。這是瞭解 AI 能否找出或確認漏洞的重要一步，但未有進一步探討下一個問題：智能體能否將已知漏洞轉化為現實世界中的攻擊？

ExploitGym 填補了這個空缺。它的 898 項任務各自向智能體提供三樣東西：有漏洞的原始碼及建置指示、能觸發漏洞的漏洞證明（PoV）輸入，以及一個容器化執行環境，讓智能體與目標互動。智能體的任務是把 PoV 轉化為可運作的漏洞利用程式，實現未經授權的程式碼執行；具體而言，就是讀取無法透過任何合法介面取得的秘密旗標。

Overview of ExploitGym — 圖 1：ExploitGym 概覽。每項任務都向智能體提供**有漏洞的原始碼**、**漏洞證明（PoV）輸入**及**容器化執行環境**；智能體必須生成漏洞利用程式，實現未經授權的程式碼執行並讀取秘密旗標。898 項任務涵蓋三個領域（用戶空間程式、V8 引擎及 Linux 核心），每個領域均設有可切換的緩解措施。

這項基準測試涵蓋三個領域。用戶空間程式（520 個實例）包括 FFmpeg 和 OpenSSL 等廣泛使用的 C/C++ 專案，資料來源為 Google 的 OSS-Fuzz 及 OSV 報告。V8 瀏覽器引擎任務（185 個實例）針對 Chromium 的 JavaScript 引擎漏洞。Linux 核心任務（193 個實例）要求在虛擬機器內完成完整權限提升。

每個領域亦設有可切換的安全緩解措施，讓研究人員能準確量度 ASLR 或 V8 沙盒等標準防護措施，對 AI 攻擊者的阻礙有多大。

除了透過擷取旗標驗證未經授權的程式碼執行外，我們亦使用「以代理作為裁判」的方法，確認每次漏洞利用是否確實針對所提供的漏洞。真實世界的軟件往往包含多個漏洞，而代理經常利用另一個漏洞（而非預期的漏洞）成功完成任務。裁判可確保不同代理之間的比較採用一致的衡量指標，亦符合核心防禦用途：評估某個特定已知漏洞在真實世界中的嚴重程度。

主要結果

我們測試了七種模型與代理的組合，全部均在為安全研究而設的結構化存取計劃下停用安全過濾器運行。每個代理每項任務有兩小時。

表現最佳的是 Claude Mythos Preview（配合 Claude Code），成功 157 次；其次是 GPT-5.5（配合 Codex CLI），成功 120 次。GPT-5.4 的表現亦相當不俗，成功 54 次。其後成功次數急劇下降：Claude Opus 4.6 解決了 15 項，Gemini 3.1 Pro 解決了 12 項，其餘模型的成功次數均只有個位數。

按任務領域細分結果，可見難度有明顯梯度。用戶空間任務的成功範圍最廣。V8 漏洞利用難度高得多，只有排名前三的模型取得實質進展。核心漏洞利用則是最明顯的分水嶺：只有 Claude Mythos Preview（成功 12 次）和 GPT-5.5（成功 22 次）展現出顯著能力，其他模型的成功次數均不超過一次。

圖 2：各模型按領域（用戶空間、V8、核心）劃分的成功漏洞利用次數。Claude Mythos Preview 和 GPT-5.5 遙遙領先；核心漏洞利用尤其是區分前沿與非前沿模型的明顯分水嶺。而前沿代理式 AI 能夠繞過標準防護措施（例如 K/ASLR、堆疊金絲雀、V8 堆積沙箱）

模型	代理	成功次數				費用（USD）		時間（分鐘）		LLM 呼叫次數
模型	代理	總計	U	B	K	成功	全部	成功	全部	成功	全部
#實例數		898	520	185	193
Claude Mythos Preview^†	Claude Code	157	107	38	12	—	—	54.7	102.1	225.5	289.3
Claude Opus 4.6^†	Claude Code	15	12	2	1	8.08	21.76	18.1	66.7	102.3	285.9
Claude Opus 4.7	Claude Code	7	4	3	0	8.64	3.40	22.1	14.4	102.0	54.0
Gemini 3.1 Pro	Gemini CLI	12	10	2	0	8.56	9.02	51.1	75.6	169.5	174.8
GLM-5.1	Claude Code	4	4	0	0	3.75	6.39	63.3	118.0	148.6	245.6
GPT-5.4	Codex CLI	54	38	15	1	12.20	25.43	51.1	103.5	220.1	443.8
GPT-5.5^‡	Codex CLI	120	71	27	22	22.99	34.55	49.6	69.8	256.8	375.4

表 1：代理在兩小時時限下的表現。成功次數按領域劃分：用戶空間（U）、V8（B）和核心（K）。費用、時間及 LLM 呼叫次數，分別是成功執行（成功）和整個基準測試（全部）中每項任務的平均值。
^† 結果由 Anthropic 合作取得。
^‡ 在預設提示詞下，OpenAI 的預設安全過濾器會封鎖所有 GPT-5.5 漏洞利用嘗試。

重新啟用標準防護措施後，成功率全面下降，但並未歸零。在防護措施啟用的情況下，Claude Mythos Preview 仍成功完成 25 項用戶空間任務、17 項 V8 任務和 3 項核心任務。GPT-5.5 則分別成功完成 10、3 和 8 項。

模型	用戶空間	V8	核心
Claude Opus 4.6	12 → 0	2 → 0	1 → 0
Claude Opus 4.7	4 → 0	3 → 0	0 → 0
Claude Mythos Preview	107 → 25	38 → 17	12 → 3
Gemini 3.1 Pro	10 → 0	2 → 0	0 → 0
GLM-5.1	4 → 0	0 → 0	0 → 0
GPT-5.4	38 → 2	15 → 0	1 → 1
GPT-5.5	71 → 10	27 → 3	22 → 8

表 2：繞過防護措施的漏洞利用。每個儲存格顯示未啟用防護措施時 → 啟用防護措施後的成功次數（包括 ASLR、堆疊金絲雀、V8 堆積沙箱、KASLR 等）。

值得留意之處

Agent 會偏離原定路線，並找到新的漏洞。最有趣的發現之一，是「成功取得旗標」與「利用指定漏洞」之間存在落差。在不同模型中，Agent 經常透過我們未提供的其他漏洞，成功執行程式碼。兩個最強模型最能説明這一點：GPT-5.5 在210宗案例中成功取得旗標，但只有120宗利用指定漏洞；Claude Mythos Preview 則成功取得226面旗標，但只有157宗針對正確的漏洞。換言之，兩者分別有90宗及69宗成功案例，是透過非預期途徑完成。有些情況下，Agent 轉向驗證較弱的相鄰程式碼路徑；另一些情況下，Agent 判斷提供的漏洞無法利用，於是搜尋全新的攻擊面，有時會審查原始碼，甚至進行動態模糊測試。這展現出令人矚目的自主資安推理能力。

圖 3：各模型中 Agent 成功執行未經授權程式碼的案例分佈。每個長條以深藍色部分表示利用指定漏洞而成功的案例，淺藍色部分則疊加其上，代表透過其他漏洞進行的非預期利用。兩者之間的差距（例如 Claude Mythos Preview 的226 → 157，以及 GPT-5.5 的210 → 120），顯示 Agent 會偏離原定路線，轉而利用不同於指定漏洞的其他漏洞。

不同模型會找到不同的漏洞利用方式。Claude Mythos Preview 和 GPT-5.5 的成功案例總數遙遙領先，但兩者成功解決的目標差異相當大：只有 Claude Mythos Preview 解決的目標有56個，只有 GPT-5.5 解決的有26個，兩者共同解決的則有91個。其餘模型合共另有61宗成功案例，大多與前兩個模型重疊，但其中4宗只有其餘模型成功解決。這顯示各模型採用的漏洞利用策略在性質上有所不同；採用模型集成方案，或可大幅擴大涵蓋範圍，超越任何單一模型的表現。

Venn diagram of successes across models — 圖 4：各模型成功利用的案例重疊情況。只有 Claude Mythos Preview 解決的目標有56個，只有 GPT-5.5 解決的有26個，兩者共同解決的有91個；其餘模型另有4個只有它們成功解決的案例。

增加預算有幫助，但只對最強的模型有效。我們將時間預算由兩小時延長至六小時後，Claude Mythos Preview 的成功利用案例數持續增加，由127宗升至204宗，沒有明顯趨於平穩。相比之下，Claude Opus 4.6 在首30分鐘內便停滯在約15宗。這顯示前沿模型具備持續進行多階段推理的能力，只要有足夠時間，便能破解更難的問題。這也表示，兩小時的預算很可能低估最強 Agent 的能力。

Cumulative successes vs. time budget — 圖 5：每項任務的時間預算由數分鐘延長至六小時期間，累計成功利用漏洞的案例數。Claude Mythos Preview 持續增加，由127（2h）升至204（6h），沒有明顯趨於平穩；Claude Opus 4.6 則在首半小時內停滯。前沿 Agent 如有足夠時間，便能持續進行多階段推理，因此兩小時的預算很可能低估最強 Agent 的能力。

示例：從 V8 中 5 行程式碼造成的崩潰，到完整程式碼執行

為了具體説明，以下是我們觀察到的一個令人印象深刻的發展過程。GPT-5.4 收到一段五行的 PoV，該 PoV 會觸發 Maglev（V8 的中階 JIT 編譯器）中的斷言；這項問題由 ClusterFuzz 於 2025 年 10 月回報，時間已晚於 GPT-5.4 的知識截止日期。在發佈版本中，PoV 只會拋出無害的 TypeError，不會出現可見的記憶體損壞。

此後，Agent 獨立完成了整條漏洞利用鏈：它找出漏洞取決於接收者形狀，建立一個能誘使 Maglev 越界讀取堆積記憶體的物件，調整堆積記憶體佈局以洩漏穩定指標，偽造 V8 字串物件以取得任意原生記憶體讀取能力，從 Global Offset Table 洩漏 libc 位址，並建立訊號返回導向程式設計（SROP）鏈，將執行流程重新導向至 system("/challenge/catflag")。總耗時：71 分鐘，229 行漏洞利用程式碼。

一項重要的但書：這次成功是因為我們停用了 ASLR 和 V8 heap sandbox。重新啟用這些防禦措施後，GPT-5.4 便無法成功利用這個特定漏洞。現代緩解措施仍然是不可忽視的障礙，但 AI Agent 能在複雜的真實世界目標上獨立串連如此多個利用原語，確實是一項值得留意的里程碑。

GPT-5.4 V8 exploit chain trajectory — 圖 6：GPT-5.4 的 V8 漏洞利用鏈。從一段在發佈版本中只會觸發 `TypeError` 的五行 PoV 開始，Agent 逐步升級利用能力：**越界讀取堆積記憶體** → **指標洩漏** → **偽造字串物件** → **任意讀取** → **libc 洩漏** → **SROP 鏈**，最終到達 `system("/challenge/catflag")`。耗時：71 分鐘，229 行漏洞利用程式碼（停用 ASLR 和 V8 heap sandbox）。

這件事為何重要

ExploitGym 具體呈現了安全社羣許多人一直以來的推測：從「AI 能找出漏洞」到「AI 能利用漏洞」之間的差距，正在迅速縮小。這與我們對前沿 AI 對網絡安全格局的影響所作的廣泛分析結果一致。我們認為，這迫切促使我們採取兩項行動。首先，防禦者在評估自身安全狀況時，需要開始把 AI Agent 視為潛在攻擊者。標準緩解措施依然有用，但面對能以機器速度推理、適應和反覆嘗試的對手，單靠這些措施已不足夠。其次，負責任的 AI 開發需要明確考慮這些能力，並透過有規劃的存取計劃、安全過濾機制和持續評估來應對。

這項基準測試本身對上述兩方面都有貢獻：它讓防禦者得以衡量實際風險，也讓 AI 開發者得以追蹤其模型的能力如何演變；在這個領域，相關風險尤其重大。

ExploitGym 論文由來自 UC Berkeley、Max Planck Institute for Security and Privacy、UC Santa Barbara、Arizona State University、Anthropic、OpenAI 和 Google 的研究人員撰寫。基準測試的設計和實驗方法由學術界作者制定，業界合作夥伴則提供模型存取權和意見回饋。我們亦感謝 GLM 團隊提供 API 存取權。

Berkeley RDI

推進去中心化及 AI 的科學、技術與教育，促進負責任的數碼經濟。