SWE-sweep 發佈程式碼智能體基準，要求從完整程式碼庫自主找出及修復漏洞

（文/杨亮）10月23日消息，近日，来自 Meta 超级智能实验室、哈佛大学、斯坦福等机构的研究者推出全新软件工程评测基准 SWE-sweep，一改主流代码基准的评测范式：不再给 AI 提供问题描述、报错信息或漏洞位置，仅交付完整代码仓库，要求编码智能体自主探索、发现并修复潜藏 Bug。

过往 SWE-bench 等经典基准，任务形式大多是 “给定 Issue 问题描述 + 代码库，让 AI 根据反馈修复漏洞”，相当于提前告诉 AI“哪里出了问题、是什么问题”。而 SWE-sweep 瞄准更贴近真实运维的场景：代码库上线后，在用户上报问题之前，由 AI 主动巡检、挖掘隐性缺陷。

该基准数据集由 100 个真实开源仓库构建，包含合计 4100 个历史漏洞。研究团队筛选特定代码提交版本，让大量历史 Bug 在同一版本共存；同时严格把关样本，只保留 “仅凭阅读代码本身就能发现”的漏洞 —— 缺陷的预期行为可以从代码注释、类型标注、单元测试、函数契约等仓库内信息推导出来，排除需要外部上下文才能够定位的问题。

评测打分规则十分严格：判定一个漏洞修复成功，需要同时满足两项条件，一是该漏洞对应的专属隐藏测试用例由失败转为通过，二是仓库原有全套测试套件全部跑通，杜绝 “修好一个 Bug，引入新回归问题” 的情况。AI 额外找到、修复榜单之外的未知问题，不计入得分；只要改动造成原有功能报错，本次评测直接零分。

官方同步放出首期排行榜，全部参赛模型统一基于 mini‑SWE‑agent 智能体框架运行。榜单数据显示，当前 AI 自主扫 Bug 的整体成功率仍然偏低：第一名 OpenAI Astra 6 仅修复 9.5% 的漏洞，单仓库平均耗费 32.5 美元；第二名 OpenAI Sol 5.6（xhigh）仅修复 4.7% 的漏洞，但成本偏高，单仓库平均耗费 72.3 美元；第三名 Luna 5.6（xhigh）修复率 2.5%，成本大幅下降。国内模型月之暗面 Kimi K3 位列第 9，漏洞修复率 0.6%。其余多款主流大模型，自主发现修复的比例大多不足 1%。

数据同时体现成本与效果的权衡：更高算力、更高推理配置，往往能提升修复数量，但边际收益递减；而且多轮迭代修改还存在风险，后序代码改动有可能破坏之前已经修复好的缺陷，不是轮次越多效果越好。消融实验显示，在该基准下，Claude Code、Codex 等其他智能体脚手架，对比 mini‑SWE‑agent 没有明显优势。

团队表示，目前提交通道尚未对外开放，后续榜单会持续扩容，计划新增 Astra、Fable 以及各类开源模型的评测结果。

研究者希望借助 SWE-sweep，引导编码智能体走向 “主动巡检”，而不只是被动根据工单修 Bug，这也是走向长期自主软件工程智能体的关键一步。