Google 開源 Harness²，透過遞歸改進 Agent 執行腳手架

編者按：本文來自微信公眾號“量子位”，作者：Jay，創業邦經授權轉載。

谷歌RSI新成果，開源了。

名叫Harness²，讓大模型在運行中自己給自己魔改外掛代碼、系統提示詞、工具鏈和技能庫。

是的，Harness層的RSI。

效果也是很猛。

GLM-5接入Harness²後，在辦公基準WorkBuddy-Bench上，綜合得分直接飆升11.5分。

瞬間反超原生Gemini 3.5 Flash。

整個過程無需修改模型權重，只需優化其外圍的運行腳手架。

非常離譜的外掛，任何模型套上來，跑分都直接起飛了。

目前，該項目已全面開源，已支持OpenCode與Codex。

為什麼「自己改自己」老翻車

過去業內為了讓Agent變聰明，搞過不少遞歸自我改進（Recursive Self-Improvement，簡稱RSI）。

思路聽起來很美：讓AI自己寫代碼、自己改提示詞、自己優化系統。但只要一放進真實的開放世界，幾乎全軍覆沒。

為啥呢？

主要就卡在兩道死穴上：

沒有標準答案。

實驗室裏刷題有單元測試，有Ground Truth告訴你對不對。但到了真實打工場景，寫一份商業企劃案、審一份法律合同，線上根本沒人給你打分。

AI自己改了一版Prompt，它怎麼知道改完是變聰明瞭還是在瞎編？

過度擬合單次任務。

好不容易為了修某個任務把腳手架魔改了一通，結果下一個任務換成了寫爬蟲，之前改的規則全成了累贅。

直接把改完的腳手架硬套給下一個任務，系統很快就陷入噪聲螺旋，越改越傻。

谷歌團隊這次提出來的Harness²，就是專門衝着這兩個死穴開刀的。

他們搭了一套雙層遞歸架構。

雙層遞歸：左手做實驗，右手記筆記

Harness²名字裏的這個「平方」，指的就是兩層互相嵌套的遞歸循環：任務級遞歸（Task-level）和改進級遞歸（Harnessing-level）。

第一層，任務級遞歸：在沒有標準答案的情況下做對照實驗。

面對眼前這個新任務，系統先用初始腳手架跑一版參考軌跡出來。這版結果對不對先不管，核心是看模型在執行過程中暴露出什麼缺陷。

緊接着，它啓動了一套叫做Propose–Probe–Compose（提議-探測-合成）的機制：

Propose（提議）：

由專門的編輯角色針對剛才的軌跡提出兩套修改方案。

一套是「通用缺陷修補」（Invariant），專門抓跨領域通用的毛病，比如規劃混亂、工具調用死循環、上下文爆炸；

另一套是「領域專屬修補」（Domain），專門針對當前業務的特定知識和約束。

Probe（探測）：

把這兩套修改後的候選腳手架放回同一個任務裏分別跑一遍。

沒有裁判沒關係，系統抓取它們的執行軌跡和參考軌跡做行為對比（Behavioral Contrast）。看改動到底有沒有解決剛才卡住的步驟，有沒有引發新的邏輯退化。

Compose（合成）：

合成器把所有執行證據擺在一起，挑出那些真正被行為證據證明有效的改動，把它們合併進最終的執行腳手架裏。

這還不算完。它還支持並行擴展（Parallel Recursion），一次生成k組通用和領域候選方案，共2k個候選腳手架，併發探測後再進行k次獨立合成，進一步拓寬搜索空間。

第二層，改進級遞歸：把改腳手架的經驗沉澱成元能力。

當前任務做完了，交付物交出去了，很多系統的生命週期就到此為止了。

但Harness²真正厲害的在後頭——

把整個調試記錄（參考軌跡、候選修改、對比證據、合成決策）交給反思模塊（Experience Reflector）。

反思模塊復盤之後，会写一份EXPERIENCE.md，把這次為什麼這麼改、在什麼條件下起效、帶來了什麼後果，清清楚楚存進持續改進經驗庫（Harness Improvement Library）。

等到下一個新任務進來時：

執行端拿到的，依然是一個乾乾淨淨的基礎腳手架。

但是負責改腳手架的那個「改進大腦」，手裏已經攥着厚厚的歷史經驗手冊。在提議和合成階段，它能直接檢索過往相似場景下的有效組件和避坑指南。

改進的不只是眼前的腳手架，更是未來改進腳手架的能力。

這就把單次任務的臨時修補，變成了終身學習的認知資產。

跑分實測

機制講得再漂亮，終究得拿真實戰場的數據説話。

團隊直接上了三個極具分量的硬核職業基準：

WorkBuddy-Bench：涵蓋代碼（Code）、網頁（Web）、辦公套件（Office）三大高難度辦公工作流；

JobBench：長程端到端複雜專業崗位任務；

LAB：Harvey開源的頂級法律智能體基準。

底座模型選了Gemini 3.5 Flash和GLM-5，執行腳手架挑了開源主流的OpenCode和Codex。

結果極其誇張。

在WorkBuddy-Bench測試裏，僅僅進行單步Harness²改進（$k=1$）：

GLM-5在OpenCode下綜合得分從64.2狂飆到75.7，暴漲11.5分；在Codex下也從64.4飆到了75.3。

Gemini 3.5 Flash在OpenCode下從72.4提升到77.5，在Codex下從74.5提升到77.5。

你看這個數據：

被優化過腳手架的GLM-5（75.7分 / 75.3分），直接把原版沒改腳手架的Gemini 3.5 Flash（72.4分 / 74.5分）給幹翻了。

在端到端崗位任務的JobBench上，單步改進同樣帶來全面提升，Gemini 3.5 Flash漲了4.5分，GLM-5漲了3.6分；在法律基準LAB上，GLM-5的部分通過率直接拔高了11.8個百分點。

如果把並行預算拉到 $k=5$（併發5路候選），性能還會進一步上揚：WorkBuddy-Bench最高再漲3.9分，JobBench再漲4.2分，LAB通過率再漲6.7個百分點。

更絕的是經驗庫的跨領域遷移測試。

團隊把在JobBench上積累的經驗庫遷移到WorkBuddy-Bench，在不增加額外探測預算的情況下，輔助單步Harness改進，最終讓代碼、網頁、辦公三項得分分別再提高0.6分、0.5分和2.9分。

過去兩年，大家對AI的期待幾乎全部押注在「底座模型Scaling」上，總覺得只要等下一代GPT出來，手頭的應用問題就迎刃而生了。

但現實給所有從業者潑了一盆冷水：基座模型越來越貴，邊際效益在放緩，而落地場景裏的長尾bug依然無窮無盡。

你給模型再大的上下文窗口，它在處理跨文件對賬時依然會偷懶；你給它再高的跑分，它寫完報告依然不會主動打開文件去校驗格式。

這些東西，靠預訓練參數是永遠喂不飽的。

它需要的是一套能在運行中自我感知、自我修補、持續進化的Runtime認知工程。

以前我們搭腳手架，是工程師坐在電腦前一條一條手寫Prompt、配工具、修管道，累得半死還到處漏風。

現在Harness²證明瞭一條新路：

把規則制定的權力，還給Agent自己。

論文作者

最後，照例來説説論文作者。

一共9位，而且華人濃度極高，高達78%。。。

由於文章篇幅有限，這裏就按順序介紹三位。

Ruiyao Xu，論文一作兼通訊作者。

美國西北大學統計與數據科學系博士生，導師為Kaize Ding。

主要研究方向包括大語言模型、圖機器學習、異常檢測及AI Agent系統。

這篇論文，便是他在谷歌實習期間的工作。

Yanfei Chen，Google Cloud AI Research資深研究工程師。

本科畢業於北京大學，主修電氣工程與經濟學，2018年獲得美國匹茲堡大學工業工程博士學位。

此後曾在機器學習公司Qeexo擔任研究工程師，2020年加入Google，參與過Vertex AI Search、Gemini Enterprise Deep Research等項目，主要研究大語言模型智能體、檢索增強生成及工具學習。

Zhongying CuiZhu，也叫Zoey CuiZhu，Google Cloud AI Research研究工程師。

2019年獲得斯坦福大學電氣工程博士學位，主要研究通用智能體、可驗證智能體及智能體質量評估。

參考鏈接：

[1] https://arxiv.org/html/2610.14224v1

本文為專欄作者授權創業邦發表，版權歸原作者所有。文章系作者個人觀點，不代表創業邦立場，轉載請聯繫原作者。如有任何疑問，請聯繫editor@cyzone.cn。