跳到正文
Microsoft Research· Aaron J. Li, Weijia Xu, Chandan Singh, Jeevana Priya Inala, Bin Yu, Ion Stoica, Michel Galley, Jianfeng Gao·· 3 天前精選AI 評分71

TokenEconomizer:從經驗學習,提升 AI 編碼智能體效率

TokenEconomizer: Learning from Experience to Make AI Coding Agents More Efficient

AI 導讀

TokenEconomizer 是 UC Berkeley、Microsoft Research 和 Microsoft Security 開發的開源插件,透過程式碼庫過往工作階段學習,降低 AI 編碼智能體後續任務的成本。

推薦理由

研究在 277 項修復程式錯誤任務中評估跨工作階段學習,呈現智能體利用程式碼庫經驗降低成本、同時維持大致穩定任務成功率的做法。

正文 · 繁體中文
Six coding sessions with shrinking cost bars send their logs to TokenEconomizer, which uses micro-skills, tool pruning and failure-loop intervention to guide an unchanged coding agent through the next session.

重點一覽

  • 開發者日復一日使用 AI 編碼代理處理同一批程式碼庫,但代理往往每次工作階段都從頭開始:重新探索熟悉的資訊、載入未使用的工具,以及重複未奏效的方法。
  • TokenEconomizer 是一款開源外掛程式,會從代理在某個儲存庫的過往工作階段中學習,以減少未來工作階段的浪費,而且不會修改代理或其底層模型。
  • 在 277 項真實除錯任務中,TokenEconomizer 在多款 AI 編碼代理上減低了 18.4–30.9% 的成本。在所有受測儲存庫中,成本均有所下降,而任務成功率大致維持穩定。

AI 編碼代理愈來愈能獨立協助開發者修正錯誤及開發功能,但每次與模型互動都會消耗 token。在每個工作階段中,代理都會向模型傳送指令、工具説明及工作階段記錄。大部分降低成本的做法都着眼於個別任務。然而,開發者會重返同一批儲存庫,讓代理有機會從過往工作中學習。若沒有這種學習,代理可能會不斷重新探索如何執行測試、載入從未使用的工具,或花上數十輪反覆處理同一個錯誤。 

在我們的論文 TokenEconomizer: Experience-Driven Black-Box Cost Control for Coding Agents 中,我們探討一個簡單問題:在某個儲存庫累積的經驗,能否幫助代理更有效率地完成未來任務?TokenEconomizer 是 UC Berkeley、Microsoft Research 和 Microsoft Security 推出的開源外掛程式,會將已完成的工作階段轉化為後續工作階段的指引。它不會改動代理或其底層模型,便能減少浪費,讓開發者可配合現時使用的編碼代理一同使用。

Each finished session teaches TokenEconomizer something about the repository, so later sessions cost less tokens.
圖 1. 每個已完成的工作階段都會讓 TokenEconomizer 學到一些有關該儲存庫的資訊,因此後續工作階段所需的 token 更少。 

token 花在哪裏

我們首先分析 Claude Code 在 SWE-Bench 的 60 項任務中的表現。SWE-Bench 是一個以開源 Python 專案的真實錯誤修正為基礎的基準測試;我們按順序執行每個儲存庫中的任務。三種浪費情況反覆出現:

  • 重複探索相同資訊。當某個儲存庫累積至少五項已完成任務後,30% 的工具呼叫會重複該儲存庫較早任務中的操作。只有 7% 的工具呼叫與另一個儲存庫的歷史記錄中的操作相符。
  • 為未使用的工具付出代價。代理每一輪都會收到 23 項工具説明,但其中 16 項從未被呼叫。
  • 受困於失敗。未能成功的任務佔 17%,卻消耗了 32% 的開支。

我們亦測試了三款熱門開源外掛程式,各自採用固定的節省成本策略。每款外掛程式都能在部分儲存庫降低成本,但在其他儲存庫則未能做到。綜合這些結果可見,有效的成本控制必須因應不同儲存庫調整,而非處處採用相同策略。

TokenEconomizer 的運作方式

每個工作階段結束後,TokenEconomizer 都會讀取該工作階段的記錄,並更新對該儲存庫的瞭解。然後,它會透過三種機制發揮作用;如圖 2 所示,這些機制只使用代理本身已提供的介面。

微技能以一行註記記錄儲存庫專屬知識。TokenEconomizer 會找出不同工作階段中反覆出現的模式,並提出相應註記。只有在多個工作階段確認該模式後,這些註記才會加入代理的初始上下文;若後續證據與之矛盾,則會撤下該註記。

工具精簡會根據儲存庫的歷史紀錄,移除代理不太可能使用的工具,同時保留執行命令和編輯檔案所需的核心工具。如有需要,可以還原已移除的工具。

失敗循環介入會監察代理是否不斷遇到相同的失敗。判斷模型會決定代理是真的陷入僵局,還是仍在取得進展。如果代理陷入僵局,系統會提供簡短提示,建議採用不同的方法。在開源外掛程式中,如果代理收到提示後仍然陷入僵局,TokenEconomizer 會通知開發者,而不會自行停止工作。

TokenEconomizer works alongside an unchanged coding agent. Micro-skills add learned facts, tool pruning trims the loaded tools, and failure-loop intervention redirects stuck work. Each finished session updates all three.
圖 2。TokenEconomizer 與未經修改的編碼代理協同運作。微技能會加入已學到的事實,工具精簡會縮減載入的工具,而失敗循環介入則會為陷入僵局的工作調整方向。每個工作階段完成後,都會更新這三項內容。 

控制器的設計可隨新證據出現而修訂決策。報告中的節省幅度亦已計入 TokenEconomizer 本身的模型呼叫成本。

在各個儲存庫節省成本

我們使用五種不同的 AI 編碼代理與模型組合,評估 TokenEconomizer 在六個儲存庫的 277 項 SWE-Bench 任務上的表現。對每個儲存庫而言,TokenEconomizer 開始時都沒有過往工作階段的歷史紀錄。 

如圖 3 所示,TokenEconomizer 將平均成本降低了 18.4–30.9%,並在全部 30 組儲存庫與組合配對中都節省最多成本,且沒有損失效能。相比之下,降低模型的推理力度雖然節省了相若或更多成本,卻大幅降低了效能。

On SWE-Bench, TokenEconomizer lowered mean cost per task by 18.4–30.9% across five agent–model combinations (left), while Pass@1 rose in four of them (right).
圖 3。在 SWE-Bench 上,TokenEconomizer 將五種代理與模型組合的每項任務平均成本降低了 18.4–30.9%(左),並在其中四種組閤中提高了 Pass@1(右)。 

隨着經驗累積,節省幅度會增加。TokenEconomizer 在學習期間,早期任務的成本可能較高;但如圖 4 所示,到第六項任務時,每個儲存庫的累積成本都已低於預設基準。每種機制單獨使用都能節省成本,三種機制結合使用則可帶來最大幅度的成本降低。

Cumulative cost change relative to default over each repository’s tasks, using Claude Code. Starting with no history, every repository becomes cheaper by the sixth task.
圖 4。使用 Claude Code 時,各儲存庫任務的累積成本相對於預設基準的變化。開始時沒有歷史紀錄,但到第六項任務時,每個儲存庫的成本都已降低。 

在循序進行的網頁開發任務中也能節省成本,降幅為 16.0–21.2%(Web-Bench)。在安全審核任務中,由於每項任務都在新的儲存庫進行,成本則降低了 6.4–19.6%。

展望未來

TokenEconomizer 為編碼代理開闢了一條新路徑,讓它們不只學習如何解決任務,還能更有效地運用運算資源。這個輕量級控制器展示瞭如何透過經驗提升效率,而無須更改底層代理或模型。

開源外掛程式讓開發者和研究人員可以探索這些方向。它的設計可與現有 AI 編碼代理協同運作,而無須修改其底層模型;外掛程式本身不需要 API 金鑰,並會將學到的內容保留在開發者的電腦上。我們歡迎社羣以此為起點,探索如何讓代理透過經驗變得更善於運用資源,並調整工作方式及所掌握的知識。 

閲讀論文

取得程式碼

查看項目

在新分頁開啟

文章TokenEconomizer:從經驗中學習,提升 AI 編碼代理的效率最初刊載於Microsoft Research。

來源:Microsoft Research · microsoft.com