ALTK-Evolve 如何以學習式記憶讓客服智能體登上 τ²-bench 零售榜首，無需前沿模型

ALTK-Evolve 使用 GPT-4.1 學習並運用一套操作指南，在 τ²-bench 客戶服務 agent 基準測試中表現勝過零售類項目，而且毋須更新模型權重。

學習所得的記憶令基本 ReAct agent 配合 GPT-4.1 登上榜首

使用 GPT-4.1 這款較舊的非推理型模型，基本客戶服務 agent 在 τ²-bench 零售領域取得 67.5% Pass^4——即在 67.5% 的任務中，四次獨立嘗試均能解決任務。在 2026年10月12日的排行榜快照中，其分數高於所有零售類項目。它使用基準測試原有的 ReAct 框架運作，並將學習所得的指引附加至系統提示詞。

ALTK-Evolve 使用 GPT-4.1 建立這套操作指南。它分析 agent 在訓練任務中的嘗試，並利用模型將成功與失敗經驗提煉成簡短的行為規則，例如如何驗證客戶身份、確認交易或處理退貨。之後，這些指引會加入 agent 的提示詞，供後續對話使用。提取指引和驅動 agent 的是同一模型；整個過程毋須更新權重或由人手標註。

我們的先前工作已在編碼 agent 上展示這種方法。這次我們在客戶服務領域進行測試；要取得成功，agent 必須遵循領域政策、理解客戶的要求，並執行正確的工具操作。

τ²-bench 測試受政策約束的客戶服務

τ²-bench（由 Sierra 推出）評估 agent 在實際限制下處理客戶服務對話的能力。每項任務都會讓 agent 與一名由 LLM 模擬、心中有特定目標的客戶互動，並提供一組領域工具（查詢訂單、發出退款、重新預訂航班），以及一份 agent 必須遵循的書面政策文件。agent 必須引導客戶提供所需資料、遵守政策，並採取正確而且往往不可逆的行動；只有最終資料庫狀態符合預期結果，任務才算完成，獎勵採用嚴格的二元制。我們使用其中兩個客戶服務領域：零售和航空。

我們使用 τ²-bench 原有的基本 ReAct agent 實作，採用兩階段的 THINK → ACT 循環，並以 gpt-4.1 作為 agent 模型、以 gpt-5.5 作為客戶模擬模型；每項任務進行 4 次試驗。我們唯一作出的改動，是在系統提示詞中附加一段學習所得的指引——其餘所有設定（政策、工具、框架）均沿用 τ²-bench 原有配置。具體而言，學習所得的指引會以純 Markdown 清單形式附加在領域政策之後：

You are a customer service agent that helps users according to the policy below.
Always follow the policy strictly. Use the provided tools when needed.

<policy>
# Retail agent policy

As a retail agent, you can help users:
- cancel or modify pending orders
- return or exchange delivered orders
- modify their default user address
…
</policy>

## Guidelines learned from past task attempts (follow these carefully):
- Authenticate the user before taking any order-related action. If email is unavailable, verify identity via full name and zip code using the find_user_id_by_name_zip API.
- Always confirm all intended changes (modify, cancel, return, exchange) with a clear, structured summary, and require explicit user approval before executing any database-updating action.
- When processing a return or exchange, communicate the refund with an itemized breakdown and clarify refund timing — don't wait for the user to ask.
- Take one action per step: never combine a tool call with a user-facing message in the same turn, and wait for the tool's result before replying.
- Before looking a user up, parse and clean their name — e.g. split a combined handle like `daiki_johnson_9523` into first/last name — and after a couple of failed lookups, state the exact format you need.
…

我們使用 gpt-4.1（即驅動 agent 的同一模型），從 agent 在 τ²-bench訓練任務中的執行軌跡提取指引，然後在留出的測試集上原封不動地使用這些指引。

指引提升能力與可靠性

在之前的文章中，我們談到不同模型／任務需要不同程度的指引。配合這個想法，我們亦評估向模型提供不同數量的指引。

每項指引都有一個 支持次數，即抽取出該指引的不同訓練任務數量；支持次數越高，代表規則適用於更多任務，而非只適用於單一任務。我們比較三種設定：baseline（不使用指引）、sup3（只保留支持次數 ≥ 3 的指引，即規模較小、可信度較高的核心），以及 lossless（保留整合後的所有指引，即支持次數 ≥ 1）。

表 1. 各領域的指引設定及保留指引數量。

追蹤的指標。每項任務均嘗試 4 次，並從兩個角度分析這些試驗：

• 平均準確度 — 4 次試驗的平均成功率。這是衡量能力的指標：代理每次有多大機會正確完成任務？
• Pass^4 — 4 次試驗全部通過的任務百分比。這是衡量可靠性的指標，也是 τ²-bench 排行榜採用的指標。這點很重要，因為客戶支援代理即使 4 次中有 3 次成功處理退款，仍會令四分之一的真實客戶得不到解決方案 — Pass^4 衡量的是你能否每次都信任代理，而不只是看平均表現。

圖 1. 使用 gpt-4.1 的代理在留出的零售及航空任務中，每項任務經四次試驗所得的平均準確度及 Pass^4。

代理模型：gpt-4.1（用戶模擬器：gpt-5.5）。

表 2. 使用 gpt-4.1 的代理在留出任務中，每項任務經四次試驗所得的表現。括號內為相對 baseline 的百分點變化。

兩個領域的平均準確度都有提升 — 零售增加 4.4 個百分點（78.1 → 82.5），航空業增加 7.5 個百分點（57.5 → 65.0）。可靠性方面的提升更大：嚴格的 Pass^4 在零售上升 10 個百分點（57.5 → 67.5），在航空業亦上升 10 個百分點（35.0 → 45.0）。而且，這些進步源於決策更有根據，而非對話更長 — 下文會直接探討對話長度，請參閲更佳表現耗用更多 token，而非增加對話回合。

最佳指引數量視領域而定

兩個領域對多少指引才有成效，得出的結論並不相同。在零售領域，每項指標都是指引越多越好 — 規模較小的 sup3 核心在準確度上只比 baseline 略佳，必須使用完整的 lossless 集合才會有明顯提升。在航空業領域，可靠性方面的結果則相反：lossless 的準確度較高（65% 對 60%），但精簡的sup3 核心（14 項指引）更可靠，令 Pass^4 升至 45%，高於 lossless 的 40%。這呼應了前文的發現：提供方式可以調整，而非一成不變；支持次數是值得按領域調整的參數，而非應該寫死的數值。

更佳表現耗用更多 token，而非增加對話回合

指引並非沒有成本，但成本正如預期，體現在提示詞輸入 token上，而非令對話變得更長、更迂迴：

圖 2. 完整基礎分割中，按領域及指引配置劃分的每段對話 LLM 總成本。

表 3. 完整基礎分割中四次試驗的每段對話 LLM 總成本（代理程式及用戶模擬器）。越低越好。

代理程式是否因為對話較長而達成任務？為了清楚作出比較，我們採用同類對比：只比較在基線設定和指引版本兩者下均成功完成的任務執行結果——情境和隨機種子完全相同，形成真正「同一任務，正確完成」的集合——並分別計算兩邊的 assistant 回合數。

表 4. 測試分割中在兩種設定下均成功完成的配對執行結果之每段對話 assistant 回合數，合併四次試驗。

代理程式並沒有增加對話長度——在共同集合中，指引令對話稍短：lossless 在兩個領域均減少約 0.3–0.4 個回合（零售 10.59 → 10.16，航空 9.15 → 8.82），而沒有任何版本令對話變長。這不止關乎成本：每個回合都是一次循序進行的 LLM 往返，因此回合數減少代表端到端延遲更低、完成任務更快，對客戶而言不只是更便宜。唯一實際代價在輸入端——每次 LLM 呼叫都要載入較大的系統提示詞：零售的 292 條指引提示詞令每段對話的成本由 ~$0.084 升至 ~$0.139，而航空領域較精簡的操作手冊成本較低。即使如此，在實際應用中也大致可以透過提示詞快取收回這部分成本，因為每次呼叫的指引區塊都完全相同。

因此，這是一項有利的取捨：只需承擔稍高的輸入成本（實際應用中很大部分可透過快取抵銷），代理程式便能同時達到更高準確度、更高可靠性，以及更短的完成時間——這並非一般以延遲換取品質的取捨，而是三者同時朝有利方向改善。

學習到的指引亦能提升使用前沿模型的代理程式

到目前為止，我們使用的是較舊的非推理模型——gpt-4.1。一個合理的質疑是，學習到的指引對使用前沿模型的代理程式，可能沒有太大幫助：也許指引只是在彌補較弱模型的不足。因此我們直接進行測試——使用gpt-5.5作為代理程式及指引提取模型，在相同的 τ²-bench ReAct 架構下重新執行航空任務，並根據代理程式自身的執行結果重新挖掘指引。模型改變後有一點不同：這個設定提取的指引，沒有任何一條達到 support ≥ 3（最高只有 support 2），因此這裡的高支持度核心是sup2，而非 sup3。

表 5. gpt-5.5代理程式在航空領域的保留測試表現；每項任務進行四次試驗。

透過學習得出的指引也能改善這套配置。在相同的留出測試任務上，將這些指引附加到提示詞，準確率提升 +10 個百分點（72.5 → 82.5），嚴格的 Pass^4 提升 +15 個百分點（55.0 → 70.0）——在這些相同任務上，可靠性提升幅度比我們使用 gpt-4.1 時觀察到的更大（+10 個百分點），而且起點高得多。即使 Agent 起步時採用更強的基礎模型，學習模型外部的指引也能改善其表現。基準配置的可靠性在多次重跑之間有所波動，而無損配置每次都能完全重現——它帶來的提升穩定可靠，並非僥倖。

ALTK-Evolve 在排行榜比較中領先

提交項目按照 τ²-bench 的要求，在完整基礎資料分割（train ∪ test）上評分，並以 Pass^4 報告。由於這涵蓋整個任務集，而非留出的測試分割，因此這些數字與上文報告的測試任務數字不同。這正是其實際效益所在——提示詞層級的記憶，讓採用各種基礎模型的 Agent 得以躋身目前前沿模型之列，甚至超越它們：

• 零售：第 1 名。在基礎資料分割上，採用學得指引的 Agent 達到 Pass^4 = 67.5%，高於所有前沿模型，也高於 RAFT-30B-A3B（61.4%）；該模型曾使用 τ²-bench 零售合成數據進行微調。使用未經修改的 gpt-4.1，並在提示詞中附加操作指南，其表現比該微調系統高出 +6.1 個百分點。
• 航空：使用 gpt-5.5 排名第 1，使用 gpt-4.1 排名第 8。對照已公佈的排行榜，精簡的 sup3 core 讓採用 gpt-4.1 的 Agent 達到 Pass^4 = 44%，排名第 8，勝過 GPT-5.2（不使用推理），並幾乎追平 Claude Sonnet 4.5。換上更強的基礎模型後，同一方法更直接登頂：採用 gpt-5.5 的 Agent 達到 82.0%，超越所有前沿模型（66–72%）。

圖 3. ALTK-Evolve 執行結果與 2026 年 10 月 12 日 τ²-bench 排行榜快照的 Pass^4 比較。

兩個領域都呈現相同結果：在模型周邊學習指引，對不同基礎模型都有效——在零售領域，讓採用較舊、沒有推理能力的模型的 Agent 躋身前沿模型之列；在航空領域，則讓採用前沿模型的 Agent 登上榜首。

Agent 無須更新權重也能提升

在基準測試上微調模型成本高、容易失效，而且無法遷移到下一個領域。ALTK-Evolve 在兩個領域都能提升使用原裝模型的原裝 Agent，在零售領域更能媲美或超越微調系統；整個過程只使用從 Agent 自身執行結果自動提取的提示詞層級指引，無需人工標註，也沒有測試集洩漏。

連結：

• Prior posts
  1. 想用 ACE？我們可以用更少 Token 做到
  2. 你的 Agent 實際需要多少記憶？
• ALTK-Evolve 函式庫 — https://github.com/AgentToolkit/altk-evolve
• τ²-bench — https://github.com/sierra-research/tau2-bench
• 零售排行榜提交項目 — τ²-bench PR #542
• 航空排行榜提交項目 - τ²-bench PR #551