跳到正文
Hugging Face Blog·· 2 天前精選AI 評分65

Hugging Face 介紹 Harness Adapters:以 RL 微調提升 Qwen3.8-27B 在 Agent harness 的表現與效率

Introducing harness adapters: adapt your favorite model to your harness to improve performance and cost

AI 導讀

Hugging Face 在 pi、Hermes Agent 和 OpenCode 三種 Agent harness 內,以 RL 為 Qwen3.8-27B 訓練 LoRA adapters,並公開可重現的訓練流程。

推薦理由

文章以三種 Agent harness 的實驗,呈現目標環境內 RL 微調如何提升 Qwen3.8-27B 的編碼基準表現並減少工具呼叫。

正文 · 繁體中文

結合自訂任務分佈與你喜歡的 Agent 執行框架進行強化學習(RL),能為該目標執行框架及任務分佈訓練出準確度更高、效率更佳的模型。

模型並未針對所有執行框架和你正在處理的任務作全面最佳化,而是以通用表現為目標。因此,當你將模型與執行框架配搭使用時,對於實際處理的工作,模型的效能和效率仍有提升空間。透過強化學習,你可以訓練專用的執行框架 adapter,充分發揮模型在指定執行框架與任務組合下的能力。

以 Qwen3.8-27B 為例,它在 pi 執行框架下的 Terminal-Bench 2.1 得分為 39%,平均每項任務使用 2.9K 個 token。如果凍結這些權重,再加入以強化學習訓練的專用 LoRA adapter,pass@1 可提升至 55%,平均 token 用量則降至 1.5K。這主要是因為模型推理較少、呼叫工具較少,而且首次執行的表現更好。

我們早期的研究(多執行框架強化學習、執行框架 adapter)顯示,在你自己的執行框架內,針對自己的任務分佈進行強化學習,能訓練出更準確、效率更高的模型。那些實驗涵蓋數據分析和程式碼建構任務。在這項研究中,我們希望進一步探討,這個結果是否適用於 27B 模型、難度更高的真實軟件工程任務,以及三種執行框架:Pi、OpenCode 和 Hermes Agent。最重要的是,我們會分享一套完全可重用的方案,讓你能在自己的任務、執行框架和模型組合上重現這項成果。

重點摘要

  • 我們為每種 Agent 執行框架(pi、Hermes Agent、OpenCode)各訓練一個 Qwen3.8-27B LoRA adapter,並在執行框架內進行強化學習。
  • 數據集、訓練和 Agent rollout 均透過 TRL 的 AsyncGRPOTrainer、OpenEnv 和 harbor,在 Hub 的 Jobs 上完成。
  • 在各自的 Agent 執行框架下,三個執行框架 adapter 在兩項基準測試中,無論表現還是效率都勝過基礎模型。
  • 我們也將三個 LoRA 合併成一個 super adapter,無需修改即可在 pi、Hermes Agent 和 OpenCode 下運行。
  • 所有產物(adapter、GGUF、RL 任務、safeagents 外掛)均可透過這個 Hugging Face 收藏集瀏覽。

目錄

在 Agent 執行框架內訓練

我們利用 OpenEnv 中的 Harbor 整合和 TRL 的 OpenEnv 指南,在最終訓練選用的執行框架內訓練模型。我們已為所有 RL 任務建立可即用的 Docker 映像檔,並預先安裝目標執行框架。在最終 Docker 映像檔中,我們使用 Pi 1.5.2、OpenCode 2.2.7 和 Hermes Agent v0.22.6。以下示意圖來自前文提及的網誌文章,清楚説明瞭整個流程:

大多數 RL 框架會重新實作 Agent 循環來進行訓練:Agent 會按照框架自有的介面編寫,例如 verl 的 AgentLoop、SkyRL-Gym 環境、rLLM 的 Agent 和環境類別、slime 的自訂 rollout 函數,或是在你自己的 Python Agent 中使用 ART 的客戶端。在這種做法中,harness 會按照原有版本執行,而訓練器會根據它實際產生的 token 學習;這些 token 由 harness 與 vLLM 之間的代理記錄。近期的工作也朝同一方向發展:Agent Lightning v1.0 透過代理讓部署時使用的 harness 保持在流程中(「由 harness 驅動的 Agent RL」),而 SkyRL 的 Harbor 整合則使用 Harbor 試驗進行訓練,並將聊天記錄轉換成 token 供訓練器使用。

在 Hugging Face 生成自訂 RL 任務

在這套流程中,我們利用 Hub、OpenEnv 和 Repo2RLEnv,為 Agent 編程建立自訂數據集。我們把擷取現有 RL 環境中的任務、使用 Repo2RLEnv 生成任務、使用 OpenEnv 驗證任務,以及抽樣整合成單一數據流程。這讓我們取得質素最高、經過驗證且切合需要的任務集,以提升 Qwen3.8-27B 的 Agent 編程能力。本節會介紹我們如何建立這個任務集,讓你也可以嘗試應用於自己的領域。

RL 訓練需要 Agent 可以嘗試的任務、為每次嘗試評分的驗證器,以及證明驗證器判斷正確的證據。如果驗證器接受錯誤答案,就會教會模型錯誤行為。如果任務對模型而言已經可完成,就無法教會模型任何東西。

本節會介紹我們如何從三個來源建立任務集:兩個來自 Hugging Face Hub,第三個則透過 Repo2RLEnv 中的任務生成流程 Tasksmith 建立。每項任務都會使用 openenv validate 通過資格篩選,並以基礎模型 Qwen3.8-27B 進行相同的難度檢查。

Task pipeline: Tasksmith, SWE-smith and SWE-Gym sources pass through an eligibility screen, Harbor packaging, openenv validate on Hugging Face Jobs, and a difficulty check with Qwen3.8-27B

三個來源

每項任務都採用 Harbor 格式,Terminal-Bench 2.1 也使用這種格式。在 Hub 上廣泛搜尋 Harbor 環境後,找到約 59,000 項任務,但當中包括重複項目、評測集,以及標明不供訓練使用的任務。我們篩選出兩個專為訓練而設的 Hub 來源,並自行生成第三組任務:

  • SWE-smith(Python、Go)會在真實的 Python 和 Go 儲存庫中植入錯誤,方法包括由 LLM 改寫,或進行翻轉運算子等變更。能找出各項錯誤的測試,便會成為任務的測試。這個來源能增加任務數量。
  • SWE-Gym 以 Harbor 任務的形式收錄於 TaskTrove,將真實的 GitHub 問題及其已合併的修正轉化為任務,帶來真實世界的錯誤。
  • Tasksmith 會根據已合併的 pull request 生成任務。LLM Agent 會撰寫指示和測試,而 Tasksmith 會檢查結果:參考解答和有效的替代解答必須通過測試;未修正的程式碼和已知錯誤的解答則必須無法通過。

我們使用 Tasksmith 針對不足之處生成任務。我們先整理目標基準測試(Terminal-Bench 2.1、SWE-bench Pro 的困難子集,以及 DeepSWE)所測試的技能,再挑選能考驗這些技能的 pull request,例如 HTTP 串流、檔案系統操作和序列化。在 30 個已合併的 pull request 中,Tasksmith 在 10 個 Python 儲存庫生成了 24 項通過檢查的任務,其中 17 項在第二次執行時通過。Tasksmith 的檢查不能取代我們的檢查,因此這些任務會與其他任務一樣,經過相同的流程。

使用 openenv validate 進行驗證

首先進行元資料篩選,只保留來自採用寬鬆授權條款的訓練資料分割的任務。篩選會移除重複項目、標記為不可用於訓練的任務、目標基準測試中的 253 項任務,以及來自這些基準測試所用儲存庫的任何任務。然後,我們在新一輪試驗中,對每項任務執行 openenv validate 的語義檢查:

  • 參考解答獲得最高獎勵(semantic.oracle_max)。
  • 甚麼都不做的得分明顯較低(semantic.floor_gap)。
  • 沒有任何 canary 的得分高於甚麼都不做(semantic.canary_floor)。
  • 重播參考解答會得到相同獎勵(runtime.episode_determinism)。

每項試驗都以獨立的 Hugging Face Job 執行,讓我們可以同時驗證數十項任務。openenv validate 也為任何 Harbor 任務提供相同選項:

openenv validate path/to/task --sandbox hf-sandbox

1,127 項 Hub 候選任務中有 858 項通過。錯誤答案對照測試發現了缺陷,包括一項 Tasksmith 任務接受了不完整的實作,以及一個接受已知錯誤答案的 Terminal-Bench 2.1 驗證器(regex-log)。大部分失敗都源於基礎設施問題,例如映像檔無法啟動。失敗的任務會保留在遭拒的分割中,並記錄未通過的檢查。

使用基礎模型檢查難度

有效的任務仍可能毫無教學作用。GRPO(羣組相對策略最佳化)會將每次嘗試與同一任務的其他嘗試比較並評分,因此,如果某項任務的每次嘗試都通過,或每次嘗試都失敗,便不會提供學習訊號。訓練前,Qwen3.8-27B 對每項任務嘗試 4 次;對每個儲存庫分層抽樣的 6 項任務,則各嘗試 8 次。

在 442 項有評分的任務中,Qwen3.8-27B 有 151 項每次都能解決,另有 120 項一次也無法解決。它只在部分嘗試中解決的 171 項任務,構成符合資格的任務集。下圖顯示得分集中在兩端,並按來源呈現差異。模型每次都能解決大部分 Go 任務;在超過三分之一的 SWE-smith Python 任務中,每次嘗試都會失敗;而在 73% 的 SWE-Gym 任務上,表現則處於中間水平。

Qwen3.8-27B results on 442 scored tasks, split by attempts solved and by source

Qwen3.8-27B 在 442 項有評分任務上的結果。綠色標示符合資格的任務,即模型只在部分嘗試中解決、並非每次都能解決的任務。

此例展示我們如何篩選並驗證 1,127 項任務,並將其中 278 項直接納入最終數據集。其後,流程將餘下 522 項遭拒任務交由 Tasksmith 修復並增加複雜度,再重新驗證。

以短時間訓練測試篩選條件

流程會套用兩項篩選:驗證會移除有問題的任務,而難度檢查則保留基礎模型只在部分情況下能解決的任務。本節會測試這兩項篩選如何影響模型學到的內容。我們進行了四次短時間訓練,每次最多 50 個步驟,各自使用流程不同階段的任務,並在 Terminal-Bench 2.1 上與基礎模型比較。

每次訓練均使用 LoRA 和 GRPO 訓練 Qwen3.8-27B,並採用 TRL 的 AsyncGRPOTrainer,使用 32 項任務。四次訓練均採用相同的 Agent 執行框架(OpenCode,最多進行 48 次模型呼叫)、相同設定及一個 8×H200 Hugging Face Job;獎勵則由驗證器判定通過或失敗。各組任務的篩選方式不同:

  • 未經驗證:24 項已接受任務,加上 8 項未通過驗證的任務。
  • 已驗證:32 項已接受任務,選取時不考慮難度。
  • 未符合資格:32 項已接受任務,基礎模型對這些任務不是每次都能解決,就是一次也無法解決。
  • 符合資格:32 項已接受任務,基礎模型只在部分嘗試中能解決。

下圖顯示這些任務對模型學習的影響。表格列出每次訓練的步數,以及我們評估的檢查點。圖表追蹤不同驗證狀態的任務子集在訓練期間的獎勵。

資料集

harness-hub/agentic-coding-envs 包含來自 35 個儲存庫的 871 項任務。Hub 每個儲存庫的任務數上限為 40 項,避免任何單一項目佔據主導。下表列出各來源的貢獻。資料集提供兩種檢視方式:所有已接納的任務,以及用於 GRPO 訓練的合資格子集。被拒絕的嘗試會保留在獨立的設定中。

來源 任務類型 任務數 合資格
SWE-smith 在 Python 和 Go 中注入錯誤 717 144
SWE-Gym (TaskTrove) 真實 GitHub 問題 130 27
Tasksmith 由已合併的 pull request 生成 24 22
總計 871 171

AsyncGRPOTrainer,讓 GRPO 訓練更有效率

我們採用了 TRL 的 AsyncGRPOTrainer 穩定版本。這個訓練器的主要優點是,無須等待所有 rollout 完成,便可進入下一個訓練最佳化步驟。

如欲進一步瞭解訓練器及其組成部分,請參閲AsyncGRPO 網誌文章。

訓練設定

我們使用 TRL 的 AsyncGRPOTrainer,在Qwen/Qwen3.8-27B上訓練 LoRA adapter,以取得最終的 harness adapter。我們使用 all-linear 旗標將 adapter 掛載到模型上。為提高訓練效率,我們在 rollout 階段關閉思考模式,並在啟用及停用思考模式的情況下評估最終 adapter,以作更全面的比較。

最終獎勵函數由驗證器判定的正確性,以及少量的工具效率獎勵組成(0.1;這個數值根據上一輪 harness adapter 的早期實驗得出,實驗顯示 0.1 效果最佳)。

我們在 Termgrade 環境中以 50 個步驟進行小規模 LR 掃描(1e-5、5e-5 和 1e-4),並發現 1e-5 幾乎沒有提升訓練正確性(由 0.52 變為 0.50);1e-4 令 rollout 崩潰而非改善(每次 rollout 的回合數由 18 降至 6,熵則上升);只有 5e-5 明顯帶來改善(截至第 40 步,由 0.49 升至 0.60)。之後,較長時間以 5e-5 訓練的結果顯示出不穩定跡象(rollout 長度下降、熵上升),因此我們在最終訓練中採用 2e-5。

訓練基建

每個 harness adapter 均使用 NVIDIA 2xB200 GPUs 訓練,一張 GPU 分配給 vLLM 伺服器,另一張則用於訓練程序。我們先進行了一些壓力測試,以盡量提高單一最佳化步驟可訓練的 RL 任務數量。為此,我們在現有設定下,將 AsyncGRPOTrainer 的 --token-budget 引數調至上限。下圖顯示每個 harness 每步的羣組數量變化(藍色:Pi、綠色:OpenCode、橙色:Hermes)。

隨着模型在訓練期間不斷進步,它在每個訓練步驟中能容納的羣組也越來越多,令模型在每個最佳化步驟中接收的訊號更多元。

最終混合資料集

最終的資料混合包含來自harness-adapters RL 環境的 750 項任務,以及來自termgrade的 300 項任務。為了令訓練期間抽取的任務更多元,我們稍微調整了資料抽樣策略,詳情如下:

訓練前,任務會按固定次序排列,並按系列交錯(即在我們生成的 RL 環境中,以儲存庫作為系列;至於 Termgrade,我們只按名稱排序,因為每項任務都視為獨立系列),令每個訓練步驟在遵循混合資料集分佈的同時,涵蓋盡可能多個儲存庫。

safeagents 參與流程

我們亦接入 safeagents 工具,以阻止模型在訓練期間出現任何不當行為。最終外掛程式(包含專為 RL 任務和測試路徑設定的 regex 和 pattern 規則)託管於 harness-hub/qwen-safeagents-plugin,任何人如想重現訓練設定,只需使用最新版 safeagents 即可直接使用。

safeagents 封鎖的工具呼叫數量在訓練期間持續下降,這表示模型在每次最佳化步驟後都變得「越來越安全」。下圖按訓練步數列出各執行框架適配器每 1000 次工具呼叫中被 safeagents 封鎖的呼叫數。

safeagents blocked calls per 1,000 tool calls by training step for the pi, hermes and opencode adapters

超級適配器:將所有適配器合併為一個

合併模型通常可以結合各自的能力,同時保留大部分原有功能。三種執行框架適配器訓練完成後,我們提出兩個問題:合併會否降低準確度?單一「超級適配器」能否在每種執行框架下都兼具準確度和效率?

我們首先逐層比較三種適配器的權重更新。任意兩種適配器之間的餘弦相似度約為 0.01–0.02:訓練期間,每種適配器都幾乎沿着正交方向推動模型。這是最適合合併的情況,因為各項更新幾乎不會互相干擾。

我們沿秩維度串接三個 LoRA 適配器(PEFT 的 combination_type="cat")。合併後的適配器秩為 96(3 × 32),其作用正好是 w · (ΔW_pi + ΔW_hermes + ΔW_opencode)。以往的合併研究(task arithmetic、TIES、KnOTS)發現,將每項更新縮放至低於 1 的比例效果最佳,因此我們使用第 120 步的適配器,在三種執行框架下,對全部 89 項 Terminal-Bench 2.1 任務比較了三種權重:

  • ⅓(平均):每種執行框架只保留自身更新的三分之一。
  • ½:每項更新的強度減半。
  • 1(直接相加):每項更新均以完整幅度套用。
權重 pi hermes opencode 三種執行框架 每項任務的工具呼叫次數
基礎模型 39.1% 46.0% 44.8% 43.3% 49.2
⅓(平均) 49.4% 51.2% 47.1% 49.2% 35.6
½ 48.8% 53.5% 55.2% 52.5% 25.9
1(總和) 40.2% 62.8% 47.1% 50.0% 13.4

直接相加會令更新幅度過大。代理程式的執行流程變得很短(每項任務只有 13 次工具呼叫,而基礎模型為 49 次);Hermes 的表現雖達到 62.8%,pi 的表現卻回落至基礎模型水平。平均權重會稀釋各執行框架自身的更新。½ 的平衡最佳,因此我們以 ½ 權重,根據已發布的檢查點(pi 第 160 步、hermes 第 160 步、opencode 第 150 步)建立最終超級適配器。

適配器合併評估結果

在各執行框架下,使用每次執行均有評分的任務(SWE-bench Pro 為 50–51 項,Terminal-Bench 2.1 為 82–85 項),每項任務嘗試一次(括號內為相對於基礎模型的效率提升):

執行框架 基準測試 Qwen3.8-27B Qwen3.8-27B-<harness>-adapted Qwen3.8-27B-super-adapter Qwen3.8-27B,思考模式 Qwen3.8-27B-super-adapter,思考模式
pi SWE-bench Pro (hard 51) 40.0% 64.0% (−60%) 46.0% (−73%) 74.0% 74.0% (−48%)
hermes SWE-bench Pro (hard 51) 29.4% 43.1% (−56%) 47.1% (−60%) 45.1% 60.8% (−36%)
opencode SWE-bench Pro (hard 51) 35.3% 51.0% (−72%) 45.1% (−63%) 47.1% 66.7% (−31%)
pi Terminal-Bench 2.1 40.0% 56.5% (−56%) 48.2% (−56%) 52.9% 57.6% (−25%)
hermes Terminal-Bench 2.1 44.7% 58.8% (−70%) 55.3% (−53%) 58.8% 63.5% (−19%)
opencode Terminal-Bench 2.1 47.6% 52.4% (−53%) 52.4% (−68%) 54.9% 58.5% (−22%)

「思考」是聊天範本中的思考模式,預設運算力度為 xhigh。專家模型在訓練和提供服務時均關閉思考模式。

停用思考模式時,超級適配器在全部六組執行框架與基準測試配對上的表現均優於基礎模型(平均 pass@1 由 39.5% 升至 49.0%;多解決 71 項任務,少解決 34 項,p < 0.001)。

儘管訓練時完全沒有啟用思考模式,它仍是我們在思考模式下評估過的最強模型。與以相同推理力度運作的基礎模型相比,它在六組配對中勝出五組,第六組打成平手(平均值由 55.5% 升至 63.5%;新增解決 67 項,失去 37 項,p = 0.004)。最大提升出現在 SWE-bench Pro:在 hermes 下增加 16 個百分點,在 opencode 下增加 20 個百分點。在 pi 下的 SWE-bench Pro,單靠啟用思考模式已達 74%,兩者則打成平手。

關閉思考模式時,請使用各評測框架專用的 adapter。每個評測框架自己的 adapter 在六組配對中有四組表現較佳;pi 下的差距最大(SWE-bench Pro 為 64.0% 對 46.0%,Terminal-Bench 為 56.5% 對 48.2%)。將同一模型分配到三個評測框架,令 pi 流失最多增益。如果只使用一個評測框架並保持思考模式關閉,就選用該框架的專用 adapter。

super adapter 的效率也高得多。在關閉思考模式時,對於基礎模型和 super adapter 都能解決的任務,super adapter 每項任務所需的工具呼叫次數減少 53–73%,生成的 token 數量減少 44–60%;在 130 項任務中,有 111 項的工具呼叫次數較少。啟用思考模式時,它在 SWE-bench Pro 上仍可減少 31–48% 的工具呼叫次數及 24–43% 的 token 數量。在 Terminal-Bench 上,工具呼叫次數減少 19–25%,token 數量則大致相同。

½ 權重是在使用 step-120 adapters 的 Terminal-Bench 2.1 上選定,因此 Terminal-Bench 的數字略為樂觀;SWE-bench Pro 完全沒有參與這項選擇。完整配對結果載於super-adapter 的模型卡。

最終結果

本節先報告訓練期間的情況,再介紹各 adapter 在所屬評測框架內外的留出基準測試得分。

訓練結果

訓練累計進行了 598 步,共訓練 78,114 個樣本,恰好包含 167M 個訓練 token。

訓練期間,我們看到明確跡象,顯示模型解決任務所需的步數愈來愈少,而且沒有明顯的飽和跡象。雖然有時會看到明顯的上升趨勢,但訓練正確率整體似乎維持平穩。這可能是因為模型在訓練期間會遇到新任務,但隨着軌跡縮短,每步的 token 預算所能容納的羣組數量增加了一倍以上。準確度的提升則反映在下文的留出基準測試中。

另一方面,safeagents 成功阻截多次可疑嘗試。三次訓練合計檢查了 1.3M 次工具呼叫,並阻截了 647 次工具呼叫。

評估結果

本節涵蓋評估設定、評測框架內的結果、跨評測框架的遷移表現,以及分佈外檢查。

評估設定

我們在各 adapter 受訓時使用的 harness 中,評測每個 adapter 在兩項 Agent 編碼基準上的表現:Terminal-Bench 2.1 的全部 89 項任務(每項任務限時 1 小時及 100 個 Agent 步驟),以及 SWE-bench Pro 中最難的 51 項任務(限時 2 小時及 100 個 Agent 步驟)。每項任務的 token 數上限設為 131072。我們不會調整 Agent 設定,所有 harness 均使用預設設定。例如,Pi 不會保留先前的推理回合,但 OpenCode 和 Hermes 會;這主要因上下文快速溢出而影響 SWE-bench Pro 的結果。因此,不同 harness 的結果不能互相比較(使用 Pi 不一定比使用 Hermes 或 OpenCode 得到更好的結果),但在同一 harness 內比較結果並得出結論是合理的。

每次 rollout 均使用與訓練時相同的 Harbor 和 OpenEnv 技術堆疊,在 HF 沙盒中執行;每項任務只嘗試一次,温度設為 0.8,並關閉思考功能。每個 LoRA checkpoint 均會合併至基礎模型權重,再透過 vLLM 在單張 GPU 上獨立提供服務,並採用與基礎模型評測相同的並行設定。

所有評測基準均會報告 pass@1,以及所有任務和已解決任務的工具呼叫次數和總回合數。

為提高透明度,所有最終評測的模型執行軌跡均會上傳至這個公開儲存區:harness-hub/harness-adapters-trajectories。

最終評測結果

三個專用 adapter 在各自的 harness 下,於兩項基準上的表現均勝過基礎模型。在 SWE-bench Pro(難度最高的 51 項任務)上,pi 的成績由 39.2% 升至 64.7%(增加 25.5 個百分點:新增解決 15 項任務,另有 2 項由已解決變為未解決,p = 0.002);hermes 由 29.4% 升至 43.1%,opencode 由 35.3% 升至 51.0%。在 Terminal-Bench 2.1 的全部任務上,pi 的成績增加 16.3 個百分點(新增解決 16 項,另有 2 項未能解決,p = 0.001),hermes 則增加 14.1 個百分點(新增解決 19 項,另有 7 項未能解決,p = 0.03)。opencode 的整體成績增加 6.0 個百分點;在沒有用於選擇其 checkpoint 的 66 項任務上,成績則增加 13.6 個百分點(新增解決 12 項,另有 3 項未能解決,p = 0.035)。

這些 adapter 解決任務的效率也高得多:在 adapter 和基礎模型均能解決的任務中,adapter 在 SWE-bench Pro 每項任務的工具呼叫次數少 56–72%,在 Terminal-Bench 2.1 則少 53–70%。單一 super-adapter 在三個 harness 下的表現也都勝過基礎模型(SWE-bench Pro 高 6 至 18 個百分點,Terminal-Bench 2.1 高 5 至 10 個百分點),工具呼叫次數亦同樣大幅減少(53–73%)。關閉思考功能時,它保留的各專用 adapter 增益較少,在 pi 下尤其如此;但開啟思考功能後,在六組 harness 與基準的配對中,有五組的表現勝過同等投入下開啟思考功能的基礎模型(見super-adapter 章節)。每張模型卡均列出完整的配對結果。

效率與效能能否跨 harness 遷移?

為回答這個問題,我們亦在 Hermes Agent 和 OpenCode 下評測了 pi harness adapter。

在 OpenCode 下,它在 Terminal-Bench 2.1 的表現可媲美 OpenCode 自身的專用 adapter(44.8% → 54.0%,相比之下為 46.4% → 52.4%)。在 Hermes 下,它保留了專用 adapter 約三分之二的增益(46.3% → 56.1%,相比之下為 44.7% → 58.8%);兩者的工具呼叫次數均減少約 45%。因此,新學得的能力似乎可以跨 harness 遷移。

分佈外任務及設定的評測

如果改用 adapter 未曾受訓的 harness,並在分佈外任務上進行評測,結果會如何?

我們使用 AutomationBench 自家的 agent 循環,而非 Pi、Hermes 或 OpenCode,在 300 項 AutomationBench 任務上測試全部五個模型。這些任務由商業自動化工作流程評估組成。這樣一來,我們便可以交叉檢視兩個不同問題:模型能否解決 SWE 相關任務以外的問題?將模型置於其訓練所用執行框架之外時,會發生甚麼?

結果顯示,這些適配器的表現與基礎模型相近。Pi 和 OpenCode 稍為領先(pass@1 分別為 27.0% 和 25.3%,基礎模型則為 23.0%),合併適配器大致持平(23.7%),Hermes 則落後幾個百分點(17.7%)。除了 Hermes 或許例外,各項差異均在雜訊範圍內。因此,在執行框架內進行 RL,既未明確遷移至這個截然不同的設定,也沒有令模型在該設定下失效。

模型 pass@1(滿足所有斷言) 與基礎模型比較 部分得分(已滿足斷言的比例) 與基礎模型比較
基礎模型 23.0% 62.2%
pi 160 27.0% +4.0 66.2% +4.0
opencode 150 25.3% +2.3 65.2% +3.0
合併版 23.7% +0.7 60.6% −1.6
hermes 160 17.7% −5.3 56.6% −5.6

未解問題:模型究竟學會了甚麼?

我們感謝用戶和社羣提供意見。社羣的初步測試和結果整體看來非常正面,我們希望未來繼續朝這個方向發展。我們亦看到一些令人意外的結果,例如有用戶表示,這些執行框架適配器在 Qwen3.8 衍生版本(例如 Swift-1.5)上運作得非常好。

這是我們在發布後思考的一個未解問題。仔細檢視評估基準生成的軌跡後,我們發現模型在非思考模式下,往往會在提出工具呼叫前生成一些簡短文字;相比之下,基礎模型幾乎不會在工具呼叫前生成文字。

這種現象可視為一種「推理洩漏」:模型學會透過生成一些有時看似推理軌跡的文字(例如「……等等?」「……讓我看看」等),從非思考版本「逃逸」至思考版本。一篇近期論文亦很好地描述了 LLM 在 RL 階段的行為。

這會否令我們的模型不再有效?我們認為不會,因為最終結果仍然有效;在完全相同的條件下(固定 token 預算),我們的適配器表現遠勝基礎非思考模型,並與思考版本相若,同時使用 token 的效率高得多。社羣的正面意見亦進一步印證了這一點。

不過,這也顯示有必要進行適當的後續研究。我們會嘗試將相同流程重新應用於純思考模型,並探索思考/非思考混合訓練,以更深入瞭解 RL 訓練對混合思考模型的影響。待取得確切結果後,我們會與社羣分享新的發現(以及執行框架適配器)。

結語與未來方向

在這項研究中,我們證明,在目標執行框架內對模型進行 RL 訓練,能令最終模型更有效率,因而更準確(在相同條件下評估時)。這項觀察與 Hugging Face 團隊過往的多項研究一致,亦是其延續,例如 multi-harness-RL,以及執行框架適配器的早期版本。

未來,我們會探索將這套方法應用於更多模型,同時更深入研究思考/非思考混合模型的訓練策略。

我們亦向社羣公開分享完整方案及流程,讓大家重現所有內容,並邀請大家以自己的程式碼庫或任何相關材料為基礎,建立自己的強化學習(RL)任務,再將相同的訓練方案和理念應用於自己喜愛的模型和 harness,打造效率更高的具代理能力模型。我們希望這篇網誌文章能成為開發者日後建立和分享自家 harness 適配器的起點。

來源:Hugging Face Blog · huggingface.co