FrontierHarness 評測揭示編碼 Agent 成本差異
先了解這件事
2026年11月18日凌晨,報道稱 Runta 與 Baseten 合作建立 FrontierHarness Eval v1.1,評估 Agent harness 與模型的成本及通過率;測試包括 22 組 harness、5 個模型和 62 項任務,每項任務執行 4 次,共涉及 83B tokens 及 27,280 次 Agent 執行。當日上午,DEV Community 補充指出,評測涵蓋 5 個開源模型、22 種 harness 配置及 62 項終端任務,模型解釋單次執行成本變異的 92.8%;固定模型後,不同 harness 的每項任務成本相差 1.8 至 5.0 倍。11月23日,DEV Community 再報道稱,按標價計算,編碼智能體開支中有 64.5% 用於未能通過的執行,並重申評測規模及 harness 間的成本差距。
AI 根據報道生成 · 8 分鐘前更新
報道時間線
沿着報道,瞭解事件的不同側面。
- DEV Community編碼智能體帳單中,64% 開支用於未能交付的工作
Runta 與 Baseten 的 FrontierHarness Eval v1.1 顯示,編碼智能體按標價計算的開支中,64.5% 用於未能通過的執行。研究涵蓋 27,280 次執行、83 billion tokens、22 種 harness 配置、5 個開源模型及 62 項終端任務;同一模型因 harness 不同,每項任務成本可相差 1.8× 至 5.0×。
- DEV Community為何你的編碼智能體成本可達應有水平的 5 倍?問題不在模型
Runta 發佈的 FrontierHarness Eval v1.1 比較 5 個開源模型、22 種 harness 配置及 62 項終端任務,顯示模型解釋 92.8% 的單次執行成本變異;固定模型後,最貴與最便宜的 harness 每項任務成本可相差 1.8 至 5.0 倍。
- Hacker News 熱門(buzzing.cc 中文翻譯)FrontierHarness Eval v1.1 比較 22 組智能體 harness 與 5 個模型的成本和通過率
Runta 與 Baseten 合作建立 FrontierHarness Eval v1.1,以 83B tokens 和 27,280 次 Agent 執行,測試 22 組 harness、5 個模型及 62 項任務,每項任務執行 4 次。
本事件熱度走勢
當前熱度 10·可比範圍峯值 28(11月18日 07:00)·近 24 小時可比範圍變化 –
趨勢僅比較持續完整觀測到的相同主體,範圍可能小於當前熱度統計。移動指針或點擊圖表查看每小時熱度;鍵盤可用左右方向鍵切換。