跳到正文
熱點事件持續更新

FrontierHarness 評測揭示編碼 Agent 成本差異

3 篇報道2 個報道來源1 小時前更新

先了解這件事

AI 綜述

2026年11月18日凌晨,報道稱 Runta 與 Baseten 合作建立 FrontierHarness Eval v1.1,評估 Agent harness 與模型的成本及通過率;測試包括 22 組 harness、5 個模型和 62 項任務,每項任務執行 4 次,共涉及 83B tokens 及 27,280 次 Agent 執行。當日上午,DEV Community 補充指出,評測涵蓋 5 個開源模型、22 種 harness 配置及 62 項終端任務,模型解釋單次執行成本變異的 92.8%;固定模型後,不同 harness 的每項任務成本相差 1.8 至 5.0 倍。11月23日,DEV Community 再報道稱,按標價計算,編碼智能體開支中有 64.5% 用於未能通過的執行,並重申評測規模及 harness 間的成本差距。

AI 根據報道生成 · 8 分鐘前更新

報道時間線

沿着報道,瞭解事件的不同側面。

11月23日
  1. DEV Community
    編碼智能體帳單中,64% 開支用於未能交付的工作

    Runta 與 Baseten 的 FrontierHarness Eval v1.1 顯示,編碼智能體按標價計算的開支中,64.5% 用於未能通過的執行。研究涵蓋 27,280 次執行、83 billion tokens、22 種 harness 配置、5 個開源模型及 62 項終端任務;同一模型因 harness 不同,每項任務成本可相差 1.8× 至 5.0×。

11月18日
  1. DEV Community
    為何你的編碼智能體成本可達應有水平的 5 倍?問題不在模型

    Runta 發佈的 FrontierHarness Eval v1.1 比較 5 個開源模型、22 種 harness 配置及 62 項終端任務,顯示模型解釋 92.8% 的單次執行成本變異;固定模型後,最貴與最便宜的 harness 每項任務成本可相差 1.8 至 5.0 倍。

  2. Hacker News 熱門(buzzing.cc 中文翻譯)
    FrontierHarness Eval v1.1 比較 22 組智能體 harness 與 5 個模型的成本和通過率

    Runta 與 Baseten 合作建立 FrontierHarness Eval v1.1,以 83B tokens 和 27,280 次 Agent 執行,測試 22 組 harness、5 個模型及 62 項任務,每項任務執行 4 次。

本事件熱度走勢

當前熱度 10·可比範圍峯值 28(11月18日 07:00)·近 24 小時可比範圍變化 –

010203011月18日02:0011月19日18:0011月21日09:0011月23日01:00

趨勢僅比較持續完整觀測到的相同主體,範圍可能小於當前熱度統計。移動指針或點擊圖表查看每小時熱度;鍵盤可用左右方向鍵切換。