Tīrtha Bench 公開工具調用基準

Tīrtha Bench 公開面向編碼智能體的工具調用基準，並公佈後續測試安排。68 個受測模型之中，只有 8 個完成同一套測試；共同測試包括 800 項工具調用任務及 120 個陷阱提示詞。基準只在使用相同測試及評分器的模型之間作排名比較。公佈的結果亦列出模型在不同託管服務商上的表現，以及每 1,000 次正確調用的成本。下一步將推出 Real Work 測試，評估模型在長時間編碼任務中的行為。

AI 根據報道生成 · 2 小時前更新

還沒有足夠的連續觀測數據，暫不繪製趨勢。