跳到正文
評測來源

Harvey Legal Agent Benchmark

Vals AI / Harvey / 專業辦公 · 處理法律資料並交付 Word、Excel、幻燈片等可審閲文件。

官方評測
在 ATech Hot 中觀察中
證據預算不計分
上游數據時間待核實
最近成功同步尚未開始採集

它測什麼,怎麼測

固定 Harvey 私有測試集、六項文件工具和 docx、xlsx、pptx 技能,禁用互聯網;採用兩名裁判的整任務通過率均值,不使用單項條件通過率替代。Fable 5 含 Opus 4.8 回退的 11.25% 不能歸給單模型;官方另列無回退 10.42%,須按統一配置政策審查。

如何使用這份證據

觀察中:優先補充完整法律工作證據;穩定成績導出、配置和再展示邊界待落實,當前僅收錄來源,不自動採集或計分。

評測侷限與數據署名

模型回退和裁判條件影響可比性;約 90% 的單項條件通過率不等於整項工作完成。同屬 Vals 的多個專項不能當作多家獨立機構,也不能按榜單數量增加總權重。

數據許可:官方公開成績可供查閲;Harvey 開源題庫和代碼許可不自動覆蓋 Vals 私有測試成績,榜單數據再展示邊界待確認。

成績由 Vals AI / Harvey 發佈,原始分數與 ATech Hot 共識分使用不同尺度,不能直接相加。