LlamaIndex 發佈首個面向 AI 智能體的文件解析基準 ParseBench
LlamaIndex 發佈 ParseBench，這是一項面向 AI 智能體的文件解析基準，包含約 2,000 頁人工核驗的企業文件和超過 167,000 條測試規則。它從表格、圖表、內容忠實度、語義格式及視覺定位五個維度評估 14 種方法；LlamaParse Agentic 整體得分為 84.9%，是五個關鍵維度均具競爭力的唯一受測方法。基準資料集、評估程式碼和完整研究論文均已公開。
#arXiv
#arXiv
今日 0 條LlamaIndex：產品、工程與評測AI 評分5151
Hugging Face BlogAI 評分5050 ScarfBench：企業 Java 框架遷移 AI 智能體基準測試
Hugging Face 推出開放基準 ScarfBench，評測 AI 智能體遷移企業 Java 框架的能力。它涵蓋 Spring、Jakarta EE、Quarkus，包含 34 個應用程式、102 個框架實作及 204 項遷移任務，並驗證建置、部署和行為。現有最強智能體的行為成功率低於 10%，Jakarta EE 遷移尤其具挑戰。
Hugging Face BlogAI 評分5151 BigCodeBench：HumanEval 的新一代程式碼生成基準
BigCodeBench 團隊發布 BigCodeBench 程式碼生成基準，收錄1,140項函式級任務，涵蓋139個程式庫。基準分為 BigCodeBench-Complete 和 BigCodeBench-Instruct；GPT-4o 的 calibrated Pass@1 分別為61.1%和51.1%。團隊開源任務、測試案例、評測框架及排行榜，並提供 PyPI 安裝方式。