HuggingFace Daily Papers(社區熱門論文)·· 3 天前AI 評分61
UndoBench:區分工具使用 AI 智能體的任務能力與故障恢復能力
UndoBench: Separating Task Competence from Recovery Capability in Tool-Using AI Agents
摘要
UndoBench 論文提出一套基準,透過相同隨機種子下的反事實配對試驗,分開評估工具使用 AI 智能體的常規任務能力與操作故障恢復能力。在 12 個留出測試工作流程的確認回覆遺失研究中,5,760 次執行(2,880 組配對試驗)的常規任務完成率為 83.54%,條件恢復成功率(CRSR)為 46.72%;直接重試在 53.33% 的試驗中造成重複外部效果。
來源:HuggingFace Daily Papers(社區熱門論文) · huggingface.co