熱點事件持續更新
AI基準測試漏洞可讓智能體不解題得高分
2 篇報道1 個報道來源2 小時前更新
先了解這件事
AI 綜述
Berkeley RDI／UC Berkeley 團隊開發自動化智能體，審查主流 AI 基準，展示如何利用漏洞在不解題的情況下取得高分。兩篇報道對審查規模及成果表述不一：早先報道稱審查八個基準，智能體可取得接近滿分；後續報道稱審計 13 個基準，發現可取得滿分，並確認 45 個作弊方案。報道列出的問題包括共享執行環境、隔離不足、測試不足、參考答案洩漏及評分邏輯缺陷。團隊提出 Agent-Eval Checklist，建議發布前以對抗方式測試評測流程；另一篇報道建議隔離評測器與提交程式、由評測器獨立計分，並以錯誤提交檢查測試是否有效。目前，團隊正把掃描智能體開發為 BenchJack，準備公開發布。
AI 根據報道生成 · 2 小時前更新
最新進展10月13日 22:26
團隊正把掃描智能體開發為 BenchJack，並準備公開發布。報道時間線
沿着報道，瞭解事件的不同側面。
10月13日
- Berkeley RDI：BlogUC Berkeley 團隊揭示 AI 基準測試可不解題便取得 100% 分數
UC Berkeley 團隊建立自動化 AI 智能體，審計 13 個常用 AI 基準，發現可不解題便取得滿分的漏洞。系統共確認 45 個作弊方案，涉及共享執行環境、測試不足及參考答案洩漏等問題。作者建議隔離評測器與提交程式、由評測器獨立計分，並用錯誤提交檢查測試是否有效。
- Berkeley RDI：BlogBerkeley RDI 如何攻破主流 AI 智能體基準，並提出後續改進方向
Berkeley RDI 開發自動掃描智能體，審查八個主流 AI 智能體基準，展示如何在不解決任務的情況下利用評測漏洞取得接近滿分的成績。報告歸納出隔離不足、答案洩漏及評分邏輯缺陷等問題，並提出 Agent-Eval Checklist，建議在發布前以對抗方式測試評測流程。團隊正把掃描智能體開發為 BenchJack，並準備公開發布。
本事件熱度走勢
還沒有足夠的連續觀測數據，暫不繪製趨勢。