智能體基準審計找出測試缺陷

作者建立兩套各有60項任務的智能體基準評測，用來檢查審計能否識別失效基準：一套乾淨，另一套植入12處測試缺陷。審計在有缺陷的套件中找出11處，沒有誤報。參考智能體在乾淨套件取得60/60，在缺陷套件取得55/60；報道稱測試本身令分數損失8.3分。審計前，三個評分器以150個已標註項目驗證。報道的結果亦列出缺陷植入及審計檢查情況、兩套基準上的參考智能體分數，以及三個評分器在審計前的驗證資料。

AI 根據報道生成 · 2 小時前更新

還沒有足夠的連續觀測數據，暫不繪製趨勢。