跳到正文
原文
英國 AI Security Institute:Blog·· 6 小時前AI 評分57

最佳停止:英國 AI Security Institute 的 optstop 如何節省評測計算資源

Optimal stopping: spending evaluation compute where it counts

AI 導讀

英國 AI Security Institute 開發並開源 Python 套件 optstop,按模型表現估計的精度或穩定程度提前停止評測抽樣。在涵蓋三類評分方式、三種預期模型表現水平,以及 MATH、GPQA Diamond 和 WritingBench 等公開基準的測試中,optstop 節省 57% 至 97% 的預定運行次數,且未影響分數估計。

來源:英國 AI Security Institute:Blog · aisi.gov.uk