熱點事件持續更新
AIEval 評分規則暴露子字串誤判風險
1 篇報道1 個報道來源1 小時前更新
先了解這件事
AI 綜述
2026年11月22日,AI Stack Lab 作者測試自家 AIEval 評分規則,發現以子字串比對答案可能讓錯誤答案也獲判通過。在四個提示的測試中,四項判定有三項受到子字串比對影響,整體準確率為 75.00%,低於 0.80 門檻。作者建議採用較完整、較難被錯誤答案意外包含的預期答案;缺失回覆會被計作失敗。報道另指出,設定中雖可填寫 max_avg_latency_ms,但該項目實際上並未執行。
AI 根據報道生成 · 52 分鐘前更新
最新進展11月22日 13:40
測試發現 3/4 個判定受子字串比對影響,準確率為 75.00%,未達 0.80 門檻。報道時間線
沿着報道,瞭解事件的不同側面。
11月22日
- DEV CommunityAIEval 作者測試自家評分規則,揭示子字串比對的誤判風險
AI Stack Lab 作者測試自家 AIEval 評分規則,發現子字串比對會令錯誤答案通過。在四個提示的測試中,3/4 個判定受子字串行為影響,整體準確率為 75.00%,未達 0.80 門檻。作者建議使用較完整、難以被錯誤答案意外包含的預期答案;缺失回覆會計作失敗,而 max_avg_latency_ms 雖可在設定中填寫,但實際上並未執行。
本事件熱度走勢
還沒有足夠的連續觀測數據,暫不繪製趨勢。