跳到正文
熱點事件持續更新

AIEval 評分規則暴露子字串誤判風險

1 篇報道1 個報道來源1 小時前更新

先了解這件事

AI 綜述

2026年11月22日,AI Stack Lab 作者測試自家 AIEval 評分規則,發現以子字串比對答案可能讓錯誤答案也獲判通過。在四個提示的測試中,四項判定有三項受到子字串比對影響,整體準確率為 75.00%,低於 0.80 門檻。作者建議採用較完整、較難被錯誤答案意外包含的預期答案;缺失回覆會被計作失敗。報道另指出,設定中雖可填寫 max_avg_latency_ms,但該項目實際上並未執行。

AI 根據報道生成 · 52 分鐘前更新

報道時間線

沿着報道,瞭解事件的不同側面。

11月22日
  1. DEV Community
    AIEval 作者測試自家評分規則,揭示子字串比對的誤判風險

    AI Stack Lab 作者測試自家 AIEval 評分規則,發現子字串比對會令錯誤答案通過。在四個提示的測試中,3/4 個判定受子字串行為影響,整體準確率為 75.00%,未達 0.80 門檻。作者建議使用較完整、難以被錯誤答案意外包含的預期答案;缺失回覆會計作失敗,而 max_avg_latency_ms 雖可在設定中填寫,但實際上並未執行。

本事件熱度走勢

還沒有足夠的連續觀測數據,暫不繪製趨勢。