跳到正文
熱點事件持續更新

SQuAD 正規化測試揭示三類評分偏差

1 篇報道1 個報道來源2 小時前更新

先了解這件事

AI 綜述

2026-10-18 12:24,DEV Community 報道作者 munimv2 建立 squad-normalize-hazards,並以可執行測試檢驗 SQuAD 答案正規化帶來的評分偏差。報道列出三類已驗證風險:空字串正規化可能令原本不同的答案取得完全匹配;使用 squad 或 squad_v2 評估同一資料,所得分數可能不同;移除標點後,原本分隔的詞語可能黏連,造成誤判。這些測試顯示,答案正規化可能把錯誤答案判為正確,也可能令同一資料在不同設定下出現不同評分。

AI 根據報道生成 · 2 小時前更新

報道時間線

沿着報道,瞭解事件的不同側面。

10月18日
  1. DEV Community
    SQuAD 答案正規化的三項已驗證風險:可能把錯誤答案判為正確

    作者 munimv2 建立 squad-normalize-hazards,以可執行測試驗證 SQuAD 答案正規化造成的三類評分偏差。這些情況包括空字串正規化令不同答案取得完全匹配、squad 與 squad_v2 對同一資料得分不同,以及刪除標點後詞語黏連而產生誤判。

本事件熱度走勢

還沒有足夠的連續觀測數據,暫不繪製趨勢。