MV2發現三項基準答案標註洩漏

2026年10月24日，DEV Community 報道，MV2 對 OpenBookQA、SciQ 和 QASC 進行三項可重現的答案洩漏普查。報道指出，這些評測的答案標註可能直接包含正確選項。若閉卷評測時沒有移除相關標註，評測結果可能測量的是對答案字串的回憶，而非推理能力。這項普查聚焦於答案標註是否含有正確選項，以及保留這些標註會如何影響閉卷評測所測量的內容。

AI 根據報道生成 · 2 小時前更新

還沒有足夠的連續觀測數據，暫不繪製趨勢。