熱點事件持續更新
MMLU-Pro仍沿用部分有誤答案鍵
1 篇報道1 個報道來源2 小時前更新
先了解這件事
AI 綜述
2026年11月2日11時51分,DEV Community 報道指出,MMLU-Pro 收錄的、在 MMLU-Redux 2.0 中被專家標記為答案鍵有誤的55道題目,有52道(94.5%)仍沿用 MMLU 原答案鍵。這52道題目佔 MMLU-Pro 的0.43%,報道稱其對整體分數的影響有限。不過,在題目較集中的細分範圍,這類答案鍵問題所佔比例較高,報道以大學化學等題目集為例。
AI 根據報道生成 · 1 小時前更新
最新進展11月2日 11:51
最新報道指出,MMLU-Pro 收錄的55道相關題目中,52道仍沿用 MMLU 原答案鍵。報道時間線
沿着報道,瞭解事件的不同側面。
11月2日
- DEV Community專家標記答案鍵有誤的 55 題中,MMLU-Pro 仍沿用 52 題的 MMLU 原答案鍵
MMLU-Pro 收錄的 55 道 MMLU-Redux 2.0 專家標記為答案鍵有誤的題目中,有 52 道(94.5%)仍沿用 MMLU 原答案鍵。這 52 題佔 MMLU-Pro 的 0.43%,整體分數受影響有限,但在大學化學等題目集中的細分範圍比例較高。
本事件熱度走勢
還沒有足夠的連續觀測數據,暫不繪製趨勢。