熱點事件持續更新
MMLU-Pro答案位置捷徑消退，長度偏差集中於新題
1 篇報道1 個報道來源2 小時前更新
先了解這件事
AI 綜述
2026年10月30日公佈的一項 MMLU-Pro 審計涵蓋 12,032 道測試題。報道指出，答案位置捷徑在這批題目中基本消失，但只選最長選項的命中率仍有 18.38%，高於 11.09% 的機率基線。審計亦指出，5,222 道新來源題目佔基準 43%，卻佔整體答案長度偏差的 88.8%；在這些題目中，只選最長選項的命中率為 25.37%，是 10.45% 機率基線的 2.43 倍。報道稱答案長度捷徑加倍，並指偏差源自新增題目。
AI 根據報道生成 · 2 小時前更新
最新進展10月30日 09:33
審計顯示答案位置捷徑基本消失，新增題目則佔答案長度偏差的 88.8%。報道時間線
沿着報道，瞭解事件的不同側面。
10月30日
- DEV CommunityMMLU-Pro 答案位置捷徑消失，答案長度捷徑加倍且源自新增題目
對 MMLU-Pro 12,032 道測試題的審計發現，答案位置捷徑基本消失，但只選最長選項的命中率為 18.38%，高於 11.09% 的機率基線。5,222 道新來源題目佔基準 43%，卻佔整體答案長度偏差的 88.8%；其最長選項猜測命中率為 25.37%，是 10.45% 機率基線的 2.43 倍。
本事件熱度走勢
還沒有足夠的連續觀測數據，暫不繪製趨勢。