跳到正文
熱點事件持續更新

MMLU 的 D 位答案偏高與元選項

1 篇報道1 個報道來源2 小時前更新

先了解這件事

AI 綜述

DEV Community 於 2026 年 10 月 29 日報道一項 MMLU 審計結果,檢視答案位置偏向 D 的現象。審計指出,移除含「以上皆是」等元選項的 770 道題目後,答案位於 D 的比例由全體題目的 26.7% 降至 25.7%,最常見的正確答案位置則改為 C。這 770 道題目佔全體 4.86%,但佔整體末位正解超額的 60.9%。此外,在 384 道含「以上皆是」選項的題目中,該選項有 59.6% 為正解。

AI 根據報道生成 · 2 小時前更新

報道時間線

沿着報道,瞭解事件的不同側面。

10月29日
  1. DEV Community
    MMLU「答案是 D」傾向主要源於「以上皆是」類選項

    MMLU 審計發現,移除含「以上皆是」等元選項的 770 道題目後,答案位於 D 的比例由全體的 26.7% 降至 25.7%,最常見位置改為 C。這些題目佔全體 4.86%,佔整體末位正解超額的 60.9%;384 道含「以上皆是」選項的題目中,該選項有 59.6% 為正解。

本事件熱度走勢

還沒有足夠的連續觀測數據,暫不繪製趨勢。