熱點事件持續更新
MMLU-Pro 審計揭示模型選項長度偏向
1 篇報道1 個報道來源2 小時前更新
先了解這件事
AI 綜述
2026年10月30日報道指出，研究人員審計 MMLU-Pro 中 656 道 STEM 網站生物及心理學題目，檢視 15 個模型的作答表現。結果顯示，模型答錯時，15 個模型都比隨機錯答更常選中最長的錯誤選項。Llama-2-7B、Mistral-7B-Instruct-v0.2 及 Gemma-7B 的準確率低於只選最長選項所得的 66.85% 基準。此外，14 個模型在 STEM 網站題目上的這種偏向，高於 MMLU 衍生題目。研究屬觀察性分析，未能確認選項長度是否造成這種偏向。
AI 根據報道生成 · 2 小時前更新
最新進展10月30日 20:56
最新審計顯示，15 個模型答錯時均偏向選中最長的錯誤選項。報道時間線
沿着報道，瞭解事件的不同側面。
10月30日
- DEV CommunityMMLU-Pro 審計發現模型偏向最長選項，三個模型低於長度基準
針對 MMLU-Pro 656 道 STEM 網站生物及心理學題目的審計發現，15 個模型答錯時都比隨機錯答更常選中最長的錯誤選項。Llama-2-7B、Mistral-7B-Instruct-v0.2 和 Gemma-7B 的準確率低於只選最長選項所得的 66.85%。這種偏向在 14 個模型的 STEM 網站題目上高於 MMLU 衍生題目；研究屬觀察性分析，無法確認選項長度是否造成此偏向。
本事件熱度走勢
還沒有足夠的連續觀測數據，暫不繪製趨勢。