熱點事件持續更新
模型標記揭示 MMLU 答案鍵錯誤情況
1 篇報道1 個報道來源46 分鐘前更新
先了解這件事
AI 綜述
2026年11月6日，Munim, Inc. 比較 HELM 與 MMLU-Pro 兩組模型對 MMLU 答案鍵的標記。在兩組選出相同答案的 227 個問題中，專家核查了 113 個個案，判定其中 38 個答案鍵有誤，佔 33.6%。相比之下，HELM 單獨標記的受評個案中，20.7% 被判定有誤；兩組模型全票同意時，受評個案中的錯誤比例升至 59.3%，但這部分只有 27 個個案。整體而言，專家核查的雙方一致標記中，約三分之二仍被判定無誤。
AI 根據報道生成 · 41 分鐘前更新
最新進展11月6日 08:31
專家核查顯示，雙方答案一致的受評個案中有 33.6% 的答案鍵有誤。報道時間線
沿着報道，瞭解事件的不同側面。
11月6日
- DEV CommunityMunim, Inc. 比較兩組模型標記 MMLU 答案鍵，專家核查個案中 33.6% 確認有誤
Munim, Inc. 比較 HELM 與 MMLU-Pro 兩組模型對 MMLU 答案鍵的標記；在雙方選出相同答案的 227 個問題中，專家核查的 113 個個案有 38 個答案鍵被判定有誤，佔 33.6%。相比之下，HELM 單獨標記的受評個案中，20.7% 被判定有誤；兩組都全票同意時，比例升至 59.3%，但受評個案只有 27 個。專家核查的雙方一致標記中，約三分之二仍被判定無誤。
本事件熱度走勢
還沒有足夠的連續觀測數據，暫不繪製趨勢。