跳到正文
熱點事件持續更新

ENEM 2024基準測試未能分出三款模型勝負

1 篇報道1 個報道來源8 小時前更新

先了解這件事

AI 綜述

作者以 ENEM 2024 的 73 道巴西葡萄牙語文字題建立 LLM 基準,測試 Qwen3.8 27B、GPT-OSS 120B 及 GPT-OSS 20B。Qwen3.8 27B 以 97,0% 排名第一,但三組逐題配對差異的 95% 信賴區間均包含 0;作者指出,73 道題不足以判定模型勝負。評分時,作者把 GPT-OSS 20B 的兩道空白回答改列為模型失敗,並計 0 分。本輪測試不涵蓋作文或語用能力。

AI 根據報道生成 · 8 小時前更新

報道時間線

沿着報道,瞭解事件的不同側面。

11月5日
  1. DEV Community
    作者以 ENEM 2024 基準測試 LLM,三個模型統計上不分勝負

    作者以 ENEM 2024 的 73 道文字題建立巴西葡萄牙語 LLM 基準,測試 Qwen3.8 27B、GPT-OSS 120B 和 GPT-OSS 20B。Qwen3.8 27B 以 97,0% 排第一,但三組逐題配對差異的 95% 信賴區間均包含 0,73 題不足以判定勝負。作者亦把 GPT-OSS 20B 的兩道空白回答改列模型失敗並計 0 分;本輪測試不涵蓋作文或語用能力。

本事件熱度走勢

當前熱度 8·可比範圍峯值 10(11月6日 00:00)·近 24 小時可比範圍變化 –

02.557.51011月6日00:0011月6日02:0011月6日05:0011月6日07:00

趨勢僅比較持續完整觀測到的相同主體,範圍可能小於當前熱度統計。移動指針或點擊圖表查看每小時熱度;鍵盤可用左右方向鍵切換。