跳到正文
熱點事件持續更新

最長答案捷徑在不同基準表現不一

1 篇報道1 個報道來源3 小時前更新

先了解這件事

AI 綜述

2026年10月27日,DEV Community 發布一項涵蓋 OpenBookQA、ARC-Easy 和 ARC-Challenge 全部題目及分割的盤點,檢視單選最長答案的表現。結果顯示,這種做法在 OpenBookQA 得分 43.35%,高於約 25% 的隨機基線;在 ARC-Easy 得分 24.93%,在 ARC-Challenge 得分 27.76%,兩者均接近隨機基線。報道指出,最長答案捷徑是否奏效,取決於選項的編寫方式,而非科目本身。

AI 根據報道生成 · 2 小時前更新

報道時間線

沿着報道,瞭解事件的不同側面。

10月27日
  1. DEV Community
    逐基準盤點選最長答案捷徑:OpenBookQA 得分 43%,ARC 接近隨機水平

    一項涵蓋 OpenBookQA、ARC-Easy 和 ARC-Challenge 全部題目及分割的盤點發現,單選最長答案在 OpenBookQA 得分 43.35%,高於約 25% 的隨機基線。該方法在 ARC-Easy 得 24.93%、ARC-Challenge 得 27.76%,均接近基線;結果顯示,長度捷徑取決於選項的編寫方式,而非科目本身。

本事件熱度走勢

還沒有足夠的連續觀測數據,暫不繪製趨勢。