熱點事件持續更新
LLM技能評測重跑出現分數波動
1 篇報道1 個報道來源2 小時前更新
先了解這件事
AI 綜述
作者以相同輸入、模型和評分準則，間隔兩小時重跑 11 項技能評測，發現其中 7 項分數改變，最大變動為 1 分。由於兩次測試期間生成預算亦有調整，作者稱這次測量屬自然實驗，而非受控實驗。作者建議以分數區間呈現結果、公開評分理由，並重跑 10–20 項已評分內容，以估計評測管線的波動範圍。
AI 根據報道生成 · 2 小時前更新
最新進展10月15日 21:24
重跑 11 項技能評測後，7 項分數改變，最大變動為 1 分。報道時間線
沿着報道，瞭解事件的不同側面。
10月15日
- DEV Community同一 LLM 評測重跑兩次，11 項中有 7 項分數改變
作者以相同輸入、模型和評分規準，間隔兩小時重跑 11 項技能評測，結果有 7 項分數改變。最大變動達 1 分；兩次測試期間生成預算亦有調整，因此作者稱這次測量是自然實驗而非受控實驗。作者建議以分數區間呈現結果、公開評分理由，並重跑 10–20 項已評分內容，以估計評測管線的波動範圍。
本事件熱度走勢
還沒有足夠的連續觀測數據，暫不繪製趨勢。