熱點事件持續更新
AI模型評估須區分不同通過率
1 篇報道1 個報道來源2 小時前更新
先了解這件事
AI 綜述
2026年11月3日，DEV Community 發文以四次構造的測試結果説明，單次通過率、k 次嘗試中至少一次通過率，以及 k 次全部通過率代表不同評估問題。例子中四次有兩次通過，因此 pass@1 為 50%；當 k=2，pass@2 為 5/6（約 83.3%），而 pass^2 為 1/6（約 16.7%）。文章指出，這些數字來自構造例子，並非模型實測結果。評估重複嘗試時，應保留每次結果、嘗試預算及逐任務數據；對有依賴關係的修復流程，則應把整個流程作為整體評估。
AI 根據報道生成 · 2 小時前更新
最新進展11月3日 02:50
最新報道以構造例子區分不同通過率，並提出保留逐次結果、嘗試預算及逐任務數據。報道時間線
沿着報道，瞭解事件的不同側面。
11月3日
- DEV Community模型單次通過，不等於表現可靠
文章以四次構造的測試結果説明，單次通過率、k 次中至少一次通過率與 k 次全部通過率衡量的是不同問題。例子中 2/4 次通過，pass@1 為 50%；當 k=2，pass@2 為 5/6（約 83.3%），pass^2 為 1/6（約 16.7%）。這不是模型實測結果；文章亦指出，評估重複嘗試時應保留每次結果、嘗試預算及逐任務數據，並把有依賴關係的修復流程作整體評估。
本事件熱度走勢
還沒有足夠的連續觀測數據，暫不繪製趨勢。