熱點事件持續更新
SWE-bench 評測重跑分數相差最多6個百分點
1 篇報道1 個報道來源3 小時前更新
先了解這件事
AI 綜述
2026年10月28日，DEV Community 報道《On Randomness in Agentic Evals》的研究發現，在 SWE-bench Verified 使用相同設定時，單次評測分數可相差2.2至6.0個百分點。實驗涵蓋3個模型、2種温度及2個 scaffold，每種設定重複10次，共產生60,000條執行軌跡。研究指出，即使把温度設為0，仍不能保證結果可重現。這項研究是未經同行評審的預印本；研究亦提醒，判讀排行榜時應查看重複次數和標準差。
AI 根據報道生成 · 3 小時前更新
最新進展10月28日 04:56
研究指出，同一設定的單次評測分數可相差2.2至6.0個百分點。報道時間線
沿着報道，瞭解事件的不同側面。
10月28日
- DEV CommunitySWE-bench Verified 評測分析：同一模型、同一 scaffold 跑 10 次，分數仍可相差最多 6 個百分點
《On Randomness in Agentic Evals》發現，SWE-bench Verified 同一設定下的單次分數可相差 2.2 至 6.0 個百分點。實驗涵蓋 3 個模型、2 種温度及 2 個 scaffold，每個設定重複 10 次，共產生 60,000 條執行軌跡。該研究是未經同行評審的預印本，並指出温度設為 0 仍不能保證結果可重現；判讀排行榜時亦應查看重複次數和標準差。
本事件熱度走勢
當前熱度 9·可比範圍峯值 10（10月28日 06:00）·近 24 小時可比範圍變化 –
趨勢僅比較持續完整觀測到的相同主體，範圍可能小於當前熱度統計。移動指針或點擊圖表查看每小時熱度；鍵盤可用左右方向鍵切換。