熱點事件持續更新
評測集黃金案例審計方法提出
1 篇報道1 個報道來源8 小時前更新
先了解這件事
AI 綜述
2026年11月6日，DEV Community刊出Dakota Ma提出的評測集黃金案例審計方法。方法透過變異測試，計算評分器淘汰錯誤答案的比例，並建議每週執行，以識別案例飽和或參考答案漂移。預設規則是：案例累積至少20次執行、通過率達0.99時標記為飽和；變異答案淘汰率低於0.6時標記為弱。作者提醒，淘汰率不等同準確率，並建議不要把方法用於約30個以下案例的評測集。
AI 根據報道生成 · 7 小時前更新
最新進展11月6日 00:10
Dakota Ma提出每週審計黃金案例，並列出飽和及弱案例的預設判定門檻。報道時間線
沿着報道，瞭解事件的不同側面。
11月6日
- DEV Community評測集黃金案例逐漸失效：如何安排區分能力審計
Dakota Ma 提出一套評測集黃金案例審計方法，透過變異測試衡量評分器淘汰錯誤答案的比例，並安排每週執行，以發現案例飽和或參考答案漂移。預設規則會在案例至少累積 20 次執行且通過率達 0.99 時標記為飽和；若變異答案淘汰率低於 0.6，則標記為弱。作者指出淘汰率不等同準確率，並建議不要將這套方法用於約 30 個以下案例的評測集。
本事件熱度走勢
當前熱度 8·可比範圍峯值 10（11月6日 01:00）·近 24 小時可比範圍變化 –
趨勢僅比較持續完整觀測到的相同主體，範圍可能小於當前熱度統計。移動指針或點擊圖表查看每小時熱度；鍵盤可用左右方向鍵切換。