跳到正文
熱點事件持續更新

SAM、平坦極小值與模型泛化

1 篇報道1 個報道來源4 小時前更新

先了解這件事

AI 綜述

2026年10月28日,DEV Community介紹 Sharpness-Aware Minimization(SAM)如何偏向平坦極小值:它透過最小化參數鄰域內的最壞情況損失,提升模型對擾動的穩定性。報道指出,SAM 每次更新需要計算兩次梯度,因此單步成本約為標準訓練的兩倍;不過,實際訓練中,它可能以較少步數達到指定測試準確率,或在相同 epoch 數下取得較佳準確率。報道亦指出,平坦程度並非解釋泛化能力的完整理論,SAM 更適合視為一種訓練偏向。

AI 根據報道生成 · 3 小時前更新

報道時間線

沿着報道,瞭解事件的不同側面。

10月28日
  1. DEV Community
    SAM 為何認為平坦極小值比尖鋭極小值更能泛化

    Sharpness-Aware Minimization(SAM)透過最小化參數鄰域內的最壞情況損失,偏向平坦極小值,以提升模型對擾動的穩定性。每次更新需要計算兩次梯度,單步成本約為標準訓練的兩倍;實際上,SAM 可能以較少步數達到指定測試準確率,或在相同 epoch 數下取得較佳準確率。平坦程度並非泛化能力的完整理論,SAM 更適合視為一種訓練偏向。

本事件熱度走勢

當前熱度 9·可比範圍峯值 10(10月28日 09:00)·近 24 小時可比範圍變化 –

02.557.51010月28日09:0010月28日10:0010月28日10:0010月28日11:00

趨勢僅比較持續完整觀測到的相同主體,範圍可能小於當前熱度統計。移動指針或點擊圖表查看每小時熱度;鍵盤可用左右方向鍵切換。