熱點事件持續更新
低精度訓練中兩種捨入方式的取捨
1 篇報道1 個報道來源4 小時前更新
先了解這件事
AI 綜述
報道比較低精度神經網絡訓練中的最接近值捨入與隨機捨入。最接近值捨入會把小於半個量化步長的更新捨為零,因此微小梯度難以累積。隨機捨入則根據數值與相鄰可表示值的距離設定捨入機率,令結果的期望值保持準確。報道指出,儲存已完成訓練的模型適合採用最接近值捨入;若要在低精度下累積小幅更新,則適合採用隨機捨入。報道未提及其他進展。
AI 根據報道生成 · 4 小時前更新
最新進展11月22日 03:20
報道指出,儲存模型宜用最接近值捨入,低精度累積小幅更新宜用隨機捨入。報道時間線
沿着報道,瞭解事件的不同側面。
11月22日
- DEV Community隨機捨入與最接近值捨入:隨機性何時能保留平均值
低精度神經網絡訓練中,最接近值捨入會把小於半個量化步長的更新捨為零,令微小梯度難以累積;隨機捨入則按數值與相鄰可表示值的距離決定捨入機率,讓期望值保持準確。儲存訓練完成的模型適合使用最接近值捨入;累積低精度下的小幅更新則適合使用隨機捨入。
本事件熱度走勢
當前熱度 9·可比範圍峯值 10(11月22日 04:00)·近 24 小時可比範圍變化 –
趨勢僅比較持續完整觀測到的相同主體,範圍可能小於當前熱度統計。移動指針或點擊圖表查看每小時熱度;鍵盤可用左右方向鍵切換。