跳到正文
熱點事件持續更新

低精度訓練中兩種捨入方式的取捨

1 篇報道1 個報道來源4 小時前更新

先了解這件事

AI 綜述

報道比較低精度神經網絡訓練中的最接近值捨入與隨機捨入。最接近值捨入會把小於半個量化步長的更新捨為零,因此微小梯度難以累積。隨機捨入則根據數值與相鄰可表示值的距離設定捨入機率,令結果的期望值保持準確。報道指出,儲存已完成訓練的模型適合採用最接近值捨入;若要在低精度下累積小幅更新,則適合採用隨機捨入。報道未提及其他進展。

AI 根據報道生成 · 4 小時前更新

報道時間線

沿着報道,瞭解事件的不同側面。

11月22日
  1. DEV Community
    隨機捨入與最接近值捨入:隨機性何時能保留平均值

    低精度神經網絡訓練中,最接近值捨入會把小於半個量化步長的更新捨為零,令微小梯度難以累積;隨機捨入則按數值與相鄰可表示值的距離決定捨入機率,讓期望值保持準確。儲存訓練完成的模型適合使用最接近值捨入;累積低精度下的小幅更新則適合使用隨機捨入。

本事件熱度走勢

當前熱度 9·可比範圍峯值 10(11月22日 04:00)·近 24 小時可比範圍變化 –

02.557.51011月22日04:0011月22日05:0011月22日06:0011月22日07:00

趨勢僅比較持續完整觀測到的相同主體,範圍可能小於當前熱度統計。移動指針或點擊圖表查看每小時熱度;鍵盤可用左右方向鍵切換。