激活函數令深層網絡可表示曲線

報道指出，若神經網絡沒有激活函數，任意多層乘加運算都可合併成一條直線，因此單靠增加層數不能表示曲線。換言之，沒有激活函數時，增加乘加層數不會改變這種直線表示。ReLU 會把負數變成零，並讓正數直接通過；它帶來的折點令各層不能再合併成一條直線，多個 ReLU 結合則可描繪曲線。報道稱，ReLU 現為大多數網絡的標準選擇，因為計算簡單快速，亦通常令深層網絡較易訓練。

AI 根據報道生成 · 1 小時前更新

還沒有足夠的連續觀測數據，暫不繪製趨勢。