跳到正文
原文
Sakana AI:Blog· Sakana AI·· 23 天前AI 評分44

PC-ALM:無需反向傳播訓練 1000 層神經網絡

Training 1000-layer networks without backpropagation

AI 導讀

PC-ALM 是一種以局部學習取代反向傳播的方法,只靠局部動態即可訓練 1000 層神經網絡。它引入作為拉格朗日乘數的對偶神經元,令每層以 PI 回饋控制系統最小化局部預測誤差。在標準 PC 難以學習的深而窄網絡中,PC-ALM 尤其能把訊號傳至看似任意深度。

來源:Sakana AI:Blog · sakana.ai