Sakana AI:Blog· Sakana AI·· 23 天前AI 評分44
PC-ALM:無需反向傳播訓練 1000 層神經網絡
Training 1000-layer networks without backpropagation
AI 導讀
PC-ALM 是一種以局部學習取代反向傳播的方法,只靠局部動態即可訓練 1000 層神經網絡。它引入作為拉格朗日乘數的對偶神經元,令每層以 PI 回饋控制系統最小化局部預測誤差。在標準 PC 難以學習的深而窄網絡中,PC-ALM 尤其能把訊號傳至看似任意深度。
來源:Sakana AI:Blog · sakana.ai