熱點事件持續更新
Q Labs 提出 Dust 探索非反向傳播訓練
1 篇報道1 個報道來源2 小時前更新
先了解這件事
AI 綜述
2026年10月26日，Q Labs 提出 Dust，探索不使用反向傳播預訓練 Transformer。Dust 在 Transformer 線性層輸出按 token 加入隨機噪聲，以估算更新方向並訓練模型。論文報告稱，擴大虛擬種羣後，Dust 在部分設定下的效果超過反向傳播；最大實驗規模為 243M 參數、20M token。SOTAAZ Lab 的第三方復現基本重現論文設定，但指出反向傳播若採用更合適的優化器，或在同一數據上多訓練幾輪，效果便明顯領先 Dust，而且計算成本較低。
AI 根據報道生成 · 2 小時前更新
最新進展10月26日 14:28
SOTAAZ Lab 基本重現設定，但指出調整反向傳播後效果更佳且成本更低。報道時間線
沿着報道，瞭解事件的不同側面。
10月26日
- 新浪科技Q Labs 提出 Dust，探索不用反向傳播預訓練 Transformer
Q Labs 提出 Dust，透過在 Transformer 線性層輸出按 token 加入隨機噪聲，估算更新方向並訓練模型。論文報告指，擴大虛擬種羣後，Dust 在部分設定下的效果超過反向傳播；最大實驗規模為 243M 參數、20M token。SOTAAZ Lab 的第三方復現基本重現論文設定，但指出反向傳播使用更合適的優化器或在同一數據上多訓練幾輪後明顯領先，計算成本亦低於 Dust。
本事件熱度走勢
還沒有足夠的連續觀測數據，暫不繪製趨勢。