跳到正文
熱點事件持續更新

Q Labs Research 提出免反向傳播方法 Dust

1 篇報道1 個報道來源6 小時前更新

先了解這件事

AI 綜述

2026年10月6日的報道稱,Q Labs Research 提出 Dust,一種用於訓練 Transformer 語言模型的零階最佳化方法。Dust 不需要反向傳播,而是在模型的中間表示上加入擾動。其做法是對每個 token 分別加入擾動,並把每個 token 視為一名虛擬族羣成員,再透過一次前向傳播並行評估。報道目前介紹的是 Dust 的方法設計,沒有交代其他進展。

AI 根據報道生成 · 5 小時前更新

報道時間線

沿着報道,瞭解事件的不同側面。

10月6日
  1. Hacker News 熱門(buzzing.cc 中文翻譯)
    Dust:無需反向傳播的 Transformer 預訓練

    Q Labs Research 提出 Dust,一種以模型中間表示擾動訓練 Transformer 語言模型、毋須反向傳播的零階最佳化方法。Dust 在每個 token 獨立加入擾動,令每個 token 成為虛擬族羣成員,並以一次前向傳播並行評估。

本事件熱度走勢

還沒有足夠的連續觀測數據,暫不繪製趨勢。