Dust：無需反向傳播的 Transformer 預訓練

Q Labs Research 提出 Dust，一種以模型中間表示擾動訓練 Transformer 語言模型、毋須反向傳播的零階最佳化方法。Dust 在每個 token 獨立加入擾動，令每個 token 成為虛擬族羣成員，並以一次前向傳播並行評估。