跳到正文
HuggingFace Daily Papers(社區熱門論文)·· 2026-10-05AI 評分41

Representation-Space MMD for Diffusion Language Models

Representation-Space MMD for Diffusion Language Models

AI 導讀

研究提出一種擴散語言模型的後訓練方法,在凍結的預訓練模型特徵空間中,最小化生成分佈與參考分佈之間的最大均值差異(MMD)。實驗顯示,該方法在 OpenWebText 上以相若熵值取得較低生成困惑度,並改善 GSM8K 的準確率與計算量取捨;在 16B DMax-LLaDA2.0 模型上,亦提高解碼並行度,數學及程式碼基準的準確率相若或更高。

來源:HuggingFace Daily Papers(社區熱門論文) · huggingface.co