熱點事件持續更新
MuonGS 預訓練表現及適用範圍
1 篇報道1 個報道來源2 小時前更新
先了解這件事
AI 綜述
2026年10月29日，DEV Community 報道介紹 MuonGS 在大型語言模型（LLM）預訓練中的表現與適用範圍。報道指出，在 400M dense 和 1B 參數 MoE 架構上，MuonGS 達到相同驗證困惑度的速度比 MuonH 快 15%。其方法透過 Gram-Schmidt 投影控制權重範數增長，並以原位張量運算執行，無需額外配置 VRAM。MuonGS 適用於具平滑尺度不變性的層；token embeddings 和語言模型輸出頭仍需使用其他調度器或 AdamW 分支。
AI 根據報道生成 · 2 小時前更新
最新進展10月29日 18:15
報道稱，MuonGS 在兩種架構上達到相同驗證困惑度的速度比 MuonH 快 15%。報道時間線
沿着報道，瞭解事件的不同側面。
10月29日
- DEV CommunityMuonGS 為何在 LLM 預訓練中勝過 AdamW 和 Muon
MuonGS 在 400M dense 和 1B 參數 MoE 架構上，達到相同驗證困惑度的速度比 MuonH 快 15%。它透過 Gram-Schmidt 投影控制權重範數增長，並以原位張量運算執行，無需額外配置 VRAM。此方法適用於具平滑尺度不變性的層；token embeddings 和語言模型輸出頭仍需其他調度器或 AdamW 分支。
本事件熱度走勢
還沒有足夠的連續觀測數據，暫不繪製趨勢。