熱點事件持續更新
MoE研究:容量因子須按負載設定
1 篇報道1 個報道來源3 小時前更新
先了解這件事
AI 綜述
2026年10月16日,DEV Community刊出一項 MoE 負載尾部研究,指出容量因子 C 並非適用於不同負載情境的固定常數,而是代表可接受的 token 丟棄率;所需 C 取決於每位專家的平均負載 µ。研究以均勻路由、E = 64 為例:µ = 1、C = 1.25 時,token 丟棄率為 29.89%;µ = 128 時,丟棄率為 8.29e-05。研究建議先設定可接受的丟棄率,再按實際服務負載選擇 C,並指出有限樣本造成的負載尾部不能靠路由平衡消除。
AI 根據報道生成 · 3 小時前更新
最新進展10月16日 17:23
研究建議先設定可接受的 token 丟棄率,再按實際服務負載選擇容量因子 C。報道時間線
沿着報道,瞭解事件的不同側面。
10月16日
- DEV CommunityC = 1.25 是容忍度而非常數:MoE token 丟棄背後的負載尾部定律
這項 MoE 負載尾部研究指出,容量因子 C 代表可接受的 token 丟棄率,而非跨負載情境通用的固定常數;所需 C 取決於每位專家的平均負載 µ。均勻路由且 E = 64 時,µ = 1、C = 1.25 對應 29.89% 的丟棄率;µ = 128 時則為 8.29e-05。研究建議先設定可接受的丟棄率,再按實際服務負載選擇 C,因有限樣本造成的負載尾部不能靠路由平衡消除。
本事件熱度走勢
當前熱度 9·可比範圍峯值 10(10月16日 18:00)·近 24 小時可比範圍變化 –
趨勢僅比較持續完整觀測到的相同主體,範圍可能小於當前熱度統計。移動指針或點擊圖表查看每小時熱度;鍵盤可用左右方向鍵切換。