熱點事件持續更新
嚴駿馳團隊提出 Transformer 擴容思路
1 篇報道1 個報道來源2 小時前更新
先了解這件事
AI 綜述
2026年11月4日，上海交通大學嚴駿馳團隊在 CNCC 2026 提出 JTok 和 xHC，探索在現有 Transformer 架構上擴展模型容量。報道指出，JTok-M 在相同算力預算下令損失降低約 2.2%；達到同等損失所需的訓練算力約為底座的 65%。在 18B MoE 模型的平均分比較中，xHC 為 48.8，mHC 為 44.8。報道亦指出，這項研究仍須權衡推理延遲與訪存開銷。
AI 根據報道生成 · 2 小時前更新
最新進展11月4日 15:53
最新報道披露，JTok-M 的損失降低約 2.2%，xHC 在 18B MoE 模型的平均分為 48.8。報道時間線
沿着報道，瞭解事件的不同側面。
11月4日
- 新浪科技Transformer 架構還能怎樣改？嚴駿馳團隊提出兩條思路 | CNCC 2026
上海交通大學嚴駿馳團隊提出 JTok 和 xHC，探索在現有 Transformer 架構上擴展模型容量。JTok-M 在同一算力預算下令損失降低約 2.2%，達到同等損失所需訓練算力約為底座的 65%；18B MoE 模型的平均分則由 mHC 的 44.8 升至 xHC 的 48.8。研究仍須權衡推理延遲與訪存開銷。
本事件熱度走勢
還沒有足夠的連續觀測數據，暫不繪製趨勢。