熱點事件持續更新
Baseten縮短GLM-5.3差分權重同步時間
1 篇報道1 個報道來源1 小時前更新
先了解這件事
AI 綜述
2026年10月31日,Baseten在工程博客公佈,已重構 GLM-5.3 的差分權重同步流程。新流程以 GPU 上的權重作為更新基準,將約 770 GB 權重的同步時間由 36 秒縮短至 15 秒;與此同時,請求暫停時間由 6 秒降至 0.8 秒。新設計亦不再於主機記憶體中保留完整權重副本,因此騰出的空間可用於 KV cache offloading。這是報道所述的目前進展,涵蓋同步方式、同步耗時、請求暫停時間及主機記憶體用途。
AI 根據報道生成 · 1 小時前更新
最新進展10月31日 03:59
Baseten將約 770 GB GLM-5.3 差分權重同步時間由 36 秒縮至 15 秒。報道時間線
沿着報道,瞭解事件的不同側面。
10月31日
- Baseten 工程博客Baseten 將 GLM-5.3 差分權重同步時間縮至 15 秒
Baseten 重構差分權重同步流程,以 GPU 權重作為更新基準,將約 770 GB 的 GLM-5.3 同步時間由 36 秒縮至 15 秒。請求暫停時間由 6 秒降至 0.8 秒;新設計不再在主機記憶體保留完整權重副本,騰出的空間可用於 KV cache offloading。
本事件熱度走勢
還沒有足夠的連續觀測數據,暫不繪製趨勢。