跳到正文
熱點事件持續更新

Baseten縮短GLM-5.3差分權重同步時間

1 篇報道1 個報道來源1 小時前更新

先了解這件事

AI 綜述

2026年10月31日,Baseten在工程博客公佈,已重構 GLM-5.3 的差分權重同步流程。新流程以 GPU 上的權重作為更新基準,將約 770 GB 權重的同步時間由 36 秒縮短至 15 秒;與此同時,請求暫停時間由 6 秒降至 0.8 秒。新設計亦不再於主機記憶體中保留完整權重副本,因此騰出的空間可用於 KV cache offloading。這是報道所述的目前進展,涵蓋同步方式、同步耗時、請求暫停時間及主機記憶體用途。

AI 根據報道生成 · 1 小時前更新

報道時間線

沿着報道,瞭解事件的不同側面。

10月31日
  1. Baseten 工程博客
    Baseten 將 GLM-5.3 差分權重同步時間縮至 15 秒

    Baseten 重構差分權重同步流程,以 GPU 權重作為更新基準,將約 770 GB 的 GLM-5.3 同步時間由 36 秒縮至 15 秒。請求暫停時間由 6 秒降至 0.8 秒;新設計不再在主機記憶體保留完整權重副本,騰出的空間可用於 KV cache offloading。

本事件熱度走勢

還沒有足夠的連續觀測數據,暫不繪製趨勢。