熱點事件持續更新
共用 GPU 下 vLLM 睡眠喚醒成本
1 篇報道1 個報道來源26 分鐘前更新
先了解這件事
AI 綜述
2026年11月22日,DEV Community 作者分享在與另外三項服務共用的 H200 NVL 上,測試 vLLM 為 Qwen3.8-27B 啟用睡眠及喚醒的成本。測試中,進入睡眠需 2.3 至 2.4 秒,並釋放 46.8 GiB;喚醒 28 GiB 權重需 1.28 秒,但會清空 KV cache。文章指出,131,000 tokens 的提示詞在喚醒後重讀需 17 至 18 秒,並建議長文件模型保持載入,偶爾使用的模型共用一個模型槽位。
AI 根據報道生成 · 17 分鐘前更新
最新進展11月22日 23:18
實測顯示,喚醒 28 GiB 權重需 1.28 秒,但會清空 KV cache;重讀提示詞需 17 至 18 秒。報道時間線
沿着報道,瞭解事件的不同側面。
11月22日
- DEV Community多個 LLM 共用 GPU 時,vLLM 睡眠模式的代價
作者在與另外三項服務共用的 H200 NVL 上,實測 vLLM 對 Qwen3.8-27B 的睡眠與喚醒成本。睡眠需 2.3 至 2.4 秒並釋放 46.8 GiB,喚醒 28 GiB 權重需 1.28 秒,但會清空 KV cache。文章建議讓長文件模型保持載入,偶爾使用的模型共用一個模型槽位;131,000 tokens 的提示詞在喚醒後重讀需 17 至 18 秒。
本事件熱度走勢
還沒有足夠的連續觀測數據,暫不繪製趨勢。