跳到正文
熱點事件持續更新

共用 GPU 下 vLLM 睡眠喚醒成本

1 篇報道1 個報道來源26 分鐘前更新

先了解這件事

AI 綜述

2026年11月22日,DEV Community 作者分享在與另外三項服務共用的 H200 NVL 上,測試 vLLM 為 Qwen3.8-27B 啟用睡眠及喚醒的成本。測試中,進入睡眠需 2.3 至 2.4 秒,並釋放 46.8 GiB;喚醒 28 GiB 權重需 1.28 秒,但會清空 KV cache。文章指出,131,000 tokens 的提示詞在喚醒後重讀需 17 至 18 秒,並建議長文件模型保持載入,偶爾使用的模型共用一個模型槽位。

AI 根據報道生成 · 17 分鐘前更新

報道時間線

沿着報道,瞭解事件的不同側面。

11月22日
  1. DEV Community
    多個 LLM 共用 GPU 時,vLLM 睡眠模式的代價

    作者在與另外三項服務共用的 H200 NVL 上,實測 vLLM 對 Qwen3.8-27B 的睡眠與喚醒成本。睡眠需 2.3 至 2.4 秒並釋放 46.8 GiB,喚醒 28 GiB 權重需 1.28 秒,但會清空 KV cache。文章建議讓長文件模型保持載入,偶爾使用的模型共用一個模型槽位;131,000 tokens 的提示詞在喚醒後重讀需 17 至 18 秒。

本事件熱度走勢

還沒有足夠的連續觀測數據,暫不繪製趨勢。