熱點事件持續更新
vLLM 推送式 KV 傳輸改善分離式推理
2 篇報道2 個報道來源2 小時前更新
先了解這件事
AI 綜述
2026年10月14日，vLLM 官方博客介紹推送式 NIXL KV 連接器，用於預填與解碼分離推理，並將解碼端的傳輸設定移出關鍵路徑。在採用 EFA 的 Amazon EC2 P5en 1P1D 部署中，以 Qwen3-32B 測試，推送模式相較拉取模式的 TTFT 最多改善 3x、TPOT 最多改善 30%；博客指出結果會因工作負載和配置而異。10月20日，AWS Machine Learning Blog 進一步説明，連接器會預先註冊解碼端 KV 區塊，並以背景執行緒處理傳輸準備，以改善分離式推理的 TTFT 與 TPOT。
AI 根據報道生成 · 2 小時前更新
最新進展10月20日 00:05
AWS 最新文章補充了預先註冊 KV 區塊及以背景執行緒處理傳輸準備的做法。事件進展
2 個進展
- 10月20日 00:05 · 1 篇報道AWS 向 vLLM 貢獻推送式 KV 傳輸AWS Machine Learning Blog：vLLM push-based KV 傳輸改善分離式推理的 TTFT 與 TPOT
- 10月14日 08:00 · 1 篇報道vLLM 加入推送式 KV 傳輸vLLM 官方博客：vLLM 推送式 KV 傳輸連接器改善預填與解碼分離推理的 TTFT 和 TPOT
報道時間線
沿着報道，瞭解事件的不同側面。
10月20日
- AWS Machine Learning BlogvLLM push-based KV 傳輸改善分離式推理的 TTFT 與 TPOT
vLLM 的 push-based NIXL connector 透過預先註冊 decode 端 KV 區塊，並將傳輸準備移至背景執行緒，改善分離式推理的 TTFT 與 TPOT。
10月14日
- vLLM 官方博客vLLM 推送式 KV 傳輸連接器改善預填與解碼分離推理的 TTFT 和 TPOT
vLLM 引入推送式 NIXL KV 連接器，將解碼端的傳輸設定移出關鍵路徑，以改善預填與解碼分離推理的 TTFT 和 TPOT。在採用 EFA 的 Amazon EC2 P5en 1P1D 部署上，Qwen3-32B 測試顯示推送模式相較拉取模式，TTFT 最多改善 3x、TPOT 最多改善 30%；結果視工作負載和配置而異。
本事件熱度走勢
當前熱度 10·可比範圍峯值 10（10月20日 01:00）·近 24 小時可比範圍變化 –
趨勢僅比較持續完整觀測到的相同主體，範圍可能小於當前熱度統計。移動指針或點擊圖表查看每小時熱度；鍵盤可用左右方向鍵切換。