Agent AI 推理記憶體瓶頸與 NVIDIA 新架構

報道指出，Agent AI 正推動 AI 負載由模型訓練轉向推理。Agent AI 的多輪推理會令 KV Cache 隨序列長度增加，推理所需的記憶體需求亦隨之上升；HBM 的容量與帶寬因此成為主要瓶頸。針對這一限制，NVIDIA 的 GPU Direct Storage 及 Storage-Next 架構讓 GPU 直接存取 SSD，為推理記憶體提供新路徑。報道所述的進展，是將 GPU 直接存取 SSD 作為推理記憶體的新路徑，並指出多輪推理下 KV Cache 增長及 HBM 容量、帶寬限制是相關技術焦點。

AI 根據報道生成 · 1 小時前更新

還沒有足夠的連續觀測數據，暫不繪製趨勢。