NVIDIA全堆疊協同應對AI記憶體瓶頸
先了解這件事
2026年11月6日，NVIDIA Newsroom及Technical Blog介紹以全堆疊協同設計提升AI工廠各層記憶體的使用效率，應對模型、上下文及智能體應用帶來的GPU記憶體壓力。Technical Blog指出，HBM速度最快、成本最高且最易出現爭用；冗餘權重副本、閒置工作階段的KV cache及重新計算前綴，均會佔用原可用於生成token的記憶體。NVIDIA稱，從Blackwell Ultra到Vera Rubin，每GPU的HBM容量約增加3%，SemiAnalysis AgentX上每美元智能體吞吐量最高提升30倍。07:30的IT之家報道列出GPU、CPU、網絡、儲存及軟件協同，並提及以NVFP4壓縮模型權重和KV cache、把不活躍上下文遷移至CMX上下文儲存，並將RAG索引留在CPU與儲存端。07:37及07:40的新浪科技報道進一步列明，比較對象為Vera Rubin NVL72與GB300 NVL72，並稱在每用戶每秒125 token的服務速度下，特定Agent工作負載每美元吞吐量最高提升30倍。
AI 根據報道生成 · 1 分鐘前更新
報道時間線
沿着報道，瞭解事件的不同側面。
- 新浪科技NVIDIA 詳解 AI 記憶體全棧協同設計：特定 Agent 工作負載每美元吞吐量最高提升30倍，HBM 容量僅增約3%
NVIDIA 詳解 AI 記憶體全棧協同設計，稱 Vera Rubin NVL72 相較 GB300 NVL72，在特定 Agent 工作負載下每美元吞吐量最高提升30倍。在每位用戶每秒125個Token的服務速度下，單顆 GPU 的 HBM 容量僅增加約3%。其做法包括以 NVFP4 壓縮模型權重和 KV Cache、分層卸載閒置上下文，並把 RAG 向量索引放到 CPU 記憶體及儲存層級。
- 新浪科技NVIDIA 解讀 AI 記憶體瓶頸方案：HBM 僅增約 3%，每美元智能體吞吐量最高提升 30 倍
NVIDIA 提出將 GPU、CPU、網絡、儲存和軟件作整體協同設計，以應對 AI 記憶體瓶頸。NVIDIA 援引 SemiAnalysis AgentX 基準稱，Vera Rubin NVL72 在每用戶每秒 125 token 條件下，相較 GB300 NVL72 的每美元智能體吞吐量最高提升 30 倍，而每 GPU 的 HBM 容量僅增加約 3%。
- IT之家英偉達提出全棧協同設計應對 AI 記憶體瓶頸，HBM 容量僅增約 3%、每美元智能體吞吐量最高提升 30 倍
英偉達提出以 GPU、CPU、網絡、儲存和軟件全棧協同設計，應對大模型參數、上下文和智能體工作流增長帶來的 HBM 記憶體壓力。其方案以 NVFP4 壓縮模型權重和 KV cache，並把不活躍上下文遷移至 CMX 上下文儲存，讓 RAG 索引留在 CPU 與儲存端。
- NVIDIA：NewsroomNVIDIA 如何透過全堆疊協同設計應對 AI 記憶體挑戰
NVIDIA 透過全堆疊協同設計，提升 AI 工廠各層記憶體的使用效率，以應對模型、上下文及智能體應用帶來的 GPU 記憶體壓力。從 NVIDIA Blackwell Ultra 到 Vera Rubin 平台，每 GPU 的 HBM 容量約增加 3%，SemiAnalysis AgentX 上每美元智能體吞吐量則提升最高 30x。
- NVIDIA Technical Blog：Agentic AI / Generative AINVIDIA 協同設計提升 AI 工廠每個位元組價值的五種方式
NVIDIA 的協同設計旨在提升 AI 工廠中每個位元組的價值。高頻寬記憶體（HBM）是速度最快、成本最高且最容易出現爭用的記憶體層；冗餘權重副本、閒置工作階段的 KV cache，以及重新計算前綴，都會佔用原可用於生成 token 的記憶體。
本事件熱度走勢
當前熱度 33·可比範圍峯值 39（11月6日 01:00）·近 24 小時可比範圍變化 –
趨勢僅比較持續完整觀測到的相同主體，範圍可能小於當前熱度統計。移動指針或點擊圖表查看每小時熱度；鍵盤可用左右方向鍵切換。