NVIDIA 详解全栈协同设计：用内存分层缓解 AI 推理内存压力

OmniTools 11月6日消息，NVIDIA 发布技术博客，说明其如何通过全栈协同设计应对 AI 推理中的内存压力。文章指出，更大的模型、更长的上下文以及智能体应用的普及，正在推高 GPU 内存需求，而内存供应趋紧、价格上涨，这一趋势预计短期内仍将持续。NVIDIA 称其率先在加速计算栈中采用 HBM3e 与 HBM4，但策略并非单纯在 GPU 上堆叠更多内存，而是将 GPU、CPU、网络、存储与软件放在一起设计。

文章将 AI 工厂的内存需求描述为分层结构：GPU 的高带宽内存（HBM）速度最快、成本最高，模型权重与 KV 缓存争抢有限容量；其下依次是 CPU 内存、本地 SSD 和共享存储。NVIDIA 表示，前沿模型参数量已达数万亿级别，智能体轨迹在部分场景下需处理多达 300 万 token，检索增强生成（RAG）还会带来更多上下文，这些都在加大对 HBM 的压力。

在具体做法上，NVIDIA 提到用 NVFP4 格式压缩模型权重，并在 NVL72 系统中将权重分散到最多 72 块 GPU；对 KV 缓存同样应用 NVFP4，并通过 Dynamo 软件将不活跃上下文下沉至 CMX 上下文内存存储层，在需要时再取回。CMX 的合作伙伴包括 Cloudian、DDN、Dell Technologies、Everpure、HPE、IBM、NetApp、VAST 与 WEKA。文章还称，Nemotron Retriever 模型可生成更小的嵌入向量，cuVS 库支持在 CPU 与存储侧构建和提供索引，使知识库不占用 HBM。

性能数据方面，NVIDIA 称在 SemiAnalysis AgentX 的 DeepSeek V4 Pro 负载上，GB300 NVL72 在每用户 100 token/s 时，每美元吞吐量最高为 H200 平台的 10 倍，单 GPU 的 HBM 容量约翻倍；Vera Rubin NVL72 在每用户 125 token/s 时，每美元吞吐量最高为 GB300 NVL72 的 30 倍，而单 GPU 的 HBM 容量仅增加约 3%。