当 AI 大模型参数从百亿级跃升至千亿级，甚至向万亿级迈进时，“算力” 之外的 “内存瓶颈” 正成为制约智算效率的核心痛点 —— 单 GPU HBM 显存不足 100GB，难以容纳千亿参数模型的权重与激活值；CPU 与 GPU 内存割裂，数据搬运延迟高达微秒级，导致有效算力利用率（MFU）常低于 50%；多节点存储资源分散，无法动态协同应对高并发推理需求。
在此背景下，《AI 超节点内存池化技术白皮书》系统提出了一套 “统一编址 + 智能调度 + 异构协同” 的内存池化解决方案，重新定义了 AI 超节点的存储架构，为突破 “内存墙” 提供了关键技术路径。
本文所有资料都已上传至“智能计算芯知识”星球AI峰会合集技术专栏。
2025年超节点峰会合集
一、AI 超节点的 “内存困局”：为何传统架构难以为继？
当前 AI 超节点普遍采用 “分层异构” 存储架构，从 GPU 片内 SRAM、HBM 显存，到 CPU DDR 主存、CXL 扩展内存，再到 SSD / 分布式存储，不同层级存储的性能与成本差异显著（HBM 带宽达 TB/s 级，SSD 仅 GB/s 级）。但这种架构存在三大核心矛盾，导致内存成为算力释放的 “绊脚石”：
1. 存储容量与性能的失衡
AI 大模型训练对内存容量需求呈指数级增长 ——GPT-3（1750 亿参数）训练需数百 GB 显存，而 GPT-6（预计 125T 参数）需 TB 级内存支持。但传统架构中，GPU HBM 容量受限于芯片面积（如 H100 HBM3 仅 80GB），CPU DDR 与 GPU 显存间依赖 PCIe 互联，带宽仅 32GB/s，数据搬运延迟达 10 微秒以上，无法满足 “计算与数据同速” 的需求。例如，在 MoE（混合专家模型）训练中，仅参数交换产生的数据量就达每秒数百 GB，传统 PCIe 链路常因带宽不足导致计算单元空转。
2. 资源孤岛与调度低效
CPU 内存、GPU 显存、SSD 存储分属不同管理域，数据需开发者手动迁移 —— 在多 GPU 训练中，模型参数需从 HBM 拷贝至 CPU DRAM，再卸载到 SSD，不仅增加代码复杂度，还易引发数据一致性问题。更严重的是，静态资源分配模式下，常出现 “GPU 显存不足而 CPU 内存空闲” 的情况，资源利用率普遍低于 60%。以大模型推理为例，KVCache 需占用大量 HBM 显存，若无法动态调度至 CPU 内存或 SSD，将导致并发请求量下降 50% 以上。
3. 开发复杂度与兼容性难题
不同硬件厂商的内存管理接口碎片化 ——NVIDIA 依赖 CUDA UVM，AMD 采用 ROCm，华为昇腾有自有接口，开发者需针对不同平台适配代码，增加研发成本。同时，传统协议（如 PCIe、RoCEv2）缺乏统一内存语义，跨设备内存共享需通过复杂的驱动层适配，难以实现 “即插即用”。
二、内存池化技术：四大核心能力打破 “内存墙”
《AI 超节点内存池化技术白皮书》提出的解决方案，核心是通过 “化零为整、转静为动、弹性可扩、异构协同”，将分散的存储资源整合为统一内存池，实现 “内存随处可取、数据透明流动”。其技术体系围绕四大关键能力构建：
1. 统一编址（UVM）：让异构存储 “融为一体”
统一虚拟内存（UVM）技术是内存池化的基础，它将 HBM、DDR、CXL 内存、SSD 等不同层级存储映射到同一逻辑地址空间，计算单元（GPU/CPU）可像访问本地内存一样访问远端存储，无需关注物理位置。白皮书提出三种编址模式：
全对称统一编址：适合 NVLink-C2C、CXL 等高速互联场景，GPU 与 CPU 无差别访问共享内存，延迟仅数百纳秒，典型应用如 NVIDIA Grace Hopper 超级芯片，CPU 可直接访问 GPU 端 LPDDR 内存。
分页式统一编址：借助缺页中断自动迁移数据，如 CUDA UVM，当 GPU 访问未缓存数据时，触发底层驱动将数据从 CPU 内存或 SSD 加载至 HBM，开发者无需手动管理数据路径。
分区全局地址空间（PGAS）：逻辑统一但物理分区，通过显式局部性提示优化访问，如 OpenSHMEM，适合跨节点大规模内存共享。
以燧原科技 UALink 技术为例，通过网络 MMU 实现 “全局虚拟地址（GVA）→网络物理地址（NPA）→存储物理地址（SPA）” 的三级映射，不同 GPU 可直接访问跨节点 HBM，端到端延迟控制在 200 纳秒以内，带宽利用率提升至 90%。
2. 智能分层引擎：让数据 “流动到最优位置”
AI 工作负载中，数据访问存在明显的 “冷热差异”—— 模型权重、KVCache 等热数据需低延迟存储，而训练日志、历史检查点等冷数据可存放于低成本介质。智能分层引擎通过 “访问追踪 - 热度判断 - 动态迁移” 三步流程，实现数据在多层存储间的最优调度：
访问追踪：以内存页或数据块为粒度，记录访问频次、最近访问时间，如 LMCache 通过滑动窗口统计 KVCache 的复用频率。
热度分层：基于 LFU（最少使用）、LRU（最近最少使用）或机器学习预测算法，将数据分为热（HBM）、温（DDR/CXL）、冷（SSD）三类，例如阿里云 Tair KVCache 将访问频率前 20% 的数据保留在 HBM。
动态迁移：支持同步 / 异步迁移，同步迁移适用于关键数据（如模型参数），确保即时可用；异步迁移则与计算流水线重叠，隐藏传输延迟，如 MoonCake 在推理间隙将冷 KVCache 迁移至 CPU 内存。
实测数据显示，智能分层可使 HBM 利用率提升 40%，大模型推理并发量增加 3 倍，同时将 SSD 访问延迟对性能的影响降低至 5% 以内。
3. 内存池化管理：让资源 “按需分配、高效复用”
内存池化管理负责资源的拓扑感知、分配、复用与碎片整理，核心目标是最大化资源利用率与系统吞吐：
拓扑感知调度：实时识别硬件互联结构（如 NVLink 拓扑、CXL 链路、PCIe Switch），将数据放置在物理连接最近的存储节点，例如在多 GPU 集群中，优先使用 NVLink 连接的 GPU 内存，减少跨节点访问延迟。
智能内存分配：支持多种分配算法，如 NUMA 亲和分配（CPU 任务内存优先分配至本地 NUMA 节点）、带宽感知分配（数据密集型任务选择高带宽路径）、负载均衡分配（多租户场景下平衡各设备内存使用率）。
内存复用与碎片整理：通过静态复用（编译期分析张量生命周期，如 MindSpore SOMAS 算法）和动态复用（运行时引用计数，如 PyTorch CUDA 缓存分配器）减少峰值内存占用；借助 BFC（最佳适应合并）算法合并空闲块，碎片率可降低至 10% 以下。
以 DeepSpeed ZeRO 技术为例，通过对模型参数、梯度、优化器状态的分片存储与动态复用，可将单 GPU 显存占用降低 80%，用 8 张 V100 即可训练千亿参数模型，而传统方案需 32 张以上。
4. 硬件互联支撑：让数据 “高速流动无瓶颈”
内存池化的高效运行依赖底层高速互联技术，白皮书重点分析了 Scale-up（超节点内）与 Scale-out（跨节点）两类互联方案：
Scale-up 互联：聚焦超节点内低延迟高带宽通信，主流技术包括 NVLink（双向带宽达 900GB/s）、博通 SUE（基于增强以太网，支持 LLR 低延迟重传、CBFC 信用流控）、ETH-X（开放以太网方案，端到端延迟 150 纳秒）。这类技术支持内存语义访问，GPU 可直接 Load/Store 跨卡 HBM，无需 DMA 中转。
Scale-out 互联：解决跨节点长距离通信，依赖 RoCEv2、InfiniBand 等 RDMA 技术，新一代方案如 NVIDIA SHARP 在交换机侧实现数据聚合，减少跨节点带宽消耗；DPU 通过卸载压缩、加密等功能，进一步降低 CPU 开销。
CXL 内存扩展：作为 PCIe 的演进协议，CXL.mem 支持 CPU 以缓存行粒度访问扩展内存，单条 CXL 3.0 链路带宽达 64GB/s，延迟仅微秒级，可灵活扩展 CPU 内存容量，典型应用如 Intel CXL 内存扩展板，单节点可扩展至 TB 级 DRAM。
华为昇腾超节点采用 “全对等互联” 架构，通过自研 Scale-up 网络实现 8 卡 GPU 间 HBM 全互联，单节点内存池容量达 640GB，支持千亿参数模型全量加载，训练效率较传统 PCIe 架构提升 3 倍。
三、行业实践：从技术验证到规模化落地
当前内存池化技术已在训练、推理场景出现多个成熟案例，白皮书重点分析了五类代表性方案：
1. Zero Offload：让大模型训练 “突破显存限制”
微软 DeepSpeed 的 Zero 系列技术（Zero-1/2/3/Infinity）是内存池化在训练场景的经典应用。其核心是将模型参数、梯度、优化器状态分片存储到 CPU 内存或 SSD，仅在计算时加载至 GPU HBM。例如，Zero-Infinity 支持将优化器状态（32 位）卸载至 CPU 内存，激活值压缩后存储到 SSD，使单张 GPU 可训练参数规模提升 4 倍以上。在 GPT-3（1750 亿参数）训练中，Zero-3 可将单卡显存占用从 160GB 降至 40GB，8 卡集群即可启动训练，而传统数据并行方案需 32 卡以上。
2. MoonCake：让 KVCache 推理 “降本增效”
面对大模型推理中 KVCache 占用大量显存的问题，KIMI 提出的 MoonCake 方案，将分布式 CPU 内存、SSD 组成 KVCache 存储池，通过分页管理实现缓存复用。例如，在多轮对话场景中，MoonCake 可复用历史对话的 KVCache，避免重复计算，TTFT（首词生成时间）降低 50%，同时将 GPU 显存占用减少 60%，单卡并发请求量提升 2 倍。其架构支持 RDMA 高速传输，KVCache 在 GPU 与 CPU 内存间迁移延迟仅 5 微秒。
3. LMCache：让长上下文推理 “更高效”
芝加哥大学推出的 LMCache，专为长上下文大模型推理设计，通过共享 KVCache 减少重复计算。它支持多推理引擎（vLLM、SGLang）共享分布式缓存，底层存储可选用 DRAM 或 SSD，通信依赖 Socket、NVLink 等 P2P 技术。在 128K 上下文长度的 LLaMA-2 推理中，LMCache 可将 GPU 计算周期减少 70%，端到端延迟降低 60%，同时支持 PD 分离（Prefill/Decode 分离）架构，进一步优化资源配比。
4. Dynamo：让多节点推理 “协同如一”
NVIDIA Dynamo 通过 KV 缓存块管理器（KVBM），将多节点 GPU 显存、CPU 内存、SSD 整合为统一缓存池，为 TRT-LLM、vLLM 等框架提供统一内存 API。其核心技术包括 NIXL 高性能传输库（支持跨介质 KVCache 迁移）、动态逐出策略（平衡缓存命中率与存储成本）。在 GPT-4 推理场景中，Dynamo 支持 128 节点 GPU 集群协同，KVCache 按需卸载至远端 SSD，单节点显存利用率提升至 85%，整体吞吐较单机方案增加 10 倍。
5. 3FS：让分布式存储 “支撑训推全场景”
DeepSeek 推出的 3FS 分布式文件系统，通过 RDMA 网络聚合数千个存储节点的带宽，为 AI 训推提供池化存储层。它支持数据集加载、检查点存储、KVCache 卸载等场景，强一致性保障训练数据不丢失，同时通过分层存储（内存缓存 + SSD 持久化）优化访问延迟。在千亿参数模型训练中，3FS 可将数据加载时间减少 40%，检查点保存速度提升 3 倍，且支持动态扩容，无需中断训练任务。
四、未来趋势：从 “单机池化” 到 “全域协同”
白皮书指出，内存池化技术将向两个方向演进，进一步释放智算潜能：
1. 超节点主机级：跨级存储调度智能化
随着存储层级增多（HBM3e→CXL 4.0→存储级内存 SCM），未来内存池化将引入更智能的调度策略：通过机器学习预测数据访问模式，提前将冷数据迁移至低成本介质，热数据预加载至 HBM；结合实时监控（预取命中率、迁移延迟）动态调整分层阈值，实现 “性能 - 成本” 最优平衡。例如，NVIDIA 已在 Hopper 架构中引入 “智能预取” 功能，通过分析指令流预测即将访问的数据，预加载至 L1 缓存，命中率可达 80% 以上。
2. 超节点芯片级：Chiplet 互联与缓存一致性
Chiplet（芯粒）技术将成为突破芯片面积与成本限制的关键，而缓存一致性 C2C 协议是 Chiplet 内存池化的核心。白皮书提出，未来 C2C 协议需具备三大能力：支持 UCIe 物理层标准，实现不同厂商 Chiplet “即插即用”；原生支持 CPU-GPU 统一共享内存，消除数据复制；优化传输格式，降低延迟至纳秒级。例如，AMD Infinity Cache 通过 C2C 协议实现多 Chiplet 缓存共享，GPU 显存容量可灵活扩展，同时保持低延迟特性。
五、结语：内存池化重构 AI 基础设施
AI 超节点内存池化技术不仅是解决当前 “内存墙” 的方案，更是下一代智算基础设施的核心基石。它通过统一编址打破资源孤岛，通过智能调度提升效率，通过高速互联保障性能，为千亿级、万亿级大模型的规模化应用提供了可能。正如白皮书所强调，内存池化的成熟需要 “技术共研、标准共建、生态共享”—— 硬件厂商需推动互联协议开放，软件开发者需适配统一 API，云服务商需探索 “池化即服务” 模式。
未来，随着 CXL 4.0、UCIe 2.0、Chiplet C2C 等技术的落地，内存池化将实现 “从超节点内到跨数据中心” 的全域扩展，最终达成 “内存无界、算力无限” 的愿景，为 AI 产业的可持续发展注入强劲动力。
8、3+份技术系列基础知识详解（星球版）
9、12+份Manus技术报告合集
10、100+份AI芯片修炼合集
11、100+份AI Agent技术报告合集
… …
本号资料全部上传至知识星球，更多内容请登录智能计算芯知识（知识星球）星球下载全部资料。
免责申明：本号聚焦相关技术分享，内容观点不代表本号立场，可追溯内容均注明来源，发布文章若存在版权等问题，请留言联系删除，谢谢。
温馨提示：
请搜索“AI_Architect”或“扫码”关注公众号实时掌握深度技术分享，点击“阅读原文”获取更多原创技术干货。
