HBM之外，3D SRAM正在补上AI芯片的低延迟一层- 大数跨境

半导体产业报告

2026-07-03

导读：AI推理的能效，越来越取决于数据离计算核心有多远。

AI 推理的能效瓶颈，正从计算核心转向数据搬运。随着模型部署至汽车、机器人及工业控制领域，响应时间与功耗约束日益严苛。数据显示，一次 8 位乘法能耗约 0.2pJ，而一次 64 位 DRAM 访问高达 1.3 至 2.6nJ。巨大的量级差异表明，数据搬运正在吞噬大部分能量。3D 堆叠 SRAM 技术通过将缓存直接置于逻辑芯片上方，旨在缩短数据路径，以应对低延迟 AI 推理的挑战。

01| 计算轻量化后，数据搬运成为能效短板

量化技术正推动 AI 推理从 FP32 向 INT8、4 位甚至更低精度演进。虽然乘加运算更加省电，但模型权重与中间数据的频繁读写并未减少。若计算单元等待数据的时间过长，MAC 阵列的性能增益将被大幅抵消。

传统布局中，逻辑与存储并排，信号需跨越封装及长走线。3D 堆叠技术将存储层置于逻辑层之上，将数据路径从数厘米缩短至几十或几百微米。这种短路径显著改善了带宽、延迟及访问能耗，尤其契合自动驾驶、机器人及实时控制等对确定性响应要求极高的场景。

该技术路线亦存在边界：SRAM 单元面积大、单比特成本高，难以承载大模型的全量数据。其最佳定位是存储热点权重、高频复用数据及大容量末级缓存，确保高价值数据少走弯路。

02| HBM 负责吞吐，3D SRAM 补齐低延迟

HBM 作为 3D 堆叠 DRAM，优势在于容量与高吞吐；SRAM 支持随机访问且无需刷新，延迟极低，但单位容量成本昂贵。研究表明，在特定条件下，3D 堆叠 SRAM 的访问功耗和延迟可比 3D 堆叠 DRAM 低一个数量级。

AMD Ryzen 7 5800X3D 已将 3D V-Cache 商用化，验证了垂直堆叠 SRAM 的可行性。研究显示，该技术可使 AI 加速器性能提升最高达 2.1 倍，CPU 因大容量缓存提升约 1.25 倍，剪枝 DNN 加速器提升约 1.4 倍，具体效果取决于架构与负载。

更精细的 AI 内存层级正在形成：

片上 SRAM：提供最快、最小容量的本地缓存；
3D SRAM：承接靠近计算核心的高带宽、低延迟数据；
HBM 或 DDR：承担更大的模型与系统容量。

3D SRAM 的核心价值，在于在计算核心与大容量内存之间构建了一层可被架构师灵活调度的“近场缓存”。

03| 堆叠之后，连接密度成新瓶颈

存储上移首先面临层间连接挑战。TSV（硅通孔）和微凸点虽已成熟，但增加了工艺复杂度、成本及禁布区，并影响良率与可靠性。

ThruChip Interface（TCI）利用片上线圈产生磁场进行近场感应通信。该方案可用标准 CMOS 工艺制造，理论上可减少 TSV 工序及部分 ESD、电平转换开销，目前仍属候选路径，需进一步制造验证。

早期 multi-drop 方案由单一发送端覆盖多层，层数增加导致线圈变大、单位面积带宽下降。multi-hop 改为逐层传递，可使用约 10 微米小线圈，将堆叠内存构建成垂直通信网络。然而，通道越密，磁场串扰越强，带宽、面积效率与信号完整性相互制约。

研究提出用短路线圈削弱同心干扰，并利用"8"字形线圈抵消侧向共模干扰。

仿真显示，在相同信噪比约束下，新结构将线圈间距从 80 微米缩至 40 微米，面积效率提升 4 倍。但该数据源于仿真，能否量产仍取决于硅片验证、一致性及测试成本。

04| MONAKA 提供系统级样板

富士通规划的 MONAKA 服务器 CPU 集成了该思路。处理器计划包含 144 个 Armv9 核心，支持双路系统。封装由中央 I/O 裸片和四个 3D 计算复合体组成，每个复合体将核心裸片面对面堆叠在 LLC SRAM 裸片上，再通过硅中介层互联。

工艺分配策略明确：核心采用 2nm，SRAM 和 I/O 采用 5nm，昂贵的 2nm 部分仅占总裸片面积 30%。垂直连接采用混合铜键合，外部则通过 PCIe 6.0 和 CXL 3.0 实现加速器、内存扩展与资源池化。先进节点集中用于高性能逻辑，缓存与 I/O 回归成熟工艺以平衡成本。

MONAKA 从上一代 A64FX 的 HBM 转向 12 通道 DDR5。靠近核心的 3D SRAM 负责内部带宽与低延迟，DDR5 提供容量与成本平衡，CXL 扩展系统级内存。富士通提出的两倍能效与应用性能提升为目标值，实际表现需经芯片、软件及具体负载共同验证。

结语 | AI 内存按工作负载分层

HBM 将继续服务于训练和高吞吐加速器，而 3D SRAM 将在 CPU 型 AI、边缘推理及实时控制中争取近计算位置。技术落地速度取决于缓存命中率、混合键合良率、互连密度、散热及单位容量成本。若 MONAKA 能将 3D 缓存、DDR5 与 CXL 的分工转化为实际性能，AI 处理器竞争将新增一项硬指标：高频数据能否以更低能耗驻留于计算核心附近。

【声明】内容源于网络

半导体产业报告

1234

内容 552

粉丝 1

半导体产业报告 1234

总阅读24.3k

粉丝1

内容552