AI算力追到内存墙，HBM开始改封装和RAS- 大数跨境

首页

AI算力追到内存墙，HBM开始改封装和RAS

半导体产业报告

2026-09-04

导读：GPU继续加速以后，AI系统会先撞上内存带宽，再把压力推给封装、散热和可靠性。

随着 GPU 算力持续爆发，AI 系统的瓶颈正从计算单元转移至内存带宽，进而对封装技术、散热能力及系统可靠性提出严峻挑战。

大模型扩展遵循“模型规模、数据量与训练算力同步增长”的朴素定律。当 GPU 算力增速超越内存供给能力时，参数、激活值及 KV Cache 等数据的即时馈送成为关键。美光在 Hot Chips 2026 上将 HBM 置于全链路视角审视，指出行业焦点已从单一存储堆栈性能，扩展至 GPU 封装、Die-to-Die（D2D）互联、热管理及可靠性（RAS）等系统工程问题。

01 | 算力斜率先把内存带宽甩开

AI 加速器算力曲线陡峭攀升。从 TPU v3、A100 至 B200、R200，算力侧年均增长率约为 3x/2yr，而 HBM 带宽侧仅为不到 2x/2yr。差距拉大导致芯片无法满负荷运行，算力因数据供应不足而在“内存墙”前排队等待。

HBM 因此演变为连接计算与存储的关键桥梁。其代际演进从 HBM2E、HBM3 迈向 HBM4、HBM4E 乃至 HBM5，旨在同步提升堆栈密度、带宽及能效（pJ/bit）。随着产品迭代，工艺设计需适配更大的硅面积与更密集的互联，GPU 亦将部分数据搬运与近端处理任务下放至内存侧。

02 | HBM 靠并行通道把带宽抬上去

HBM 提升带宽的核心策略在于增加 DRAM Die 堆叠层数，并通过大量短连接实现并行访问。相较于早期代际，HBM4 将通道数推至 32 个 Channel（64 个 Pseudo-Channel），Data I/O 数量从 1024 倍增为 2048，标称数据率提升至 11Gbps，单堆栈标称带宽达 2800GB/s。HBM 通过细化访问颗粒度并利用更宽的物理接口，实现了数据的高效传输。

架构层面，每个 DRAM Die 包含多个独立 Channel，并进一步拆分为两个 Pseudo-Channel，共享命令/地址总线但拥有独立数据总线。Base Die 负责主机与 DRAM 间的命令数据转接，通过 Microbump PHY 连接主机，利用 3D TSV PHY 连接 DRAM 堆栈。至 HBM4 世代，单 Die Bank 数从 HBM3E 的 128 个增至 256 个，I/O 数量亦从 1K 升级至 2K。

服务器 DDR 与 GPU HBM 的技术取舍对比鲜明：

8 通道 DDR5（4800MT/s，2x32bit 子通道）：理论带宽约 307GB/s，容量可达 1TB。
8 个 HBM3 堆栈（5.2Gbps，每堆栈 16 通道）：理论带宽高达 5.3TB/s，容量为 192GB。
HBM3E 以约 3 倍于 DDR5 的硅面积换取极致带宽，本质是用先进封装与制造复杂度换取性能。

03 | 带宽继续涨，封装先变成工程账

典型 AI 封装采用 SiP 方案，将 GPU/加速器与多个 HBM 堆栈集成于一体。单个封装接入 8 个 HBM4 实例，其中 12-high 堆栈引入了海量先进内存硅。虽然带宽靠近 GPU 缩短了板级距离，但也显著增加了封装内部的面积占用、良率控制、供电设计及散热压力。

随着 SiP 规模扩大，互联与基板技术亟需升级。CoWoS（Chip-on-Wafer-on-Substrate）承担核心集成任务，更大的中介层面积指向 CoWoS-L、CoWoS-R 及玻璃基板技术；高速链路侧需优化 IO 电路，引入针对内存优化的 SERDES D2D PHY，并将 CPO（共封装光学）纳入演进路径。HBM 越贴近 GPU，系统越需在封装层级解决原本属于板卡层面的工程难题。

04 | 堆栈变高以后，热和可靠性开始算总账

HBM 堆栈高度持续增加，DRAM Die 活动加剧，Base Die 需承载更多高级功能与高速 D2D 互联。热管理已从单点温度控制转变为整颗异构封装的系统性约束。由于焊料、TSV、侧面塑封料、DRAM Die 及 Base Die 材料各异，热膨胀系数（CTE）不匹配引发的热机械应力，使芯片封装相互作用（CPI）成为影响产品可靠性的关键变量。

RAS（可靠性、可用性、可服务性）设计也被前置到架构阶段。自 HBM3 起，HBM 提供两层 ECC 覆盖：系统级每 256bit 访问携带 16bit 元数据，支持 CRC 或 ECC 校验；片上 ECC 则采用基于符号的 Reed-Solomon 算法。随着 AI 模型参数与缓存规模激增，错误不再局限于单颗芯片，而是直接影响长时间训练与推理服务的吞吐稳定性。

先进封装路线正在拆解这一复杂方程。CoS、CoW、C2C/C2W 及 W2W 对应不同集成层级，Microbump、融合键合及混合键合技术持续提升 IO 密度。驱动因素已从单纯的 IO 密度与横向扩展，延伸至分区策略、热管理及电源分配网络（PDN）。唯有存储厂、GPU 厂与封装厂协同革新接口、堆叠与散热路径，HBM 方能持续将高带宽保留在 GPU 身旁。

结语 | HBM 把内存墙搬进封装里

HBM 并未彻底消除内存墙，而是通过缩短数据等待距离、拓宽带宽通道，将新的压力转移至 SiP 封装、D2D 链路、热设计及 RAS 体系。在 AI 系统持续扩展的背景下，GPU 能否减少数据等待时间，既取决于存储堆栈是否更密、更宽、更省电，也取决于封装技术能否将这些堆栈稳定地置于 GPU 之侧。

【声明】内容源于网络

半导体产业报告

1234

内容 595

粉丝 1

半导体产业报告 1234

总阅读31.8k

粉丝1

内容595