随着NVIDIA GTC 2026大会临近，市场焦点已从单纯的算力堆叠转向系统级瓶颈的突破。资深半导体技术投资人Ben Pouladian近期在其播客发布博文指出，AI推理的实质性瓶颈已由算力彻底转向内存带宽。本文基于博文的核心逻辑，梳理了英伟达可能采取的三大技术路径：3D SRAM堆叠、背面供电网络（BSPDN）以及确定性编译器架构（英伟达获Groq授权及团队的价值体现），及探讨了这些技术如何重新定义数据中心推理的经济模型。为了便于理解，本文补充了一些背景。
一、内存堆叠
Ben 认为英伟达在下一代的架构中不会去挑战SRAM微缩的物理极限，而是绕过它。其计划是：在独立的、更便宜的工艺节点上，使用混合键合（hybrid bonding）技术来实现3D堆叠SRAM——这与AMD在3D V-Cache中证明的原理相同，但英伟达将其应用到了数据中心规模的AI推理中。
AMD的3D V-Cache技术：随着CPU核心数增加，传统的二维平面布局限制了L3缓存的容量，AMD研发了3D V-Cache，利用垂直空间增加缓存，而不是仅仅把芯片做大。AMD利用台积电的SoIC技术，将SRAM Die垂直堆叠在Zen 3/4/5架构的CCD上，缓存与CPU核心之间通过硅穿孔（TSV）进行通信，连接密度极高，保证了低延迟和高带宽。额外的64MB/96MB L3缓存与原本的L3缓存组合，总缓存容量高达几百兆（如768MB或更多），使得核心能更快速地访问常用数据。
Ben 还表示经济性的收敛速度超乎所有人的模型预测。在AI计算架构的演进中，片上SRAM与外部HBM之间的单位存储成本差距正在以远超行业预测的速度收敛。2024年初，行业资深架构师Raja Koduri曾指出，SRAM的比特成本约为DRAM的8倍，这一溢价水平曾是制约超大规模片上缓存设计的主要经济障碍。然而，由于HBM3e/HBM4制程复杂性（如TSV穿孔工艺、12/16层堆叠良率损耗）导致的终端价格飙升，加之3D混合键合技术实现了SRAM在成熟工艺节点上的独立制造与异构集成，两者的成本比率在半年内迅速击穿了5:1的架构决策临界点，并于近期逼近2:1。这种经济性的剧变，正迫使设计者重新评估“以片上高带宽缓存取代部分外部显存”的可行性。
背面供电
单纯实现存储介质的物理堆叠不足以解决高算力芯片的互连瓶颈，其核心挑战在于布线资源的拓扑冲突。在传统的集成电路结构中，供电网络（PDN）与信号传输网络（Signal Routing）共同占用晶圆正面的金属层（BEOL）。当引入高密度混合键合（Hybrid Bonding）进行3D SRAM堆叠时，垂直互连所需的庞大微型通道（TSV/Bonding Pads）与负责高电流输送的粗重电源走线在有限的空间内产生剧烈的布线拥塞（Routing Congestion）。
台积电在A16工艺节点引入的超级电轨（Super Power Rail）技术，通过将供电网络彻底迁移至晶圆背面（Backside Power Delivery），实现了电源与信号走线的物理物理层解耦。这一架构变革释放了正面极高比例的布线空间，使得高密度的混合键合点能够无障碍布设，从而扫清了3D SRAM堆叠的物理障碍。英伟达选择跳过缺乏完整背面供电支持的基准N2（2nm）节点，直奔A16，反映了其架构重心已从单纯的“晶体管缩放”转向“空间互连优化”，这是实现下一代大容量、低延迟片上存储架构的绝对先决条件。
台积电 A16(1.6nm)：台积电的基础N2工艺虽然引入了GAA（全环绕栅极晶体管）来提升密度，但在供电架构上仍相对保守。对于普通CPU可能足够，但对于追求极限SRAM带宽的AI GPU来说，N2仍然无法解决“正面布线拥塞”的问题。A16不仅仅是线宽变细了，它最重要的特征是集成了超级电轨（Super Power Rail）。
编译器
高性能推理架构的成败，取决于编译器在异构存储层级（SRAM 速度层、HBM 容量层与系统内存缓冲层）之间调度数据流动的效率。若缺乏高效调度，单纯的存储堆叠仅能提供带宽上限而非系统性能。Groq 的 LPU 架构通过静态全图调度技术，在 Llama 3.3 70B 任务中实现了 3~5 倍于传统架构的推理速度。该技术的核心在于将硬件层面的动态仲裁转化为软件层面的确定性执行计划，在时钟周期级别消除了内存访问停滞与缓存命中失效。
英伟达以 200 亿美元代价获取 Groq 的技术授权及核心人才团队，可以为其未来的异构计算芯片植入推理优化的软件基因。 AI 芯片的竞争已从单纯的晶体管密度和片上存储容量，演进到对复杂数据流进行空间与时间维度精确编排的编译器层级。
Ben表示Groq对英伟达的价值可能与当年的Mellanox一样重要。Mellanox为英伟达提供了网络结构，将单个GPU变为了数据中心规模的计算平台；而Groq的IP将赋予英伟达编译器智能，把HBM、堆叠SRAM和系统内存构成的异构堆栈，转化为一个统一的、软件调度的内存平台。有了它，堆叠内存架构才不会“快而无脑”。这就是“卖芯片”与“卖推理基础设施”的本质区别。
同时期关注
Taalas与推理领域的极端尝试，揭示了推理瓶颈已严重到了何种地步。本周，多伦多初创公司Taalas结束隐匿模式，宣布获得2.19亿美元融资并提出了一个极其震撼的声明：在Llama 3.1 8B模型上实现每秒17000个Token。比现有的GPU解决方案快10倍。没有HBM，没有液冷，没有高级封装。仅仅是将模型权重直接物理蚀刻到了台积电6nm芯片的最后两层金属层中。社交媒体立刻开始炒作“英伟达已死”。
Taalas其实是Groq理念被推向逻辑极端的产物，它继承了Groq所有的局限性并增加了新的死穴。模型在硅片中被彻底固化，无法更新权重；其单芯片（接近掩模版极限大小约815mm²）仅能容纳8B参数，若是运行前沿大模型则需要庞大到恐怖的芯片集群。
但它的存在证明了极其重要的一点：风投愿意向特定推理硅片砸入2.19亿美元，证实了“推理瓶颈”不仅真实存在，而且足够痛苦。推理延迟和成本问题并非理论，它正在切实驱动庞大的资本配置。而英伟达给出的答案（Groq的编译器DNA + 灵活的异构内存架构 + 堆叠SRAM/HBM + 背面供电）旨在捕获同样的性能收益，同时保留Taalas所牺牲的通用性。
GTC核心看点
GTC 的核心看点在于Nvidia未来GPU的物理结构与软件调度的一致性转型：NVIDIA 计划通过台积电 A16 节点的“背面供电（Super Power Rail）”技术彻底释放正面布线空间，从而利用高密度混合键合在计算核心上垂直集成 3D 堆叠 SRAM，以应对 SRAM 与 HBM 比特成本收敛至 2:1 的经济新常态。而实现这一异构存储架构落地的核心“变速箱”，则是 NVIDIA 通过获取 Groq 技术授权及核心团队所引入的确定性编译器基因——通过静态全图调度（Whole-graph Scheduling）在时钟周期级别精确编排数据在 SRAM、HBM 与系统内存间的流动，从而消除内存停滞，将硬件层面的空间潜力转化为推理侧的极限吞吐性能。