AI芯片的性能扩张正面临新瓶颈:制约因素已从晶体管数量转向信号传输、功率交付与热量管理。
过去十年,单芯片推理性能提升约1000倍,但模型规模的扩大促使GPU、HBM和网络设备整合为系统级算力。随着算力规模攀升,决定有效性能的关键要素已向互连能耗、供电路径、瞬时功率及散热结构转移。英伟达电路研究负责人Tom Gray在ISSCC论坛上指出,当前技术演进呈现两条相互促进的路线:模拟与混合信号技术支撑AI系统扩展,而AI工具则反向加速模拟电路设计。
AI系统的“靠近”与“分离”悖论
GPU内部通信因距离短而具备高连接密度、低延迟和高能效优势,因此芯片设计趋向于逼近光罩尺寸上限,并通过先进封装增加协同工作的芯粒数量。然而,芯片间距缩小导致单位面积功率密度激增,使供电和散热面临严峻挑战。
图1|芯片靠近有利于带宽和能效,系统分离则有利于降低功率密度与冷却压力。
互连核心:优化每比特数据的传输距离
AI系统涵盖芯片内部、芯粒间、GPU与HBM间、PCB器件间、机架内及数据中心跨机架等六类连接距离。不同距离和介质下,传输每比特数据所需的能量、带宽密度及延迟差异显著。
图2|AI系统的连接从芯片内部一直延伸到整个数据中心,不同距离需要不同技术。
图3|连接距离缩短后,每比特能耗可以从pJ级下降到数十至数百fJ级。
3D堆叠技术将芯粒间连接间距从55微米微凸点缩小至9微米键合间距,引脚密度提升37倍。即便单个连接速率较低,总带宽仍可提升4.5至12倍。这种“多路、短距、低速”的连接策略替代了少量高速长距通道,有效降低了单链路能耗。
图4|键合间距由55微米缩至9微米后,更多低速短连接可以共同提供更高带宽。
百千瓦机架下的供电挑战
包含72颗GPU和36颗CPU的AI机架功率已超100kW,涉及18个计算托盘和10个交换托盘。电力需经电源架、母线、板级转换器及封装网络最终抵达GPU。数据显示,1kW功率落在约800平方毫米的GPU面积上,平均功率密度超1W/mm²,局部互连区域甚至超过3W/mm²。
图5|超过100kW的AI机架需要同时处理计算托盘、交换托盘、母线和多级电源转换。
此外,供电系统需应对训练负载的快速波动。GPU在计算与通信同步阶段交替运行,产生陡峭的电流峰值。若上游电源完全跟随变化,需预留更大容量以应对短时峰值。引入主动功率缓冲器可将储能和双向转换置于负载附近,实验显示其能将中间总线转换器的峰值输入电流降低约一半,减轻上游压力。
图6|主动功率缓冲器在负载附近吸收功率波动,实验中把峰值输入电流降低约一半。
另一种方案是将稳压模块移至GPU下方以缩短高电流路径。展示中的垂直供电模块厚度约3毫米,6V输入下峰值效率达89%。这也带来了新的工程约束:供电模块越靠近芯片,越需统筹设计电感高度、饱和能力、直流电阻以及与冷板的机械空间。
3D堆叠引发的封装级散热变革
液冷虽能降低机架级冷却开销(如GB200 NVL72案例中冷却功率减半),但在3D封装中,仅靠顶部冷板已不足够。上层存储、逻辑芯片、键合层及绝缘材料形成的热阻阻碍了热量从堆叠内部向外传导。
封装级热流仿真显示,在逻辑芯片与存储堆叠两侧布置微流道,可将峰值热阻降低约三分之一,最高结温从134.3℃降至91.4℃。这表明冷却通道需深入封装内部,芯片布局也需为流体和热传导预留空间。
图7|封装级仿真显示,双面微流体冷却可把3D系统的峰值热阻降低约三分之一。
存储也是热设计的关键环节。DRAM的后端互连层、存储单元和绝缘层贡献了约40%的热阻,且对金属通孔密度和位置敏感。随着堆叠密度增加,布线、供电和散热必须由多团队协同设计,而非后期补救。
未来封装:多学科共同设计的系统
未来的密集3D模块将集成多层GPU、细粒度3D DRAM、硅光互连、垂直供电、先进基板及冷板。短距信号采用高密度电互连,长距信号交由光互连;供电从垂直方向贴近计算芯片,冷却则从顶部或内部导出热量。
图8|未来3D模块需要把计算、内存、光互连、垂直供电和冷却放进同一套封装设计。
这并非单一定型产品,而是架构演进方向。制程缩小虽重要,但系统扩展要求封装、光电互连、内存、供电与热设计同步推进。任何环节的短板都可能导致晶体管增加带来的收益被数据等待、供电损耗或降频所抵消。
AI赋能模拟电路设计
对于模拟计算,报告持谨慎态度。尽管模拟阵列在特定任务中能减少数据搬运,但仍受限于精度、面积效率、数模/模数转换开销及灵活性,更适合边界清晰、容错率高的专用场景,难以替代通用数字计算。
图9|模拟计算更适合专用场景,精度、转换开销和灵活性仍限制其通用性。
更现实的变化是AI介入电路设计流程:利用模型预测寄生参数和时序,优化器搜索尺寸与布局,GPU加速仿真,智能体负责报告查询、差异定位及脚本生成。案例显示,相比人工方案,AI辅助的自动布局可使面积减少约21%,线长减少约20%。
图10|AI已经进入布局优化、仿真、设计审查和硅后分析等电路开发环节。
AI助手主要解决规模问题。面对数千张时序分析表和百万行网表,智能体可完成检索、比较、根因归纳和脚本生成,工程师只需判断约束合理性和结果签核。AI并未取代电路知识,而是将工程师从重复性搜索中解放出来。
结语:模拟技术回归系统中心
AI算力的下一阶段将继续增加晶体管和GPU数量,但有效性能愈发取决于数据移动、电流送达和热量排出这三个物理过程。模拟与混合信号电路正是这些接口工作的承担者。随着设计对象复杂化,AI预测、优化和智能体开始融入模拟电路开发。这两条路线共同指向一个目标:确保大规模芯片系统在供电、连接和冷却可行的前提下,能在可接受的时间内完成设计。

