英伟达携手Groq发布异构架构,推理性能提升35倍
英伟达于2025年12月斥资200亿美元获得Groq推理技术授权,并在GTC 2026大会上正式发布基于该技术的Groq 3语言处理单元(LPU)。该产品与英伟达Rubin GPU组成异构计算架构,分别承担AI推理管道中的不同阶段任务。
LPU专为令牌生成优化,内存带宽优势显著
Groq 3 LPU提供每秒150TB的内存带宽,远超Rubin GPU的每秒22TB。这一特性使其精准适配AI推理中的令牌生成环节,有效解决该阶段内存速度而非算力成为瓶颈的问题。
黄仁勋展望万亿美元市场,建议LPU部署占比25%
英伟达CEO黄仁勋预测,到2027年Blackwell和Vera Rubin系统订单规模将达1万亿美元。他表示,GPU加LPU的组合架构在解码密集型负载下,每兆瓦推理吞吐量较纯GPU方案提升高达35倍。同时公司建议,LPU在数据中心总容量中的配置比例应控制在25%左右。

