苹果携手英伟达加速大模型推理
苹果与英伟达宣布合作，旨在提升大型语言模型（LLM）的运行效率。双方将名为 Recurrent Drafter (ReDrafter) 的方法集成至英伟达 TensorRT-LLM 基础设施 中，以显著加速文本生成过程。
核心技术突破：束搜索与动态树注意力
ReDrafter 融合了“束搜索”和“动态树注意力”技术，相比以往方案大幅提升了生成速度。测试表明，该方法使开源模型每步生成的令牌数量增加 3.5 倍。
通过新增或优化算子，苹果使 TensorRT-LLM 系统能够支持更复杂的模型架构。实测数据显示，在英伟达 GPU 上运行数十亿参数模型时，Token 生成速度提升了 2.7 倍。
使用 ReDrafter 对抗自动回归的 NVIDIA TensorRT-LLM 每秒 token 速度
降低延迟与能耗，赋能开发者生态
此次技术升级不仅有效减少了用户端延迟，还同步降低了能耗与 GPU 占用率。苹果与英伟达致力于构建更快速、强大且高效的底层架构，为机器学习社区及全行业开发者提供更广阔的创新空间。