选择星标，干货咨询第一时间送达
NVIDIA Dynamo 提高了推理性能，同时降低了扩展测试时计算 (Scaling Test-Time Compute) 的成本；在 NVIDIA Blackwell 上的推理优化将 DeepSeek-R1 上的吞吐量提高了 30 倍
NVIDIA 今日发布了开源推理软件 NVIDIA Dynamo，旨在以高效率、低成本加速并扩展 AI 工厂中的 AI 推理模型。
作为 NVIDIA Triton™ 推理服务器的后续产品，NVIDIA Dynamo 是一款全新的 AI 推理服务软件，旨在为部署推理 AI 模型的 AI 工厂最大化其 token 收益。它协调并加速数千个 GPU 之间的推理通信，并使用分离服务将大语言模型 (LLM) 的处理阶段和生成阶段在不同 GPU 上分离开来。这使得每个阶段的特定需求可以进行单独优化，并确保更大程度地利用 GPU 资源。
NVIDIA Dynamo 完全开源并支持 PyTorch、SGLang、NVIDIA TensorRT™-LLM 和 vLLM，使企业、初创公司和研究人员能够开发和优化在分离推理时部署 AI 模型的方法。
“全世界各行业都在训练 AI 模型以不同的方式进行思考和学习，从而使模型复杂度持续升级。” NVIDIA 创始人兼首席执行官黄仁勋表示，“为了实现自定义推理 AI 的未来，NVIDIA Dynamo 可以在这些模型上进行规模化部署，从而为 AI 工厂实现降本增效”。
扫描上方二维码
查看发布详情
点击“阅读原文”或扫描下方海报二维码，观看 NVIDIA CEO 黄仁勋主题演讲回放，了解代理式 AI、机器人、加速计算等领域的发展趋势，与我们一起探索 AI 的未来！
扫描二维码
联系客服
获取更多资讯
上海丽蟾科技，作为NVIDIA的首批云合作伙伴（NVIDIA Cloud Partner），致力于打造领先的 GPU 架构智能计算解决方案，包括智算云服务和智算中心 AI 基础设施建设及用户赋能。