链接我,来知识星球newtype
英伟达不止做GPU等硬件,他们还做开源模型,以及模型路由工具。
那么问题就来了:既然模型公司都要购买他们的芯片,英伟达为什么还要亲自下场做模型,甚至把权重、数据和训练配方开放出来?
按逻辑推演,英伟达在这些动作的背后,有一个更大的判断:
未来的AI系统,不会只靠一个超级模型包办所有事情,而会越来越依赖不同模型之间的分工。
那些开源模型是个引子,英伟达想做的,不只是提供其中的模型,还包括支撑这套分工的基础设施。
最强模型,不一定适合所有任务
假设你正在搭建一个研究Agent。
它需要搜索资料、提取信息、去除重复内容、比较证据,最后形成报告。这些步骤的难度并不一样。
整理格式,通常不需要与复杂推理同等级的能力。但反过来,如果把关键的证据判断交给能力不足的模型,前面节省的费用,又可能变成后面的错误与返工。
因此,一个实用的AI系统,需要回答的不只是“哪个模型最强”,还有“这一步需要多强的模型”。
英伟达的Nemotron系列,就不只是面向通用聊天。它是为专业化Agent提供模型,并开放权重、数据与训练配方,让开发者可以继续定制和部署。企业不必从零训练一个前沿模型,也可以在已有能力上加工,构建适合自身任务的系统。
路由,让模型不必全面胜出也能获得机会
有了多个模型之后,新的问题又出现了:谁来决定每个任务交给谁?
这就是模型路由的价值。
NeMo Switchyard是英伟达面向Agent的开源模型路由库。它是一个嵌入式的决策层,开发者保留自己的模型客户端、凭证和服务,Switchyard只负责根据任务判断该交给哪个模型。它并不只面向英伟达自家模型,可以在不同来源的模型之间分配任务,权衡能力、成本和延迟,并支持开发者使用自己的路由方法。
仍以研究Agent为例:
明确、重复的处理步骤,可以尝试交给轻量模型;需要复杂判断的步骤,再调用更强的模型。具体如何分配,需要在真实任务上评估,而不是仅凭模型大小决定。
这种架构改变了模型进入应用的方式。
过去,企业可能会问:这个开放模型,能不能全面替代我正在使用的模型?
有了路由,更实际的问题变成了:它能否可靠地接走其中一部分任务?
一个模型即使不是综合能力最强,也可能凭借特定任务上的效果、速度和成本,获得稳定的使用机会。
所以,模型与路由放在一起,意义不只是省钱——它让专业模型、轻量模型更容易进入生产流程,也让开发者不必在一个模型上押下全部选择。
选对模型,还要把模型跑好
模型分工解决了“用谁”,但没有解决“怎么运行”。
同一个模型,在不同部署方式下,延迟、吞吐和资源利用率可能有明显差别。对于持续运行的Agent,这些差别会累积成实际成本。
Dynamo处理的,主要是这一层问题。
它是英伟达的开源分布式推理框架,位于vLLM、SGLang、TensorRT-LLM等推理引擎之上,负责请求调度、缓存管理,以及输入处理与输出生成环节的协调。其路由可以参考已有缓存的位置,减少重复计算。
这里有两种不同的路由:
模型路由决定,这个任务交给哪个模型。
推理路由决定,选定模型后,请求交给哪个运行实例。
例如,多个请求共享一段很长的上下文,如果某个实例已经保留了相关缓存,合理利用它,就可能避免每次都从头处理。
前者优化能力与价格的匹配,后者优化计算资源的使用。两者共同影响AI系统的经济性。
从开放模型,到生产基础设施
把这些布局放在一起,就能看到一条更完整的链条:
Nemotron提供可以继续加工的模型能力;
NeMo相关工具帮助开发者定制;
Switchyard在模型之间分配任务;
NIM降低部署门槛;
Dynamo支持大规模推理运行。
这不是一套必须全部购买、强制绑定的产品。开发者可以使用不同组件,Nemotron也支持vLLM、SGLang等开放推理框架。
但对英伟达而言,覆盖这些环节有一个潜在价值:
当开发者考虑的已经不只是买哪张卡,而是如何完成定制、部署、调度和运维,竞争就从芯片性能,延伸到了整套生产系统的效率。
其他云厂商和开源社区也在做路由与推理优化,但英伟达同时拥有芯片、软件栈和企业级支持。当企业需要把开放模型真正跑成稳定的生产系统时,这种组合让它更有机会成为默认的计算与软件底座。
英伟达不一定要从每个模型调用中直接收费。当更多企业开始部署自己的模型、运行自己的Agent,也可能扩大对其计算平台和软件工具的需求。
开放降低采用门槛,优化工具提高运行效率,商业支持再承接企业对稳定性与维护的要求。模型本身可以开放,围绕它的工程能力仍然具有商业价值。
更长期的生意
英伟达布局开源模型和路由的做法,与其在物理AI方面的布局,有一条相通的逻辑:
在物理AI领域,英伟达试图降低生成经验与仿真测试的门槛;
在数字AI领域,它试图降低模型定制、任务分配和推理运行的门槛。
两者都是在建设让AI持续工作的基础设施。
与OpenAI等模型厂商不同,英伟达想争取的位置,是让不同模型进入生产之后,都有机会使用它提供的计算与软件体系。
模型可以不断更换,组织和运行模型的基础设施,则可能成为更长期的生意。

