大数跨境

英伟达为什么也在做开源模型?从模型到路由的另一盘棋

英伟达为什么也在做开源模型?从模型到路由的另一盘棋 newtype AI
2026-11-09
1
导读:与OpenAI等模型厂商不同,英伟达想争取的位置,是让不同模型进入生产之后,都有机会使用它提供的计算与软件体系。

链接我,来知识星球newtype


英伟达不止做GPU等硬件,他们还做开源模型,以及模型路由工具。


那么问题就来了:既然模型公司都要购买他们的芯片,英伟达为什么还要亲自下场做模型,甚至把权重、数据和训练配方开放出来?


按逻辑推演,英伟达在这些动作的背后,有一个更大的判断:


未来的AI系统,不会只靠一个超级模型包办所有事情,而会越来越依赖不同模型之间的分工。


那些开源模型是个引子,英伟达想做的,不只是提供其中的模型,还包括支撑这套分工的基础设施。



最强模型,不一定适合所有任务


假设你正在搭建一个研究Agent。


它需要搜索资料、提取信息、去除重复内容、比较证据,最后形成报告。这些步骤的难度并不一样。


整理格式,通常不需要与复杂推理同等级的能力。但反过来,如果把关键的证据判断交给能力不足的模型,前面节省的费用,又可能变成后面的错误与返工。


因此,一个实用的AI系统,需要回答的不只是“哪个模型最强”,还有“这一步需要多强的模型”。


英伟达的Nemotron系列,就不只是面向通用聊天。它是为专业化Agent提供模型,并开放权重、数据与训练配方,让开发者可以继续定制和部署。企业不必从零训练一个前沿模型,也可以在已有能力上加工,构建适合自身任务的系统。


路由,让模型不必全面胜出也能获得机会


有了多个模型之后,新的问题又出现了:谁来决定每个任务交给谁?


这就是模型路由的价值。


NeMo Switchyard是英伟达面向Agent的开源模型路由库。它是一个嵌入式的决策层,开发者保留自己的模型客户端、凭证和服务,Switchyard只负责根据任务判断该交给哪个模型。它并不只面向英伟达自家模型,可以在不同来源的模型之间分配任务,权衡能力、成本和延迟,并支持开发者使用自己的路由方法。


仍以研究Agent为例:


明确、重复的处理步骤,可以尝试交给轻量模型;需要复杂判断的步骤,再调用更强的模型。具体如何分配,需要在真实任务上评估,而不是仅凭模型大小决定。


这种架构改变了模型进入应用的方式。


过去,企业可能会问:这个开放模型,能不能全面替代我正在使用的模型?


有了路由,更实际的问题变成了:它能否可靠地接走其中一部分任务?


一个模型即使不是综合能力最强,也可能凭借特定任务上的效果、速度和成本,获得稳定的使用机会。


所以,模型与路由放在一起,意义不只是省钱——它让专业模型、轻量模型更容易进入生产流程,也让开发者不必在一个模型上押下全部选择。


选对模型,还要把模型跑好


模型分工解决了“用谁”,但没有解决“怎么运行”。


同一个模型,在不同部署方式下,延迟、吞吐和资源利用率可能有明显差别。对于持续运行的Agent,这些差别会累积成实际成本。


Dynamo处理的,主要是这一层问题。


它是英伟达的开源分布式推理框架,位于vLLM、SGLang、TensorRT-LLM等推理引擎之上,负责请求调度、缓存管理,以及输入处理与输出生成环节的协调。其路由可以参考已有缓存的位置,减少重复计算。


这里有两种不同的路由:


模型路由决定,这个任务交给哪个模型。


推理路由决定,选定模型后,请求交给哪个运行实例。


例如,多个请求共享一段很长的上下文,如果某个实例已经保留了相关缓存,合理利用它,就可能避免每次都从头处理。


前者优化能力与价格的匹配,后者优化计算资源的使用。两者共同影响AI系统的经济性。


从开放模型,到生产基础设施


把这些布局放在一起,就能看到一条更完整的链条:


Nemotron提供可以继续加工的模型能力;


NeMo相关工具帮助开发者定制;


Switchyard在模型之间分配任务;


NIM降低部署门槛;


Dynamo支持大规模推理运行。


这不是一套必须全部购买、强制绑定的产品。开发者可以使用不同组件,Nemotron也支持vLLM、SGLang等开放推理框架。


但对英伟达而言,覆盖这些环节有一个潜在价值:


当开发者考虑的已经不只是买哪张卡,而是如何完成定制、部署、调度和运维,竞争就从芯片性能,延伸到了整套生产系统的效率。


其他云厂商和开源社区也在做路由与推理优化,但英伟达同时拥有芯片、软件栈和企业级支持。当企业需要把开放模型真正跑成稳定的生产系统时,这种组合让它更有机会成为默认的计算与软件底座。


英伟达不一定要从每个模型调用中直接收费。当更多企业开始部署自己的模型、运行自己的Agent,也可能扩大对其计算平台和软件工具的需求。


开放降低采用门槛,优化工具提高运行效率,商业支持再承接企业对稳定性与维护的要求。模型本身可以开放,围绕它的工程能力仍然具有商业价值。


更长期的生意


英伟达布局开源模型和路由的做法,与其在物理AI方面的布局,有一条相通的逻辑:


在物理AI领域,英伟达试图降低生成经验与仿真测试的门槛;


在数字AI领域,它试图降低模型定制、任务分配和推理运行的门槛。


两者都是在建设让AI持续工作的基础设施。


与OpenAI等模型厂商不同,英伟达想争取的位置,是让不同模型进入生产之后,都有机会使用它提供的计算与软件体系。


模型可以不断更换,组织和运行模型的基础设施,则可能成为更长期的生意。



【声明】内容源于网络
0
0
newtype AI
分享关于AI的Why和How。
内容 209
粉丝 0
newtype AI 分享关于AI的Why和How。
总阅读4.2k
粉丝0
内容209