2009年,比尔·达利加入英伟达研究实验室时,该团队仅有十余人,专注于光线追踪渲染技术。如今,实验室已扩充至400多人,助力英伟达从GPU初创公司转型为市值4万亿美元的AI巨头。
当前,研究实验室聚焦于支撑机器人技术与人工智能的核心基础设施。周一,公司发布了全新的世界AI模型、库及面向机器人开发者的配套工具。
作为首席科学家,达利自2003年起便为英伟达提供咨询。在他计划辞去斯坦福大学计算机科学系主任职务休学术假时,时任研究实验室负责人大卫·柯克与CEO黄仁勋进行了“全方位游说”,最终说服他全职加入。
达利表示:“这契合我的兴趣与才能。我认为每个人都在寻找能为世界做出最大贡献的位置,对我而言,那无疑是英伟达。”
2009年接管实验室后,扩张成为首要任务。研究范围迅速从光线追踪拓展至电路设计与VLSI(超大规模集成电路)等领域。此后,实验室持续探索能为公司带来最大积极影响的新方向。
早在2010年,英伟达便前瞻性地布局AI GPU概念。达利回忆道:“我们认定这将改变世界,必须加倍投入。黄仁勋对此深信不疑。我们随即针对AI优化GPU,开发配套软件,并与全球学者建立联系,远早于AI热潮爆发之前。”
聚焦物理AI
在确立AI GPU市场主导地位后,英伟达将目光投向物理AI与机器人技术,旨在为全球机器人打造“大脑”。
这一战略由AI研究副总裁Sanja Fidler推动。Fidler于2018年加入英伟达,此前她在MIT带领学生团队研究机器人仿真模型。在一次招待会上,她向黄仁勋展示了研究成果并引起其浓厚兴趣。
Fidler表示:“Jensen告诉我‘来和我一起工作’,这种文化高度匹配让我无法抗拒。”加入后,她在多伦多建立了Omniverse研究实验室,专注于构建物理AI仿真环境。
Fidler指出,构建仿真世界的首要挑战是获取3D数据。为此,团队投资了“可微渲染”技术,使渲染过程能够适配AI,实现从图像反向生成3D模型的逆向流程。
世界模型
Omniverse于2021年发布GANverse3D,实现了图像到3D模型的转换;随后利用神经重建引擎处理视频数据,创建了基于机器人和自动驾驶视频的3D仿真环境。这些技术构成了今年1月CES上公布的Cosmos系列世界AI模型的基础。
目前,实验室正致力于提升模型运行速度。Fidler强调,机器人无需以人类速度观察世界,若能快100倍响应,将在物理AI应用中发挥巨大作用。
在周一的SIGGRAPH大会上,英伟达宣布推出新一批世界AI模型,用于生成训练机器人的合成数据,并发布面向开发者的新库与基础设施软件。
尽管进展显著,研究团队仍保持务实。Dally与Fidler均认为,人形机器人进入家庭至少还需数年,这与自动驾驶汽车的发展历程类似。
Dally表示:“AI是推动力。从视觉感知到生成式AI的任务规划与运动控制,随着具体问题被逐一解决及训练数据增长,机器人也将不断进化。”

