大数跨境

深度|Latent Space对谈Dyna联创:行业太爱做demo了,机器人该拼真实部署

深度|Latent Space对谈Dyna联创:行业太爱做demo了,机器人该拼真实部署 象信AI
2026-10-17
10
导读:Dyna 联创 Jason Ma 详谈世界动作模型 Dyna-2:一百万小时人类视频预训练、扩散变换器架构、轮式半人形硬件取舍,以及为什么机器人行业的下一个战场是真实部署而不是 demo。

大语言模型靠互联网上的文本就能训练出来,但机器人没有这样的互联网可用。当各家都在晒更聪明的模型时,一个更基本的问题摆在面前:机器人到底什么时候能真正走进客户现场,连续干好几个小时的活?

在这场访谈中,Dyna 联合创始人 Jason 讲了他们的做法:用超过一百万小时的第一视角人类视频预训练世界动作模型 Dyna-2,再配合少量机器人数据微调;他们展示的洗衣流程,机器人能连续跑完约一个小时。而真正拉开差距的,是把机器人铺进真实门店——鼎泰丰每天由他们的机器人折几千张餐巾。

Jason 在哈佛读 CS 与数学,宾大 GRASP 实验室博士(CIS '25),Eureka 项目第一作者,曾在 NVIDIA、Google DeepMind、Meta AI 做研究,2024 年底与 Lindon Gao、York Yang 创办 Dyna。这场对话从世界动作模型的输入输出和架构,延伸到数据战略、硬件取舍、真实部署和行业格局。他的主要观点包括:

世界动作模型先预测未来视频,再产出动作。 Dyna-2 是第一个用超一百万小时数据训练的世界动作模型。输入是视频、关节编码器和语言指令,输出除了动作还有未来视频——先在视觉和物理空间里推理,再执行动作,模型因此更灵巧、更鲁棒、泛化更强。

扩散变换器是机器人基础模型的底层架构。 Dyna-2 底层是 encoder-only 的扩散变换器:transformer 负责吃下最多的数据,diffusion 把动作打磨到足够平滑精确。Swyx 提到 flow matching 能把四五十步扩散压到四步,Jason 确认它是 diffusion 更好调的特例,两三年前图像视频领域已基本转向它。

数据质量是非平稳问题,没有单一制胜策略。 机器人没有互联网可用,任何公司自采的数据量都远远不够。配方是用第一视角人类数据建立强先验,再叠加一小部分机器人数据精通具体任务;什么算高质量数据会随时间变化,人类数据覆盖认知,机器人数据覆盖低层反射和灵巧性。

硬件有多难被严重低估了。 他认为美国至今没有一家公司真正做到所有东西从零开始本土制造,原材料仍要从世界其他地方采购。作为全栈公司才体会到供应链有多长;眼下讨论集中在基础模型数据上,但做好硬件的难度被严重低估,未来会极其重要。

轮式半人形是为了实用性与性能的平衡。 这台半人形机器人上半身是人形的,腰部有四个自由度,下半身是轮子。用腿能耗高很多、稳定性差、安全上极难保证,现在的双足机器人没法保证全程站得稳。躯干的自由度也刻意保留,因为人时刻都在动躯干,形态做不到就会让迁移打折扣。

真正的价值在无人监督、连续跑几小时的任务。 在世界动作模型外面要套一层代理式外壳,处理高层决策:洗衣机在转就先去做别的,洗好了马上取毛巾。这跟语言模型从自动补全走向端到端 agent 很像。机器人是系统问题:好的 agent、外壳、模型、硬件什么都得有。

苦教训是算法保持简单,把正确类型的数据堆上去。 机器人也会像其他领域一样靠规模取胜,但没有互联网,你得自己搞硬件、选传感器才能堆量。现在不少工作往模型里塞非常具体的先验,他认为恰恰相反:保持简单,把正确数据堆上去,更好的行为自己会涌现出来。

模型叫什么不重要,关键是想清楚它要预测什么。 给模型起名字不如从第一性原理讲清它要干什么。VLA 只预测机器人动作或抽象表征,一旦预测抽象表征就把偏见编码进去了;最彻底的做法是尽可能多地预测世界,拿相机原始输入全预测出来。

世界动作模型:输入输出与架构


世界动作模型:输入输出与架构

Vibhu:太开心了。我们看到了很多素材,一会儿正片里会有不少:机器人拉饮料、跑各种评测,还有第一次见到机器人拿刀。这些背后都是一个世界动作模型在驱动。它到底是什么?

Jason:上个月我们发布了世界动作模型 Dyna-2,它是第一个用超过一百万小时数据训练出来的世界动作模型。先回答你的问题:世界动作模型是能预测未来视频、也就是预测世界接下来会怎么变的模型,所以叫 world model。但除此之外,你还可以用它生成的未来画面去产出动作,让机器人在物理世界里执行、去控制机器人。为什么要这么做?因为这是一个非常强的架构。你想想人类在物理世界里是怎么行动的,我们脑子里其实一直在隐式地推演:我这么做之后世界会变成什么样。现在我们有了一个能这么做的模型架构,用它来指导机器人的动作。我们发现这样做之后,模型灵巧得多、鲁棒得多,泛化能力也强得多,能应对从没见过的环境和场景。

Vibhu:这个问题我想多追问一点。我觉得很多人一听 world model,就以为你输出的是视频、世界状态或者三维状态,结果你还做动作。大多数人其实不了解机器人底下是什么模型。那输入输出是什么?训练数据是什么?架构是什么?把细节都讲讲。

Jason:输入的话,最重要的就是视频。你可以理解成机器人用摄像头拍下来的画面,过去很多秒的视频或图像,这就是输入。但对机器人来说特别有意思的一点是,它身上有很多执行器和关节编码器,所以机器人知道每个关节的角度,这些也可以作为世界模型的输入。这就跟只看视频的纯视觉模型很不一样了。另外,对机器人你肯定想跟它说话、给它下指令让它做不同的任务,所以语言指令也是输入之一。我认为这就是所有机器人模型、包括世界动作模型的基本输入集合。

输出的话,最基本的层面是要输出机器人能在硬件上执行的动作。而世界动作模型真正有意思的地方在于,除了动作,它还能输出未来的视频。基本上你可以先输出未来视频或者它的某种表示,再用它来指导机器人动作。我的理解是这有点像 chain of thought,模型先在视觉和物理空间里做推理,然后才输出动作。这就是世界动作模型的输出和其他机器人模型输出的关键区别。

Vibhu:你们围绕这个模型发了篇不错的博客。我觉得很多人懂语言模型、懂 transformer,就是下一个 token 预测器。这次你们分享了很多细节:有 diffusion、flow matching,你们是在预测下一个世界状态加动作。你们还提到一百万小时。那架构是怎么定的?有哪些选择?架构到底是什么?我感觉语言模型这边很多东西是现成的:拿几万亿 token 做预测,再 SFT、再 RL,就有模型了。这边呢?你怎么从零做到你的模型?有没有现成的基础架构可以直接用?现在是什么状态?

Jason:嗯,是的。我觉得思考怎么给机器人建模型,框架上主要看两件事:一是数据,二是怎么让模型从这些数据里学到最多。那我们先说模型本身。我们发的那篇博客讲的是 Dyna-2 世界动作模型,它底层是一个扩散变换器,用的是 encoder-only 的 transformer 架构。

但真正有意思的是,在视觉领域,不管是生成图像、生成视频,还是像这里机器人看图生成动作,大家发现 diffusion 这类架构效果都非常好。什么是扩散模型?就是一个从随机噪声出发,通过迭代计算,把噪声变成高维度、定义精细、特征细粒度内容的模型。你想生成图像,就要锐利的边缘、清晰的棱角、鲜明的色彩对比。机器人虽然不生成图像,但它生成的动作必须非常精确、非常平滑,考虑的东西其实是一样的。所以从第一性原理出发,整个领域,不只是我们,都在用这种扩散变换器架构来训练机器人基础模型。你需要 transformer 这部分,因为 transformer 能吃下最多的数据、学得动;然后 diffusion 帮你把结果打磨到足够平滑、精确、细粒度,这样才能真正在机器人上执行。我们最近很多突破背后的架构就是这个。

Swyx:我们之前在节目里聊过 flow matching,流匹配。它主要是个效率上的加速。比如正常要四五十步甚至上百步扩散,它能压到四步。

Jason:对,没错。扩散模型在实际中很难的一点是你得调 scheduler,就是初始噪声一步步转成最终输出的那个过程要怎么调。flow matching 算是 diffusion 的一个特例,把变换做得简单多了。实际用起来不用调那么多,效果一样好。所以我感觉两三年前,图像和视频的生成建模基本就从 diffusion 转向 flow matching 了。但概念是一样的,flow matching 就是 diffusion 一个更简单、更好调的变体。

Swyx:确实让我想到这一点。flow matching 在质量上当然有取舍。但它特别适合动作扩散和机器人,因为你可以在实时里反复评估。而图像那边基本就是一锤子买卖。

Vibhu:这点挺好玩的。我们还玩了那个叠衣服的机器人,随便扔一条毛巾进去,模型能适应,对吧?我觉得你们模型的一个关键是它们被做成通才:一个基础模型,然后大量适配。这是怎么运作的?基本上用四十五分钟的映射数据就能泛化到很多任务。我们看了一个从冰箱里拉饮料的例子。一个通用模型是什么思路,然后怎么适配到不同任务?

Jason:我们的想法是,机器人需要一个非常通用、很强的基础模型,然后再往上走。你想想人类在物理世界里是怎么行为的,我们有非常强的基础知识,很多任务直接就会做。但如果你想成为某个任务的专家,总得经过一些训练。我觉得要训练一台像我们正在造的这种通用机器人,同样的原则适用。所以我们的做法是先训一个通用模型,用我们能找到的尽可能多的数据。这也是为什么在 Dyna-2 报告里,我们的模型起点是用超过一百万小时的人类数据训练的。在这个强基础上,我们发现只要极少量的微调,告诉模型这是你要做的任务,给你很少的示范,模型就能很快学会很多任务,就像你在办公室里看到的那些。

Swyx:我们观众里其实有不少做数据的、卖数据的。什么是好数据?什么是坏数据?你想买什么?我觉得这些都是开放问题。显然我觉得最重要的一条是人类做任务的第一视角数据。这个基本判断之外,你还会补充什么?

Jason:我觉得数据是今天机器人领域最重要的东西,因为跟语言模型不一样,机器人没有互联网可用。所以每家公司,不管做模型还是做硬件,都得认真想数据这件事。大致上有几种打法,一种就是自己收集大量数据,我们也在这么做。

办公室里到处都是机器人,对吧?但你要想想,一个机器人基础模型到底需要多少数据。我觉得任何一家公司靠自己能采到的数据量,都远远不够。这就好比你光靠 Reddit 或者光靠 Facebook 就想建一个互联网,这两个网站确实很好、用户也很多,但就是不够,对吧?所以我们想数据这件事的时候,一定得有一些数据获取的手段,比如去买数据,或者去找现成的数据。

而且数据是分很多层的,你刚才提到数据质量,我觉得在机器人领域,数据质量是个非平稳问题,意思是说,对你模型来说什么算高质量数据,是会随时间变化的。比如当你的模型还啥都不知道的时候,任何数据都有用,你可以用大量的视频数据。就第一视角数据而言,我觉得它其实是预训练机器人的一个非常好的方式,因为人类的数据太多样了,几乎覆盖你能想到的所有物理活动。这会让模型对世界如何围绕一个具身的行动者,也就是人,去演化,形成一个很强的先验。但人类数据的问题是,在你的机器人长得跟人类完全一样之前,人的动作和机器人的动作之间总会有差距,对吧?所以今天只靠人类数据来训练,基本不可能让机器人直接执行出动作。你还是得用机器人自己的数据做一部分适配,对吧?但机器人自己在身上采的数据,会贵得多,也难得多。

所以我们想的配方是,怎么把今天我们最大的数据来源,也就是第一视角数据,用来给模型一个关于所有物理操作能力的强先验,然后再结合一小部分机器人数据,让机器人精通我们关心的那些任务。所以说数据质量和数据获取在机器人领域,真的是一个非常迷人、也非常多维的问题。但现实是,没有一种单一制胜的策略,不能说哦我就采这一种数据,然后就能得到一个强的基础模型。你真的得去想,这部分人类数据覆盖了我需要的机器人认知的哪一块,机器人数据覆盖了低层的反射和灵巧性,这些机器人也需要,然后把它们放进同一个模型里。我觉得最后才能得到一个真正可适应的、真正强大的模型。

Swyx:我来给你提个醒啊,主要是为了听众里想跟你合作的人。你想找什么样的数据供应商?这就是你在公开喊话要数据了,你到底想要什么?

Jason:嗯,这个问题问得好。是这样的,我们在 Dyna-2 的博客里,结尾其实留了一个邮箱,叫 datapartnerships@dyna.co。所以如果你是数据供应商,手里有大量高质量的数据,不管是第一视角数据、机器人数据、视频数据,还是你觉得任何可能对机器人有帮助的东西,都可以发到那个邮箱。我们的团队会看一下,然后回复你。

Swyx:但以你们现在的阶段,你们应该不太会直接买现成的第一视角数据了吧?你们更想要的应该是那种,我告诉你我需要这个,你去给我采的这种方式,对吧?

Vibhu:是不是有什么细分领域特别缺数据?

Swyx:你需要一个 Scale AI,需要一个 Mercor 来帮你做这件事。我明白了,定制数据这块。

Vibhu:不在机器人行业的人可能就会想,哦,那是不是某个细分工厂的数据。就像你之前展示的那个往管子里放东西的任务,这种数据能采到的量肯定有限,但这种数据对你帮助大吗?

Jason:嗯,如果你真的想把某个任务做到极致,有那个任务的数据肯定会帮到你很多,对吧?就我们来说,我们仍然觉得一百万小时的数据还不够,那只是开始。我们展示了第一个在这个规模上的模型,但我们显然需要更多,对吧?所以我们现在还在大量寻找各种原始、多样的数据,能拿到多少拿多少。但同时我们也在想,怎么获取更多定制数据,不管是自己采的还是合作伙伴帮我们采的,专门针对一些非常具体的细分任务。因为我觉得要做到卓越,也就是任何一个模型要在物理世界里真正有用,你还是需要那种数据的。这就有点像人,你知道吧。如果 Sean 或者我明天去 Rosewood 酒店上班,我们肯定没法按他们的要求来铺床,对吧?我们需要大量的训练。所以那种特殊数据,有点类似 Mercor 现在为语言模型在做的事情,我觉得对机器人也会非常有价值。

Vibhu:那酒店嘛,给你们员工头上绑个 GoPro 就行。

Jason:对,类似的场景估计还有很多。

Swyx:对,我们讨论过怎么收尾这次访谈,有一件很有意思的事,就是现在你基本上可以实时地生成环境了。你用前沿模型试过这个吗?体验怎么样?够好了吗?

Vibhu:你有没有在用哪些做机器人世界模型的公司,用他们生成的数据来训练?

Jason:我觉得为机器人生成合成环境、合成数据、仿真数据,会成为下一个前沿方向,对吧?因为今天大家看的是第一视角数据和机器人数据,这些都在 scaling,但我认为合成数据会是 scaling 的一个新维度。回到你的问题,对,我们一直在探索用前沿模型基于我们的数据、在我们关心的环境上给我们生成合成环境。而且出乎意料的是,我觉得现在这个技术已经到了非常值得深入做的程度。

给大家一点背景,我读博的时候主要做的是基于仿真的机器人训练。那时候仿真还不成熟,但我们有篇论文叫 Eureka,是第一个把大语言模型,当时是 GPT-4,拿来自己生成环境、生成强化学习的奖励函数,然后在仿真里做事的。最后我们有个很棒的 demo,就是机器人转笔,对吧?当时真的很酷。但那种东西当时还是很有限的,因为那时候模型视觉能力不强,也没有天生的三维理解,对吧?它基本上就是在生成代码,然后用很有限的文本反馈来尝试想出新的仿真环境。但今天这些前沿模型的视觉能力强到离谱,它们能做 real to sim,能做 CAD,能做三维重建,等等。所以我现在觉得到了一个拐点,这项技术真的有可能加速机器人发展。

对我们来说,我们把它看作加速内部进展的一种方式,因为我们既在训模型,也在做硬件。如果一个前沿模型能这样给我们更多数据,给我们生成非常量身定制的数据,那对我们极其有用。另外我们还在想一件事,与其用这些模型生成三维环境,我们也用了我们自己的世界模型,就是我跟你讲的那个世界动作模型,因为这个模型不光能生成动作,还能生成视频。模型也能生成自己的训练数据。这就成了一个自我实现的飞轮,我觉得这个也会很有力量。总的来说,我对这个方向特别兴奋,因为我觉得虽然我们 scale 到了一百万小时的数据,部署了一批机器人,这些机器人已经开始做出很酷的事情了,但我们才刚刚开始,这只是冰山一角。

Vibhu:给做研究的朋友说一下,我们最近请了 Runway 上过节目,他们其中一个方向就是机器人世界模型,他们正在往那边靠,大家可以去看看。我对你自己做模型有一个问题是,你是在什么约束下工作的?打个比方,在语言模型这边,你看 GPT-OSS 20B 就很适合一台普通 MacBook,再大的版本适合单卡 GPU。你们是在机器人的约束下工作吗?模型是跑在端侧、云端,还是混合的?这又怎么影响你们的数据 scaling law?一百万小时很好,但接下来我们就一直加参数、加数据吗?

Jason:嗯,这个问题问得好。我觉得机器人跟语言模型和其他应用最不一样的地方在于,对于 coding agent、语言模型来说,有一点延迟是可以接受的,对吧?今天不管我问 ChatGPT 什么,它都要花几秒钟才吐出东西。但对机器人来说,推理延迟必须非常短,机器人得马上行动。它不能拿着刀愣在那里三秒钟什么都不做,那会把人吓到的,对吧?

我们的模型挺聪明的,所以还好。但一般来说,如果你想想非常动态的任务,比如你想让你的机器人拿着网球拍颠球,对吧?那就非常动态,需要实时反应。你不能等,物理规律、重力不会等你,对吧?所以出于这个原因,机器人模型必须能非常快地产出推理。而最快的方式就是在本地部署,也就是在设备端跑,对吧?因为如果你调一个模型,网络延迟就没法保证,就像自动驾驶汽车那样。

所以出于这个原因,最终部署出去的模型必须是合理大小的,能在本地跑。但这不意味着你最初训练的模型也得是小模型,对吧?就像在语言模型这边,大家都会做蒸馏嘛,想让一个小模型变得很聪明,最好的办法就是蒸馏。先把最大的模型训出来,然后再蒸馏下来。我觉得在机器人这个领域,我们正在往那个方向走,最后大家大概率会收敛到这个做法上。

Vibhu:那推理呢?你们有自己的推理栈吗?这里面很多都是架构层面的事,你们把扩散变换器这些都搬过来了,我猜你们还能从别的框架里取东西吧。有什么可以分享的?

Jason:我们给自己部署的每个模型都自建推理栈,因为就像我刚才说的,延迟太重要了。所以对机器人来说,把整个技术栈握在自己手里极其关键。你得针对自己跑的模型去优化推理速度,这里面有大量工作要做,这就是我们在做的事。

数据、硬件与全栈路线


数据、硬件与全栈路线

Swyx:你们是真正的全栈,从执行器一直到工业设计——ID这个缩写我之前还真没怎么听过——再到模型和数据,全都是你们的。

Vibhu:我挺好奇的,这些执行器是你们自己的吗?这一堆东西里有多少是自主研发的?设计当然算,但执行器这类硬件,你们到底做到了机器人技术栈的哪一层?

Jason:我们判断一个部件该自己做还是买的标准是这样的:如果一个部件的输入输出非常明确,而且市面上已经有非常成熟的好方案,那就没必要自己造。比如这台机器人上你能看到激光雷达,就是这几个黑色的圆,用来帮机器人探测障碍物、感知周围环境的。这是一项非常成熟的技术,人们已经用了几十年了,自动驾驶车上都有,所以我们不需要从零开始造激光雷达,一些相机也是同样的道理。

但对于任何我们认为对整机最终性能至关重要的东西,我们的想法就是一定要自己掌握、自己造。比如说你刚提到的执行器,这正是我们在做的、并且要完全自研的部分。原因是执行器的质量以及它的设计方式,直接决定了你能不能把这台机器人建模建得好。执行器是驱动机器人的核心,你要想在仿真里把机器人建模得很准,或者做任何形式的建模,就必须选那种本身就容易建模的优质执行器,这就是我们最终关心的点,所以这块我们会自己掌控。再比如机器人的比例,这台机器人的尺寸是我们对照真人来量的,因为我们要用人类数据做预训练,这样迁移效果才是最好的嘛。硬件里有大量这样的决策,它们都和这件事紧密相关。因为归根结底,是硬件承载着智能。智能这个东西极其重要,我们要确保硬件是为它服务的。

Swyx:我想特别提一下,不知道这跟你们有没有关系,但我谈过最有意思的一个机器人话题,是有人特别焦虑执行器,尤其是磁铁,因为据说美国自己不产磁铁。全球只有两个国家产稀土材料。我不太清楚具体是什么化学成分,叫什么材料我也说不上来,但总之如果有人感兴趣的话,这显然是一个卡脖子的瓶颈。它就是个瓶颈啊,那我们该怎么办?

Jason:不,这不算瓶颈。这是个好问题。现在确实有很多关于把制造业搬回美国的讨论,也挺让人兴奋的,但对机器人来说,这其实比看上去难得多。我甚至觉得,到现在为止,美国还没有一家公司真的是所有东西都从零开始在美国本土造的。哪怕他们说自己组装机器人、说自己在美国做了哪些东西,他们的原材料仍然要从世界其他地方采购。我觉得做机器人的必须清醒地认识到这一点。

作为一个全栈机器人公司,我们才真切体会到供应链有多长、整个问题有多复杂,真的极难。而且我觉得眼下很多讨论都集中在机器人基础模型的数据上,但硬件有多难、做好硬件有多难,这一点被严重低估了。我认为未来它会极其重要。

Swyx:这是个选择,对吧?有些公司选择做无平台的路线,他们只做模型,然后会说我们可以部署在任何平台上,比如我们就部署在 Optimus 上这种现成的机器人平台。显然你们什么都自己掌握,就能这么干。你们觉得自己会在美国建得更多,还是会打造一条自己的全球供应链?哪个方向的可能性更大?

Jason:我们现在正在探索很多不同的选项,因为如果走全球供应链,就会有一些地缘政治上的问题,海运、船期延误之类的各种麻烦。在美国呢,从零到一就是得花点时间。所以我们在想一个方案,既能让我们在美国多造一些,又能利用全球供应链。

不过回到你刚才那个问题,有些公司只做模型,我们全栈自己做,我觉得这件事做对特别重要。我的感受是,机器人这个领域,难的地方在于把整个系统搭起来。那要搭一整套系统,需要哪些东西?我之前在 DeepMind、在 NVIDIA,主要都是做模型的,我当时就看到了系统的上限在哪里:你不掌控硬件,就没法去优化它。你想啊,机器人的价值最终是提供一项服务,解决一些物理世界里的任务。要解决物理任务,你就得能优化所有环节,这很重要。

Vibhu:你们有机器人了。跟我们讲讲设计吧,你们自己定制的平台。这东西叫什么?它不是人形,表面很光滑,但那个会转的臂是什么?

Jason:我们一般把它叫半人形。基本上上半身是人形的,当然有肩膀、有手臂,腰部还有四个自由度,所以上半身人能做的动作它基本都能做。但下半身是轮子,所以叫半人形。

为什么选轮子?因为我觉得这里有个取舍,实用性和性能之间怎么平衡。用腿的话能耗会高很多,稳定性也差很多,安全上极难保证。现在的双足机器人,其实没法保证它全程都站得稳、保持平衡。你们肯定看过不少机器人跳舞的视频吧,那种跳舞的机器人确实很容易摔倒。

Swyx:我觉得你们真正有意思的创新是另一个地方。看,这是我们的其中一个原型,后面这台叫 Mewtwo。这台就是一个上下升降的轴,然后你们选择往这种能倾斜的方向去做。等下我们要放洗衣的演示,你得往机器里面探身子进去,对吧?那是另一种自由度,我连词都找不到形容它。不是俯仰,也不是偏航,是别的东西。

Jason:对,我们是怎么想的呢?其实这个动作平时锻炼的时候很常用。我记得有几年前的时候,我锻炼的时候不小心拉伤了肌肉,相信你们也有过这种经历。接下来好几天你根本动不了,或者睡觉睡错了姿势,脖子僵得厉害。每次遇到这种情况你就会意识到,哇,原来我们身体有这么多肌肉、这么多自由度,平时天天在用,完全习以为常。可一旦某个功能没了,你会发现那些本来觉得特别自然的动作变得特别别扭。我们设计机器人时也是这么想的。

如果是一个纯电梯式的设计,只能上下走,我们会发现人体躯干在日常体力活动里大量用到腰和背。哪怕我只是想拿这瓶水,我也不光是动胳膊,如果我得刻意去想固定住上半身,那对我来说就很奇怪,我总会自然地这么做。人类有很多下意识的身体动作方式,我觉得如果机器人也有这些自由度,同样会很有用。你再往下想一层,我们想从人类数据里学习,人是时刻都在动躯干的,你想把这些数据喂进模型去控制机器人。但如果你的形态做不到这一点,迁移效果就会打折扣,机器人也会更笨拙、更别扭。

Vibhu:那数据标注这块是怎么回事?我看有人……这是最后后训练微调的一部分吗,就是实际用遥操作或遥控让机器人做动作、把运动映射过来?还是有一部分是泛化过去的?

Jason:哦,对,泛化得很好。我在你们面前展示的所有新机器人的演示,都是因为这台新机器人刚就绪没多久,所以跟之前给你们看的固定机械臂比,它的数据量其实少得多。但模型在预训练阶段没见过这种形态,它却能很快学会你看到的那些任务。我觉得这很大程度上是因为,早在硬件就绪之前,我们就已经确定要用人类数据做预训练了,因为我们知道总有一天我们的机器人会接近人的形态。硬件在准备的同时,训练这边可以先跑起来。现在我看到,这种迁移确实存在,而且帮助非常大。

Vibhu:说说评测这块。你可以有预测,可以让它做事,时不时也能看到它失误。你们还会测一些特别细的场景,比如往药瓶里装药片。这个过程要多久?你们怎么看待部署到新任务、做评测、再迭代这件事?大概是什么样的?

Jason:如果你给我提个新任务,我就来办公室,采点数据,训个模型,看看会发生什么。就这么着,采一小部分数据,训个模型,然后直接部署到真实环境里,再看它的表现。

Vibhu:我说的采集数据,是指有个人实际操作,先把这个任务做一会儿。然后你们就训练?效果还行,再改进。那你们怎么衡量呢?

Jason:训模型的时候,有一些指标可以看嘛,跟训任何模型一样,看它收敛得好不好。之后在机器人领域,我们现在就是直接把模型放到真实世界里跑,就用采数据时的那套装置,看模型表现怎么样。有时候模型开箱即用就很棒,基本不用再做什么。但如果模型只做到七八成,那你就要观察它的行为,找出它哪里不行,然后再多采点数据,迭代,对吧?

我觉得这就是机器人版的 RLHF,也就是用人类反馈做强化学习。机器人自己跑一遍,你可以给它打分,好、差、或者还行。然后这些机器人自己的经验数据就能用来训模型。你也可以自己再多采点数据来训。最终我们的目标是,这个机器人就是我们的平台,任何人都能在上面训任务。

Vibhu:我想让你预测一下,这事大概什么时候能到什么程度。现在这些任务都还比较简单,比如把衣服从洗衣机里拿出来,是条毛巾,不能压皱;切点菜。另外还有那种,把这个摄影棚搭起来,搬东西、挪桌子、架灯。工厂场景什么时候能看到?要做到规模化需要什么?看起来你们的硬件已经为此准备好了,但什么时候能从只切一样东西,进化到我丢一个菜谱给它就行?

Jason:嗯,我觉得有几件事。第一,你看过的那个洗衣演示,它跑完一整个流程要一个小时,对吧?所以机器人能完整做完一件事的最长时长,已经到了小时级别了。但要让它对任何任务都能做到这点,我觉得瓶颈还是回到数据和硬件上。

有些任务,比如布置场地,你可能需要比平行夹爪更灵活的东西,比如一只灵巧手,像人手那样的手。可如果你想用这只手来训模型,就会被硬件稳定性卡住。今天最好的灵巧手还是不够耐用,很快就过热,你真的是得给它绑个冰袋,给人手用的那种。硬件限制是大问题,而且如果硬件受限,一切都会被拖慢,因为你要知道自己在某个任务上有没有进步,最终都得在硬件上做评估。如果评估不能随时快速进行,研究进度也会被限制住。

那我们怎么采到正确的数据呢?我觉得关键是,怎么采到足够复杂任务的数据,比如搭建这个摄影棚。你可以想象,今天大部分数据都是视觉为主的,就是视频流加上机器人关节动作的编码。但人有更多的传感器,我们能听到东西,能感觉到东西,还能闻到东西。我们无意识地利用所有这些感官,才变得这么擅长操作物理世界。但如果今天我们完全没采集这些信息,那就算你把数据扩到几百万小时,可能也只是漏掉了任务的关键维度,永远解决不了这个任务。我觉得这些才是真正拖慢时间线的东西。

但对于那些今天就能高保真采到数据的任务或工作流,我不认为有什么根本性的瓶颈。就像我们这周向公众展示的那样,我们有一个物理 agent,能像人一样完成整个洗衣流程。因为那个任务不需要超出平行夹爪的能力,也不需要某种今天还不存在的感知方式。所以我确实认为,要做更通用的东西,最大的瓶颈仍然是硬件和数据。

真实部署:从折毛巾到包馄饨


真实部署:从折毛巾到包馄饨

Swyx:借这个机会,让你炫耀一下你们的客户和合作伙伴。你们已经公布了一些合作关系,可以从 Best Western 说起,再讲讲其他你们比较自豪的。有什么好听的故事吗?

Jason:我们网站上有一篇部署博客,写得详细得多,我真的很推荐大家去看那个视频——我们给所有正在合作的客户做了一个视频,一个视频讲全部,拍得挺不错的,能看到我们在做什么。我们有客户比如 Best Western,是酒店行业,我们帮他们折很多毛巾和床单。每家酒店、每家健身房、每个健身中心都需要这个。

Swyx:那现在部署到什么程度了?我去哪儿能看?去哪家 Best Western 能看到?

Jason:如果你想去看的话,我其实更推荐去我们的另一个部署点,鼎泰丰。你去鼎泰丰,或者任何稍微高档一点的餐厅,桌上都有餐巾对吧?我们现在每天替美国好多家不同地点的鼎泰丰折几千张餐巾,这其实是我们规模最大的客户。这里我想区分一下:现在很多机器人公司都在说部署、说试点,但真正难的不是把机器人放进一个地方做个试点,而是客户真的认可你的机器人创造了足够的价值,愿意把它铺到很多门店里去。这件事在我们这儿跟鼎泰丰发生了,据我所知做类似通用机器人的其他公司还没做到。在鼎泰丰,我们的机器人每天折几千张餐巾,质量标准极高:他们要求第二道折痕,也就是餐巾的边缘,要比放筷子的口袋低个一厘米左右。这是个非常精细、高精度的任务。

Vibhu:从某个层面来说,这正是机器人擅长的事,对吧?人类在小细节上并不是一致性最好的,而机器人可以做得几乎完美。有意思的是,你拿这个当通用机器人的例子,因为大家可能会觉得,折餐巾这种活应该有个专门的机器人,精确到毫米地折好,而不是用你们这种通用的。

Jason:对,也许真有一个专门的,我不确定。但操作可变形物体这件事本身就很难,像餐巾、毛巾全是可变的,可能的形态有无限多种,这对专门设计的机器人来说真的很困难。我们发现的是,在一个机器人上开发一个通用模型,再针对这些场景去做适配,反而能更快地达到生产质量。而且特别好的是,现在鼎泰丰规模扩大了,跟我们签了更大的合同,他们不光想让机器人折餐巾,还想让机器人切菜——这就是为什么我们之前有个例子是把食物切成特定的形状。鼎泰丰每天要切大量的蔬菜,还有包馄饨、折叠,那可是最终 Boss。

Vibhu:最明显的优势是你们能把它适配到任何东西上。我觉得你还提到了另一件事,就是速度,对吧?要做一台定制餐巾机,按精确的折法来,你得专门造机器,不可能直接在 Amazon 上买一个。但你们这个能很快搞定,对吧?

Jason:对,这个做得非常快,现在已经达到人类水平了,而且这台机器人不会累,不需要休息。我特别喜欢你说的 consistency 这一点。鼎泰丰有个问题,他们的洛杉矶店、纽约店、西雅图店折餐巾的方式会略有不同,但从他们的角度,他们想要一致。而这正是这类模型擅长的,因为模型就是一组权重,你可以把同一套权重装到不同地点的不同机器人里,还可以 OTA 空中升级,一次性把所有机器人都更新了。一旦跑通了,我觉得真的是太不可思议了。

Vibhu:最终 Boss 应该是 Cheesecake Factory。如果故事成立的话,他们是完全从头开始做的,一切都极其一致,精确到每一克,每种酱都是现做的。不管你在世界哪个角落,吃到的都是一模一样的东西。你要是不知道,根本看不出来。但那才是真正的最终关卡。

Swyx:我脑子里蹦出来的词,有点像机器人界的苦教训,对吧?与其做那些专用机器人,里面全是工业工程的东西,不如做一个通用平台,然后给它做最后一公里微调,把这些事都能干了。

Vibhu:在模型外面给专家加个插件什么的。那到底什么是机器人领域的苦教训?

Jason:我觉得机器人有好几条苦教训。第一条是,机器人也会像机器学习已经解决过的其他领域一样靠规模取胜,数据越多越好。但在机器人这个领域,最难的一点是,什么叫正确数据,比别的领域难判断得多。语言嘛,就是文本;电子游戏嘛,就是游戏数据。但机器人不一样,你选什么传感器,就决定了你有什么数据。不过只要你传感器选对了,然后把数据堆上去,模型性能的提升是可预期的。由此推论出来的是,现在机器人研究里有很多工作都在塞非常具体的先验,比如说要让机器人看到物体是什么就画个框,这样感知会好一点。但我认为这里的苦教训恰恰相反:算法保持简单,把正确类型的数据堆上去,泛化能力和更好的行为自己就会涌现出来。第二条,也是我认为最主要的苦教训:说到底,规模化一定有效,但在机器人这里怎么规模化难得多,因为没有互联网。你得自己搞硬件、选传感器,把这些全做对,然后才能去堆量。

Vibhu:有一种说法是,这个世界本来就是为人类设计的,所以机器人应该做成人的样子,对吧?不管这在硬件上有多难,你想十年后、二十年后,我们能不能造出一个真正高效的人形?但眼下还是得务实,用我们现在有的东西,对吧?

Jason:我的想法是这样的:是的,最终机器人应该是人形的。如果我们想造一个能适应尽可能多用例的通用机器人,我认为人形是最好的形态,因为人类几百万年就是这么活过来的。但我觉得造人形机器人最好的方式是走迭代路线。因为机器人太难了,整个技术栈太长,事先根本不知道哪个决策是对的,而且硬件决策代价高得多、成本大得多、迭代又慢得多,所以你其实应该采取渐进式的小步迭代,而不是一上来就做到最终的形态,因为你做出来的东西很可能撑不住,最后反正都得推翻重来。你看 Optimus 都已经是公开新闻了,它已经迭代了很多轮,设计也推翻过好几次。而我觉得,用一个半人形的形态去迭代,真的把它放到实际客户那里,或者让模型真正部署起来,你就能拿到那个反馈闭环。如果你只是闷头去造一个仓库用人形机器人,花五年十年,你是拿不到这种反馈的。我相信迭代这条路,反而能让我们更快接近最终的机器人。

Vibhu:我得说一句,没看画面的听众注意一下,这大概是我们见过最流畅的机器人了。你看过的所有人形机器人都一顿一顿的,连真人走路都没它顺。

Swyx:因为模型可以一次性控制每一个电机,同时动两个以上关节,是吧?你能不能给个数量级,动作空间大概多大?而且都是连续值,对吧?

Jason:对,这其实是个很难的问题。你光想模型这一层,它的输出是动作,有个动作维度,维度越大,模型越难拟合数据。而我们这里的动作空间相当大,差不多一百个动作维度的量级,而且都是连续的。所以模型基本上是在非常高的频率下预测,每秒至少十次二十次,每次输出一个五十维左右的向量,这样才能得到连续的运动。可能还往前预测一到两秒,那就又是一百帧左右。这里面还有点历史感,跟之前说的状态上下文类似。上下文在机器人里是非常重要的,不然你只根据当前这一帧观察来做决策,有时候真的很难判断下一步该干嘛。比如你想开微波炉,开到一半的时候,根本分不清你是在关它还是在开它。所以上下文真的很关键。

Swyx:我手里有冰箱演示的截图,里面有代理式规划、工具使用这些内容,可以给听众们看看。我觉得这块挺有意思的。模型出来之后,你怎么把它包进代理式外壳里?具体是 Claude Code 的部署方式吗?就是从模型输出到最终成品之间,具体包了哪些东西?这是按每个场景单独定制的吗?还是你们有自己的 SDK?

Jason:我们最终会出自己的 SDK,但我们现在的思路是给机器人基础模型做一个通用的代理式外壳层。今天这个模型就是我们自己的。我这么理解:在物理世界里做任何真实的、长时程的任务,都有大量高层决策要做。不只是让机器人在动作层面推理物理世界、输出连续的轨迹,那其实是很底层的,是你真正在物理世界里执行的东西,但那不是意图本身。比如我们做决策的时候,脑子里想的是菜谱的步骤:哦这一步做完了,下一步该做那个;等这部分完成的时候,我得先去别的地方干点别的。这里面有大量的认知和决策。我觉得机器人哪怕只是处理我们给你看的洗衣任务,也必须有这种能力:洗衣机正在转,那我就先去做点别的,等它洗完;现在洗好了,我得马上把毛巾从洗衣机拿出来放进烘干机,不然整个流程就卡在这一步了。理论上你可以只靠一个输出底层动作的模型去学这些,但效率会低得离谱。这就是为什么我们要搞分层系统,在世界动作模型外面套一个代理式系统的外壳,这样模型才能组合不同的能力和技能,去完成长时程得多的任务。这跟语言模型特别像:两三年前,模型还只会自动补全,你得一直点一下它才继续吐代码;但今天,一个代理式系统就能端到端地把任务跑完。现在机器人领域大家还在想怎么做到一分钟、三十秒这种任务级别的自主,但真正的价值在于那些无人监督、连续跑好几个小时的任务和工作流,这正是我们在做的方向。所以我才说,要把机器人问题当成一个系统问题来想,而不只是一个建模问题:你需要好的 agent、好的外壳工程师、好的模型、好的硬件,什么都得有。通用机器人就该这么解决。

行业格局:世界模型还是VLA


行业格局:世界模型还是VLA

Vibhu:我有两个技术问题。第一个,你有没有给自己定目标,比如六个月、一年、两年之后,机器人应该能做到什么?你们正在朝哪个方向努力?

Jason:六个月到一年这个范围内,我们的目标肯定是把机器人和模型都规模化,真正让它们落地部署,去做完全不一样的任务——就像现在切菜或者开冰箱这种。我们在探索很多不同行业,没有一个特定任务是觉得必须拿下的,因为我们的目标是做一个通用模型、通用平台,把每个不同任务都当作对平台的验证,当作一个切入点,帮我们搞清楚怎么把一切都做得更好。所以现在我们做得最多的是洗衣和餐厅,已经部署了几十台机器人,明年的目标总体是把部署量做到几百台。

Vibhu:我的第二个技术问题是,你怎么看整个行业的其他玩家?别人在做世界模型时都有哪些路线?为什么他们是错的?他们的方法里又有什么不一样但不错的地方?这个领域机器人世界模型的整体格局是什么样的,你们又是怎么走到现在这条路的?

Jason:我觉得机器人是当下最让人兴奋的领域,有太多我很尊重的优秀公司也在做前沿工作。我们看到现在做机器人的路线还有很多种:我们认为硬件必须自研,要掌控整条链;我们认为扩展人类数据极其重要。但也有公司在押注只扩展机器人数据,或者扩展某种中间数据采集设备。这些方案都在牌桌上,是不同的路线,现在还太早不好下结论。但我们对自己做事的方式挺有信心的,因为从使命上讲,我们不是来只做一个模型的,我们是来真正把机器人部署出去的。所以我们尽可能多地部署,去啃硬骨头,这样能更早发现问题,找到真正的瓶颈并解决它。对那些只做问题中某一部分的人,有点像战争迷雾,你看不到全貌,可能做出技术上很酷的东西,但最终未必是人们需要或想要的。机器人行业有一大片坟场,那些公司的机器人都很炫,但真正运营一家机器人公司把它落地,其实非常难。

Vibhu:技术层面,你们有世界动作模型,这在行业里是标准做法吗?还有别人在走的其他方向吗?

Jason:我会说这个也不是标准的。我们是在世界模型之上建世界动作模型。有很多公司在做世界模型,比如 Runway 也在往适配的方向走,做视频世界模型;也有公司在做视觉-语言-动作模型(VLA),就是把视觉语言模型拿来改造成机器人用的。我觉得路径有很多种,但说到底,给模型起什么名字,不如从第一性原理上讲清楚这个模型到底要能干什么来得重要。

我觉得做机器人这件事,最核心的一点是你要能预测未来。任何物理系统本质上都是这样:基于你此刻和过去掌握的信息,下一步该做什么?预测机器人的动作,说白了就是预测机器人下一步该干嘛。但你再想想,机器人只是世界的一部分,机器人会影响世界,世界也会反过来影响机器人在环境里该怎么动。这么一想,最彻底、最接近第一性原理的做法,就是尽可能多地预测这个世界,这就是我们认为预测未来极其重要的原因。今天它的落地形态就是世界动作模型。而 VLA 只预测机器人动作,或者一个更抽象的世界表征;可一旦你在预测抽象表征,你就把自己认为什么重要的这个偏见编码进去了。那个苦教训一直在提醒我们:把人的偏见去掉,直接拿最原始的表征——也就是相机输入,把它全预测出来。这就是我理解今天机器人建模的方式。

Swyx:那我追问一下,你其实是在说你们的方法比 VLA 更好,对吧?因为你强调的是预测,这一点我完全认同,真的被你说服了。那如果你错了呢,最可能的第二名是谁?别人在做的是什么?

Jason:我之前说的话有个前提,我觉得我可能就错在这里。我说要尽可能多地去预测世界,但这没说你的传感器是不是已经包含了你需要预测的所有信息。比如你训练一个纯基于视频的世界模型,它会是很强的世界模型,但可能不够丰富,因为你漏掉了世界的关键侧面,比如声音、触觉。所以我们可能错的地方是:我明明有最好的视觉世界模型,结果明天有人拿出一个视觉加触觉的世界模型,数据效率高出一百倍——就因为视觉是个信息量很大但冗余度也极高的输入,相邻像素变化都不大,你不靠完美视觉也能理解世界,而触觉或其他模态的信息密度可能高得多。如果能预测那些,你可能用少得多的视觉就够了,同样的性能,算力和数据都省一大截。

Vibhu:还有一个层面,就是需要多少数据的问题。

Jason:对。我之所以提这个,是因为如果最终解决机器人问题的,是视觉加触觉、或者再加音频的世界模型,那么机器人公司会比想做机器人转型的视频生成公司做得更好。原因是理解感知这件事非常复杂,我们从公司成立第一天就在做,知道瓶颈在哪,知道怎么把它们组合起来。但如果你只是想拿个视频模型改造成机器人动作,万一光靠视频模型不够,你其实没有让触觉真正好用的本事,而我们有。

Swyx:顺带问个小问题,我觉得很快能答完。热量看起来很重要。红外对你来说只是另一种颜色,还是说它有别的意义?

Jason:它可以是另一种颜色,模型的又一个输入。实际上在烹饪场景里就能用上。我知道有公司用红外来判断食物熟没熟,因为这事用 RGB 相机真的很难判断。

个人经历与公司文化


个人经历与公司文化

Swyx:我想聊点你的个人经历和背景。我俩都上过宾大。

Jason:我今天才知道这事,太巧了。

Swyx:是吧。我最大的遗憾就是当年没参加 DARPA 的自动驾驶挑战赛,那样我可能早就进了 Waymo 早期团队。你在 GRASP Lab,后来又在 Google 和 NVIDIA 待过。你说说看,学术界、Google、NVIDIA 这几家的关注点分别有什么不同?然后显然最后你想算了,我自己干——你也可以去 OpenAI 的机器人实验室啊。所以你就按时间线给我们捋一遍,顺便说说每个地方你学到了什么。

Jason:按时间线的话,也许先说说我当初是怎么入行 AI 的会更有用。小时候我在日本和中国生活过一段时间,从小下围棋,就是 AlphaGo 下得那种棋。AlphaGo 出来的时候我刚上高三,我当时整个人都被震住了,因为这棋我下了好多年,特别复杂。我记得在 AlphaGo 之前,大家都觉得围棋是 AI 永远解不了的游戏之一,搜索空间比宇宙里的原子总数还大,你怎么可能搜得出解法?结果强化学习一下就把它破了。我就是从那开始对 AI 着迷的,一直对能自我提升的模型、系统、agent 特别感兴趣。

所以我到宾大读博的时候,一心想做强化学习。我是双导师制,当时两位导师都对 RL 感兴趣,其中一位偏机器人方向,他之前在 Berkeley 的机器人实验室做过博后,我就这么接触到机器人了。宾大的 GRASP Lab 应该是全世界做机器人最好的地方之一,我博士期间就是这么一路做机器人的强化学习的。之后我又做了不少研究,思考怎么把强化学习和人类数据结合起来,怎么用非常严谨的理论方式做 RL。然后我去了 NVIDIA,正好赶上 GPT-4 发布。那时候我们特别想解决一个转笔的任务。

Swyx:那是灵巧操作的极限嘛,对吧?你能解魔方,然后你就能……

Jason:当时我正跟 UCO 的 Jinpeng 合作,你们应该也认识。我们就想着,来试试灵巧手转笔吧。最初的想法是从人类视频里学,盯着人怎么做。但我很快意识到,现在根本没有一只灵巧手能转笔,那我就算算法学得出来,拿什么去评测?所以我想,得先在仿真里试。结果我一动手给机械手加支笔搭仿真环境,立刻看出问题在哪了:如果让我自己设计这个仿真环境和强化学习的奖励函数来解决转笔,根本不可能,我写不出所有需要的项让 RL 学到正确的行为。后来我就想,如果一个会写代码的模型来做这件事呢?这就是 Eureka 项目的由来。在我看来,我们做出了第一个能在仿真里递归自我改进的机器人 agent,因为我们用它解决了一个从来没人演示过的新任务。这让我看到了用语言模型、用 coding 模型来加速机器人研究的潜力。

之后我去了 Google DeepMind,因为他们有 Gemini,至今也是前沿模型之一,我一直在琢磨怎么用 Gemini 做机器人。但慢慢我发现,做学术研究虽然很有意思,心里总有个疑问:这些到底有没有意义?在实验室里做这种事,别人会问你,你怎么总能想出这么多有趣的任务?其实就是在给自己出题、给自己打分。我想要更真实的东西,想要真能让全世界几百万人用起来的东西。我觉得 2024 年底是我们启动 Dyna 的时间,那时候把这些技术真正带到现实世界里正合适。所以我跟 Lindon Gao 和 York Yang 一起创办了 Dyna。快进两年,我们的平台、模型都建起来了,机器人已经在鼎泰丰干活了,你去看看。

这一路走来不容易。不过到现在还让我特别兴奋的,是有些想法我们创业时暂时搁置了,因为开公司必须很务实。我觉得 2024 年仿真还没准备好,但现在有了新一代前沿模型,加上我们内部看到的一些东西,情况可能会变。这非常让人期待。

Swyx:那我们也聊聊公司文化吧,你们建公司是靠什么原则在撑的。很明显,科学和研究议程是你负责的。而且感觉我们见到工程师的时候,大家都特别投入,主人翁意识很强,动力也很足。

Vibhu:我觉得挺有意思的一点是,大家会做多少个人副业项目。我们看过的一些演示,就是负责那个的工程师说,这个看起来好玩,那就顺手做了呗。说到你刚才讲的那种好玩的评测,就比如镜头后面两英尺的地方……

Swyx:这个不能说。

Vibhu:就是那个评测,四个荧光笔用橡皮筋绑在一起,对吧?谁能想到要测给荧光笔套橡皮筋这件事啊。反正就是有点裂变的感觉,这里的人非常有创造力,是个很棒的地方。

Jason:对,文化这块。嗯,先说说我们怎么运营一家公司吧。我们把自己定位成最终是一家研究加产品的公司,有点像 OpenAI,你做前沿研究,但最后所有东西都会通过 ChatGPT 和 Codex 落地,我们也是这么想的。我们不是来做那些当下觉得有趣、没有边界的事的,我们一直是产品驱动的。比如我们想把机器人和平台部署到一个新客户那里,那有哪些技术问题必须解决?我们必须解决泛化,必须解决全身控制,必须解决快速适应,必须解决让机器人听懂语言指令,必须解决灵巧性。等这些问题都拆清楚了,我们的工程师能力很强,都很聪明,他们就会自己造任务的实例,造一些能压力测试这些能力的任务。比如抓饮料那个任务,其实就是在测语言跟随能力,你可以随便指定你想要什么,如果模型真的理解意图、遵循指令,它就该能做到。所以我们就是这么想的:在最顶层,我们确定哪些问题是必须解决的,然后下面有很多子项目去推动执行把它们解掉。再加上招对人,这里的每个人对机器人都超级有热情,干这行很久了,真心喜欢。我们只是营造一种文化,让这些事情自然发生。真的是个很好玩的工作地方。

Vibhu:公司在技术研究和软件这边,跟硬件这边,大概是怎么分配的?

Jason:我们最近扩张得很快,所以我手上没有特别精确的数字。但硬件这边我猜大概是百分之三十到四十的人,因为硬件需要的人更多。然后模型团队大概十个人。再就是软件工程师、机器人工程师,业务侧也有很多非常厉害的人。做机器人公司最爽的一点是你能看到一切,太阳底下任何可能用得上的东西最后都用得上。所以你会接触到特别多不同背景的人,而且他们都真心热爱机器人。我觉得这对作为创始人的我来说特别开眼界。以前我在实验室做研究员、读博士的时候,每天跟研究者聊天,那也很好,我到现在也还在这么干。但现在我也从各行各业不同的人身上学到太多东西了。比如我们有些采集数据的人,之前完全没有机器人经验,之前在零售业或者其他岗位工作,来了之后也被训练成了很专业的机器人人才,看着真的挺震撼的。我一直觉得自己还在学,在机器人这个领域我永远都在学,从来没有像现在这样学得这么多。

愿景、名字与收尾


愿景、名字与收尾

Swyx:最后收尾一下,Dyna 要去哪里?两年后、五年后,愿景是什么?

Jason:我们的愿景是真正把机器人和智能带进物理世界:看到我们的机器人部署到成千上万、甚至几百万个客户那里。那是我们想去的地方。

Vibhu:Dyna 这个名字是从哪来的?Dynamic 吗?背后有什么故事?

Jason:名字是我起的,当时内部有不少备选。它有两层来源。第一,图灵奖得主、强化学习先驱 Richard Sutton 很多年前写过一篇叫 Dyna 的论文,讲的本质上是一个用世界模型自我提升的智能体。创办公司时我们还没在做世界模型,但我一直相信机器人问题最终会靠它解出来,而现在技术方向正好收敛到这里,所以这是个很酷的灵感来源。第二件更私人一点:我在日本长大,我出生那年有一部动画片《奥特曼》,那一年的奥特曼就叫 Dyna。这是个小细节,一般人都不知道,不过现在估计大家都会知道了。

Swyx:我觉得 Richard 本人会很欣赏这一点。你有没有跟他聊过?

Jason:没聊过,我只在强化学习的会议上见过他。下次我会邀请他过来,直接告诉他,这家公司灵感来自你。

Swyx:好,最后有什么想说的,或者号召大家干点什么的吗?

Jason:我觉得整个行业现在还是太爱做 demo 了。我以前在实验室做了很多 demo,今天在这儿也得演示几个。但我真的希望更多人冲着目标去,不惜一切代价把机器人真正部署出去,让机器人基础模型跟硬件结合,跑到真实客户现场。在这方面我们是先行者,也希望这个领域出现更多这样的人。如果这期节目的观众对这个使命心动,觉得解决当下最难的问题就是每天起床的动力,想来一起干,那我们一直在招人,期待你来。

Swyx:湾区?其他地方有吗?

Jason:目前只有湾区。不过公司越大,其他地点也不好说,永远别把话说死。我最希望看到的,就是世界上多跑一些机器人。

Swyx:恭喜你们做成这一切,两年走到这一步真的太不可思议了。这次到你们现场录,我一点都不后悔——我们大部分采访都在自己工作室做,但这次值了。

Jason:谢谢,真的很感激,也谢谢你们来。我觉得做机器人就得在现场聊才有感觉。

原视频:Dyna-2: General Purpose Physical Agents with Hour-Long Autonomy — Jason Ma, Dyna Robotics

https://www.youtube.com/watch?v=BHiYomkfoGQ

中文播客:在小宇宙App搜《硅谷对谈》,或直接访问下面的链接

https://www.xiaoyuzhoufm.com/episode/6ad273000e4e410a05be0a59

编译:磊哥Thomas

【声明】内容源于网络
0
0
象信AI
让人放心把真实工作交给AI
内容 157
粉丝 0
象信AI 让人放心把真实工作交给AI
总阅读2.8k
粉丝0
内容157