大数跨境

Generalist AI GEN‑1.5:3‑12 秒视频即可即兴学新任务,物理提示范式走到哪一步?

Generalist AI GEN‑1.5:3‑12 秒视频即可即兴学新任务,物理提示范式走到哪一步? 机器人产业应用
2026-10-17
7
导读:如果教机器人做一件新任务,最快需要多久?


如果教机器人做一件新任务,最快需要多久?

过去的答案通常是:先采集几十、几百甚至更多条示范,再经过模型训练、参数微调和真机验证。但2026年8月19日,机器人创业公司 Generalist AI 发布 GEN-1.5,给出了一个更激进的答案:几秒钟。

按照公司公布的结果,只需要给GEN-1.5一段3-12秒的单次任务演示,不进行梯度更新并且不重新训练模型,机器人就可以立即尝试执行一个此前没有专门训练过的新任务。在10项短时操作任务中,这种one-shot方式平均成功率达到59%±10%;如果进一步补充约5分钟数据、做10次梯度更新,成功率可以提高到83%±9%。GEN-1.5同时拥有约30秒上下文记忆,可以接收视频、传感器、语言和本体状态等信息,并以100Hz输出动作轨迹。

Generalist给这套方法起了一个很容易让人联想到大语言模型的名字:Physical Prompting——物理提示。就像人可以给GPT一个文本示例,让模型理解“接下来应该怎么回答”,Generalist希望未来教机器人也能变成不用重新编程,只需要现场做给它看,但问题是,59%的成功率显然还谈不上“看一眼就会”。

所以GEN-1.5真正值得关注的,并不是“3秒学会任务”这个标题本身,而是另一个更深层的问题:机器人学习新技能的接口,会不会正在从重新训练模型,变成直接把物理演示放进上下文?

01

Generalist AI:一家不太愿意按“主流VLA路线”做机器人的公司


理解GEN-1.5,得先看Generalist AI是一家什么样的公司。

Generalist成立于2024年,由Pete Florence、Andy Zeng和Andrew Barry共同创办。团队核心背景横跨Google DeepMind和Boston Dynamics。Florence和Zeng此前长期从事机器人学习和具身多模态模型研究,相关工作包括PaLM-E、RT-2等;Barry则拥有Boston Dynamics机器人研发背景。

这套组合其实很能解释Generalist的技术路线。一边是大模型世界熟悉的规模、预训练、Scaling Law;另一边则是机器人世界最现实的问题:动作、接触、实时控制和真实物理数据。所以Generalist从一开始就在押注一个判断:机器人的“基础模型”不应该只是把一个互联网VLM拿过来,再接一个动作头,而应该直接从大规模物理交互数据中训练出属于机器人的基础智能。

2026年4月,Pete Florence公开表示,GEN-1约99%的参数从头训练。Generalist不把它定义为“VLM+机器人动作模块”,也不希望被简单归类为世界模型,而是把它视为原生面向物理交互设计的foundation model。这条路线很重,但GEN-1.5恰恰是在回答如此昂贵的物理预训练,最后到底能换来什么?


02

GEN-0到GEN-1.5:Generalist一直在降低“学一个新任务”的成本


如果把Generalist过去一年三代GEN模型放在一起,会发现它们其实一直在回答同一个问题:预训练做得越来越大以后,机器人学新任务还能不能越来越便宜?



GEN-0最重要的不是某一个机器人任务做得多好,而是Generalist宣称在机器人领域观察到了类似大语言模型的Scaling Law。当时其预训练数据已经超过27万小时真实物理交互数据,并以每周约1万小时的速度增长。实验中,1B模型较难继续吸收复杂数据,6B开始明显受益,而7B以上模型表现出更强的数据吸收和下游迁移能力。


到了GEN-1,问题从“能不能规模化”转成“规模化以后能不能真正把任务做熟”。Generalist将“Mastery(精通)”定义为三个维度:可靠性、速度,以及面对意外情况的即兴恢复能力。在其内部测试的若干简单任务中,GEN-1平均成功率达到99%,折箱等任务速度约提高到此前方案的3倍,同时部分任务只需要约1小时机器人数据。


GEN-1.5则进一步把这条曲线推到了极端,它的初始预训练持续了超过8个月。Generalist称,随着训练继续进行,新任务适配逐渐从数百次梯度更新下降到几十次、一次,最后团队开始尝试能不能一次梯度都不更新?于是出现了Physical Prompting。


从这个角度看,三代GEN的真正演进主线不是模型越来越强,而是Scaling Law → Mastery → In-Context Learning。机器人学一个新任务的边际成本,在不断往下降。


03

Physical Prompting到底是什么?


这里需要纠正一个最容易传播失真的说法:GEN-1.5并不是简单“看3秒视频就会做”。官方所谓的Physical Prompt,本质上是一段sensorimotor example——传感器观测加上动作轨迹。它可以来自人使用手持夹爪完成任务时记录的数据,也可以来自机器人自己以前的rollout。单次3-12秒示范会被放进GEN-1.5的30秒上下文窗口,剩余窗口用于机器人不断接收新的环境观测。


随后,模型权重不改变,机器人只是根据这段“物理上下文”,推断刚才这个示范到底想完成什么,以及我现在应该怎样实现同一个目标。


图片


它和传统机器人模仿学习最大的区别,在于传统方法通常是示范 → 数据集 → 更新模型参数 → 得到新技能。Physical Prompting则更接近示范 → 上下文 → 立即执行。

可以把它类比成大语言模型,以前想让模型学会某个新文本任务,往往需要重新训练。后来GPT-3证明,一个足够大的预训练模型可以只看几个Prompt示例,就临时改变自己的行为。GEN-1.5想证明的是这种in-context learning,也可能出现在物理世界。而且,物理Prompt在某些场景可能比语言更加自然。

“把红色积木放进碗里”很好描述,但“用怎样的手腕角度拉开拉链”“瓶盖卡住时如何重新调整握姿”“两个零件应该以怎样的接触顺序装进去”,很多时候一句话远不如亲手演示一次清楚。如果这一方向成立,人和机器人的交互方式就会发生很大变化:未来编程机器人的人,未必一定是机器人算法工程师,也可能只是现场的一名工人。


04

从“模仿动作”到“理解任务”,GEN-1.5出现了哪些有意思的信号?


如果机器人只能一模一样复现示范轨迹,Physical Prompting的价值其实有限。真实环境不会和演示完全一致,真正值得关注的是,GEN-1.5开始表现出一些“不是照抄动作”的能力。


其中第一个是Prompt组合。


Generalist分别采集了“拉开铅笔袋拉链”和“从袋子里取出钞票”两个独立示范,中间并没有录制过渡动作,但把两段Physical Prompt同时放进上下文后,模型可以把它们连成一个连续任务,并自行产生重新定位、换抓、恢复等中间动作。


图片


第二个信号,是Sim-to-Real Prompt。


Generalist展示了一种很特别的迁移方式:先在模拟器中记录一段操作示范,把它作为Physical Prompt交给真实机器人,机器人直接在现实环境里尝试完成任务。更值得注意的是,官方称GEN-1.5预训练数据中没有仿真数据,这和传统Sim-to-Real略有不同。传统思路更多是在仿真中训练策略 → 把策略迁到真机,GEN-1.5展示的是在仿真中生成“示范” → 把示范当Prompt交给真实机器人。如果这种能力未来足够稳定,那么很多新任务甚至可能不需要先在真实机器人上采集示范。


图片


还有一个最容易出圈的案例,是即兴使用工具。


Generalist先用约5分钟“用刷子把方块扫进碗里”的人类数据对模型做了轻量微调,随后把刷子换成香蕉时,机器人把香蕉当成了临时刷子;换成簸箕以后,它甚至没有继续沿用“扫”的动作,而是尝试把方块铲起来,再倒进碗里。


Generalist官方和WIRED的现场报道都记录了类似行为。不过这里必须说明:香蕉和簸箕案例并不是3-12秒one-shot测试本身,它来自经过约5分钟任务数据轻量微调后的模型,因此不能把所有“即兴工具使用”都直接归因于单次Physical Prompt。


图片


05

Physical Prompting还远没有走到“机器人GPT时刻”


看到这里,很容易把GEN-1.5形容成机器人领域的GPT-3时刻,Generalist自己也在用GPT-3类比这次能力变化。这种类比有道理,但现在下结论还太早。

首先,59%仍然是一个并不高的成功率。Generalist官方也明确承认,目前测试的是相对简单、短时序的atomic manipulation,且one-shot方式学到的能力比微调模型更加脆弱。这意味着机器人现在可能“一看就大概会”,但还不是“一看就稳定会”。对于流水线和商业部署来说,59%远远不够。

其次,目前的10项评测、59%和83%都是Generalist内部结果。截至8月29日,GEN-1.5主要通过公司研究文章和公开视频发布,尚未看到公开模型权重、完整评测包或独立研究团队的第三方复现。

因此,现阶段更合适把GEN-1.5理解成一种值得认真关注的研究信号,而不是已经成熟的通用机器人产品。但它仍然提出了一个非常重要的问题,过去机器人产业普遍默认一个机器人想要多学会一种任务,就要增加一份训练成本,未来如果预训练模型越来越强,这个关系可能被逐渐打破。模型内部已经积累了大量抓、推、拉、旋转、接触、恢复和工具使用经验。新示范做的事情,也许不再是“重新教会机器人一套能力”,而更像Generalist自己的形容:提醒模型,它其实已经差不多知道怎么做。


06

机器人真正的Prompt,可能不是语言


大语言模型时代,一个非常重要的变化,是人类第一次发现模型不用为了每一个任务重新训练,我们只需要改变Prompt。

过去几年,机器人领域自然也在复制这套思路:给VLA一句语言指令——“拿起红色杯子”、“把衣服叠起来”、“打开抽屉”。但物理世界比语言世界复杂得多,很多真正关键的信息,很难写成一句自然语言。力应该往哪个方向施加、什么时候重新抓、物体卡住以后怎样改变策略、手腕应该用怎样的轨迹绕过去,这些知识本来就是通过“做”来表达的。

所以GEN-1.5最值得关注的,不一定是59%,甚至也不是那段3-12秒的演示,真正有意思的是,它提出了一种新的机器人接口:语言不是唯一的Prompt。人的动作、传感器变化和真实物理交互,本身也可以成为Prompt。

从GEN-0验证物理世界的Scaling Law,到GEN-1把规模化转换成任务Mastery,再到GEN-1.5让新任务逐渐进入上下文,Generalist过去三代模型实际上一直在押注同一个方向:预训练越充分,机器人学习新任务需要付出的额外成本就越低。现在,这条曲线第一次逼近了零梯度更新。它离真正的“看一次就稳定掌握”还很远,长时序任务、复杂开放环境、高可靠商业部署,以及第三方独立复现,都还没有被解决。

但如果Physical Prompting继续沿着这条曲线发展,未来机器人行业真正被改变的可能不是某一个模型Benchmark。而是教机器人做事这件事,本身会变得越来越不像编程。工程师写代码,算法团队重新训练,现场人员调参,这些过去必不可少的步骤,未来可能越来越多地被压缩成一个动作:走到机器人面前,做给它看。这才是GEN-1.5值得持续关注的地方。


连界创新



推荐阅读



产业应用场景



·出海!中国具身智能企业在全球市场大“杀”四方!

·比人形更快进入家庭?具身智能宠物机器人迎爆发!

·文娱巨星!人形机器人“表演大乱斗”,谁赢了?

·商业导览成具身智能商业化破局点?

·巡检机器人之困,场景刚需,但这一问题亟待解决



机器人本体企业



·仿生机器人=伴侣机器人?一文为仿生机器人正名!

·乐聚Taskor,为人形机器人规模化进厂按下“快进键”

·具身智能争霸赛打响!四大核心区都有哪些“扛把子”?

·CES 2026|星动纪元携人形机器人家族亮相

·智元CES放大招!开源Genie Sim 3.0强的可怕!



供应链动态



·零部件企业跨界突围!这些企业上大分!

·夺取物理世界的入场券:具身智能操作系统拆解

·人形机器人关节生死局:执行器路线之争与技术博弈

·灵巧手赛道“激战”,新老玩家各执什么王牌?
·开源数据集图鉴!这份具身智能“军火库”请查收

【声明】内容源于网络
0
0
机器人产业应用
由连界创新具身智能中心发起,以场景应用为导向,专注具身领域科技与产业的链接。我们将围绕投资+服务双轮驱动,为科技增长赋能。业务涵盖垂直行业峰会/沙龙、私董会、标杆走访,具身智能行业研究报告与咨询,产业生态系统搭建等。
内容 591
粉丝 0
机器人产业应用 由连界创新具身智能中心发起,以场景应用为导向,专注具身领域科技与产业的链接。我们将围绕投资+服务双轮驱动,为科技增长赋能。业务涵盖垂直行业峰会/沙龙、私董会、标杆走访,具身智能行业研究报告与咨询,产业生态系统搭建等。
总阅读6.8k
粉丝0
内容591