今天,我们领投的企业机本智能 ManuPrax Robotics 发布了首个面向灵巧操作的通用基础 System0 模型 ARC-0 Preview。在机本智能构建的 S2–S0 系统中,S2 负责理解任务、规划物体的运动,ARC-0 则作为 S0,把这些目标转化为实际的动作与发力,为机器人的双手建立“操作本能”。
团队以人类示范为参考,通过强化学习,让模型在机器人自身的结构与力学条件下反复试错、学习控制,最终在未见物体上实现良好的连续操作能力。团队还观察到了模型随训练规模扩大而提升的潜力。我们看好将灵巧操作逐步积累成可复用、可扩展的基础能力,让上层智能能够调用它,使用人类的工具,完成更广泛的实际工作的路径。
以下内容转载自机本智能公众号发布的原文。
从理解意图到操作自如,ManuPrax Robotics(机本智能)构建 System2 – System0 灵巧操作系统,规划智能协同操作本能,让通用智能抵达灵巧手。
同时,我们发布 ARC-0 Preview——首个面向灵巧操作的通用基础 System0 模型。它将上层规划给出的操作目标,转化为灵巧手的协调动作与恰当发力,为机器人的双手构建“操作本能”。
1.
灵巧手需要操作本能
从用筷子夹起一粒花生,到握住螺丝刀拧紧螺丝,人类用同一双手完成千变万化的工作。让机器人接手这些工作,需要它依靠一套通用的操作能力,适应人类已经在使用的物品、工具和工作环境。
人手的通用性,贯穿从拿起物体到完成使用的整个过程。真实环境中,物体不会总被摆在固定位置,也不会始终保持最方便操作的姿态。拿起之后,手还需要把物体转到合适的方向、调整握持方式,并在使用过程中持续协调各根手指的支撑与发力。看似自然连贯的操作,依赖的是人的操作本能让双手随着物体运动与接触变化不断作出的调整。
灵巧手的多指结构,为这样的操作提供了硬件基础。要发挥这份灵活性,还需要让各根手指在与物体的交互中形成协调、稳定的配合。这正是 ARC-0 作为 System0 要为灵巧手建立的操作本能,让上层的操作目标能够落实为手中的实际动作。
图|ARC-0 驱动灵巧手点亮灯泡
图|ARC-0 驱动灵巧手调整杯子
图|ARC-0 驱动灵巧手操作菜刀切黄瓜
2.
缺少 System0 时,计划与执行之间还差什么
在主视频开头,System2 已经给出了更换灯泡的目标运动轨迹,机器人却未能顺利完成对应动作。缺少 System0,整个灵巧操作系统缺少了类人的本能操作能力。
旋出或旋入一个灯泡,需要持续转动、反复换握,并随阻力和接触变化调整发力。规划到灯泡怎样转、手指怎样动,不等于掌握机器人完成这些动作所需的控制。
第一视角人类数据(EgoData)提供动作参考位姿,姿态映射式遥操作将人手动作传给灵巧手,但参考位姿不等于实际控制。人机之间的结构与力学差异,使相似的位姿未必带来稳定的接触与恰当的发力。
ARC-0 让灵巧手能在与物体的交互中协调动作与发力,代表操作本能的智能。
3.
灵巧操作系统 S2-S0:规划智能与本能智能的协同
我们构建 S2-S0 灵巧操作系统,以目标物体运动轨迹连接上层大模型的规划智能与 ARC-0 的操作本能。
System2 由通用视觉语言模型(VLM,例如 GPT6-Astra)承担,负责理解用户输入、解析场景,并规划物体需要怎样运动。System0 由 ARC-0 承担,根据目标物体轨迹,通过学习得到的控制策略协调灵巧手的动作、接触与发力,驱动物体完成相应运动。
图|System2 - System0 灵巧操作系统
在主视频中,S2-S0 系统在连续三个任务上可靠地展现了丰富的灵巧操作能力:
环境太暗了,调亮点(更换灯泡):
围绕“让环境变亮”的目标,完成旋出旧灯泡、交接、调整朝向和旋入新灯泡等连续操作。
桌子太乱了,收拾一下(整理桌面):
通过杯子的重定向、堆叠与收纳,完成不同物体、不同操作阶段之间的任务衔接。
帮我切一块黄瓜(切黄瓜):
双手配合,完成取刀、调整刀具姿态、切割和放回的工具使用流程。
环境太暗了,帮我调亮点
用户输入:环境太暗了,帮我调亮点
桌子太乱了,帮我收拾一下
帮我切一块黄瓜
我们通过持续规模化训练提升 ARC-0 的灵巧操作能力。未来,我们还将探索更通用的 S2-S0 中间层接口表示,持续提升规划智能与操作本能的协同效果。
4.
构建 ARC-0:让灵巧手在试错中练出本能
幼儿在学习操作工具时,会观察成人的用法,然后通过亲手尝试逐渐调整动作与发力。示范提供动作参考,自身的交互经验帮助他们学会完成操作。基于这一思路,我们构建了灵巧操作基础本能模型 ARC-0(Foundation System0 Model):让模型参考人类示范,在交互中反复试错和探索,逐步形成面向不同物体的通用灵巧操作能力。
图|ARC-0 构建路线
人类手—物交互示范经过数据清洗与轨迹提取,形成手部运动和物体运动的参考,用于构建训练目标。围绕这些目标,模型通过强化学习反复探索,学习如何在机器人自身的结构与力学条件下协调手指动作、调整接触与发力,控制物体完成目标运动。
图|人类给出操作意图,ARC-0 在未见物体上完成灵巧操作
5.
规模化 System0 带来涌现的操作本能
System0 的数据和算力的规模化带来了操作本能智能的泛化和涌现能力:随着训练参考数据与物体覆盖扩大,模型在未见物体上的连续操作成功率随之提高。
我们比较不同训练规模下的模型在未见物体上连续完成目标位姿的表现。实验采用不同数量的训练参考物体与不同规模的人类手—物参考数据,考察规模化训练对操作泛化能力与持续性的影响。
这项评测将成功定义为:连续完成至少 K 个目标位姿。模型需要在完成一次位姿调整后,继续控制物体到达下一个目标。K 越大,一次测试需要连续完成的目标越多,对动作衔接与持续控制的要求也越高。
图|不同训练规模下,ARC-0 在未见物体上的连续操作成功率。三条曲线分别对应 K=10、30、50。
以 K=50 为例,在 320 个训练参考物体、80 小时参考数据的规模下,ARC-0 在未见物体上的成功率达到 46.6%。对参考物体、数据与算力规模的进一步外推,展现了 ARC-0 持续提升操作能力、迈向通用灵巧操作智能的潜力。
图|K=50 时的规模化趋势。横轴表示训练参考物体数量与参考数据小时数;实线为实测结果,虚线为示意性外推。
我们的愿景,是让通用智能拥有一双能够改变物理世界的灵巧手。让机器人理解人的意图,使用人类的工具,在复杂环境中完成广泛的工作。
我们相信,未来把一项现实任务交给机器人,能够像今天和大模型对话一样自然。
加入Alphaist,在共识之前押注下一个十年



