大数跨境

百万虚拟数据,让机器人学会开抽屉、拧旋钮

百万虚拟数据,让机器人学会开抽屉、拧旋钮 中国电信人工智能研究院
2026-10-28
8
导读:一套完整的仿真数据生产流水线
图片


拉抽屉,拧旋钮,开柜门

......


这些人类随手就能完成的小事

对于机器人来说却是一大难题



它要先找准把手,准确抓住

然后顺着柜门、抽屉移动



角度稍微一偏,力度稍稍不对

就会打滑、卡住

导致任务直接失败




想要教会机器人做家务,传统方法就是通过真机一遍一遍演示并采集数据。但真机实验成本高、耗时长,想要覆盖五花八门的柜子、门、家电,几乎很难做全。不同型号的机器人,数据还不能直接拿来复用。


那么,有没有办法,少折腾实体机器人,就能让它学会搞定家里各种带合页、滑轨的物件?答案是:有!


近日,中国电信集团 CTO、首席科学家、中国电信人工智能研究院(TeleAI)院长李学龙教授带领具身智能科研团队联合伽马智能,创新研发了一套完整的仿真数据生产系统 SMART,直接在虚拟仿真环境中生成百万级合成数据,训练完再零样本跑到真实机器人上干活。


点击播放视频


整套 SMART 体系,核心不靠真人操控机器人录示范,而是搭建了一套完整的仿真数据生产流水线。


01


SMART-Sim 仿真平台

搭建虚拟的家


SMART-Sim 是一个通用机器人操作仿真平台,集成了海量虚拟资产:几千种带铰链、滑轨的家具家电,上千套室内场景,上万张 4K 室内背景图。柜门、烤箱门、抽屉、旋钮这些物件,系统会自动标注清楚,哪里可以抓、往哪个方向转动、运动范围多大。



机器人运动也不是瞎动,会在靠近物体前做碰撞检测,手接触到柜门之后,会严格跟着铰链、滑轨的物理约束生成运动轨迹。推、拉、旋转、按压等 23 种基础动作技能,可以自由组合成复杂任务。



同时还会做“随机化”:物体摆放位置、光照、材质、摩擦力、机器人初始姿势全部随机改变。目的就是不让模型死记某一套画面,学到真正通用的操作逻辑,而不是仿真环境的 “专属套路”。


材质纹理随机化循环


光照条件随机化循环


空间配置随机化循环


相机外参随机化循环


02


SMART-Hive 分布式工厂

大规模批量造数据


光有仿真还不够,还要高效产出海量轨迹。


SMARTHive 就像一个数据工厂,把数据生产拆成轨迹采集、画面渲染、数据集转换三道工序,多任务并行跑,充分榨干显卡算力。


一台搭载 8 张 RTX4090 的服务器,一天就能产出 144 小时机器人操作数据。产出的数据直接输出行业通用格式,方便后续拿来训练模型。



就这样,在虚拟世界里,诞生了数据集 SMART-Data:


1

超 100 万条铰链物体操作轨迹


2

总时长 4600 + 小时,约 5 亿帧图像


3

覆盖柜门、冰箱、抽屉、旋钮等几十类日常物件


既有简单的开关柜门,也有多步骤长时序复杂家务任务,数据集规模远超以往同类开源数据集。


在同类数据集中,SMART-Data 的百万级铰链操作轨迹规模是InternData-a1 与 MolmoBot 中铰链物体操作数据量的 13 倍和 8 倍。


这种规模让大量任务可以直接从仿真数据获得覆盖,显著降低真机采集与逐条人工标注成本,并为下游训练提供稳定的数据底座。



基于这套百万级合成数据,TeleAI 研究团队训练出视觉动作模型 SMARTVLA,整个预训练阶段完全没有使用真实机器人采集的数据,真机只用来做最后的效果测试,不参与训练和微调。


在多个机器人仿真基准测试中,只用合成数据训练出来的 SMARTVLA,表现比肩部分依赖真实世界数据训练的顶尖模型。


尤其面对开门、拉抽屉这类铰链相关任务,在未见的新物体、新组合任务上,成功率高出其他基线模型,证明虚拟数据学到了可迁移的操作本领。



TeleAI 研究团队用三款完全不同的真实双臂机器人对 SMART 进行了测试,任务包含拉抽屉、开微波炉门、拧旋钮、按压分配器、掀开工具箱盖子等 8 类家庭常见操作。



结果现实,真机平均成功率达到 76.7%!


跟有趣的是,在仿真上部分真实数据模型和它差距不大,但换到真实物理世界,SMARTVLA 反而实现反超。



更考验泛化的是 “位置变动测试”:当把机器人底座抬高 10 厘米,也就是训练时完全没见过的高度,SMARTVLA 成功率仅小幅下滑;反观对比模型,有的直接暴跌,多项任务直接失败。


这正是得益于合成数据在生成时就大量覆盖了各种各样的位置、姿态,模型不会被固定位置“锁死”。


研究团队还观察到一个规律:合成示范样本越多,真机实际表现越强。


当单任务虚拟示范达到 500 条,多项家务任务真机成功率突破 80%。越是需要精细接触、约束严苛的操作,越能体现大规模多样化数据的价值。



过去业内的固有印象:仿真数据 “假”,想要机器人在现实好用,必须拼命攒真机数据。


而 SMART 告诉我们另一条可行路线:


不一定非要仿真像素和现实一模一样,只要轨迹足够真实、场景足够多元、物理约束到位,大规模合成数据完全可以成为机器人的基础训练底座。


这套系统把昂贵的真机从“反复练手的训练场”解放出来,更多用作最后的验证校准;把繁重的数据生成交给仿真集群完成,大幅降低采集、人工标注成本。


未来,当虚拟生成的操作数据规模继续攀升,或许家用服务机器人走进普通家庭的进度,会比我们想象来得更快。



项目主页:

https://teamillusion-smart.github.io/


开源地址:

https://huggingface.co/datasets/

TeleEmbodied/SMART-Data




相关工作

图片

J. Ao, S. Jiang, Y. Zhong, Y. Liu, Y. Gao, J. Zhao, Y. Zhang, S. Zhu, C. Bai, X. Li*, “SMART: Zero-Shot Sim-to-Real Articulated Object Manipulation via Large-Scale Synthetic Pretraining”, arXiv:2610.07652.


图片

【声明】内容源于网络
0
0
中国电信人工智能研究院
中国电信人工智能研究院(TeleAI)面向国家战略需求和人工智能发展趋势,结合中国电信在算力、数据、场景及通信等多方面的优势,围绕重点方向开展基础研究、技术攻关和应用落地,旨在打造人工智能研发与产业转化标杆性平台,构建人工智能人才高地。
内容 114
粉丝 0
中国电信人工智能研究院 中国电信人工智能研究院(TeleAI)面向国家战略需求和人工智能发展趋势,结合中国电信在算力、数据、场景及通信等多方面的优势,围绕重点方向开展基础研究、技术攻关和应用落地,旨在打造人工智能研发与产业转化标杆性平台,构建人工智能人才高地。
总阅读2.5k
粉丝0
内容114