
新智元报道

【导读】VLA 大模型虽展现出强大的操作能力,却存在致命弱点:相机视角轻微偏移即可导致成功率暴跌。招商局先进技术研究院下属狮子山人工智能实验室提出“混合动态数据采集”新范式,首次在真实机器人系统中证明,通过让相机运动采集数据,能以低成本破解 VLA 的空间泛化瓶颈。该成果已被机器人顶会 IROS 2026 接收。
近年来,VLA(Vision-Language-Action)模型已成为机器人操作领域的研究热点。无论是英伟达的 Gr00t 系列,还是 Physical Intelligence 的π系列,均展示了流畅精准的动作执行能力。然而,这些模型普遍存在“脆弱性”:一旦部署环境发生变化,如相机位置微调或场景变换,模型表现往往瞬间崩溃。
斯坦福、谷歌、同济及复旦等多方研究证实,VLA 模型在标准评测中高达 90% 以上的成功率,在相机视角发生轻微变化后,可能骤降至 30% 以下。
针对这一痛点,招商局先进技术研究院下属狮子山人工智能实验室(以下简称“研究团队”)在新论文中给出了精准诊断与解决方案。研究指出,问题的根源在于捷径学习(Shortcut Learning),而破局之道在于混合动态数据采集策略(Hybrid Dynamic Data Collection)。
该论文已被 IROS 2026 正式接收。

论文地址:arxiv.org/abs/2607.02322
项目地址:306327680.github.io/LionRockMultiViewPaperWeb
三重“隐性耦合”:VLA 仅在记忆相对位置
研究团队识别出 VLA 模型普遍存在的三种捷径学习模式,其本质是模型错误地学习了物体间的虚假相对位姿关系,而非真正的空间逻辑。
耦合一:相机 - 基座耦合(Camera-Base Coupling)
模型并未真正理解物体在空间中的绝对位置,而是记住了物体在画面中的固定像素坐标(如“笔在右下角 1/4 处”)。一旦相机位置改变,画面相对坐标失效,模型立即“失忆”。这是最普遍的问题,视角差异可直接导致任务成功率从 85% 跌至 43%。
耦合二:相机 - 物体耦合(Camera-Object Coupling)
模型过度依赖特定角度识别物体。同一物体在不同视角下,可能被模型判定为完全不同的对象,导致识别失败。
耦合三:物体 - 位置耦合(Object-Position Coupling)
这是最为隐蔽的缺陷。即使采用多视角数据,若训练集中物体间的相对位置固定(如笔筒总是在笔右侧 10cm),模型只会学会“向右移动 10cm"的机械操作,而非理解“放入笔筒”的语义。
实验显示,在笔筒位置固定的情况下训练,任务成功率达 95%;但仅将笔筒平移一个直径距离,成功率便暴跌至 72%。这证明模型只是“记住了”固定坐标,并未真正理解空间关系。

“运动之眼”:以移动视角为核心的数据新范式
为打破数据中的虚假相关性,研究团队提出了层次化数据解耦策略,将数据采集分为固定视角、多固定视角与移动视角三种配置。

相较于多固定视角,移动视角的核心优势在于能以同等数据量提供更稠密、近似均匀的多视角采样。当相机沿连续轨迹运动时,背景、观察角度及物体相对位置在帧间持续变化,彻底粉碎了上述三种耦合关系,迫使模型学习真实的三维空间几何关系。

研究团队在真实机器人平台上验证了该范式:系统由 So-101 操作臂执行任务,Airbot 机械臂搭载环境相机充当“运动之眼”,以 0.05m/s 速度沿轨迹连续运动,从多变角度记录操作过程,并通过开源 LeRobot 管线以 30FPS 视频格式采集数据。

混合动态数据采集策略:优势互补的最优解
实验发现,单独使用移动视角数据会导致视觉输入方差过大,策略难以收敛(Gr00t 模型成功率仅 54.8%);而纯多固定视角数据虽收敛性好(成功率 80.5%),但多样性不足。

最终方案是将多固定视角与移动视角数据按比例混合。经系统搜索,在 Gr00t 模型上,当混合比例 k=3 时取得最佳表现,成功率提升至 89.0%。该策略通过引入多维度多样性,从根本上消除了模型可利用的虚假相关性。


跨架构普适性与能力迁移
该混合数据方案在 ACT、Diffusion Policy、π0 等主流 VLA 模型上均验证有效,各类模型综合性能最高提升 26.8%。这证明空间泛化脆弱性是 VLA 的共性缺陷,而混合数据是通用解法。

更关键的突破在于空间感知能力的跨任务迁移。研究发现,仅需为一个“代表任务”(如抓放笔)采集多视角混合数据,即可将习得的空间感知能力“移植”到其他未见过的任务中。实验中,注入等量多视角笔任务数据后,多物体抓取任务的成功率从 43% 跃升至 83%,大幅降低了数据采集成本。

这意味着空间感知不再绑定于具体任务,而是成为一种可迁移的通用“视觉素养”。
总结与应用展望
“运动之眼”混合数据采集范式的核心贡献可归纳为三点:
一、问题诊断。首次系统性揭示 VLA 模型存在的三重隐性耦合,阐明了模型在新环境下灾难性退化的根源。
二、优雅解法。无需修改模型结构,仅通过让环境相机运动并配合最优数据混合策略,即可大幅提升空间泛化能力。该方法已在多种主流架构上得到验证。
三、能力迁移。证实空间感知能力可从简单任务迁移至复杂任务,为降低实际部署中的数据成本开辟了新路径。
未来,该范式有望广泛应用于家庭服务、工业精密装配及智能仓储等场景。通过主动视角规划与自动化管线的融合,机器人将摆脱固定视角束缚,实现类人化的三维空间感知,加速通用机器人的产业化落地。
关于研发团队与 IROS 2026
此次成果出自招商局先进技术研究院下属狮子山人工智能实验室。继今年 6 月在 ICRA 2026 机器人柔性衣物折叠赛事斩获全球冠军后,该团队再次在 IROS 2026 发表重磅成果,彰显了其在具身智能领域的顶尖研发实力。“运动之眼”范式与此前的柔性操作技术互为补充,构建了更完善的机器人操作技术体系。

IROS(IEEE/RSJ 国际智能机器人与系统会议)是全球机器人领域两大旗舰顶会之一,以严苛的双盲评审和高录用门槛著称。2026 年 IROS 录用率仅为 36%,创近 15 年新低,入选难度极高。

