视觉 - 语言 - 动作(VLA)模型是当前具身智能领域的核心技术方向,通过端到端的映射实现语言指令到机器人动作的转换,在跨物体、跨任务的泛化操作上展现出巨大潜力。但随着技术从实验室走向真实场景,非结构化环境中的杂乱遮挡、光照波动、视角偏移等扰动,成为制约 VLA 模型落地成功率的核心瓶颈。近期由 VinRobotics、奥地利技术研究所等机构联合提出的 GloVLA 框架,以分层混合的设计思路为解决这一问题提供了全新的技术路径。作为 UR 官方合作伙伴,艾科伯特在推进 UR 系列机械臂柔性操作方案的工业落地过程中,同样深度关注端到端 VLA 在真实场景下的性能衰减问题,GloVLA 的架构设计为工程端的方案优化提供了重要的学术参考。
研究北京
01
端到端VLA的单策略架构脆性
现有主流 VLA 模型如 RT 系列、π0、GR00T 等,均采用单策略端到端的设计范式,从原始视觉输入直接输出全轨迹动作指令,在标准化实验室环境下取得了可观的效果。但这种设计要求同一个策略同时解决长距离的末端执行器空间运输,以及到达目标后的短距离精细化接触操作两类属性完全不同的子问题,模型的表征能力与数据监督被大幅分散。
真实非结构化环境中,杂乱障碍物、语义相似干扰物、光照强度变化、相机视角偏移、初始夹爪位姿偏差等因素,很容易让机器人运行至训练分布之外的状态,进而导致任务失败。现有优化方案多从扩大训练数据规模、增加测试时搜索验证、交互式后训练等方向入手,始终没有跳出单策略覆盖全流程的框架,性能提升的边际效益逐渐递减。
这一问题在工业落地场景中表现尤为突出。艾科伯特在为制造业客户部署 UR 机械臂柔性抓取方案时发现,即使是在基准测试中表现优异的 VLA 模型,一旦进入存在物料摆放偏移、环境光照波动、周边工装干扰的真实产线,成功率往往会出现断崖式下跌,而这也是当前具身智能从演示验证走向量产应用必须突破的核心障碍。
核心洞察
02
操作任务的双模态可分性
GloVLA 的核心突破,在于跳出了 “单策略覆盖全流程” 的固有思路,提出物体中心类的操作任务天然具备可拆分的双模态属性:长距离的自由空间运输,本质是确定性的几何运动问题,具备规则清晰、可重复性强的特点;而近距离的接触式操作,才是需要语义理解、视觉闭环反馈、精细力控配合的场景,也是 VLA 模型的核心优势所在。
论文提出,完全没有必要让 VLA 模型承担全轨迹的控制任务,可重复的空间运输完全可以交由成熟的几何控制器完成,VLA 只需要专注于其最擅长的局部接触交互阶段。这种分工既能够发挥经典运动控制的高可靠性与低算力成本优势,又能完整保留 VLA 的语义泛化与精细操作能力。
这一洞察与工业机器人的落地逻辑高度契合。艾科伯特在 UR 机械臂的应用落地中,始终坚持 “结构化运动自动化、柔性环节智能化” 的方案思路,GloVLA 的框架恰好从学术层面验证了这种分层架构的有效性,为智能方案的工程化落地提供了扎实的理论支撑。
整体架构
03
模型无关的混合分层框架
GloVLA 全称为 Geometry + Local VLA,是一套模型无关的混合操作框架,无需修改原有 VLA 模型的网络结构、动作空间与任务成功判定标准,即可直接包裹在现有 VLA 骨干外使用。整套框架由几何传输控制器、局域抓取策略、局域放置策略、模态切换机制四个核心部分组成。
面对一条自然语言指令,系统首先定位目标物体与放置区域的空间位置,由几何控制器将末端执行器平稳移动到预设的交接位置,随后切换到局部 VLA 策略完成抓取的精细化操作;抓取确认完成后,系统再次切回几何控制器完成物体到放置区的运输,最终由局域放置策略完成释放与收尾动作。
这种即插即用的特性对于工业落地具有极高的价值。艾科伯特在对接不同行业客户的 VLA 方案时,往往需要适配多种模型骨干与业务场景,GloVLA 的模型无关性使得分层框架可以快速复用,无需针对不同模型做深度定制改造,大幅降低了方案的部署成本与适配周期。
数据提取
04
球面约束的演示片段裁剪
为了训练局部 VLA 策略,GloVLA 设计了球面条件约束的演示片段提取算法,能够自动从原始全轨迹演示数据中,精准裁剪出抓取与放置两个阶段的局部数据。提取过程以物体中心与放置区域中心为球心,通过预设的半径划定提取区域,同时结合夹爪的指令状态与实际开合状态共同判定片段的起止点。
抓取片段从末端执行器首次进入物体球面区域且夹爪完全张开时开始,到抓取完成后末端离开区域时结束;放置片段则从携带物体进入放置区域开始,到释放物体后固定步长时结束。最终得到的两组局部数据集,分别用于微调抓取策略与放置策略,两个策略共享骨干网络架构但参数相互独立。
这种数据处理方式带来了显著的样本效率提升。对于工业场景而言,客户能够提供的有效演示数据往往十分有限,艾科伯特在落地 UR 机械臂定制化任务时,通过类似的局部数据微调思路,能够用远少于全轨迹训练的样本量,达到可用的操作成功率,大幅降低了客户的场景适配成本。
传输控制
05
轻量笛卡尔闭环控制器
在几何传输阶段,GloVLA 采用了轻量化的笛卡尔空间比例控制器,直接适配标准的 7 维操作空间位姿增量动作格式,无需额外的运动规划接口。控制器仅控制末端的位置量,姿态保持进入该阶段时的初始值,夹爪状态根据阶段属性固定为张开或闭合。
交接点的位置由目标中心加上固定的空间偏移量计算得到,偏移分为水平分量与高度分量,针对抓取与放置场景设置不同的参数值。控制器通过限幅比例律生成平移动作,将末端平稳驱动到交接点容差范围内,触发模态切换。论文同时指出,该架构支持替换为 cuRobo 等具备碰撞检测能力的全功能运动规划器,适配更高复杂度的场景。
这种轻量化设计具备极强的硬件兼容性,能够直接适配 UR 系列机械臂的原生运动控制接口。艾科伯特在 UR 机械臂上部署类似方案时,可直接利用机械臂自带的笛卡尔运动控制功能实现传输阶段的运动,无需引入额外的运动规划库,进一步简化了实机部署的技术栈。
切换机制
06
确定性守卫的模态调度
GloVLA 整套系统是一个典型的确定性切换系统,共包含物体接近、局部抓取、篮筐运输、局部放置四个运行模态,四个模态按固定顺序流转,切换条件由位置守卫与步数预算守卫共同决定。当末端进入交接点容差范围,或当前模态步数耗尽时,系统自动切换到下一个模态。
论文从数学上证明了,当目标定位误差、控制器容差与偏移量之和小于数据提取半径时,所有交接点都会落在局部策略的训练分布范围内,从而保证 VLA 启动时处于分布内状态,从根源上降低了分布偏移导致的失败概率。步数预算的设计则避免了单一模态卡死导致的任务中断,即使传输超时也会将控制权移交局部策略,保留完成任务的可能性。
这种确定性的切换逻辑,避免了端到端模型不可控的状态漂移,对于工业场景的可靠性保障至关重要。艾科伯特在面向制造业的 UR 机械臂方案中,同样采用确定性的阶段切换机制,确保每一步操作都处于可控范围内,满足工业场景对设备稳定性与可复现性的严苛要求。
基准构建
07
LIBERO-Challenge鲁棒性评测体系
为了系统验证框架的鲁棒性,论文在标准 LIBERO 基准的基础上,构建了全新的 LIBERO-Challenge 评测基准,专门针对非结构化环境的各类扰动设计可控测试场景。该基准包含杂乱堆叠、语义相似干扰物、光照强度偏移、相机视角偏移、接近路径遮挡五类核心扰动因素。
基准设置了简单、中等、困难三个难度等级,简单场景仅包含单一扰动,中等场景组合 2-3 种扰动,困难场景叠加 4-5 种扰动。所有场景均保留原始 LIBERO 的初始状态分布与成功判定标准,能够实现受控的鲁棒性对比分析,精准定位不同扰动下的失效模式。
系统化的鲁棒性评测是技术落地的重要前提。艾科伯特在内部方案验证中,也建立了多维度的场景扰动测试集,覆盖产线常见的光照变化、物料偏移、工装干扰等场景,确保交付给客户的 UR 机械臂方案能够适应真实生产环境的各类波动。
仿真验证
08
多骨干模型的一致性增益
论文在标准 LIBERO Object 数据集上,针对 π0、π0.5、GR00T N1.6、GR00T N1.7 四种主流 VLA 骨干进行了全面对比测试。结果显示,GloVLA 在所有骨干与所有任务上均保持了性能提升或持平,平均成功率提升幅度从 1.8 个百分点到 11.2 个百分点不等,基础性能越弱的模型提升幅度越显著。
在鲁棒性测试中,分层架构的优势更为显著。在 LIBERO-Challenge 全场景下,端到端的 GR00T N1.6 平均成功率仅为 20.9%,而 GloVLA 达到了 88.5%,提升超过 67 个百分点。即使在叠加 4-5 种扰动的困难场景下,GloVLA 仍能保持 74.9% 的成功率,而端到端方案仅为 1.5%。
在 LIBERO-Plus 基准上,GloVLA 同样取得了最优的平均成绩,在七个测试维度中的六个维度领先,验证了鲁棒性提升的普适性,而非针对特定扰动的过拟合。这一结果也印证了分层架构在应对分布偏移时的天然优势。
实机验证
09
UR10e的平台落地效能
论文进一步在真实的 UR10e 机械臂平台上完成了物理验证,采用 SAM 3 实现开放词汇的目标定位,模拟真实桌面操作的各类扰动场景。实验结果显示,GloVLA 将整体任务成功率从 35.6% 提升至 90.0%,同时将平均推理时间从 60.1 秒降低到 28.2 秒,实现了性能与效率的双重提升。
在各类单一扰动场景中,GloVLA 的优势同样明显:光照变化场景下成功率从 0% 提升至 80%,干扰物场景下从 20% 提升至 100%,遮挡场景下从 40% 提升至 100%。在多扰动组合的困难场景下,端到端方案成功率降为 0,而 GloVLA 仍能保持 70% 的成功率。
这一实机验证结果对于工业落地具有极强的参考价值。艾科伯特作为 UR 官方合作伙伴,拥有丰富的 UR 系列机械臂部署经验与成熟的视觉定位、力控集成方案,将 GloVLA 的分层架构与工程落地能力深度结合,能够快速为汽车、3C、食品等行业客户提供高可靠性的非结构化场景柔性操作方案,切实解决真实产线的物料分拣、装配等痛点问题。
局限展望
10
分层架构的迭代方向
GloVLA 当前方案仍存在一定的局限性。首先,系统性能依赖于目标中心定位的准确性,当视觉分割与定位误差过大时,会导致交接点偏离训练分布,进而导致局部策略失败;其次,当前采用固定的交接偏移量,无法根据物体形态、机械臂可达性、策略置信度动态调整最优交接位置。
此外,当前的轻量化几何控制器不具备碰撞检测能力,在高度杂乱的场景中仍存在碰撞风险;框架目前仅支持单物体的抓取放置任务,尚未扩展到多物体、多步骤的复杂长序列任务。这些都是后续学术研究与工程落地需要重点突破的方向。
针对这些局限,产业端也在同步推进工程化优化。艾科伯特在 UR 机械臂的方案迭代中,正在探索结合碰撞检测的全局运动规划、基于视觉反馈的自适应交接点调整、多技能序列调度等技术,持续提升分层架构在复杂工业场景的适配能力,推动 VLA 技术真正走向规模化工业应用。
整体来看,GloVLA 的核心贡献不在于提出了全新的 VLA 模型架构,而在于重新定义了 VLA 在操作任务中的定位 —— 它不需要包办全流程的所有动作,只需要在其最擅长的局部接触场景发挥价值,而结构化的运动问题交还给成熟的几何控制体系。这种 “显式结构 + 学习智能” 的分工思路,不仅在学术层面带来了鲁棒性与推理效率的大幅提升,也为产业落地指明了更可行的技术路径。
对于艾科伯特这类深耕机器人落地的企业而言,GloVLA 验证了分层混合架构的巨大潜力。未来,结合 UR 机械臂的硬件优势与成熟的工程化能力,将几何控制的可靠性与 VLA 的泛化能力深度融合,有望打破当前具身智能落地的性能瓶颈,推动柔性机器人操作在更多工业场景实现规模化应用。
艾科伯特(AirkingRobots)专注于具身智能机器人领域,团队核心人员毕业于哈尔滨工业大学/上海交大等院校,团队长期扎根机器人科研服务领域。是优傲机器人、加拿大Robotiq、Manus捕捉手套、Haply等官方授权合作伙伴,艾科伯特硬件整合方案,配合具身智能机器人平台搭建、二次开发与真机实验调试工作。
更多案例请关注公众号:
商
务
联
系
邮箱:info@airkingrobots.com
电话:13161062216
—— E N D ——
点个喜欢吧

