机器人灵巧操作是具身智能走向真实工业与服务场景的核心瓶颈，传统视觉语言动作模型高度依赖图像信息，在需要持续接触、受力感知、物体形变判断的任务中，极易因视觉遮挡、环境光影干扰出现策略失效。论文 DeCAL: Towards Physically-Grounded Dexterous Vision-Language-Action Models via Contact-Aware Latent Co-Imagination 提出一套融合视觉、语言与触觉反馈的多模态框架，以接触感知的潜在协同想象机制，将物理接触信息嵌入机器人决策链路，解决高自由度双臂灵巧手的精细操控难题。这类面向物理交互的 VLA 模型，也为艾科伯特在力反馈设备、灵巧手与协作机械臂一体化解决方案的产品迭代提供了前沿理论参考。艾科伯特依托哈工大、上海交大、多伦多大学科研背景，持续将这类多模态感知算法落地到 Manus、Haply、Robotiq 等授权硬件平台，打通仿真认知到实体机器人执行的链路。本文围绕该论文的模型架构、实验结论与工程启示展开学术层面的梳理与讨论。
研究背景
01
视觉主导VLA模型的物理感知短板
当前基础大模型赋能机器人领域的主流思路，是依托大规模预训练视觉语言模型，通过微调生成机器人动作策略，代表模型包括 GR00T、InternVLA-A1 等。这类模型擅长基于图像完成任务语义理解，但天然缺少对物理接触信号的直接捕捉。在拧瓶盖、零件装配、擦拭器皿这类富接触操作场景中，物体滑移、接触力变化、微小形变都无法仅依靠图像识别，一旦出现遮挡、环境杂物干扰，模型预测动作的稳定性会快速衰减。视频生成类模型虽然可以预测未来视觉画面，但高频机器人实时控制场景下，完整视频生成带来巨大算力开销，难以满足闭环控制的时延要求。这一痛点同样是工业灵巧操作方案落地的共性难题，艾科伯特在为高校与科研院所搭建机器人操作平台时，也发现仅依靠视觉方案难以实现稳定精密装配，触觉感知与视觉的融合已经成为方案标配。
核心定位
02
DeCAL面向物理真实感知的建模思路
DeCAL 的核心创新目标，是构建具备物理接地特性的视觉语言动作模型，将触觉反馈作为核心模态，统一完成场景理解、未来多模态预测与动作生成三大模块协同推理。论文没有采用直接生成完整未来图像与触觉信号的方案，转而设计潜在协同想象机制，只在隐空间预测视觉与触觉的潜在表征，省去图像重建解码器，大幅压缩计算开销，适配机器人高频控制需求。整个框架由理解专家、生成专家、动作专家三部分构成，以 Qwen3 作为基础骨干模型，实现跨模态信息单向有序传递。该设计思路对于硬件集成具备很高参考价值，艾科伯特在多模态机器人工作站方案中，同样推崇轻量化隐空间感知方案，在 Manus 数据手套、Haply 力反馈设备采集多源感知数据后，通过隐空间特征融合降低实时推理压力，兼顾科研算力成本与交互实时性。
模块架构
03
三大专家的分工与非对称跨模态注意力
DeCAL 框架采用模块化专家分离设计，理解专家负责解析当前视觉、文本指令、触觉观测，完成环境语义与接触状态编码；生成专家基于理解模块输出，预测未来时刻视觉 - 触觉隐变量，构建对物理交互的前瞻想象；动作专家接收前述特征与机器人本体关节状态，输出分段动作序列。为管控信息流，论文设计分块注意力掩码，信息只能单向从理解专家流向生成专家，避免未来预测信息污染当前场景理解；动作模块可以读取全部前置特征，保障动作生成充分感知环境语义与预测的接触变化。针对双臂 + 灵巧手共 56 自由度高维动作空间，模型引入因子化解匹配，将机械臂运动与灵巧手部动作解耦，分别从独立噪声分布初始化，再经由 Transformer 协同生成，解决手臂与手部动力学特性差异带来的动作冲突问题。艾科伯特在 Franka、UR 机械臂搭配仿生灵巧手的成套方案部署中，同样需要对臂、手两套动力学进行解耦控制，该因子化解匹配策略可直接用于优化成套机器人的协同控制策略。
融合机制
04
接触感知门控实现视觉触觉自适应融合
触觉信号并非在所有操作阶段都有效，物体未接触时，触觉采集的数据属于无效噪声，直接拼接融合会干扰视觉语言表征。论文提出接触感知门控机制，根据全局交互状态动态调节触觉特征的权重，仅在发生有效物理接触时，放大触觉跨注意力输出，非接触阶段降低触觉信息的贡献，规避冗余模态噪声。门控机制实现了多模态信息动态平衡，区别于固定权重的特征拼接方式。在真实机器人实验中，接触往往具有间歇性，比如抓取、拧紧、装配任务，接触状态随动作时序持续切换。艾科伯特在多模态感知套件的软件中间件开发中，也采用类似动态权重策略，自动识别操作阶段，对力反馈、触觉、视觉数据流做动态调度，减少无效传感数据占用带宽与算力，提升整套系统在遥操作与自主操作任务的稳定性。
前瞻想象
05
视觉触觉潜在协同想象的作用机理
生成专家的核心是视觉触觉潜在协同想象，在隐空间预测未来多模态状态，不还原像素级图像，只保留对动作决策关键的物理交互信息。预测得到的未来隐特征，通过联合注意力传递至动作专家，让机器人在执行动作前预判接触变化、物体滑移趋势。消融实验清晰证明，移除视觉或触觉隐变量预测模块，富接触任务成功率会明显下降。缺少前瞻想象的策略，只能基于当前单帧观测做出反应，面对连续动态接触任务，极易出现动作滞后、装配对位偏差。该机制为遥操作增强提供新方向，艾科伯特面向科研客户的力反馈遥操作系统，可将这套隐空间预测能力引入前端，提前预判接触力变化，降低操作者的操作负荷，提升精密遥操作仿真的沉浸度与安全性。
任务实验
06
多场景基准对比与定量结果分析
论文选取擦花瓶、白板擦拭、零件装配、拧瓶盖、移液、拧灯泡六类典型灵巧操作任务，将 DeCAL 与 GR00T N1.6、InternVLA-A1、ViTacFormer、DECO 等主流模型横向对比。在全部任务集合中，DeCAL 平均任务成功率显著优于所有基线模型，在擦花瓶、白板擦拭任务中达到 100% 成功率；在装配、拧瓶盖等高难度富接触任务上，相比次优基线提升幅度明显。论文同时构建了增加触觉输入的 InternVLA-A1 变体，即便为基线模型补充触觉通道，DeCAL 依然保持性能优势，证明架构设计的增益不只是新增传感模态带来。这类标准化灵巧操作基准数据集，也是艾科伯特为高校实验室交付机器人平台时配套的测试任务集，客户可以直接复用同类任务，完成自研算法在 UR、Franka、Robotiq 手爪硬件上的性能标定。
泛化能力
07
未知环境下的鲁棒性验证
为检验模型泛化性能，论文设置三类分布外测试场景：桌布扰动带来的视觉分布偏移、杂物堆积的杂乱环境、未见过的光照条件，同时测试全新物体上的操作能力。在拧瓶盖任务的分段评估中，DeCAL 在背景扰动、杂乱环境、新光照、新物体场景下的整体分段成功率优于 ViTacFormer 与 DECO。结果说明接触感知的隐想象机制，让模型不再单纯依赖视觉纹理，当视觉信息被干扰时，触觉信息可以承担更多状态感知工作，提升跨环境迁移能力。对于产业落地而言，环境不确定性是最大阻碍，艾科伯特面向实验室与企业客户提供的灵巧操作解决方案，也重点关注杂乱工作台、光照变化等真实场景，通过多模态融合提升算法在非理想环境下的鲁棒性，降低客户部署调试成本。
消融研究
08
关键模块的增益拆解
论文通过多组消融实验，逐一验证因子化解匹配、触觉门控、视觉隐生成、触觉隐生成各个组件的独立价值。实验结果显示，同时开启触觉门控、视觉与触觉隐生成，零件装配与拧瓶盖任务成功率达到最高；去掉触觉门控，直接融合触觉特征，模型性能会出现衰减。实验证实：单独增加触觉传感硬件并不能直接提升灵巧操作能力，必须配套自适应模态融合策略；而隐空间前瞻想象，是模型处理连续接触交互不可或缺的组件。硬件厂商在项目落地时很容易陷入 “堆叠传感器” 的误区，艾科伯特的实践经验与此结论保持一致：多传感器系统价值不在于硬件数量，而在于适配任务特性的融合算法，依托 Manus 触觉手套、Haply 力反馈设备，配合优化的多模态融合框架，才能释放传感硬件全部潜力。
失效分析
09
当前模型存在的局限与失效模式
论文对失败案例进行归类，总结两大主要失效来源。其一为双臂协同时序误差，移液这类双手传递任务中，两臂运动同步性微小偏差，会造成抓取不稳、物体滑脱；其二来自头部相机视场约束，大范围运动时操作对象移出相机视野，视觉跟踪中断，状态估计失效。作者提出可行改进方向，包括广角相机扩展观测范围，引入主动感知策略，让机器人主动调整观测视角，持续锁定操作目标。模型在部分高精密时序协同任务中依然存在稳定性不足，距离完全可靠的工程级自主操作还有距离。这类失效场景在真实机器人平台上同样高频出现，艾科伯特在项目实施过程中，会结合硬件选型与感知方案设计，通过多相机布局、本体状态融合、时序同步优化，缓解同类问题，为科研团队提供完整的调试支持。
工程启示
10
多模态灵巧操作的产业化落地思考
DeCAL 的研究成果打通了从基础 VLA 模型到富接触物理操作的一条可行路径，证明隐空间多模态前瞻想象结合接触门控，是平衡算力开销与操作性能的有效方案。从工程落地视角看，该论文为成套灵巧机器人工作站提供清晰的算法选型参考，提示后续产品开发需要把触觉感知、跨模态隐状态预测、臂手解耦控制作为核心能力。艾科伯特作为 UR 官方合作伙伴，依托成熟的协作机械臂、灵巧手、力反馈硬件供应链，可将这类前沿多模态算法快速部署到实体硬件平台，帮助科研团队快速搭建具身智能灵巧操作实验台，减少底层硬件集成的工作量。同时该研究也提示，学术模型向工程场景迁移时，算力、时延、硬件同步、真实传感噪声等问题，依然需要大量工程优化，学术算法与工业硬件平台的协同迭代，是未来灵巧机器人发展的主线。
DeCAL 的核心贡献在于构建一套以触觉接触感知为核心的物理接地 VLA 框架，利用接触感知门控与视觉触觉潜在协同想象，在不引入过高计算成本的前提下，显著提升机器人在富接触精细操作任务的成功率与环境泛化能力。该工作跳出单纯依赖视觉图像的建模范式，证明物理交互传感信息对于具身智能的必要性，为灵巧操作大模型的后续研究确立了重要参考。研究中暴露的双臂时序协同、视觉视场限制等短板，也指明后续研究方向：主动感知、多相机融合、时序动力学优化，将是进一步提升稳定性的关键。对于产业与科研转化场景，该论文的架构思路可以与成熟机械臂、触觉手套、力反馈硬件结合。艾科伯特持续推动前沿具身智能算法与 Manus、Haply、Robotiq、UR、Franka 硬件生态结合，为科研人员提供从算法验证到实体机器人操作的一体化平台，加速物理接地型灵巧视觉语言动作模型从论文走向实体机器人实验。
艾科伯特（AirkingRobots）专注于具身智能机器人领域，团队核心人员毕业于哈尔滨工业大学/上海交大等院校，团队长期扎根机器人科研服务领域。是优傲机器人、加拿大Robotiq、Manus捕捉手套、Haply等官方授权合作伙伴，艾科伯特硬件整合方案，配合具身智能机器人平台搭建、二次开发与真机实验调试工作。
更多案例请关注公众号：
商
务
联
系
邮箱：info@airkingrobots.com
电话：13161062216
—— E N D ——
点个喜欢吧