大数跨境

Token卷到触觉了!机器人终于有了通用手感

Token卷到触觉了!机器人终于有了通用手感 量子位
2026-11-10
9
导读:蚂蚁灵波开源LingBot-Touch

机器人装上触觉反而变笨?蚂蚁灵波开源LingBot-Touch破解难题

明明给机器人装上了触觉传感器,为何操作成功率不升反降?


△ 图片由AI生成

近期实验显示,在Sharpa Wave灵巧手上安装触觉传感器并执行拉拉链任务时,仅依靠摄像头的动作模型π0.5成功率为39%;而加入原始触觉读数后,成功率骤降至15%。在交接盒子等任务中,类似现象同样存在。

究其原因,在于原始触觉数据的特殊性:非接触时段读数多为“0”,接触时信号稀疏且含噪。此外,视触觉、磁触觉、压阻式触觉等不同传感器的数据格式差异巨大,直接输入导致模型难以理解,甚至产生干扰。

针对这一痛点,蚂蚁灵波团队提出了引入中间层“翻译”的解决方案,并正式开源触觉预训练基础模型LingBot-Touch。该模型能将异构传感器数据统一编码为模型可理解的触觉Token。实测显示,接入LingBot-Touch后,拉拉链任务成功率提升至59%,比无触觉方案高出20个百分点。

灵巧手需要一个“翻译”:LingBot-Touch技术解析

LingBot-Touch的核心作用是接收磁触觉、视触觉、压阻式触觉等多类传感器信号,将其统一编码为包含接触位置、受力大小及方向变化的触觉Token。它向下兼容不同传感器与灵巧手,向上对接各类动作模型,实现触觉感知的标准化。


△ LingBot-Touch连接多种触觉传感器与真实灵巧操作

目前开源的轻量版LingBot-Touch-Tiny仅约532万参数。其训练过程主要包含三个关键步骤:

第一步:统一坐标空间

针对不同传感器触点数量与排布差异巨大的问题,团队将所有触点映射到标准化的指尖空间,并通过旋转位置编码(RoPE)赋予每个Token由时间、手指和三维位置组成的“地址”。这使得模型不再依赖固定触点数量,三类传感器各自拥有轻量入口,共用同一个触觉Transformer主干。


△ LingBot-Touch整体架构,三类传感器分入口、共用一个主干

第二步:特征空间预测

为避免模型通过拟合大量“0”背景数据来降低损失,LingBot-Touch采用JEPA路线。训练时随机遮挡90%的触点,要求模型根据剩余10%的变化在特征空间预测被遮挡部分的表征。相比还原原始读数,该方法显著提升了精度:判断接触中心误差仅为0.90毫米,远低于VAE和MAE的3毫米以上。


△ 同样的数据,特征空间预测与还原原始读数的效果对比

第三步:数据扩充与防过拟合

预训练数据总计4983小时、约13.3亿帧,其中三分之二来自佩戴触觉手套的人类操作,三分之一来自遥操作机器人。为防止模型死记硬背特定传感器布局,训练过程中会随机改变触点采样密度并微调位置,迫使模型学习接触本身的物理规律。


△ 预训练数据的构成,覆盖三类传感原理

真机测试表现优异,泛化能力显著

在Sharpa Wave(高自由度)和XHand(低自由度两款灵巧手的26项任务测试中,接入LingBot-Touch的四种动作模型(Diffusion Policy、π0.5、LingBot-VLA、T-Rex)平均成功率均最高。相较于无触觉方案,成功率提升超过20个百分点,而参数量增加不足0.2%。


△ 两款灵巧手上,四种动作模型在三种设置下的平均成功率

特别是在XHand实验中,尽管其使用的磁触觉传感器型号未出现在预训练数据中,且数据完全源自人类手套,π0.5模型的平均成功率仍从48%提升至74.17%。在分离叠杯任务中,成功率更是从32.5%翻倍至72.5%,证明了模型强大的零样本泛化能力。

与之前的触觉基础模型FTP-1相比,LingBot-Touch在接触中心判断误差上大幅降低(Sharpa Wave从2.19mm降至0.12mm,XHand从5.89mm降至0.16mm),且无需为每只手配备专门适配器。


△ 与FTP-1在两款灵巧手上的对比

此外,Scaling Law初步显现:随着预训练数据量增加及模型规模扩大(从Tiny到Small),真机任务成功率持续稳定提升。


△ 预训练数据量与模型规模对效果的影响

补齐触觉拼图,构建具身原生大脑

LingBot-Touch是蚂蚁灵波具身智能技术路线的重要一环。此前,灵波已在空间感知(Vision/Depth)、环境交互(Video/World)和灵巧操作(VLA/VA)方面有所布局。LingBot-Touch的加入,补齐了“接触后”感知的短板,形成了“视觉管接触前,触觉管接触后”的完整闭环。

将触觉单独做成基础模型,旨在实现经验的跨硬件复用。通过统一表征,不同本体和传感器积累的物理经验得以共享,体现了“具身原生”的设计理念:从物理世界的感知与交互出发设计模型。

目前,LingBot-Touch已与LingBot-VLA、LingBot-Depth融合,并在零售、物流及工业场景中与乐聚、钛虎等合作伙伴开展商业化测试。

大模型时代,具身原生能力不可或缺

随着GPT-6 Astra和Claude Fable 5.2等大模型在机器人控制领域展现强大潜力,行业对于通用大模型与具身模型关系的讨论日益激烈。尽管大模型在任务推理上表现优异,但在需要精确物理接触的任务中,因缺乏物理常识往往表现不佳。

蚂蚁灵波CEO朱兴认为,通用大模型与具身基础模型是“1+1>2”的关系。大模型提升推理规划能力,而具身基础模型解决物理操作泛性这一核心难点。触觉作为物理世界原生的模态,其经验无法从互联网文本中获取,必须通过在真实交互中积累。

LingBot-Touch的成功证明,触觉可以拥有统一的表征。其采用的“统一坐标、入口分开、主干共享、特征空间预测”思路,不仅适用于触觉,也为未来整合温度等其他物理模态提供了参考路径。

通过开源且可拆分的方式,蚂蚁灵波致力于在硬件与场景间构建一层智能,将多样化的传感器数据转化为共享的通用能力,推动具身智能产业成熟。

项目主页:https://technology.robbyant.com/lingbot-touch

技术报告:https://github.com/Robbyant/lingbot-touch/tree/main/paper

GitHub:https://github.com/Robbyant/lingbot-touch

Hugging Face:https://huggingface.co/collections/robbyant/lingbot-touch

魔搭社区:https://www.modelscope.cn/collections/Robbyant/LingBot-Touch

【声明】内容源于网络
0
0
量子位
各类跨境出海行业相关资讯
内容 16646
粉丝 1
量子位 各类跨境出海行业相关资讯
总阅读565.3k
粉丝1
内容16.6k