大数跨境

大模型都能控机器人,Human Data还得怎么卷?

大模型都能控机器人,Human Data还得怎么卷? 量子位
2026-11-12
0
导读:未来不佩戴Dex手套,也能获得像素级精度的手部追踪

导读

随着AI Agent和递归自我改进(RSI)概念的兴起,具身智能领域面临巨大压力。通用大模型正展现出控制物理机器人的潜力,而厂商竞争的焦点已转向底层数据。采集高质量的人类操作数据(Human Data)被视为训练通用机器人的关键,但传统方法存在视觉遮挡、触觉缺失及设备干扰等痛点。在2026 CoRL会议上,简智机器人发布DAS 2.0系统,旨在通过硬件升级解决数据采集难题。

Human Data采集的进化:从单一视角到多模态协同

高质量的人类操作数据并非简单的视频录制。不同任务对数据维度的需求各异:有的需要全局环境信息,有的依赖细微的手指动作,还有的必须包含真实的物理接触反馈。简智机器人提出的Gen DAS数据采集体系,通过设备组合实现时空对齐的多模态采集。

Ego+Wrist+Dex:三位一体的采集方案

该体系主要提供三种配置,分别覆盖任务背景、局部动作和原生物理测量:

  • Ego(第一视角):记录人类操作时的环境、动作轨迹及任务全过程,包括失败后的调整策略。
  • Wrist Camera(腕部相机):作为Ego的补充,提供手部操作的“专属机位”,持续记录手与物体的相对运动及局部形变,弥补头戴相机因遮挡造成的细节丢失。
  • Dex(数据手套):直接记录关节运动和触觉信息,为视觉难以判断的物理接触提供实测依据。

DAS Ego 2.0:视野与清晰度的双重升级

作为机器人的“眼睛”,DAS Ego 2.0在硬件性能上进行了显著优化,以捕捉更丰富的环境与动作线索。

340°全景视野与500万像素高清成像

整机搭载6颗全局快门摄像头,支持30fps同步成像。水平视野扩大至340°,几乎覆盖除身后极小区域外的所有方向,有助于保留更多环境信息和动作上下文。其中,2颗主相机像素升级至500万,其余4颗为200万,指尖追踪标称精度达4mm。

高分辨率图像不仅改善了监督标签的准确性,减少了动作标注偏差,还允许模型在训练阶段通过局部裁剪和多尺度输入,保留手部操作的关键视觉细节。

工业级稳定性保障数据质量

为确保大规模采集的效率,Ego 2.0支持磁吸电池包不停机更换,单包续航约2.5至3小时。配套App具备头部姿态检查、头发遮挡识别及一键录制功能,支持标准MCAP格式和批量后处理。这些改进使得单季度“有效数据”交付量从十万小时级提升至百万小时级。

DAS Dex 2.0:精准捕捉真实触觉

针对手指与物体接触瞬间的微小变化,如打滑或握力调整,传统视觉方案难以捕捉。DAS Dex 2.0通过结构优化和传感器升级,解决了触觉采集中的干扰与稳定性问题。

低干扰结构与高精度传感器

Dex 2.0将主要外骨骼结构移至手指侧面,贴近人手运动轴,最大限度减少对手指自然操作的干扰。其核心组件包括:

  • 半柔性压阻式电子皮肤:单手配备16块触觉传感器,共980个感知单元。空间分辨率达1mm,最小检测力0.1N,采样频率100Hz。该技术有效区分了材料形变、通道串扰产生的信号与真实物理接触,避免“触觉幻觉”。
  • 微型磁编码器:单手21个独立关节编码器支持21DoF运动捕捉,指尖位置精度标称小于1mm。

长期稳定性与数据应用

在为期一个月的持续采集中,Dex 2.0在相同条件下重复动作的触觉响应保持一致,证明了其长期稳定性。此外,设备支持无本体和遥操两种采集模式。

触觉数据赋能视觉模型

简智正在探索Ego+Wrist Camera+Dex同步配对采集。通过将第一视角、腕部近景与Dex实测的关节、触觉数据对应,为视觉模型提供“带答案”的训练数据。借助配对监督和知识蒸馏,未来有望仅凭视觉方案即可估计接触状态及实现像素级手部追踪,甚至预测后续动作。

从局部到全身:Wholebody数据体系与时空对齐

机器人学习不仅限于手部动作,还包括接近目标、调整站位及全身协调。简智将Wholebody(全身动作)纳入DAS数据体系,涵盖策略层、协调层和执行层三个维度。

毫秒级时间对齐是关键

由于不同机器人本体结构差异,原始数据需尽可能完整准确,且多源信号必须严格时间同步。若视频与触觉信号存在时间错位,会导致模型学习偏差。DAS Ego 2.0和Dex 2.0通过统一时钟、硬件触发和相机曝光控制,实现了约1ms级的头手时间对齐。

以手部运动速度0.5m/s计算,1ms的时间错位仅对应约0.5mm的运动距离,这对于接触、旋转等快速动作的精确建模至关重要。

结语

目前,简智的数据产品已在Simate、自然意志、Dreamlabs、生数Vidu AI等团队的模型中得到验证。随着具身智能对数据精度要求的提高,从视觉、动作到真实触觉的高质量Human Data采集将成为行业竞争的核心。通用大模型已提出挑战,如何通过高效、精准的数据采集与利用,让机器人真正掌握人类技能,是接下来各家企业需要交出的答卷。

【声明】内容源于网络
0
0
量子位
各类跨境出海行业相关资讯
内容 16631
粉丝 1
量子位 各类跨境出海行业相关资讯
总阅读555.9k
粉丝1
内容16.6k