破晓智能发布SeePhys Hub:补齐Ego数据缺失的全身运动与触觉信息
随着具身智能的发展,机器人正从依赖本体采集数据转向利用大规模人类操作数据进行学习。然而,以视觉为主的第一视角(Ego)数据虽易于规模化采集,却往往遗漏身体姿态、手部触觉等关键交互信息。
10月14日,破晓智能联合天珑移动正式发布全身全模态数据采集系统SeePhys Hub。该系统旨在保留Ego数据采集轻便优势的同时,通过多传感器融合恢复全身姿态并记录触觉压力,为机器人学习复杂任务提供更完整的数据基础。
稀疏节点方案:重建“视野之外”的身体动作
Ego数据的主要局限在于视角盲区。当人体发生自身遮挡或物体遮挡时,仅凭视觉难以准确估计手肘、腿部等关键部位的位置及全身姿态。
SeePhys Hub采用“稀疏节点+算法融合”的工程思路解决这一难题:
- 硬件配置:包含一个四目头环(提供360°环视)、两个腕部手环、三个腰腿部动作追踪器以及可选配的触觉手套。
- 技术原理:结合IMU运动信号、UWB测距信息与视觉数据,通过算法高精度恢复全身姿态。
- 同步精度:头环内相机、IMU和UWB的同步精度控制在0.5毫秒以内,确保视频画面、压力变化与运动状态在时间轴上严格对齐。
此外,四目头环的设计解决了转身、移动中的视角连续性问题,而可选配的触觉手套则记录了手部与物体接触时的压力变化,为模型理解“手感”提供物理信号。
工程取舍:在轻量化与数据完整性之间寻找平衡
数据采集设备的商业化落地,必须在数据质量、佩戴舒适度与成本之间做出权衡。SeePhys Hub在设计上强调轻量化,头环重量不超过220克,单个腕部手环不超过75克,以确保证真实场景中的活动自由度。
破晓智能创始人兼CEO杨朔将具身数据分为三层金字塔:
- 底层:海量互联网视频,通过算法补充姿态和触觉信息;
- 顶层:高精度动捕、真机操作数据,成本高但精度高;
- 中间层:SeePhys Hub瞄准的市场,兼顾规模化采集潜力与完整的交互记录。
△图片为AI生成
针对特定场景(如洗碗),触觉手套可能因防水需求或噪声问题影响操作,因此被设计为可选模块。团队正研究从视觉中估计触觉的技术,以进一步扩大数据来源。在供应链方面,破晓智能负责产品设计与算法,天珑移动提供成本控制、供应链及质量保障支持。
战略路径:先补数据入口,再建世界模型
作为一家致力于研发全模态世界模型的公司,破晓智能选择从数据采集设备入手,源于对模型训练需求的深刻洞察。高质量、低成本的全身全模态数据稀缺,成为制约模型发展的瓶颈。
团队背景与研究积累:
破晓智能由哈尔滨工业大学(深圳)长聘教授、博士生导师杨朔创立。团队核心成员90%以上毕业于清华、北大、哈工大等高校。此前,团队已发布EgoTouch数据集及TouchAnything研究,探索视觉与触觉的关系,并在TouchWorld项目中验证了基于触觉反馈的机器人精细操作能力。
未来规划:
- 技术演进:SeePhys Hub将研究范围从双手扩展至全身,为构建全身全模态世界模型提供数据支撑。
- 产品节奏:预计2027年推出全模态世界模型,优先在工业、餐饮零售等垂直场景应用。
- 硬件策略:现阶段不造机器人本体,避免过早定型带来的沉没成本风险,转而通过与本体商合作开展试点。
破晓智能认为,相比盲目扩大参数规模,让有限规模的模型掌握稳定的物理交互能力,并在端侧实时部署,是更具现实意义的挑战。SeePhys Hub的发布,标志着具身数据采集从单纯的视觉记录,迈向包含全身运动与触觉感知的多维交互记录新阶段。

