2019年，OpenAI展示了能够解魔方的机器人手Dactyl。七年过去，尽管机器人在灵巧操作上取得进展，但从实验室演示到真实场景的大规模部署，五指灵巧手仍面临巨大鸿沟。
云松鼠创始人黄骏达指出，行业过于关注硬件能力的提升，却忽视了能充分发挥硬件潜力的操作模型和训练数据。此外，即便机器人具备动作能力，人类也难以高效、稳定地进行动作示范。为此，云松鼠将五指UMI（Universal Manipulation Interface，通用操作接口）作为核心技术方向，旨在通过无本体采集方案，让人直接利用机器人五指末端完成真实交互，并将过程转化为模型训练数据。
从机器人博士到创业者：聚焦五指操作基础设施
ZF：请介绍一下您的背景及进入灵巧操作领域的契机。
黄骏达：我本科就读于中科大电子信息专业，大三赴Georgia Tech研究腿足机器人，后在港中文攻读博士，专注于灵巧操作与机械手研究。2024年尝试创业，2025年正式毕业并在UC Berkeley担任访问学者，带领团队研究外骨骼、机械手及遥操作技术，同年创办云松鼠。
ZF：云松鼠的定位及核心产品是什么？
黄骏达：公司定位为五指灵巧操作的基础设施提供商，核心解决数据和部署问题。主要产品是五指UMI硬件，这是一种无本体数据采集设备，可适配不同自由度的五指灵巧手（如6自由度及舞肌、Sharpa等高自由度产品），用于采集高质量操作数据。
ZF：判断五指UMI值得投入的标准是什么？
黄骏达：主要基于技术的前沿性与独创性、长期价值、迭代潜力以及对其他产品规划的促进作用。目前已有学术支持及用户反馈，且我本人也是该产品的深度使用者。
瓶颈解析：遥操作无法满足五指灵巧手数采需求
ZF：具身智能行业目前最被高估的能力和最低估的瓶颈分别是什么？
黄骏达：最被高估的是机器人硬件的可靠性，最被低估的是从Demo到实际落地的难度。当前许多机器人模型缺乏清晰的能力边界和验证标准。我认为五指灵巧手的重要性被低估，预计未来一年内将出现基于五指手的基础模型。
ZF：自变量和乐聚为何选择与你们合作？进展如何？
黄骏达：基于业务协同及对技术路线的认可。合作涵盖数据供给、采集硬件、灵巧手适配及场景落地，目前已推进至合同阶段。
ZF：为何认为五指手的能力仍被低估？
黄骏达：机器人能否完成动作与人能否稳定示范是两个问题。若数采设备得当，即使是低自由度五指手也能完成许多任务。当前人机交互接口的局限限制了五指灵巧手能力的发挥。
ZF：举例说明夹爪、三指手和五指手的表现差异及成本考量。
黄骏达：以使用喷壶为例，需同时稳定握持瓶身并扣动扳机。五指手因形态接近人手，具有天然优势。但更多手指意味着更复杂的机械结构、更高的功耗、传感标定及控制难度。是否采用五指手取决于任务收益是否覆盖额外成本。
ZF：解释“灵巧手”与“灵巧操作”的区别。
黄骏达：灵巧手指外形结构接近人手的机器人末端；灵巧操作则可通过双臂配合夹爪实现（如叠毛巾）。但“手内灵巧操作”几乎只能由灵巧手完成。
ZF：没有五指灵巧手，哪些场景无法解决？
黄骏达：理论上可通过专用夹具或自动化设备实现特定任务，高自由度三指手也能模拟部分五指功能。但若无五指这种通用末端，难以实现跨物体、跨工具、跨场景的数据采集与复用，无法形成通用的机器人操作平台。
ZF：OpenAI七年前已展示转魔方，为何现在能手内操作的公司仍不多？
黄骏达：转魔方不代表能低成本、可靠地跨任务部署。核心瓶颈在于泛化能力，尤其是缺乏高质量、多样化的操作数据。
ZF：行业对灵巧手的共识与非共识是什么？
黄骏达：共识是机器人最终在生活环境中将采用五指灵巧手。非共识在于过渡形态。我判断主流过渡形态将是低自由度五指手，终局则是低自由度与高自由度五指手并存。
ZF：为何不先从硬件参数讲起？
黄骏达：现有五指手能力未被充分释放，主要受限于人机交互接口。通过UMI让人直接操控末端并转化为数据，更能体现技术必要性。
ZF：为何夹爪适合遥操作而五指手不适合？
黄骏达：夹爪遥操作简单，认知负担小。而五指手遥操作需同时协调手臂运动、手指动作及接触关系，认知负担重，导致操作者动作放慢、效率低下，尤其在处理手内动作时难以保证质量。
ZF：UMI相比遥操作的优势及局限？
黄骏达：UMI更便宜、更快，且支持真实场景（in-the-wild）采集。但在需要精细触觉反馈动态控制的手内动作中，失败率较高。
跨越门槛：从“人能示范”到“机器人学会”
ZF：UMI方案与戴手套采集人手数据的本质区别？
黄骏达：戴手套采集的是人手数据，接触物体的是人手；UMI方案中，参与真实交互的是机器人五指末端。
ZF：这是否仅证明“人能通过UMI完成”，而非“机器人能自主完成”？
黄骏达：是的，存在三道门槛：一是有价值行为能被稳定示范；二是示范适合机器人学习；三是策略能在真机可靠执行。UMI主要解决第一道门槛。我们正通过世界模型缩小UMI数据与真机数据的差距，致力于让示范真正转化为可学习数据。
ZF：UMI数据与真机数据的关系及Gap来源？
黄骏达：真机数据指完整机器人执行任务时的数据；UMI数据是无本体情况下人通过末端交互的数据。Gap主要来自手臂动力学、手部位姿精度及图像差异。我们通过数采设计、精度算法及AIGC优化图像来缩小差距。测试显示，完全使用UMI数据训练的模型在成功率上已达到与真机数据训练相同的水平。
ZF：为何仍需继续验证？
黄骏达：当前结果仅在特定任务上成立，需验证其在更多任务、不同条件及大规模模型训练中的普适性。我们将比较不同数据混合比例及纯UMI数据训练的效果，评估单位数据的学习价值及方案性价比。
数据预训练：UMI替代真机数据的可能性
ZF：训练机器人手与大语言模型对数据需求的本质不同？
黄骏达：LLM学习“世界中已存在的信息”，机器人需学习“自身动作如何改变世界”，涉及闭环控制。
ZF：UMI是过渡方案还是终局方案？
黄骏达：不是过渡方案。参考Danfei Xu的研究及内部预测，UMI类方案在长期能力扩展上具有重要地位。
Danfei Xu 对遥操作、UMI 类方案及第一人称人类数据三条技术路线的长期能力扩展预测。图源：Danfei Xu
ZF：UMI是否只存在小批量需求？
黄骏达：不会。UMI不仅是后训练工具，更有望进入基础模型预训练阶段，甚至完全替代真机交互数据，持续生产覆盖多场景的基础训练数据。
ZF：灵巧手与夹爪数据采集的区别？
黄骏达：夹爪数据获取成熟（遥操作或UMI），质量高、负担小。灵巧手数据获取尚处起步：遥操作数据质量差、速度慢；人手数据（动捕/视觉）处理门槛高，模型能力有限。因此，适用于夹爪的真机数据模式在五指手上行不通，而理论上限高的人手数据尚未成熟。
ZF：有人已通过遥操作采到有效灵巧手数据，这是否反驳了你们的观点？
黄骏达：能完成任务不等于能高效、稳定、规模化生产。遥操作无法实现in-the-wild采集（即无需部署完整本体即可在现场采集），且存在效率天花板。
ZF：更好的力反馈和控制能否解决遥操作的问题？
黄骏达：能改善部分体验，但难以同步提升效率、速度和性价比。遥操作更适合人工介入纠错，而非日常大规模数采。
ZF：UMI为预训练补充的最核心价值是什么？
黄骏达：与机器人真机相同的接触过程。
ZF：从“补充”到“替代”真机数据的关键变化？
黄骏达：不再预设真机数据为基础。若UMI数据经处理后差异不影响学习效果，则无需保留沉重的真机采集流程。重点在于验证多指协调、手内动作等复杂经验能否被模型有效学习。
ZF：数据规模达到十万小时是否会引发能力跃迁？
黄骏达：看好规模化，但不迷信具体时长。数据价值取决于覆盖的物体、场景及接触变化的多样性，而非单纯的数量堆砌。
ZF：若UMI替代预训练数据，真机数据仍有何价值？
黄骏达：真机数据在错误恢复阶段仍有帮助。
ZF：是否使用遥操、动捕或仿真合成？
黄骏达：不使用遥操作。动捕作为互补数据（身体数据），下半年将与Berkeley合作探索。仿真合成处于探索阶段，主要用于场景泛化。
ZF：若视频学习和合成数据突破，真机数据是否贬值？
黄骏达：真机数据角色将转变，从主要来源变为与合成数据互补，用于增强Policy泛化性及提供底层真实数据支撑。
ZF：世界模型和AIGC的作用？
黄骏达：旨在让UMI数据更适合机器人学习，缩小与真机数据的Gap，而非单纯美化图像。后续将发布报告量化效果。
ZF：技术进步会削弱UMI价值吗？
黄骏达：AIGC可能增强UMI数据价值，而非替代。
ZF：若开源百万条遥操作轨迹，你们的数据资产会贬值吗？
黄骏达：部分会贬值，前提是这些数据质量高、同步准、覆盖广且许可允许商用。我们的壁垒在于系统性的数据采集方案及对实际需求的理解，而非单纯的数据持有量。
商业化路径：数据生产、质检与成本
ZF：灵巧手优先落地场景？
黄骏达：先从工业、物流等半结构化环境开始，家用非结构化环境难度更高，将稍后推进。
ZF：如何组织采集？
黄骏达：采用分布式采集。包括众包模式（合作方或自有工厂人员采集）和数据工厂模式（购买设备并交易数据）。UMI允许人员携带设备直接进入真实产线进行in-the-wild采集。
ZF：任务库设计逻辑？
黄骏达：一是基于自身需求定向采集；二是响应客户需求进行众包采集。目前重点在于真实产线的“野外采集”。
ZF：简述一条UMI数据的产生及训练流程。
黄骏达：以叠衣服为例，明确行为轨迹后，操作者穿戴设备操控末端完成交互，系统同步记录视频、运动及传感器数据。数据经时间同步、异常清理及差异处理后用于训练，并通过真机测试验证模型学习效果。
ZF：遥操作与UMI的效率对比？
黄骏达：UMI采集效率接近人手操作，突破了遥操作的速度天花板。具体对比数据正在整理中。
ZF：如何解决数据质量问题？
黄骏达：通过培训简化流程，工人半小时即可上手。废片率控制在30%以内，主要通过算法判定、可视化及操作空间限制来优化，目标降至20%以内。好数据的标准包括时间对齐、无掉帧、噪声可控且能通过回放验证。
ZF：力反馈与触觉数据的作用？
黄骏达：力反馈辅助人完成示范，触觉数据帮助系统记录和学习交互。两者通过时间戳同步，包含视频、触觉信息及手部图像。
ZF：触觉数据质检方式？
黄骏达：检查初始漂移、过程噪声、时间对齐及任务级检测。
ZF：数据成本是否有降价空间？
黄骏达：设备成本摊薄后较低，核心是人力成本。通过在低成本地区组织采集及量产设备，预计降价空间不超过一半。
ZF：A手数据能否直接给B手使用？
黄骏达：原始动作数据不可直接互换，因关节结构、驱动方式等不同。短期价值在于为目标末端采集专用示范。长期看，模型可能共享任务理解及部分操作表示，但这需进一步研究。
ZF：适配新款灵巧手的周期及已验证型号？
黄骏达：仅需微调算法，适配时间不超过两天。已验证因时、强脑、灵心巧手、舞肌等品牌。
ZF：是否有付费客户？
黄骏达：目前有意向客户，处于内部测试阶段。
ZF：如何保障客户数据安全？
黄骏达：专注五指灵巧手领域，对客户数据进行隔离，未经授权不用于其他客户或自有模型训练。
ZF：团队规模及分工？
黄骏达：35人，其中8人负责算法，其余为涵盖机械研发到系统量产的全栈研发团队。
ZF：最难复制的环节？
黄骏达：数据采集方案是一项系统工程，涉及大量细节打磨及对实际需求的深刻理解，这是基于大量模型训练验证形成的系统性优势。
ZF：创始团队背景？
黄骏达：核心成员多有UC Berkeley背景，包括本科室友及师兄弟，基于彼此信任及创业意愿共同发起。
ZF：三年后的愿景？
黄骏达：希望行业记住云松鼠改变了五指操作经验的获取方式及进入模型的路径，提到五指灵巧手时能联想到我们。
