新智元报道
大家熟悉小说中的“魂穿”情节，如今AI也能实现类似的视角转换。假如让AI代入1925年《淘金记》中卓别林的第一视角，睁开眼能看到自己正切开煮皮鞋，对面是饥肠辘辘的同伴；切换至《夺宝奇兵》，则是在古墓中掉包黄金神像；在《侏罗纪公园》配电室，青色3D手部骨骼精准还原拨动开关的细微动作。
这一系列跨越百年的“赛博魂穿”，源自中国具身智能独角兽维他动力（Vbot）最新发布的跨视角生成模型Exo2EgoPolicy。该模型能将任意第三人称旁观镜头，一键转换为操作者的第一人称视角（Ego View），并实时生成左右手每一根手指的3D手部骨骼（Ego Skeleton）。
魂穿影史名场面：镜头乱切也能精准跟随
即便面对多人同框、频繁切镜和大幅度运镜的复杂场景，Exo2EgoPolicy的第一视角转换依然流畅自然。
在《闻香识女人》著名的探戈场景中，尽管原片镜头在全景与近景间切换，模型仍牢牢锁定阿尔·帕西诺饰演的盲人中校。生成的第一视角中，中校双手牵着女伴在钢琴旁旋转，手部骨骼与乐手方位分毫不差。在《雨中曲》的雨夜街头，吉恩·凯利撑伞旋转的画面被转换为漫天雨丝与飞速旋转的街景第一人称视野。
不仅好莱坞大片，日常家务场景同样适用。办公桌前收纳水瓶、折叠红色T恤、从冰箱取饮料并拧开瓶盖、端取微波炉加热后的盒饭等动作，均能生成带有鱼眼畸变的胸前第一视角，且双手3D骨骼轨迹与原片动作严丝合缝，光影变化自然连贯。
传统影像多采用第三视角，而Exo2EgoPolicy无需深度相机或标定参数，成功攻克了将百年影像从“旁观视角”还原为“第一视角”的技术难关。值得一提的是，研发者并非视频大模型公司，而是专注于机器人领域的维他动力。
此次发布旨在解决具身智能行业长期面临的数据多样性（Diversity）与海量规模（Scale）难题。与此同时，维他动力同步推出了端到端通用数据管线Vbot Echo及采集应用Echo App，即日起向公众全面开放。
无论是网络海量的第三人称视频，还是手机随手拍摄的收碗碟、做咖啡画面，均可输入系统。通过“Exo → Ego → Ego Skeleton”链路，系统计算出三维关节轨迹与物理接触力，使人形机器人真机能够直接依据数据进行操作。
破解数据困局：互联网视频成为机器人训练金矿
维他动力致力解决的是具身智能行业的数据稀缺问题。近期Anthropic发布的Claude Fable 5.2在RoboDojo基准测试中成功率大幅提升，证明机器人“大脑”正在变强，但“手上的功夫”仍需海量具身操作数据支撑。
维他动力创始团队来自地平线、蔚来、理想等自动驾驶头部企业，深耕领域十年后发现，机器人数据缺口远超自动驾驶。当前行业尝试的真机遥操作、ALOHA、UMI夹爪及穿戴式视频采集方案，虽能获取第一视角数据，但存在硬件成本高、拖累操作员效率等瓶颈，难以同时满足数据的多样性与规模需求。
相比之下，互联网拥有巨大的视频资源：YouTube日均新增超2000万条视频，TikTok日均超1亿条。这些视频蕴含数百亿小时人类真实操作经验，但因视角错位（多为第三人称）及缺失3D手部骨骼与物理力学信号，此前无法被机器人直接利用。
Vbot Exo2EgoPolicy与Vbot Echo的出现，旨在打通“Exo → Ego → Ego Skeleton”全链路，将互联网视频转化为可用的机器人训练数据。
技术突破：无需深度相机，直出21个手部关节
实现跨视角“魂穿”需克服硬件数据缺失与手部变形失真两大难题。普通视频缺乏深度传感器数据和相机标定参数，传统视频模型在处理手物接触时易出现模糊。
维他动力将三维几何约束与手部骨骼监督融入Exo2EgoPolicy的视频生成主干。模型以140亿参数、50层H3 Ref2VA DiT视频生成网络为主干，前端并联两路编码器：一路提取外观参考特征，另一路解析语义与文本指令，确保在多镜头切换中锁定目标。
训练前期注入6D普吕克（Plücker）相机光线投影构建空间脚手架；后期关闭随机门控开关，归零外部几何输入。测试显示，撤去噪声先验后，流匹配误差下降7.9%至11.2%，推理阶段仅凭普通视频即可还原三维空间。在546段真实场景评测中，零先验推理的Exo2EgoPolicy全面击败需几何先验的开源基线EgoX，长时序PSNR提升3.25 dB，视频生成FVD误差降低39.8%。
为实现“Exo → Ego → Ego Skeleton”，团队在DiT主干底部挂载三分类手物语义掩码头和两阶段手部几何读取头。语义掩码头加重手物接触区域权重，手部读取头在第39层隐藏状态直接回归左右手各21个关键点（42维坐标）。实测显示，手部关键点定位精度（PCK@5%）从11.52%提升至20.02%，新场景下手部关节有效覆盖率达98.92%。
应用落地：手机拍摄19秒，真机即刻学会操作
打通感知表征后，端到端通用数据管线Vbot Echo与Echo App负责将“手部骨骼”转化为机器人可执行的力控指令。用户无需额外硬件，仅需通过Echo App调用手机ToF深度传感器或双目相机进行低门槛采集。
演示中，手机拍摄19秒收纳盘子视频上传云端。Vbot Echo自动清洗无效片段，通过Exo2EgoPolicy转换为第一视角与手部Skeleton，进入统一时空人机物交互（HOI）重建模块。系统对齐场景三维点云、任务语义与手部骨骼，结合机器人关节约束完成跨本体运动重定向，并通过仿真环境计算真实接触力与关节力矩。
在咖啡机操作测试中，机械臂根据提取的Ego Skeleton复现全套双手协同操作。在桌面收纳真机实验中，双臂人形机器人依据处理后的数据，自主将蓝绿盘子稳稳放入木盒。此外，该管线还能处理户外街头双人互动等复杂场景，支持4D时空重建及多机器人驱动。
结语：数据瓶颈被打破，具身智能迎来规模化进化
具身智能走向通用需突破数据供给边界。维他动力通过Exo2EgoPolicy、Vbot Echo与Echo App的协同，构建了全新的数据基础设施：Exo2EgoPolicy转化互联网海量视频；Vbot Echo完成视频到训练数据的闭环；Echo App提供零负担采集入口。
随着机器人“大脑”日益强大，喂养其的人类经验终于实现了规模与多样性的双重突破。全网沉睡的百亿小时视频及普通人手机中的随手拍，正成为机器人持续进化的源泉，具身智能的数据难题有望从此得到解决。
编辑：摩西 桃子
