大数跨境

70+机器人公司投出具身第一云:优化Ego视频位姿恢复,砍掉43%GPU用时

70+机器人公司投出具身第一云:优化Ego视频位姿恢复,砍掉43%GPU用时 量子位
2026-11-12
0
导读:具身数据迈向百万小时,百度智能云加速模型迭代

具身智能训练数据正从数万小时向百万小时量级跃迁,其中人类第一视角视频(Ego数据)成为关键支撑。然而,从原始视频到标准训练数据集之间仍存在工程鸿沟,清洗、标注和结构化处理的效率直接制约模型迭代速度。

在百度世界2026具身智能专场上,百度智能云分享了基于百舸平台的全栈AI基础设施实践,旨在解决数据工程滞后于模型创新的结构性矛盾,通过优化数据处理、训练推理及部署验证流程,提升研发效率。

全栈能力支撑:从模型训练到场景落地

百度智能云百舸平台围绕模型、数据、本体和场景四个维度,提供覆盖研发全流程的基础设施支持。

模型侧:加速训练与高效算力调度

针对VLA、世界动作模型等架构演进需求,百舸在开源框架基础上提供加速套件。以π₀.₅为例,优化后的OpenPI PyTorch实现在单机8卡测试中,训练吞吐达到JAX参考实现的2.37倍。同时,平台统一管理CPU与GPU资源,根据任务需求动态分配,减少硬件资源错配造成的浪费。

数据侧:标准化管线与资产化管理

面对多源异构数据,百舸将数据加工与资产管理分离。通过预置手部重建、相机轨迹恢复等算子及工作流编排,实现数据处理的参数化模板复用。在10段EgoLife视频测试中,采用MegaSaM方案处理每小时视频的算力消耗降低约43%。此外,平台保留原始素材与处理结果的版本关联,支持数据追溯与复用。

本体侧:端云协同与交互优化

在机器人交互层面,百度智能云提供语音交互、安全管控及端云协同支持。通过与地瓜机器人等合作伙伴联动,优化端侧设备与云端资源的分工,平衡响应时延与机载计算压力,确保指令理解准确及交互顺畅。

场景侧:验证闭环与经验复制

依托训练场和中试平台,百度智能云支持企业在真实业务环境中验证模型表现,监测任务成功率与人工接管率。现场反馈的问题可直接反哺数据采集与模型训练,形成“研发-验证-优化”的闭环,助力技术向更多场景复制。

提质增效:减少重复加工与降低算力成本

为应对具身研发中数据反复使用和处理流程频繁调整的挑战,百舸重点优化了数据复用机制与单位数据处理成本。

基于Lance宽表的数据复用

百舸采用Lance宽表组织数据,将视频、标注、评分等信息分列存储。当更新评分模型或筛选策略时,无需重新加工整批数据,仅需更新对应列并保留有效标注。这种表级读写方式结合版本管理,使研发团队能够精准追溯数据来源与处理过程,显著减少重复劳动。

数据预处理算力优化

针对相机位姿恢复等高耗能环节,百舸优化了Droid-W方案。通过限制CPU线程数量、提前缓存中间结果并将部分计算迁移至GPU,解决了资源争抢问题。测试显示,Droid-W和MegaSaM处理每小时视频所需的GPU时间分别下降31%和43%。

训练链路深度调优

在OpenPI的π0.5优化实践中,百度联合清华大学团队排查数据加载、模型计算及多卡通信瓶颈。通过动态调整输入路径避免无效传输,以及优化多卡通信策略实现计算与传输重叠,单机8卡环境下LIBERO训练集的一个epoch时间从61.4分钟缩短至26分钟,训练吞吐提升至2.36倍,且保持损失曲线高度一致。

产业实践:赋能伙伴加速研发迭代

目前,百度智能云已为70多家具身智能企业提供全栈AI Infra服务,市场份额位居中国具身智能云市场第一。多项优化成果已在客户研发流程中落地。

在某具身企业案例中,百舸帮助其建立包含八个环节的数据管线,管理数十TB人类第一视角视频。团队可通过关联保存的姿态、轨迹等结果,仅重跑受模型更新影响的步骤,大幅降低数据处理成本。

在模型推理方面,星海图利用百舸优化Fast-WAM世界动作模型,将10步推理延迟降至87毫秒,提升了Galaxea R1 Lite机器人的实时响应能力。千寻智能则通过百舸基础设施支持,将集群有效训练时长提升至98.8%,训练和推理效率分别提升30%和60%。

此外,百度智能云还与壹零壹壹、潜界科技、普渡科技等企业达成合作,并通过与地瓜机器人合作推出多模态互动框架及端到端语音交互方案,进一步拓展具身智能在陪伴、服务等场景的应用边界。

李彦宏曾指出,智能组织的核心在于沉淀隐性知识与设计流程闭环。百度智能云通过百舸平台将数据、模型与工程体系系统化连接,助力具身企业将研发经验转化为可复用的工具与流程,以相同的投入支撑更多轮次的有效迭代。

【声明】内容源于网络
0
0
量子位
各类跨境出海行业相关资讯
内容 16631
粉丝 1
量子位 各类跨境出海行业相关资讯
总阅读555.9k
粉丝1
内容16.6k