为深入推进具身智能面向工业场景的实景实训和迭代优化,充分发挥以测促研、以评促用作用,中国信息通信研究院人工智能研究所具身智能测试实验室,于2026年9月20日至10月26日组织开展EAI Bench工业场景专项评测。评测围绕验证当前工业场景具身智能跨本体、跨模型、跨场景作业能力,针对7项代表性任务,7个开源模型和3款本体,以统一考题、统一准则和标准化环境检验真实作业能力,累计完成147次、3234轮大规模真机测试。
评测目标
本次专项评测面向具身智能技术提供方、应用需求方以及整个产业生态,聚焦回答三个关键问题,如图1所示。
图1 EAI Bench工业场景专项评测
评测对象
本次专项评测覆盖 Physical Intelligence、英伟达、蚂蚁灵波、乐聚、星海图、北京人形、小米机器人等国内外7个开源模型、乐聚、天工和星海图等3个测试公版机。
评测任务
基于7个代表性任务,如表1所示,评估模型与本体一体化系统的关键能力表现。
EAI bench 工业场景测试任务清单
测试过程
整个测试按照“示教、部署、测试”三个阶段推进实施,如图2。各模型使用同一批后训练数据,并按照统一要求完成后训练、部署联调和测试,尽量减少数据、部署等非模型因素对结果的影响,确保测试结果公平、可比。同时,依托评测平台留存测试记录和评分依据,做到评测过程可复核、测试结果可追溯。
图2 EAI bench 测试过程
测试指标
关注作业质量和作业效率两个层面的共四类指标,如图3 所示。
图3 EAI bench 工业场景测试指标
测试结果
1 、模型跨本体跨任务能力
参评模型中排名前三的(Model A,Model B,Model C),展现出较好的跨本体迁移能力。这些模型的共同特点是采用了大规模异构真机数据或UMI无本体数据进行了预训练;以人类视频为主要预训练数据的模型(Model G),与真机的适配度有限。
Model A 在7项任务中,四项任务跨本体综合得分排名第一,表现相对全面;针对基础抓放任务,在三个本体上均能较好完成,跨本体平均任务成功率在73%;
Model B 和 Robot 1、Model B 和 Robot 2 是本体测试单任务成功率最高的组合,两个模型和本体组合,分别在开关分拣、减震器下料两个任务上得分接近满分,成功率均为 95%;
Model C 在每个本体上的任务表现相对一致,在不同任务上的性能表现差异主要受本体配置影响;
Model D 在需要精细装配能力的手机壳装配任务、需要双臂协作的堆叠包裹分拣任务上,整体表现较好;
Model E 在只有头部相机的输入下,也具备有较好的任务完成能力;
Model F 和 Model G 在真机适配度上仍有待优化。
2. 本体任务适用性
硬件配置会影响任务适用范围,因Robot3仅配置头部相机,故近距离感知和手眼协调受限,难以完成罐装商品入盘任务。
Robot 1 和 Robot 2 均采用三视角输入,多数任务上的模型表现相对一致。
工具使用任务还取决于夹爪与工具的匹配程度,例如Robot 1夹爪中部带有弧度,夹持部分工具时不易形成稳定支撑,对抓取位置和角度要求更高。
EAI Bench—工业场景评测将持续推进四方面工作:一是推进评测资源开放共享,有序开放评测任务、场景搭建规范、物料清单、评分规则、示教数据及后训练配置,提升评测工作的透明度;二是从“训练后表现”拓展至“学习过程”评价,面向前沿开源模型,研究真实环境强化学习、失败经验利用及策略持续更新的评测方法。重点考察交互样本学习效率、持续训练后的性能提升,以及迭代稳定性与安全性。三是完善 EAI Bench 虚实结合评测体系,以虚拟仿真支撑物理认知与迁移能力提升,以大规模真机评测验证真实部署与作业能力。四是联合应用方拓展真实生产任务赛道,依托具身智能测试实验室建设实景实训基地,共同设计任务考题、评价指标和判定准则。持续开展基准测试、扩大任务覆盖,服务模型优化、本体选型和应用落地。
评测结果详情联系人
白老师 15501202911
张老师 13552276063

