大数跨境

中国信通院人工智能研究所发布具身智能基准测试(EAI Bench)工业场景专项评测结果 Y2026Q4

中国信通院人工智能研究所发布具身智能基准测试(EAI Bench)工业场景专项评测结果 Y2026Q4 CAICT人工智能
2026-11-12
3

为深入推进具身智能面向工业场景的实景实训和迭代优化,充分发挥以测促研、以评促用作用,中国信息通信研究院人工智能研究所具身智能测试实验室,于2026年9月20日至10月26日组织开展EAI Bench工业场景专项评测。评测围绕验证当前工业场景具身智能跨本体、跨模型、跨场景作业能力,针对7项代表性任务,7个开源模型和3款本体,以统一考题、统一准则和标准化环境检验真实作业能力,累计完成147次、3234轮大规模真机测试。

评测目标

本次专项评测面向具身智能技术提供方、应用需求方以及整个产业生态,聚焦回答三个关键问题,如图1所示。

图1  EAI Bench工业场景专项评测

评测对象

本次专项评测覆盖 Physical Intelligence、英伟达、蚂蚁灵波、乐聚、星海图、北京人形、小米机器人等国内外7个开源模型、乐聚、天工和星海图等3个测试公版机。

评测任务

基于7个代表性任务,如表1所示,评估模型与本体一体化系统的关键能力表现。

EAI bench 工业场景测试任务清单

测试过程

整个测试按照“示教、部署、测试”三个阶段推进实施,如图2。各模型使用同一批后训练数据,并按照统一要求完成后训练、部署联调和测试,尽量减少数据、部署等非模型因素对结果的影响,确保测试结果公平、可比。同时,依托评测平台留存测试记录和评分依据,做到评测过程可复核、测试结果可追溯。

图2  EAI bench 测试过程

测试指标

关注作业质量和作业效率两个层面的共四类指标,如图3 所示。

图3  EAI bench 工业场景测试指标

测试结果

1 、模型跨本体跨任务能力

参评模型中排名前三的(Model A,Model B,Model C),展现出较好的跨本体迁移能力。这些模型的共同特点是采用了大规模异构真机数据或UMI无本体数据进行了预训练;以人类视频为主要预训练数据的模型(Model G),与真机的适配度有限。

Model A 在7项任务中,四项任务跨本体综合得分排名第一,表现相对全面;针对基础抓放任务,在三个本体上均能较好完成,跨本体平均任务成功率在73%;

Model B 和 Robot 1、Model B 和 Robot 2 是本体测试单任务成功率最高的组合,两个模型和本体组合,分别在开关分拣、减震器下料两个任务上得分接近满分,成功率均为 95%;

Model C 在每个本体上的任务表现相对一致,在不同任务上的性能表现差异主要受本体配置影响;

Model D 在需要精细装配能力的手机壳装配任务、需要双臂协作的堆叠包裹分拣任务上,整体表现较好;

Model E 在只有头部相机的输入下,也具备有较好的任务完成能力;

Model F 和 Model G 在真机适配度上仍有待优化。

2.  本体任务适用性

硬件配置会影响任务适用范围,因Robot3仅配置头部相机,故近距离感知和手眼协调受限,难以完成罐装商品入盘任务。

Robot 1 和 Robot 2 均采用三视角输入,多数任务上的模型表现相对一致。

工具使用任务还取决于夹爪与工具的匹配程度,例如Robot 1夹爪中部带有弧度,夹持部分工具时不易形成稳定支撑,对抓取位置和角度要求更高。

下一步工作

EAI Bench—工业场景评测将持续推进四方面工作:一是推进评测资源开放共享,有序开放评测任务、场景搭建规范、物料清单、评分规则、示教数据及后训练配置,提升评测工作的透明度;二是从“训练后表现”拓展至“学习过程”评价,面向前沿开源模型,研究真实环境强化学习、失败经验利用及策略持续更新的评测方法。重点考察交互样本学习效率、持续训练后的性能提升,以及迭代稳定性与安全性。三是完善 EAI Bench 虚实结合评测体系,以虚拟仿真支撑物理认知与迁移能力提升,以大规模真机评测验证真实部署与作业能力。四是联合应用方拓展真实生产任务赛道,依托具身智能测试实验室建设实景实训基地,共同设计任务考题、评价指标和判定准则。持续开展基准测试、扩大任务覆盖,服务模型优化、本体选型和应用落地。

评测结果详情联系人

白老师  15501202911

张老师  13552276063


【声明】内容源于网络
0
0
CAICT人工智能
中国信通院人工智能研究所官方公众号。关注我们,了解中国信通院人工智能工作动态,了解人工智能技术研究、标准制定、评估测试、行业应用、产业发展、监管政策及国际交流等前沿进展。
内容 325
粉丝 2
CAICT人工智能 中国信通院人工智能研究所官方公众号。关注我们,了解中国信通院人工智能工作动态,了解人工智能技术研究、标准制定、评估测试、行业应用、产业发展、监管政策及国际交流等前沿进展。
总阅读38.1k
粉丝2
内容325