大数跨境

中国信通院人工智能所发布具身智能基准测试(EAI Bench)工业场景专项评测结果(Y2026Q4)

中国信通院人工智能所发布具身智能基准测试(EAI Bench)工业场景专项评测结果(Y2026Q4) 中国信通院CAICT
2026-11-12
3

为深入推进具身智能在工业场景的实景实训与迭代优化,发挥“以测促研、以评促用”作用,中国信通院人工智能研究所具身智能测试实验室于2026年9月20日至10月26日组织开展了EAI Bench工业场景专项评测。本次评测聚焦验证具身智能跨本体、跨模型、跨场景作业能力,针对7项代表性任务、7个开源模型及3款本体,在统一考题、准则和标准化环境下完成147次、3234轮大规模真机测试。


一、评测目标

本次专项评测面向技术提供方、应用需求方及产业生态,旨在回答三个关键问题(如图1所示),为行业发展提供客观依据。


图1 EAI Bench工业场景专项评测:聚焦回答三个问题


二、评测对象

评测覆盖Physical Intelligence、英伟达、蚂蚁灵波、乐聚、星海图、北京人形、小米机器人等国内外7个开源模型,以及乐聚、天工、星海图等3款测试公版机。


三、评测任务

基于7项代表性任务(见表1),评估模型与本体一体化系统的关键能力表现。


表1 EAI Bench工业场景测试任务清单


四、测试过程

测试按“示教、部署、测试”三阶段推进(如图2所示)。各模型使用同一批后训练数据并遵循统一要求,最大限度减少非模型因素干扰,确保结果公平可比。同时依托评测平台留存记录与评分依据,实现过程可复核、结果可追溯。


图2 EAI Bench测试过程


五、测试指标

评测围绕作业质量和作业效率两大维度,设立四类核心指标(如图3所示)。


图3 EAI Bench工业场景测试指标


六、测试结果

1. 模型跨本体跨任务能力

Model A、B、C展现出较好的跨本体迁移能力,其共同点是采用大规模异构真机数据或UMI无本体数据进行预训练;而以人类视频为主要预训练数据的Model G,真机适配度有限。

Model A在7项任务中4项跨本体综合得分第一,基础抓放任务在三款本体上平均成功率达73%,表现全面。Model B分别与Robot 1、Robot 2组合,在开关分拣、减震器下料任务中成功率均达95%,为单任务最高分组合。Model C在不同本体上表现一致,性能差异主要受本体配置影响。Model D在手机壳装配、堆叠包裹分拣等精细操作及双臂协作任务中表现较好。Model E仅凭头部相机输入也具备较好任务完成能力。Model F和Model G的真机适配度仍需优化。


2. 本体任务适用性

硬件配置直接影响任务适用范围。Robot 3因仅配置头部相机,近距离感知和手眼协调受限,难以完成罐装商品入盘任务。Robot 1和Robot 2均采用三视角输入,多数任务表现稳定一致。此外,工具使用效果取决于夹爪匹配度,如Robot 1夹爪中部带弧度,夹持部分工具时支撑稳定性不足,对抓取位置和角度要求更高。


七、下一步工作

EAI Bench工业场景评测将持续推进四方面工作:

一是推进资源开放共享,有序公开评测任务、场景搭建规范、物料清单、评分规则及数据配置,提升透明度;

二是拓展评价维度,从“训练后表现”延伸至“学习过程”,研究真实环境强化学习、失败经验利用及策略持续更新方法,重点考察样本学习效率、性能提升幅度及迭代稳定性与安全性;

三是完善虚实结合评测体系,以虚拟仿真支撑物理认知与迁移能力提升,以大规模真机评测验证真实部署与作业能力;

四是联合应用方拓展真实生产任务赛道,依托具身智能测试实验室建设实景实训基地,共同设计任务考题与评价指标,持续开展基准测试,服务模型优化、本体选型和应用落地。


校审 | 谨言、珊珊

编辑 | 凌霄

【声明】内容源于网络
0
0
中国信通院CAICT
1234
内容 6222
粉丝 0
中国信通院CAICT 1234
总阅读103.9k
粉丝0
内容6.2k