WAIC 展会现场热度持续攀升,即便开展至第三日,场馆内依旧人潮涌动。具身智能、世界模型、AI Coding 及 AI 硬件等年度核心技术概念悉数亮相。与往年聚焦于数字内容生成不同,今年 AI 技术正加速从屏幕走向工厂、家庭、药房等真实物理场景,实现环境感知、实时决策与具体执行的落地。
在众多参展商中,京东展示了其打造“全球最大物理世界运营中心”的最新成果,首次集体亮相 JoyAI 全系列大模型、具身数据采集与训练链路,以及基于 JoyInside 底座构建的京东 AI Home 解决方案。
面向物理 AI 的模型全家桶:感知、理解与执行闭环
当前大模型已覆盖图像、视频、语音等多个赛道,但在真实物理环境中,单一模型的判断仅是任务起点。物理 AI 的核心挑战在于将感知、理解、决策与执行形成系统协作的完整闭环。京东此次发布的 JoyAI 模型矩阵,正是为解决这一难题而来。
视觉能力:从平面像素到空间结构
视觉是物理 AI 建立环境连续认知的基础。京东开源的 JoyAI-Image-Edit、JoyAI-Echo 和 JoyAI-VL-Interaction 模型,分别对应视觉能力延伸的不同维度:
- JoyAI-Image-Edit:实现视角变换、空间漫游与几何一致性编辑,推动 AI 从处理平面像素向理解空间结构进阶。
- JoyAI-Echo:通过跨模态记忆维持长视频的一致性。
- JoyAI-VL-Interaction:将理解与响应压缩至毫秒级,支持 AI 在观察实时画面的同时进行交互与 Agent 调用。
此外,京东还展示了实时视频编辑模型JoyAI-Video-Edit,支持用户在预览过程中自定义并实时修改画面,赋予视频生成更强的即时反馈与动态调整能力。这些模型共同补全了动态视觉中的长时一致性、实时理解与即时修改环节。
语音交互:从单向指令到持续沟通
针对现实场景中非标准化的语音指令,京东发布了语音生成基础模型JoyAI-Voice及新的语音交互模型JoyAI-Talker。后者能够识别用户情绪与真实意图,适应不同表达习惯,并具备低延迟交互与随时打断能力。这使得人与物理 AI 的交互从一次性指令升级为持续沟通,设备可在执行中接收反馈、暂停动作并及时调整策略。
行动执行:从决策到动作的精准转化
为跨越从模型判断到真实动作的最后一道门槛,京东推出移动操控基础模型JoyAI-RA。该模型通过统一训练框架,对齐不同机器人与人类操作经验,结合仿真训练与真实环境验证,持续修正执行偏差,真正实现了物理 AI 从感知、理解、决策到行动的完整闭环。
具身数据采集:小机器人在物理世界积累“经验值”
模型决定了智能上限,而真实场景中的任务完成率则取决于机器人积累的“经验”。京东指出,相较于文本数据,机器人学习所需的真实经验更难获取且对质量要求极高。实验表明,存在瑕疵的数据即便规模庞大,也可能导致模型效果下降。
因此,京东构建了“数据采集—模型训练—真机验证—反哺采集”的闭环体系,并建立了全球首个覆盖采、存、标、训、评、仿、测的全链路具身数据基础设施。目前,京东已发动 60 万人参与数据采集,建成全球最大具身数据采集中心,预计两年内采集 1000 万小时人类真实数据。
EgoLive:行业最大人类第一视角数据集
本次 WAIC 上,京东开源了行业最大的人类第一视角数据集EgoLive。该数据集包含 2000 小时视频、65866 个片段,覆盖 346 项真实世界任务。采用第一视角采集方式,能够沿人眼视线完整记录环境信息、动作过程与任务意图,减少对特定机器人本体的依赖。实际应用显示,使用该数据后任务准确率实现了两位数提升。
在现场演示中,参观者佩戴京东自研超高清采集终端JoyEgoCam完成真实作业,数据经自动标注、质量优化及结构化处理后,送入数字孪生环境训练评测,最终部署至实体机器人,直观展示了具身数据从采集到落地的全流程。
从云端到现实:JoyInside 打造物理 AI 入口
相比边界清晰的工厂物流场景,家庭场景因设备异构、数据分散及环境多变,成为物理 AI 落地的难点与战略高地。京东通过将自研 JoyAI 大模型能力封装为智能硬件专用的 AI 大脑——JoyInside,成功切入这一场景。
JoyInside:连接模型与硬件的 AI 系统
JoyInside 作为一层 AI System,将 JoyAI 的感知、理解、记忆和交互能力接入具体设备,处理家庭场景中的语音识别、意图理解、长期记忆及多设备协同。京东将家庭中的台灯、床垫、空调等设备视为拆散的“积木式机器人”,由 JoyInside 统筹协作,使其理解家庭成员需求并在不同场景中配合。
现场展示的典型案例包括:
- 智能睡眠床垫:持续捕捉睡眠体征,结合用户状态进行主动询问与服务,将传统床垫升级为具备感知与判断能力的终端。
- JoyInside AI 投影台灯:利用无屏漫反射投影与多模态扫题批改技术,识别纸面题目与书写内容,将讲解直接投射至桌面,实现实时答疑,将 AI 交互界面从屏幕延伸至真实学习空间。
目前,接入 JoyInside 的智能硬件对话轮次平均提升超过 120%,合作范围已覆盖近 200 个家电、家居、机器人及 AI 玩具品牌,预计今年接入终端设备将超千万台。
从零售起家,京东在处理货物流动、仓库运转及设备协同方面拥有深厚积累。随着模型、数据、基础设施与业务场景的贯通,物理 AI 正形成“在真实环境中感知行动、获取反馈、沉淀数据、迭代模型”的持续循环机制,逐步迈向其最理想的形态。

