编者摘要：北京人工智能研究院提出通用世界基础模型 Orca，摒弃传统下一词 / 下一帧 / 下一动作预测范式，以下一状态预测为核心，构建统一世界隐空间。模型采用编码器 - 解码器架构，编码器依托视觉、语言信号，通过无意识、有意识双范式训练：无意识学习从连续视频捕捉稠密自然动态；有意识学习结合文本事件、VQA 监督学习稀疏因果状态转移。团队搭建含 125K 小时视频、1.6 亿事件标注的大规模数据集，预训练冻结主干，仅微调轻量化解码器，支持文本生成、图像预测、机器人动作生成三类下游任务。实验证明模型具备良好规模扩展性，4B 版本在时序推理、真实交互图像生成、机器人域外操作上全面优于 V-JEPA、Qwen、π₀.5 等同量级基线；消融实验证实三类联合损失缺一不可。当前模型仅使用视觉语言模态、规模有限、仅支持短时序预测，后续计划拓展多感官输入、原生端到端世界建模、构建自进化数据闭环，并向科学 AI 领域延伸。

5个重要问题Q&A

Q1：Orca 和传统多模态模型最核心的范式区别是什么？

A1：传统模型分别以下一词、下一帧、下一动作为建模目标；Orca 以世界状态转移为核心，统一建模世界隐状态，文本、图像、动作只是状态的不同读出形式。

Q2：Orca 的无意识、有意识学习分别负责什么？

A2：无意识学习基于无标注连续视频，学习物体运动、自然稠密动态；有意识学习依托文本事件描述与 VQA，学习带因果、指令约束的稀疏事件状态转移。

Q3：下游微调阶段为何冻结 Orca 主干？

A3：为验证预训练得到的世界隐空间本身具备通用能力，排除主干微调带来的性能干扰，仅训练轻量化解码器就能完成文本、图像、机器人任务。

Q4：Orca 在机器人任务上的突出优势是什么？

A4：预训练无需机器人动作标注，依靠视频学到的世界动态产生涌现操控能力；域外物体 / 环境泛化更强，执行出错后可自主修正，失败轨迹也能推进至任务中后期。

Q5：论文指出 Orca 现存主要短板有哪些？

A5：仅使用视觉 + 语言模态，缺少音频、力触觉等信号；依赖现成 VLM 视觉编码器；仅支持短时序状态预测；模型与训练数据未充分利用；读出模态、评测基准覆盖范围有限。

Orca: The World is in Your Mind 论文详细总结

该论文由北京人工智能研究院（BAAI）Orca 团队发布于 2026 年 6 月 29 日 arXiv，提出通用世界基础模型 Orca，核心创新是抛弃传统单模态 “下一个 token / 帧 / 动作预测”，转向统一的下一状态预测（Next-State-Prediction）建模，通过双学习范式构建统一世界隐空间，仅微调轻量解码器即可实现文本、图像、机器人动作三大下游任务，在同等参量下全面超越主流基线模型。

arXiv 预印本编号：2606.30534v1 [计算机视觉] 2026 年 6 月 29 日研发团队：Orca 团队，北京人工智能研究院项目官网：https://orca-wm.github.io

摘要

本文提出通用世界基础模型 Orca。Orca 从多模态世界信号中学习统一的世界隐空间，并通过多模态读出接口对外暴露该表征。不同于单独优化下一词、下一帧或下一动作预测，本文以下一状态预测为核心建模思路，提供一套统一的状态建模方案，实现对世界的理解、预测与交互。Orca 依托两套互补学习范式完成训练：无意识学习从连续视频中提取稠密自然状态转换规律；有意识学习借助文本事件描述与视觉问答（VQA）监督，建模稀疏且具备语义意义的状态转换。预训练阶段，团队构建包含 12.5 万小时视频、1.6 亿条事件标注的大规模世界学习数据集。完成预训练后，模型习得统一世界隐空间。为验证该隐空间的泛化能力，本文采用三类典型下游读出任务开展评测：文本生成、图像预测、具身动作生成。评测时冻结 Orca 主干网络，仅微调轻量化模态专属解码器。实验证明该范式具备良好规模扩展性，更强的世界隐表征可显著提升下游任务表现；同等参数量下，Orca 性能优于各类专用基线模型。实验结果表明，作为通用世界基础模型，Orca 为理解、预测、操控现实世界提供了极具前景的技术路线。最后本文分析模型现存局限，为领域后续研究提供思路与启发。

图 1 Orca 整体架构Orca 采用编码器 - 解码器架构。多模态世界信号输入编码器，通过无意识、有意识两套范式学习世界隐表征：无意识学习捕捉稠密自然状态转换，有意识学习提取有语义价值的稀疏状态转换。预训练完成后编码器全程冻结，仅单独训练轻量化模态解码器，解码器将世界隐空间解码输出文本、图像、动作等多模态信息。

发布日期：2026 年 6 月 30 日章节目录：1. 引言｜2.Orca 模型｜3. 训练方案｜4. 实验评测｜5. 结论｜6. 作者｜参考文献附录：A. 模型理念｜B. 相关工作｜C. 训练参数｜D. 训练基础设施｜E. 评测设置｜F. 可视化案例

1 引言

我们认为，通往通用智能的核心突破是打造一套可像人类一样持续自主进化、最终超越人类认知边界的模型。该模型需内化物理定律、因果关系与时空演化规律，形成自涌现智能系统。理想状态下，模型可持续吸收各类多模态世界信号，对世界隐状态建模；信号范畴应覆盖视觉、文本、音频、动作、触觉等感知信号，力、光线等物理信号，甚至宏观宇宙、微观量子、生命科学等跨领域信号。更关键的是，该模型需以状态转换作为统一建模范式，同时适配已知与未知场景，为探索世界开辟全新路径。

现有模型存在明显局限：

1. 大语言模型：仅做下一词预测，擅长指令应答，但缺乏完整世界动态认知；
2. 图像 / 视频生成模型：聚焦下一帧预测，仅追求高清画面，难以贴合真实物理约束；
3. 具身动作模型：专注下一动作预测，高度依赖机器人标注数据，域外泛化能力薄弱。

因此我们提出以下一状态预测为核心、融合隐式动力学与显式条件的通用世界基础模型路线，Orca 正是该路线的初步落地成果。

Orca 通过编码器 - 解码器架构构建统一世界隐空间。本版本编码器仅处理视觉、语言两类基础信号：视觉对应人类视觉感知，语言承载因果解释、任务意图等抽象认知。模型两套学习范式分工明确：

1. 无意识学习：基于无标注连续视频，自主学习自然稠密状态演化，无需人工标签，通过预测后续帧隐向量内化场景变化；
2. 有意识学习：在文本指令约束下学习有意义的稀疏事件级状态转换。

Orca 依靠双范式构建世界隐空间，解码器可将隐表征解码为文本、图像、动作。本文下游评测并非单纯追求 SOTA 性能，而是验证两大核心假设：①本文设计的学习范式具备可行性与可扩展性；②更优质的世界建模可提升各类下游任务表现。因此下游微调阶段冻结 Orca 主干，仅训练轻量化读出模块。实验显示，随着模型参数量与训练数据规模提升，训练损失持续下降，文本、图像、动作三类读出任务性能同步上涨。

本文核心贡献总结：

1. 提出通用世界基础模型 Orca，设计无意识 + 有意识互补学习范式，从多模态信号中构建通用世界隐空间，作为各类多模态下游任务统一接口；无意识学习从视频提取稠密自然动态，有意识依托文本学习带决策、任务的稀疏事件转换；
2. 构建大规模世界学习数据集，包含 12.5 万小时视频、1.6 亿事件标注，覆盖第一视角交互、第三方物体操作、无机器人动作画面、事件级时序转换；
3. 大量实验验证该范式可扩展，更强的世界隐表征可同步提升多类下游能力；同等参数量下，Orca 在文本生成、真实交互图像预测、机器人动作生成任务上全面超越专用基线；
4. 系统分析模型现存短板，为领域长期可持续研究提供参考。

2 Orca 模型

2.1 建模逻辑

宏观层面，Orca 将世界学习定义为多模态信号抽象 + 状态转换的隐空间建模。给定多模态世界信号集合\(X=\{X^m\}_{m\in M}\)，理想输入涵盖语言、视觉、音频、力、光线乃至红外等人类感知外的信号；通过映射\(S=f_\theta(X)\)将原始信号转化为世界隐状态S。模型同时建模隐状态在隐式动力学、显式条件下的双向演化：\(S_{t+\Delta }\sim p_{\Theta }\left( S_{t+\Delta } | S_{t},z_{t},c_{t}\right) , \Delta \in \mathbb{Z}_{\neq 0}\)式中：\(z_t\)：隐式动力学，代表物理规律、物体属性、环境作用力等不可观测的状态驱动因素；\(c_t\)：显式条件，如人类文本指令；\(\Delta>0\)预测未来状态，\(\Delta<0\)回溯历史状态。

为实现上述状态转换公式，Orca 采用两套互补学习范式：

1. 无意识学习
   ：仅依靠观测建模\(S_{t+\Delta} \sim p_{\Theta}^{u}(S_{t+\Delta} | S_{t}, z_{t})\)，无文本语义约束，仅从连续画面学习物体运动、场景自然演变等稠密动态；
2. 有意识学习
   ：引入语言信号作为显式条件\(c_t=e_{t+\Delta}\)，建模\(S_{t+\Delta} \sim p_{\Theta}^{c}(S_{t+\Delta} | S_{t}, z_{t}, e_{t+\Delta})\)。文本可描述过去 / 未来事件、任务意图、因果前提，引导状态向指定方向演化。

图 2 编码器整体概述编码器依托视觉、语言信号，通过两条学习路径构建世界隐表征：

1. 纯观测状态转换（无意识学习）：单视频帧输入，无文本；
2. 事件条件状态转换（有意识学习）：视频 + 事件文本；
3. VQA 问答生成（有意识学习分支）：视频 + 问题，输出语言答案。

2.2 整体架构

编码器

基于预训练 Qwen3.5 视觉语言模型搭建，融合视觉、语言特征，通过两套范式学习统一世界隐空间。

• 无意识学习输入单视频帧\(v_t\)，经过 VLM 与两层 MLP 预测下一帧隐向量\(\hat{v}_{t+1}^{l}\)；真实下一帧\(v_{t+1}\)送入冻结视觉编码器得到真值隐向量，以教师强制方式监督预测结果；
• 有意识学习将视频按事件分段，输入当前帧\(v_t\)+ 相邻事件描述\(e_{t+\Delta}\)，预测对应事件帧隐向量；额外增加 VQA 分支，输入视频 + 问题，自回归输出文本答案。两类任务共同训练，最终融合得到统一世界隐空间。

解码器

编码器输出的世界隐空间通过专属模态解码器读出，解码器细节见 3.2 节。

3 训练流程

Orca 分为两大训练阶段：

1. 预训练：大规模视觉、语言数据训练编码器，习得世界隐表征；
2. 下游后训练：编码器主干全程冻结，仅训练轻量化读出模块，分别输出文本、图像、动作。

3.1 预训练

3.1 预训练目标

预训练包含三大优化目标，搭配可学习查询向量实现前两类状态预测，VQA 直接复用模型语言头：

1. 纯观测状态转换（无意识学习）输入：视觉 token + 查询 1，模型基于当前帧预测相邻帧隐向量，连续视频提供海量无标注稠密监督，学习遮挡、物体交互、场景自然变化。
2. 事件条件状态转换（有意识学习）输入：视觉 token + 查询 1 + 事件指令 + 查询 2，基于文本事件描述预测对应帧隐向量，学习因果、任务驱动的状态变化。
3. VQA 问答生成（有意识学习）输入视频 + 问题，采用标准自回归下一词损失训练语言头。

前两项损失在视觉隐空间计算，无需像素级重建；第三项为标准语言建模损失。总损失加权组合：\(\mathcal{L}=\lambda_{obs } \mathcal{L}_{obs }+\lambda_{evt } \mathcal{L}_{evt }+\lambda_{vqa} \mathcal{L}_{vqa }\)\(\lambda_{obs}=0.1、\lambda_{evt}=0.5、\lambda_{vqa}=0.4\)，分别对应观测转换、事件转换、VQA 损失权重；数据采样比例约 5 份状态样本：1 份 VQA 样本。

3.1.2 预训练数据集

数据集分为三类，分别对应三大预训练目标：

1. 视频数据集：四类真实画面 —— 第一视角交互、第三方物体操作、无机器人运行画面、自然场景动态；支撑纯观测、事件条件两类状态转换；
2. 事件标注数据集：视频切割粗 / 细粒度事件，每条事件配文本描述，用于带条件状态预测；
3. VQA 数据集：视频问答对，提供常识语义监督。

完整数据集库存：12.5 万小时视频、1.6 亿事件标注、1150 万条 VQA；本文实验仅使用 1/10 视频数据，剩余留作后续迭代。

图 3 预训练数据总览

• 视频数据 → 纯观测状态转换（无意识）
• 视频 + 事件标注 → 事件条件状态转换（有意识）
• VQA 问答数据 → VQA 文本生成（有意识）

3.2 下游后训练

预训练后编码器永久冻结，仅单独训练轻量化读出模块，三类读出分支相互独立：图 4 三类下游读出架构(a) 文本读出：复用原有语言头，无新增解码器；(b) 图像读出：冻结 SD3.5，仅训练 MLP 适配器 + LoRA；(c) 动作读出：从零搭建 DiT 动作专家，搭配 MLP 适配器。

3.2.1 文本生成读出

直接复用模型内置 LM 头，输入画面 + 指令，自回归输出自然语言，用于视频问答、事件解读、因果推理。

3.2.2 图像预测读出

基于冻结 Stable Diffusion 3.5，世界隐表征经过 MLP 适配器输入扩散模型；真值图像加噪声送入冻结 VAE 分支，通过多步去噪生成目标画面。训练仅更新适配器与 LoRA，训练数据取自视频中 “当前帧 - 目标帧” 配对；任务：给定原图 + 操作指令，预测交互后画面。评测基准：PRICE-V0.1，面向真实人机 / 机器人交互图像预测。

3.2.3 动作生成读出

DiT 架构动作专家搭配流匹配损失；输入：世界隐表征、带时间嵌入的噪声动作、机器人本体感知；输出 30 步动作块控制双臂轮式人形机器人。每项任务仅 200 条机器人轨迹用于微调。

3.3 训练基础设施

自研 FlagScale 训练框架（FlagOS），三大优化提升效率：

1. 基于 FSDP2 分布式参数分片，视觉模块取消冗余分片降低通信开销；
2. 分块交叉熵损失、激活重计算大幅降低显存峰值，支持更大批次；
3. 前后向计算预取，分布式通信与计算重叠，减少 GPU 空闲。性能对比：StarVLA 基线 0.66 样本 / 秒 / 卡，优化后 Orca 达 2.91 样本 / 秒 / 卡，速度提升 4.4 倍。

4 实验评测

两大核心验证假设：

1. 模型、数据规模扩大时，Orca 学习范式持续有效；
2. 预训练得到更强世界隐表征，下游三类任务性能同步提升。

4.1 规模缩放实验

1. 损失曲线：0.8B、4B 两种模型，随训练视频时长增加总损失持续下降；同等数据下 4B 大模型损失更低，范式具备可扩展性；
2. 下游性能曲线：预训练数据越多，文本、图像、动作零样本性能同步上涨；关键涌现现象：预训练完全不使用机器人动作标注，仅依靠视频学习的世界动态即可生成有效操控动作，缓解机器人数据稀缺、泛化差难题。

4.2 三类下游任务定量对比

4.2.1 文本生成评测

评测基准：MVBench、TemporalBench、3DSRBench、SWITCH，覆盖时序、空间、因果、运动四大能力；对比基线：V-JEPA2.1、Emu3.5、Qwen3.5、DeepSeek-VL2 等多模态 / 世界模型；结果：同等参数量 Orca-4B 全面领先 Qwen3.5-4B：

• 状态转换推理 +12.27%
• 常识因果推理 +5.19%
• 空间几何理解 +0.57%
• 动态运动建模 +8.52%

4.2.2 图像预测评测

基准 PRICE-V0.1，使用 GPT5.4、Gemini3.1、豆包 Seed2.0、Gemma4 多模型打分；基线：OmniGen2、FLUX1、FLUX2；结果：Orca-4+2 平均分 59.8，远超所有同类生成模型；定性优势：无物体凭空生成、手部畸形、违背物理等幻觉，完整保留场景、物体、接触关系。

4.2.3 机器人动作生成评测

5 项机器人任务：取书、叠碗、抽纸巾、盖章、舀糖；设置环境域外、物体域外两大泛化场景；基线：V-JEPA2.1、Qwen3.5、专用机器人模型\(\pi_{0.5}\)；指标：任务阶段规则分、中途进度 M25/M50、失败近完成分数 FNS、偏差恢复率 DRR；结论：

1. Orca-4B 环境域外平均分 36.6，远超通用 VLM 基线，性能接近大规模预训练\(\pi_{0.5}\)；
2. 容错恢复能力突出：抓取失败可多次重试，失败轨迹也能推进至任务中后期，基线极易停滞卡死。

4.3 消融实验

分别移除三类预训练损失验证必要性：

1. 三者联合训练时，文本、图像、动作性能最均衡；
2. 移除观测损失\(\mathcal{L}_{obs}\)：动作生成大幅下滑，视频稠密动态是机器人交互核心；
3. 移除事件损失\(\mathcal{L}_{evt}\)：图像预测暴跌，文本事件对齐是视觉状态预测关键；
4. 移除 VQA 损失\(\mathcal{L}_{vqa}\)：语言推理衰减，削弱隐空间常识约束。

5 结论与局限

本文提出以下一状态预测为核心的通用世界基础模型 Orca，摒弃单一模态专用建模思路，先通过多模态数据学习统一世界隐空间，再通过轻量化多读出接口实现理解、预测、交互，是通用世界模型领域早期探索性工作。

当前局限

1. 模态不足：仅视觉 + 语言，缺失音频、触觉、力反馈等感知信号；
2. 依赖预训练 VLM 视觉编码器，未原生从零构建统一世界表征；
3. 模型规模仅 0.8B/4B，完整 12.5 万小时视频数据仅使用 1/10；
4. 图像、机器人评测基准规模小、场景简单；
5. 仅支持短时间粒度状态转换，无法建模长周期演化；
6. 读出模态仅验证文本 / 图像 / 动作，音频、科学领域未覆盖；
7. 损失函数设计复杂，缺少统一简洁的状态预测损失；
8. 机器人任务难度偏低。

未来研究方向

1. 拓展多模态输入，统一音、力、触觉信号至同一世界隐空间；
2. 原生端到端世界模型，脱离现成 VLM 底座；
3. 构建统一世界模型评测体系，覆盖预测、反事实、物理量化；
4. 模型 - 数据 - 评测自进化闭环：模型自主生成交互样本，筛选后回流训练；
5. 从具身智能拓展至量子、宇宙、生命科学等 AI 科研领域；
6. 设计简洁统一的下一状态损失，支持长时序建模。

6 作者名单

核心研发人员

王一浩、季宇恒、曹明宇、沈延青、肖润泽（项目负责人）预训练团队：吕淮海、谢森伟、曹明宇数据基建：刘安、田克拉、龙天峰、蔡正良等评测团队：史若川、汤子涵、吕静、肖润泽机器人团队：吕静、谭文星、张宁波等下游微调：谢森伟、吕淮海、徐聪胜等基础设施：冯玉璞、张桐桐

参与贡献者

基建：赵颖丽、敖玉龙机器人数据：谢绍轩、刘游、姚国才产品运营：张乐、刘晓丹等品牌、平台、运维团队

顾问（姓氏字母排序）

崔森、金晓杰、李洪阳、罗建兰、穆尧、魏云超、严骏、赵航、郑小龙

项目负责人

李加明、林永华、黄铁军、王中原、彭伟通讯作者：zhongyuan@baai.ac.cn、pwwang@baai.ac.cn

附录 A 模型核心理念

现有模型属于被动任务驱动：LLM 下一词、图像模型下一帧、机器人下一动；Orca 转为主动世界学习，核心是下一状态预测。

• 无意识学习：自然物理演化（风吹叶落等无标注动态）；
• 有意识学习：带因果、人为事件（加热冰淇淋融化等）。语言、图像、动作均为底层世界状态的不同观测读出方式，模型先学习世界本身，再适配各类下游任务。

附录 B 相关工作

B.1 自监督隐世界模型（JEPA 系列）

V-JEPA 等基于视觉隐向量预测，仅实现单视觉无监督；Orca 新增语言条件、双向状态预测、VQA 常识监督，覆盖多模态完整世界建模。

B.2 下一词预测多模态大模型

Qwen、DeepSeek、Emu 等以 token 自回归为核心，语言为建模主体；Orca 将语言作为状态转换的约束条件，世界隐表征为核心载体。

B.3 下一帧图像 / 视频生成模型

FLUX、Seedance 侧重画面画质，不关注物理因果与真实交互合理性；Orca 以真实世界状态变化为优先，兼顾物理一致性。

B.4 视觉动作（VLA）机器人模型

\(\pi\)、OpenVLA 等以动作预测为目标，高度依赖机器人标注；Orca 先通用世界建模，仅少量机器人数据即可完成域外操控。

附录 C 训练参数（略）

包含预训练损失公式、可学习 Query 实现、0.8B/4B 超参、三类读出模块完整网络配置（SD3.5 适配器、DiT 动作专家）。

附录 D 训练基础设施

完整 FSDP2、激活重计算、分块交叉熵、通信重叠优化细节，吞吐量对比表格。

附录 E 评测细则

1. 文本四大视频理解基准；
2. PRICE-V0.1 图像预测数据集、打分提示词；
3. 机器人 5 项任务、环境 / 物体域外设置、阶段打分标准、PRM 轨迹诊断指标；
4. 大量定性可视化案例：盖章、舀糖、叠碗等失败后恢复轨迹对比。

附录 F 可视化案例

文本问答定性对比，展示 Orca 在状态变化、常识、空间、运动四大维度相比 Qwen 的推理优势，包含大量视频选择题样例。

参考文献

收录 Phi-4、Cosmos3、V-JEPA、LLaMA、Qwen、FLUX、π 系列、Stable Diffusion、FlagScale 等近年大模型、世界模型、具身智能相关预印本与论文。