【报告】HarnessEval-W：给世界模型评测装上会推理、可追溯的Agent大脑（附PDF下载）

HarnessEval-W：将视觉世界评估代理化

联合研发机构：Mirros 团队、清华大学、北京大学、NVIDIA、xbench、卡内基梅隆大学、巴黎综合理工学院、密歇根大学、上海交通大学、浙江大学、北卡罗来纳大学教堂山分校、新加坡国立大学、南洋理工大学、加州大学伯克利分校、MIT 等。

过去，世界模型评测像“只判分不讲解的阅卷老师”：给你一个分数，却说不清哪里错、为什么错。现在，HarnessEval-W 把“Agent 评审团”带进世界模型评测：每个分数背后，都有一棵可追溯的证据树。

01 世界模型评测，为什么需要一场“革命”？

视频生成模型从 U-Net、Latent Diffusion 演进至 Diffusion Transformer（如 CogVideoX、HunyuanVideo、Wan、Seedance、Kling 等），画面逼真度与动作流畅度显著提升。然而，画面好看不等于真正理解世界。

真正的“世界模型”需在动作干预下正确更新状态，并在长时间 rollout 中保持一致性。例如：

• 碰撞后物体是否合理反弹？
• 镜头离开再返回，场景是否保持原状？
• 未被观察的水流、烟雾或交通流是否继续演化？
• 执行“拿起杯子”指令时，是否会错误地移动桌子？

人类能轻易识别的物理、因果及几何错误，现有 Benchmark 往往难以自动评估。传统评测多为“黑箱打分”，缺乏推理链，分数既不可解释也难以验证。世界模型评测缺的不是分数，而是“诊断报告”。

02 HarnessEval-W 的核心创新

HarnessEval-W 将 LLM 生态中的“harness + Agent”范式引入世界模型评测，摒弃固定评分表，采用动态评估流程：

1. 理解上下文：分析初始图像、动作提示及评测目标；
2. 拆解问题：将大问题分解为“目标可见性”、“指定变化”、“额外事件”等可测量子问题；
3. 派出子 Agent：每个子 Agent 配备专用上下文和诊断工具；
4. 父 Agent 汇总：验证证据并生成最终分数及完整推理链。

最终输出的不是单一的标量分数，而是一棵透明证据树，清晰展示测评内容、使用工具、失败步骤及扣分原因。

专业解读：这将评测从静态问答升级为“主动侦查 + 专家会诊 + 证据链审判”。对于世界模型而言，可解释性比单纯刷榜更能指导迭代。

03 三大评测轴与八项指标

论文将交互式世界模型形式化为：P(o_{1:t}|o_{-T:0}; a_{0:t-1}) \propto P(s_0|o_{-T:0})\prod_{i=1}^t S(o_i|s_i)T(s_i|s_{i-1},a_{i-1})。即：世界模型 = 从历史观察推断状态 + 按动作转移状态 + 从状态渲染观察。

基于此，框架拆分为三大评测轴、八个细分指标：

对应 8 个指标：Obs-R、Obs-P、Trans-E、Trans-I、Trans-P、Pers-D、Pers-R、Pers-O。原始分值 0–1，最终归一化为 1–100。

简易记忆法：Observation 看“眼睛”，Transition 看“动作反应”，Persistence 看“记忆和世界连续性”。

04 分层 Agent 工作机制

第一步：案例上下文 → 技能路由

解析初始图、动作及评测意图，从技能库激活相应技能。关键点：路由仅依赖案例上下文和评测意图，与被评模型无关，确保所有模型在同一路线上公平对比。

第二步：技能 → 子问题 → 子 Agent

以“Intentional Change Verifier”为例，拆解为八个子问题（如预期结果、目标可见性、变化正确性、锚点保持等）。每个子 Agent 独立回答一个小问题，返回离散分数及诊断理由。

第三步：父 Agent 验证 → 聚合 → 证据树

父 Agent 验证子 Agent 的证据后汇总。低分可直接追溯至具体失败原因（如目标错误、多余事件、物理违规、状态漂移等）。

专业解读：“分而治之 + 交叉验证”显著降低了单个 VLM 判断的幻觉风险，类似医院多科室会诊机制。

05 330 个高质量评测案例构建

为挖掘世界模型极限，构建了 330 个覆盖多样场景和交互模式的案例。

场景分类六轴

• Environment：室内、室外、过渡区域
• Foreground：人、车、关节物体、物理装置
• Midground：走廊、人行道、工作台、道路、海岸线
• Scene Density：不同杂乱程度，保证关键实体可读
• Appearance：写实、电影感、游戏引擎、风格化 3D、动漫
• Perspective：第一人称、第三人称

六类 Probe Family

涵盖 Exploratory Transition、Intentional Transition、Physical Transition、Drift Resistance、Revisit Consistency、Offscreen Evolution。

Agentic 案例生产流水线

1. Image Generator：生成初始世界图像；
2. Image-grounded Planner：基于图像规划动作，严禁引入图中不存在的实体；
3. Case Validator：审计图像-动作对，确保目标可见、动作可行、结果具体、证据充分。不合格案例直接废弃。

06 18 个世界模型评测结果

HarnessEval-W 评估了 18 个代表性世界模型（含通用视频生成器和交互式世界模拟器）。

总榜前十

关键结论：文本驱动的通用视频生成器整体领先。Seedance 2.0、Wan 2.7、Kling 3.0、MiniMax H3 占据前四。大规模文本条件训练带来了更强的 grounding 和预测能力。

各模型优势领域不同：

• Wan 2.7：Intentional 和 Physical Transition 表现最佳；
• Seedance 2.0：Drift Resistance 等持久性指标强劲；
• HY-WorldPlay 1.5：Revisit Consistency 突出；
• SANA-WM：Offscreen Evolution 具有优势。

07 评测器的可靠性：人类对齐与鲁棒性

人类对齐

• 收集 5000 组 A/B 人类判断，覆盖 9 个代表模型；
• HarnessEval-W 与人类偏好高度一致：Intentional Transition Spearman $\rho=0.93$，Physical Transition Spearman $\rho=0.87$。

对比 WBench

HarnessEval-W 区分度更高，极少出现平局。

鲁棒性

重复运行三次测试显示，HarnessEval-W 的稳定性包络比 WBench 窄 4.9 倍，相关性保持在 0.928–0.964 之间。

08 三个反直觉发现

发现一：画面好 ≠ 物理好

Render Quality 与 Physical Observation 相关性仅为 $r=-0.04$。视频生成美观并不代表模型理解物理规律。

发现二：指定干预和物理干预强耦合

Intentional 与 Physical Transition 相关性高达 $r=0.98$。两者均要求模型深刻理解“指定动作的语义后果”。

发现三：会探索 ≠ 会执行命令

Exploratory Transition 与 Intentional / Physical 几乎不相关（$r=-0.15$、$r=-0.18$）。能生成连贯探索镜头，不代表能正确执行具体指令。

微调后的能力重新分配

从文本到视频模型微调为动作条件世界模型后，能力并非全面提升，而是发生偏移。例如 Wan 2.2 微调为 DreamX-World 后，探索性和重访一致性提升，但意向性和物理性显著下降。这可能与训练数据偏向探索轨迹有关。

09 未来展望：自进化评测 Harness

1. Test-Time Scaling：评测器通过增加算力进行更细的技能分解和多步验证；
2. Scaling Skill Libraries：持续扩充技能库，封装人类关于特定场景评测的知识；
3. Recursively Self-Improving：遇到分布外场景时，评测器自动扩展技能并回填库中，形成递归自改进闭环。

未来的 Benchmark 不再是静态题库，而是会自我进化的智能评审系统。

结语

HarnessEval-W 的核心价值在于将世界模型评测从“判分”推进到“诊断”。它让每个分数都能回答：测了什么？证据是什么？为什么是这个结果？当世界模型成为“数字世界发动机”，评测也必须转变为可解释、可验证、可进化的 Agent 评审团。

HarnessEval-W 已开源：
论文博客：https://mirros.ai/blog/harnesseval
代码：https://github.com/mirros-lab/harnesseval-w
项目页：https://mirros-lab.github.io/HarnessEval-w

世界模型的下一个战场，不只是生成更真的视频，而是让评测也能“看懂世界”。