大数跨境

视频生成总把物理规律画错?UCF&微软研究院开源Video-Coder,让9B模型写Blender代码,把MiniMax-H3 的 VBench-2.0 从54.58%抬到78.19%。

视频生成总把物理规律画错?UCF&微软研究院开源Video-Coder,让9B模型写Blender代码,把MiniMax-H3 的 VBench-2.0 从54.58%抬到78.19%。 AIGC Studio
2026-11-12
3
导读:Video-Coder验证了一个可复用的工程判断:视频生成的物理一致性不必全押在生成器上,把结构、布局和运动写成可执行代码、渲染成白模再喂给下游,同样能把PhyGenBench从0.61抬到0.67、
点击下方名片关注AIGC Studio公众号!获取最新AI前沿应用/AIGC实践教程!
扫描下方二维码,加入AIGC Studio知识星球!可以获得最新AI前沿应用/AIGC实践教程/大厂面试经验/算法刷题和IT各学科入门到精通学习资料!学习/科研/工作/副业,强烈推荐!

不训练视频生成模型,而是训练一个会写Blender Python的agent:先渲染出只有结构与运动的白模Draft Video,再交给下游生成器出片。UCF联合微软研究院等机构开源Video-Coder,9B权重、三套训练代码与数据集全部开放。

视频生成在画质与时序一致性上进步很快,但精确空间结构、连贯运动动力学、可控场景组合仍然是短板,物体碰撞、光影、热现象、材料变化这些物理规律尤其容易出错。常规思路是继续加大生成器、加数据或加控制条件;Video-Coder换了一条路:把「结构」这件事从生成器里拆出来,交给一个会写代码的agent。

Video-Coder由University of Central Florida(一作与通讯)、University of Würzburg、Microsoft Research、清华大学、UNC-Chapel Hill、UW–Madison联合提出。给定文本prompt,agent自主编写并执行Blender Python程序构建动态3D场景,渲染出的Draft Video为下游视频生成器提供显式结构与运动信号。

团队配套做了Video-Coder Harness统一交互环境、两个训练数据集,以及SFT后接harness-native agentic RL的两阶段训练,双奖励加一个随时间衰减执行奖励的annealing策略。PhyGenBench平均从MiniMax-H3的0.61升到0.67,VBench-2.0从54.58%升到78.19%(+23.61pp)

unsetunset相关链接unsetunset

  • 论文:https://arxiv.org/abs/2611.09894
  • 论文HTML:https://arxiv.org/html/2611.09894v1
  • 代码:https://github.com/CYWang735/Video-Coder
  • 主页:https://cywang735.github.io/Video-Coder/
  • 模型权重 Video-Coder-9B(18.82GB):https://huggingface.co/Video-Coder/Video-Coder-9B
  • 模型权重 Video-Coder-SFT-9B(18.82GB):https://huggingface.co/Video-Coder/Video-Coder-SFT-9B
  • 训练数据集:https://huggingface.co/datasets/Video-Coder/Train-Data

unsetunset内容介绍unsetunset

一句话说清:输入一句文本prompt,模型输出的不是视频,而是一段Blender Python程序;程序在沙箱里渲染出灰模Draft Video,再交给视频生成器转成Final Video。

与「把结构控制塞进生成器」的常规做法不同,核心特点是:

  1. 训练时生成器完全冻结:只优化Qwen3.5-9B写程序的能力,让白模视频充当结构与运动的结构先验,视频生成器权重不动。
  2. 白模只带结构不带外观:所有场景统一用无贴图gray clay shading、固定分辨率与帧率渲染,appearance全部留给下游,避免agent去学材质和光影。
  3. 工程链可换件:仓库分Video-Coder-SFT/(ms-swift)、Video-Coder-RL/(uni-agent)、Minimax-H3-server/三套真代码,README明说可以改video_reward配置换生成器或换judge。

适用场景:物理一致性要求高的视频生成、需要精确布局/运动/机位控制的内容生产、可控视频生成的工程调研。

从文本prompt到Blender白模Draft Video,再到下游生成器输出Final Video的完整链路。

unsetunset方法概述unsetunset

一套Harness把「写代码—跑渲染—看反馈—改代码」闭环做实,一套双奖励RL把优化目标从「能跑通」逐步挪到「成片更像」,中间用SFT打底。

1. Video-Coder Harness

给定prompt c,模型π写Blender Python程序f构建动态3D场景;在隔离沙箱执行E(f)=(v,ℓ),v是渲染出的白模视频(执行失败则为∅),ℓ是执行反馈。agent按write–run–revise循环迭代:每一轮基于此前写过的代码与视觉反馈修订程序。

Harness给两个工具:check_script做快速静态检查,run_blender执行并渲染。每次工具调用返回三类反馈:执行反馈(语法错、缺相机或渲染调用、runtime traceback;执行失败时只有这一类)、内容检查(校验视频格式、检查空帧、静止视频、主体出画,并给一段场景摘要)、视觉反馈(均匀抽几帧返回图片,让模型自己检查布局、运动时机与取景)。

一个容易被忽略但很关键的细节:提交不直接采信。Harness会在干净目录里从头重跑最终脚本,只有独立复现再次通过全部检查才接受该episode,保证结果仅由代码可复现。

2. 数据管线与两阶段训练

数据构建四步:文本prompt构造 → agentic轨迹生成(teacher agent在Harness里迭代写、跑、改Blender代码并渲染白模) → ground-truth视频合成 → 三级过滤。过滤分别是执行有效性(渲染从未成功、超轮次或token预算、非法工具调用)、白模视频质量(近静止、空画面、主体出画、退化机位)、prompt–video一致性(用Seed2.0判定物体、数量、空间关系与运动是否符合prompt,低于阈值剔除)。过滤后切成两个不重叠子集,一份给SFT(prompt+完整轨迹+参考视频),一份给RL(prompt–参考视频对)。

SFT用ms-swift全量微调Qwen3.5-9B,128k context、序列并行度4、单节点4×H100,教会模型规划场景、写代码、调工具、读反馈、改代码;RL阶段用GRPO,group size 8、最多100轮交互、最大上下文120K、batch 8,SFT与RL学习率分别为1e-5与1e-6,优化器AdamW,未完成rollout做mask。算力上RL跑2节点共8×H100,另用4台各4GPU的MiniMax-H3 server(合计16张卡,论文4.1节记为16 H100)支持rollout出片,完整训练约3天。

四阶段数据构建:prompt构造、轨迹生成、参考视频合成、过滤,产出SFT与RL两个子集。

3. 双奖励与annealing

执行奖励R_exe是二值的:工具调用格式全对、最终Blender程序执行成功并通过全部环境检查记1,否则0。视频奖励R_video用Qwen3.8-omni-flash(DashScope)评估成片与文本prompt、参考视频的一致性,看物体类别、空间布局、运动动力学、相机行为,归一化到[0,1]。

两者在训练中作用不同:早期程序频繁执行失败,视频奖励几乎拿不到,靠R_exe学可靠工具调用;后期执行成功率上来,R_video才能提供细粒度监督。于是最终奖励写成R = α·R_video + e^(−steps/T)·R_exe,α=0.5,执行奖励权重随训练步数指数衰减。消融给出了直接证据:去掉annealing、改用固定权重后PhyGenBench只有0.65,论文解释为过度利用执行奖励会掩盖视频奖励的细粒度差异,agent倾向写「可执行但保守」的程序。

unsetunset实验结果unsetunset

PhyGenBench

方法
Mechanics
Optics
Thermal
Material
Average
HunyuanVideo
0.33
0.39
0.26
0.30
0.33
Wan2.2-TI2V-5B
0.55
0.58
0.53
0.50
0.54
OmniWeaving
0.48
0.56
0.43
0.39
0.48
MiniMax-H3(基线)
0.61
0.73
0.52
0.55
0.61
Video-Coder-9B + OmniWeaving
0.52
0.58
0.52
0.44
0.51
Video-Coder-9B + MiniMax-H3 0.68 0.79 0.60 0.61 0.67

对MiniMax-H3基线四个分项全部提升,平均+0.06;摘要里写的「approximately 7 points」是取整说法,按表格精确值是0.61→0.67。换成OmniWeaving时只从0.48到0.51(+0.03),所以「换个生成器也能涨」成立,但幅度远小于主设定。

VBench-2.0

方法
Mechanics
Thermotics
Material
Average
Sora
62.22%
43.36%
64.94%
56.84%
Kling 1.6
65.55%
59.46%
68.00%
64.34%
HunyuanVideo
76.09%
56.52%
64.37%
65.66%
MiniMax-H3(基线)
67.59%
47.22%
48.94%
54.58%
CogVideoX-1.5
80.80%
67.13%
83.19%
77.04%
Video-Coder-9B + MiniMax-H3 88.67% 70.88%
75.02%
78.19%

对基线是+23.61pp,Mechanics 67.59%→88.67%、Thermotics 47.22%→70.88%。但横向比要克制:78.19%只比CogVideoX-1.5的77.04%高1.15pp,Material 75.02%反而比CogVideoX-1.5的83.19%低8.17pp,也不是全维度第一。

车辆、人体动作与物体交互的prompt、Draft Video与最终成片对照。

消融

变体
分数
MiniMax-H3基线
0.61
+ Video-Coder-SFT
0.63
+ Video-Coder-wo-execution reward
0.63
+ Video-Coder-wo-video reward
0.64
+ Video-Coder-wo-annealing
0.65
完整Video-Coder 0.67

SFT先把0.61抬到0.63,说明「用代码显式搭3D场景」本身就能给物理生成提供有用先验;RL再抬到0.67。去掉任一奖励都会掉分,两个信号是互补而非冗余。

评测口径也要分清:PhyGenBench官方协议用GPT-4o作MLLM judge,VBench-2.0取mechanics/thermotics/material三个物理维度;而训练时的R_video用的是Qwen3.8-omni-flash。两者不是同一个judge,这不是自评自测,但也意味着reward设计与最终指标之间存在一层gap。

unsetunset局限与未来方向unsetunset

首先,论文内部数据规模口径不一致。摘要、引言、3.1节与3.3节写的是Video-Coder-SFT-6k与Video-Coder-RL-2k,4.1节Setup与第5节Conclusion写的是Video-Coder-SFT-10k与Video-Coder-RL-4k;GitHub README只给sft_data.json与rl_data.json两个文件名,不写条数。引用数据规模时必须带上「按哪一节」的口径,别替作者圆成一个数。同理,摘要的7 points与24 points是取整,精确值是+0.06与+23.61pp。

其次,指标口径的局限。两个benchmark都只测物理一致性的几个维度,不等于整体画质、美学或时长稳定性的提升;VBench-2.0的Material维度还输给CogVideoX-1.5。跨生成器验证只给了OmniWeaving一个对照且涨幅只有+0.03,「泛化到不同生成器」目前验证程度有限。

此外,这不是消费级方案。9B权重18.82GB,单张24GB卡勉强装得下,但完整推理链是Blender沙箱出Draft Video → MiniMax-H3 server出Final Video → VLM judge打分;训练更是8×H100加16张卡跑rollout、约3天。README要求Apptainer沙箱、Ray多节点、共享存储和DASHSCOPE_API_KEY,工程门槛比「下一个权重跑推理」高得多。

还有两点要如实写:项目是海外主导,10位作者里仅Dongyang Chen一位来自清华大学,按国产模型优先的口径不能算国产;协议也是分立的,HF两个权重仓license: apache-2.0,GitHub仓NOASSERTION且没有LICENSE文件,不能写成「全栈开源」。论文v1 11-06、权重仓11-03/11-04、代码仓11-02、README宣布开源11-08,四个时间点不同步,别混成一天。

unsetunset结论unsetunset

Video-Coder验证了一个可复用的工程判断:视频生成的物理一致性不必全押在生成器上,把结构、布局和运动写成可执行代码、渲染成白模再喂给下游,同样能把PhyGenBench从0.61抬到0.67、把VBench-2.0从54.58%抬到78.19%。

对于做视频生成应用开发的读者,最值得拿走的是Harness那套「独立复现才接受」和三级反馈设计,这两点可以直接迁到任何agentic coding环境;对于做RL的研究者,双奖励加随步数衰减执行奖励的annealing,以及去掉任一项就掉0.02–0.04的消融表,比最终分数更有参考价值。

视频生成的下一步,或许不只是让像素更真,而是先把场景里该发生的事情,写成一段能跑起来的代码。

感谢你看到这里,添加小助手 AIGC_Tech 加入官方 AIGC读者交流群,下方扫码加入 AIGC Studio 星球,获取前沿AI应用、AIGC实践教程、大厂面试经验、AI学习路线以及IT类入门到精通学习资料等,欢迎一起交流学习💗~

【声明】内容源于网络
0
0
AIGC Studio
一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、Stable Diffusion、Sora等相关技术。这里不仅有简单易懂的AIGC理论实践和AI学习路线,还有大厂工作经历和体会分享。如果有幸能给你一些帮助就更好啦!
内容 1291
粉丝 0
AIGC Studio 一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、Stable Diffusion、Sora等相关技术。这里不仅有简单易懂的AIGC理论实践和AI学习路线,还有大厂工作经历和体会分享。如果有幸能给你一些帮助就更好啦!
总阅读69.5k
粉丝0
内容1.3k