不训练视频生成模型,而是训练一个会写Blender Python的agent:先渲染出只有结构与运动的白模Draft Video,再交给下游生成器出片。UCF联合微软研究院等机构开源Video-Coder,9B权重、三套训练代码与数据集全部开放。
视频生成在画质与时序一致性上进步很快,但精确空间结构、连贯运动动力学、可控场景组合仍然是短板,物体碰撞、光影、热现象、材料变化这些物理规律尤其容易出错。常规思路是继续加大生成器、加数据或加控制条件;Video-Coder换了一条路:把「结构」这件事从生成器里拆出来,交给一个会写代码的agent。
Video-Coder由University of Central Florida(一作与通讯)、University of Würzburg、Microsoft Research、清华大学、UNC-Chapel Hill、UW–Madison联合提出。给定文本prompt,agent自主编写并执行Blender Python程序构建动态3D场景,渲染出的Draft Video为下游视频生成器提供显式结构与运动信号。
团队配套做了Video-Coder Harness统一交互环境、两个训练数据集,以及SFT后接harness-native agentic RL的两阶段训练,双奖励加一个随时间衰减执行奖励的annealing策略。PhyGenBench平均从MiniMax-H3的0.61升到0.67,VBench-2.0从54.58%升到78.19%(+23.61pp)
相关链接
-
论文:https://arxiv.org/abs/2611.09894 -
论文HTML:https://arxiv.org/html/2611.09894v1 -
代码:https://github.com/CYWang735/Video-Coder -
主页:https://cywang735.github.io/Video-Coder/ -
模型权重 Video-Coder-9B(18.82GB):https://huggingface.co/Video-Coder/Video-Coder-9B -
模型权重 Video-Coder-SFT-9B(18.82GB):https://huggingface.co/Video-Coder/Video-Coder-SFT-9B -
训练数据集:https://huggingface.co/datasets/Video-Coder/Train-Data
内容介绍
一句话说清:输入一句文本prompt,模型输出的不是视频,而是一段Blender Python程序;程序在沙箱里渲染出灰模Draft Video,再交给视频生成器转成Final Video。
与「把结构控制塞进生成器」的常规做法不同,核心特点是:
-
训练时生成器完全冻结:只优化Qwen3.5-9B写程序的能力,让白模视频充当结构与运动的结构先验,视频生成器权重不动。 -
白模只带结构不带外观:所有场景统一用无贴图gray clay shading、固定分辨率与帧率渲染,appearance全部留给下游,避免agent去学材质和光影。 -
工程链可换件:仓库分 Video-Coder-SFT/(ms-swift)、Video-Coder-RL/(uni-agent)、Minimax-H3-server/三套真代码,README明说可以改video_reward配置换生成器或换judge。
适用场景:物理一致性要求高的视频生成、需要精确布局/运动/机位控制的内容生产、可控视频生成的工程调研。
从文本prompt到Blender白模Draft Video,再到下游生成器输出Final Video的完整链路。
方法概述
一套Harness把「写代码—跑渲染—看反馈—改代码」闭环做实,一套双奖励RL把优化目标从「能跑通」逐步挪到「成片更像」,中间用SFT打底。
1. Video-Coder Harness
给定prompt c,模型π写Blender Python程序f构建动态3D场景;在隔离沙箱执行E(f)=(v,ℓ),v是渲染出的白模视频(执行失败则为∅),ℓ是执行反馈。agent按write–run–revise循环迭代:每一轮基于此前写过的代码与视觉反馈修订程序。
Harness给两个工具:check_script做快速静态检查,run_blender执行并渲染。每次工具调用返回三类反馈:执行反馈(语法错、缺相机或渲染调用、runtime traceback;执行失败时只有这一类)、内容检查(校验视频格式、检查空帧、静止视频、主体出画,并给一段场景摘要)、视觉反馈(均匀抽几帧返回图片,让模型自己检查布局、运动时机与取景)。
一个容易被忽略但很关键的细节:提交不直接采信。Harness会在干净目录里从头重跑最终脚本,只有独立复现再次通过全部检查才接受该episode,保证结果仅由代码可复现。
2. 数据管线与两阶段训练
数据构建四步:文本prompt构造 → agentic轨迹生成(teacher agent在Harness里迭代写、跑、改Blender代码并渲染白模) → ground-truth视频合成 → 三级过滤。过滤分别是执行有效性(渲染从未成功、超轮次或token预算、非法工具调用)、白模视频质量(近静止、空画面、主体出画、退化机位)、prompt–video一致性(用Seed2.0判定物体、数量、空间关系与运动是否符合prompt,低于阈值剔除)。过滤后切成两个不重叠子集,一份给SFT(prompt+完整轨迹+参考视频),一份给RL(prompt–参考视频对)。
SFT用ms-swift全量微调Qwen3.5-9B,128k context、序列并行度4、单节点4×H100,教会模型规划场景、写代码、调工具、读反馈、改代码;RL阶段用GRPO,group size 8、最多100轮交互、最大上下文120K、batch 8,SFT与RL学习率分别为1e-5与1e-6,优化器AdamW,未完成rollout做mask。算力上RL跑2节点共8×H100,另用4台各4GPU的MiniMax-H3 server(合计16张卡,论文4.1节记为16 H100)支持rollout出片,完整训练约3天。
四阶段数据构建:prompt构造、轨迹生成、参考视频合成、过滤,产出SFT与RL两个子集。
3. 双奖励与annealing
执行奖励R_exe是二值的:工具调用格式全对、最终Blender程序执行成功并通过全部环境检查记1,否则0。视频奖励R_video用Qwen3.8-omni-flash(DashScope)评估成片与文本prompt、参考视频的一致性,看物体类别、空间布局、运动动力学、相机行为,归一化到[0,1]。
两者在训练中作用不同:早期程序频繁执行失败,视频奖励几乎拿不到,靠R_exe学可靠工具调用;后期执行成功率上来,R_video才能提供细粒度监督。于是最终奖励写成R = α·R_video + e^(−steps/T)·R_exe,α=0.5,执行奖励权重随训练步数指数衰减。消融给出了直接证据:去掉annealing、改用固定权重后PhyGenBench只有0.65,论文解释为过度利用执行奖励会掩盖视频奖励的细粒度差异,agent倾向写「可执行但保守」的程序。
实验结果
PhyGenBench
|
|
|
|
|
|
|
|---|---|---|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| Video-Coder-9B + MiniMax-H3 | 0.68 | 0.79 | 0.60 | 0.61 | 0.67 |
对MiniMax-H3基线四个分项全部提升,平均+0.06;摘要里写的「approximately 7 points」是取整说法,按表格精确值是0.61→0.67。换成OmniWeaving时只从0.48到0.51(+0.03),所以「换个生成器也能涨」成立,但幅度远小于主设定。
VBench-2.0
|
|
|
|
|
|
|---|---|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| Video-Coder-9B + MiniMax-H3 | 88.67% | 70.88% |
|
78.19% |
对基线是+23.61pp,Mechanics 67.59%→88.67%、Thermotics 47.22%→70.88%。但横向比要克制:78.19%只比CogVideoX-1.5的77.04%高1.15pp,Material 75.02%反而比CogVideoX-1.5的83.19%低8.17pp,也不是全维度第一。
车辆、人体动作与物体交互的prompt、Draft Video与最终成片对照。
消融
|
|
|
|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 完整Video-Coder | 0.67 |
SFT先把0.61抬到0.63,说明「用代码显式搭3D场景」本身就能给物理生成提供有用先验;RL再抬到0.67。去掉任一奖励都会掉分,两个信号是互补而非冗余。
评测口径也要分清:PhyGenBench官方协议用GPT-4o作MLLM judge,VBench-2.0取mechanics/thermotics/material三个物理维度;而训练时的R_video用的是Qwen3.8-omni-flash。两者不是同一个judge,这不是自评自测,但也意味着reward设计与最终指标之间存在一层gap。
局限与未来方向
首先,论文内部数据规模口径不一致。摘要、引言、3.1节与3.3节写的是Video-Coder-SFT-6k与Video-Coder-RL-2k,4.1节Setup与第5节Conclusion写的是Video-Coder-SFT-10k与Video-Coder-RL-4k;GitHub README只给sft_data.json与rl_data.json两个文件名,不写条数。引用数据规模时必须带上「按哪一节」的口径,别替作者圆成一个数。同理,摘要的7 points与24 points是取整,精确值是+0.06与+23.61pp。
其次,指标口径的局限。两个benchmark都只测物理一致性的几个维度,不等于整体画质、美学或时长稳定性的提升;VBench-2.0的Material维度还输给CogVideoX-1.5。跨生成器验证只给了OmniWeaving一个对照且涨幅只有+0.03,「泛化到不同生成器」目前验证程度有限。
此外,这不是消费级方案。9B权重18.82GB,单张24GB卡勉强装得下,但完整推理链是Blender沙箱出Draft Video → MiniMax-H3 server出Final Video → VLM judge打分;训练更是8×H100加16张卡跑rollout、约3天。README要求Apptainer沙箱、Ray多节点、共享存储和DASHSCOPE_API_KEY,工程门槛比「下一个权重跑推理」高得多。
还有两点要如实写:项目是海外主导,10位作者里仅Dongyang Chen一位来自清华大学,按国产模型优先的口径不能算国产;协议也是分立的,HF两个权重仓license: apache-2.0,GitHub仓NOASSERTION且没有LICENSE文件,不能写成「全栈开源」。论文v1 11-06、权重仓11-03/11-04、代码仓11-02、README宣布开源11-08,四个时间点不同步,别混成一天。
结论
Video-Coder验证了一个可复用的工程判断:视频生成的物理一致性不必全押在生成器上,把结构、布局和运动写成可执行代码、渲染成白模再喂给下游,同样能把PhyGenBench从0.61抬到0.67、把VBench-2.0从54.58%抬到78.19%。
对于做视频生成应用开发的读者,最值得拿走的是Harness那套「独立复现才接受」和三级反馈设计,这两点可以直接迁到任何agentic coding环境;对于做RL的研究者,双奖励加随步数衰减执行奖励的annealing,以及去掉任一项就掉0.02–0.04的消融表,比最终分数更有参考价值。
视频生成的下一步,或许不只是让像素更真,而是先把场景里该发生的事情,写成一段能跑起来的代码。
感谢你看到这里,添加小助手 AIGC_Tech 加入官方 AIGC读者交流群,下方扫码加入 AIGC Studio 星球,获取前沿AI应用、AIGC实践教程、大厂面试经验、AI学习路线以及IT类入门到精通学习资料等,欢迎一起交流学习💗~

