浙大联合提出Agentic视频生成框架，智能体生成的镜头共用同一个世界！

智猩猩AI整理

论文一作投稿

Any Time, Any Space. 每个镜头，都有来处。

一段视频里，人物在客厅放下杯子，去洗衣房启动洗衣机，又到卧室待了一会儿。镜头回到客厅时，杯子还在原来的位置吗？再回洗衣房，洗衣进度能接上吗？如果换一台相机，重新拍刚才的动作，拍到的还是同一件事吗？

这些问题，单个镜头拍得再漂亮也绕不开。要把一份剧本变成完整故事，生成系统得知道不同镜头发生在哪里、对应哪段时间，以及此前已经发生过什么。只传递提示词或最近几帧，很难给相隔多个镜头的场景和事件提供共同参照。

浙江大学、莫纳什大学、加州大学伯克利分校 BAIR 与阿德莱德大学的研究者提出 Any Time, Any Space（ATAS）：让视频智能体围绕同一份持续更新的世界状态生成镜头。回到旧场景、换角度拍旧事件，都可以先查找已有观测，再生成新画面。论文一作是浙江大学计算机科学与技术学院博士生王伟杰，现为字节跳动Seed研究实习生。王伟杰也将参与12月15-16日的2026中国AI智能体大会（北京站），在Agentic视频生成技术研讨会进行报告分享。

目前，代码已开源，项目主页提供完整视频与可交互 demo。

宣传片视频

ATAS 把剧本拆成一组有明确范围的镜头请求。除了“拍什么”，每个请求还要说明场景、空间位置、相机、时间区间；如果要重拍一件已经发生过的事，还会标明对应事件。这样，一个新镜头就能找到它在故事中的位置。

图 1  ATAS 的工作流程。镜头请求先查询场景和事件记忆，再调用视频生成器；新片段经过重建、配准与检查后，才可能成为后续镜头的依据。

• 场景记忆负责空间参照。

系统把已经接受的静态几何配准到场景的共同坐标系中，并将动态区域分开处理。镜头再次回到同一房间，或从另一个位置取景时，就能从已有点云中渲染参考画面，让房间布局和相机位置有据可依。

• 事件记忆负责时间参照。

人物的动作、物体的变化不能简单并进静态场景。ATAS 将这些动态观测按场景、事件和时间区间保存。要从新角度回看某一段动作时，系统可以取出对应时刻的动态证据，而不只参考最近生成的画面。

• 生成之后 还有一道记忆检查。

新片段会被重建并尝试配准到已有场景。只有通过审核、配准和状态检查的观测，才会写入持久记忆。一个片段可以被保留在成片中，但如果几何对不齐，就不会被当作后续镜头的可靠依据，避免错误沿着故事不断累积。

这份世界状态也不绑定某一个智能体。负责不同镜头的智能体，可以按需查询同一份场景与事件记录，复用已经建立的空间和时间参照。它们不必各自从零猜测这个世界。

在 Saturday Laundry in the Flat 中，人物先在客厅放下杯子，再去洗衣房启动洗衣机，随后进入卧室。等镜头回到客厅，沙发、茶几、电视柜仍沿用此前的布局，杯子也留在原处。再到洗衣房时，镜头接续此前的洗衣过程，而不是重新生成一个互不相关的房间。

图 2  木屋与洗衣两个故事中的镜头和世界状态。上排是生成画面，下排是登记到场景中的观测；随着故事推进，新的房间与事件记录逐步加入。

Winter Fire in the Cabin 展示了另一种连续性：人物先点燃壁炉，在结霜的窗户上画出爱心，中间经过卧室等场景，再回到起居室。此时要接续的不只是房间结构，还有点火、画画这些动作留下的结果。

空间重访之外，还可以回到同一段事件。

宣传片开头的浴室多相机展示，把视频画面、相机位置和动态点云放在一起：不同画面通过相机连接到共同的空间，动作则有对应的事件时刻。它展示的不是简单延长一个视频，而是让另一个镜头能够重新访问已有事件，并尝试从新的角度呈现它。

主页提供联动的交互展示，可以沿时间线查看视频、相机与世界状态，观察某个镜头依赖了哪些此前的观测。

研究在 MiniMax-H3、Wan3.0、HappyHorse1.0 和 Wan2.7 四种视频生成器上进行了验证。相较于论文比较的智能体基线，ATAS 在四种设置下均提升了所报告的跨镜头一致性指标，并取得各自最高的综合基准得分。

图 3  空间重访与历史事件重拍的定性对比。前者检查重新回到场景时的空间对应，后者检查换视角后是否仍能接上指定事件。

研究还分别测试了“回到原来的空间”和“从新视角重拍历史事件”。ATAS 在目标图像空间重访的三项指标上均优于所比较方法；在事件重拍中，五项标准里的三项领先，“人物与物体一致性”一项并列最优，对具体动作状态的还原则略低于 ReCA。

图 4  用户评价结果。在视觉吸引力、剧本忠实度、人物一致性、背景一致性、物理规律和叙事连贯性六个维度，ATAS 的平均评分均高于所比较的基线。

这些结果说明，共享的空间和事件记录，能够为跨镜头生成提供更稳定的依据。它还不是完整的物理模拟器，效果仍受生成器和重建质量影响；但“下一镜从哪里来、接哪一刻”，有了可以查询的记录。