武大联合小米开源 WorldCast：给 1 到 4 张锚点图，让相机绕角色转 360 度身份不崩。

给定一张角色参考图、一条目标相机轨迹、外加 1–4 张任意视角的锚点图，WorldCast 能生成沿轨迹运动且跨视角保持身份一致的视频。与只靠单图做相机控制的方案不同，它把「没见过的那一面」所需的几何信息，显式存进了一组几何对齐的记忆注意力里。

精确的摄像机控制对于电影级角色视频生成至关重要，然而现有方法难以在视角切换时保持角色特征的同时，有效跟踪大角度轨迹。

武汉大学电子信息学院联合小米 MiLM Plus提出了 CLACT，一个以角色为中心的基准测试集，包含 80,000 个训练样本和 42 个评估场景；以及 WorldCast ，一个将尺度对齐的几何引导与几何对齐的多视角角色记忆（ GAMA ）相结合的框架。WorldCast 在保持优异视觉质量的同时，实现了最佳的摄像机控制精度和角色一致性。

unsetunset相关链接unsetunset

• 论文：https://arxiv.org/abs/2610.33135
• 代码：https://github.com/PixCtrol/WorldCast
• 主页：https://pixctrol.github.io/WorldCast
• 模型权重：https://huggingface.co/ly56/worldcast （Apache-2.0；base_dit.safetensors 8.01GB + worldcast_bank.safetensors 1.89GB，2026-10-28 放出）

unsetunset内容介绍unsetunset

WorldCast 是「以角色为中心、按指定相机轨迹生成视频」的模型：输入一张初始角色图 I0、文本提示 y、目标相机序列 C（内外参）、以及 1–4 张多视角锚点图 A，输出沿轨迹运动且保持角色几何/外观/身份一致的后续帧。

与常规做法（CameraCtrl 类只依赖单图几何或 CFG）不同，核心特点是：

1. 轨迹对齐几何引导：参考图反投影点云沿校准轨迹渲染，给生成器明确的像素级几何参照。
2. 几何对齐记忆注意力（GAMA）：把锚点图摆进同一坐标系当「记忆」，视频令牌按视角检索互补证据。
3. 大角度友好：专门解决「绕到背后」时单图缺失信息的补全。

适用场景：角色环绕展示、虚拟拍摄预演、数字人多视角一致性视频、游戏/电商角色动画。

给定参考图、目标相机轨迹与 1–4 张锚点图，WorldCast 沿轨迹生成跨视角身份一致的视频。

unsetunset方法概述unsetunset

一套机制管相机轨迹的几何引导，一套机制管跨视角的身份记忆。

图：轨迹对齐几何引导（左）与几何对齐记忆注意力 GAMA（右）的双支路设计。

1. 轨迹对齐几何引导（Geometric Camera Conditioning）

用预训练深度估计器估初始视图深度 D0，按参考视频校准深度与相机平移的相对尺度（选使渲染运动最匹配参考视频的尺度 s*）。将 I0 反投影为带色点云，沿校准轨迹用点 splatting + 深度缓冲渲染出 RGB 引导 G_t 与覆盖掩码 U_t；用 Plücker 射线编码目标相机几何，与噪声潜变量、初始帧条件、几何引导在 patch embedding 前通道拼接。U_t 标记点云未覆盖、需生成器补全的像素。

2. 几何对齐记忆注意力（GAMA）

对 I0 与锚点图做前景分割、几何估计，用 Umeyama 对齐把锚点相机摆进目标轨迹坐标系（I0 为共享初始视图）。每个观察经 VAE 编码 + Plücker 射线构成锚点表示，所有观察令牌拼接成「几何对齐角色记忆」。在 backbone 第 0,2,…,38 块后插入 20 个记忆注意力块：视频令牌的 query 与记忆/视频令牌联合自注意力，按视角检索互补几何证据；残差更新零初始化，起始时不动预训练 backbone。

3. 训练数据构造

构建 8 万样本角色中心语料：5 万 UE5 相机运动序列 + 3 万 Blender 多视角锚点渲染，覆盖 99 个角色、33 个环境。每样本提供参考视频、初始 RGB-D、相机内外参、渲染 RGB 引导、覆盖掩码，以及前/后/侧等互补观察，喂给上述两套几何条件。

unsetunset实验结果unsetunset

CLACT 基准（42 场景：17 合成 + 25 真实，6 条轨迹）

WorldCast 在轨迹误差（ATE/RTE/RRE）、角色一致性（MEt3R）、身份相似度（ArcFace）全面领先；但图像质量 IQ 0.719 略低于 Lyra 2.0 的 0.725——它赢在几何与身份，画质只是持平。

图：在 orbit_360 等轨迹下，WorldCast 相比基线的身份保持与几何一致性对比。

消融

• w/o GAMA：ATE 从 0.065 升到 0.100，ArcFace 从 0.555 降到 0.370——记忆注意力几乎承担全部收益。
• w/o Anchor Geometry Alignment：ArcFace 0.547（接近但略低）。
• w/o Anchor Masking：ArcFace 0.546。

第一阶段相机控制消融

w/o UE5 数据 ATE 0.359、w/o Plücker 条件 0.275、Full Stage 1 0.100，说明 UE5 合成轨迹数据与 Plücker 射线条件都关键。

unsetunset结论unsetunset

WorldCast 用「几何引导 + 几何对齐记忆注意力」把大角度相机控制下的角色一致性做到了当前公开结果的前列，且代码与权重已 Apache-2.0 放出，是相机控制方向少见的「论文+代码+权重」三件套齐全工作。

对于做虚拟拍摄/角色视频的工程师，可下载权重在 48GB 以上显卡实测；对于研究相机控制的研究者，GAMA 的「记忆检索互补几何」思路与「去掉它身份一致性骤降」的消融值得借鉴。

当相机能绕到角色背后而脸还是那张脸，相机控制才真正从「能转一点」走到「转到没见过的那一面」。