大数跨境

阿里开源 Wan-Animate-2:实时驱动换脸直播,延迟压到直播能用

阿里开源 Wan-Animate-2:实时驱动换脸直播,延迟压到直播能用 AIGCLINK
2026-08-10
5
导读:阿里开源角色动画框架 Wan-Animate-2:端到端不用提骨骼,打字就能改机位,延迟压到实时,直播主播和交互式数字人这类场景真跑得起来了。

阿里最新放出来了一款全新端到端角色图像动画框架:Wan-Animate-2实时驱动角色,延迟极低

Wan-Animate-2 的一大核心是实时交互,直接解锁直播主播、交互式数字人场景。

实时驱动演示:左边摄像头采集,右边同步出角色,界面里是"停止驱动"这样的流式控制(图源:Wan-Animate-2 项目主页)

01把延迟压到实时的那套组合拳

首先,Teacher forcing + 错误缓冲 + Self-Forcing 蒸馏 + 逐块反向传播三阶段训练,这套组合拳把延迟压到了实时,把从几分钟生成一段视频变成实时流式生成

论文里对应的是一个叫 Wan-Animate-2-Lite 的高效变体,专门为流式角色动画做的:通过带错误缓冲机制的 teacher forcing 预训练,加上配合逐块反向传播的 Self-Forcing 蒸馏,把推理延迟降到实时门槛之内。官方的说法是,这让以前根本不可行的部署场景成为可能。

02端到端,不需要中间运动提取

其次是端到端不需要中间运动提取。之前的方法先提取骨骼/关键点再驱动,提取一错角色就崩。

官方论文摘要把现有路线的毛病分成了三类,讲得很清楚:基于显式运动表示的方法,受制于提取误差和身份漂移;基于隐式运动特征的方法,因为压缩而丢掉精细动态;上下文学习类的方法虽然避开了中间表示,但计算代价高得离谱。

Wan-Animate-2 的做法是在重新设计过的 Diffusion Transformer 里直接吃驱动视频,把中间的运动提取器整个删掉。删掉之后,动作保真度和身份一致性反而更好。

官方架构图:驱动视频直接进入重新设计的 Diffusion Transformer,中间没有运动提取器(图源:Wan-Animate-2 官方仓库)

03打字就能换机位

再就是驱动视频的拍摄角度和输出视角可以分开。

以前驱动视频是从什么角度拍的,生成的视频就只能是什么角度,想让角色换个机位做不到,或者需要额外复杂的相机控制流程。

现在直接打字就能改变输出视频的机位,动作和视角完全解耦。

官方特意提到,这个能力是那些依赖显式运动表示的方法很少能支持的——道理也不难理解:骨骼点本身就绑死在原始拍摄视角上,你没法凭空要求它换个机位。

04效果:单人到多人、跨身份都能迁移

从效果上看,复杂动作、精细表情和物理合理性上复制的还可以,支持单人到多人、多人到多人、跨身份的动作迁移

多人场景的动作迁移:两个参考人物跟着驱动视频同步动作(图源:Wan-Animate-2 项目主页)

项目主页放了一组六栏横向对比,把参考图、驱动视频,以及 Wan-Animate、可灵 MotionControl、DreamActor-M2 和 Wan-Animate-2 的输出并排放在一起。这种敢把竞品点名摆在自己旁边的对比,比只放自家 demo 有说服力得多。

官方六栏对比:参考图 / 驱动视频 / Wan-Animate / 可灵 MotionControl / DreamActor-M2 / Wan-Animate-2(图源:Wan-Animate-2 项目主页)

05怎么用

代码和权重都放出来了,Apache-2.0 协议。8 月 7 日一口气放了推理脚本、Base 模型权重和蒸馏版权重,Diffusers、DiffSynth-Studio、ComfyUI 三条集成路径都已经打通。

模型在 HuggingFace 和 ModelScope 上都有(Wan-AI/Wan2.2-Animate-2-14B),装好环境后一条命令就能跑:

git clone --recursive https://github.com/Wan-Video/Wan-Animate-2.git
huggingface-cli download Wan-AI/Wan2.2-Animate-2-14B --local-dir ./ckpts/

有个细节值得注意:跑之前要先用大模型给参考图生成一段客观的外观描述当 prompt,官方连提示词模板都给好了,要求只描述人物外观和背景、不描述动作行为。

硬件门槛得说清楚:仓库默认配置是按 8 张 A800 调的,支持 720P;480P 在 2 张 A800 上测过。蒸馏版能把采样步数降到 10 步、不用 CFG,这是延迟能压下来的关键。想在消费级显卡上跑的话,得自己改并行配置。

不想装环境的话,ModelScope 上有在线 demo 可以直接试。

项目地址GitHub:https://github.com/Wan-Video/Wan-Animate-2项目主页:https://humanaigc.github.io/wan-animate-2/论文:https://arxiv.org/pdf/2608.06009在线体验:https://www.modelscope.cn/studios/Wan-AI/Wan2.2-Animate

【声明】内容源于网络
0
0
AIGCLINK
AIGCLINK公众号,致力于让每个想拥抱AI的人都能找到适合自己的AI产品
内容 622
粉丝 0
AIGCLINK AIGCLINK公众号,致力于让每个想拥抱AI的人都能找到适合自己的AI产品
总阅读12.8k
粉丝0
内容622