连续直播上万秒不崩脸！阿里开源Live Avatar，14B 模型实现 20FPS 流畅实时虚拟人交互，打造商用实时数字人新标准 。

数字人一直是 AIGC 领域最受关注的方向之一，但长期以来，实时性、流式生成、无限长度这三个核心需求始终难以同时满足——当前的扩散模型受限于多步去噪的串行瓶颈，生成速度远跟不上播放速度；而在长序列自回归生成中，又不可避免地出现身份漂移、色彩偏移、画面崩坏等问题。

阿里巴巴夸克团队提出的 Live Avatar 能够实时、流式、无限长地生成交互式虚拟形象视频。它采用140 亿参数扩散模型，在多卡H800 GPU 上以4 步采样即可达到45 FPS 的帧率，并支持分块自回归处理，可处理超过10,000秒的流式视频。该工作已被 ECCV 2026 接收，模型与代码均已开源，是目前首个让 14B 扩散模型真正跑进实时流式数字人场景的完整方案。

关键点总结

• 实时流媒体互动- 实现45 FPS 低延迟实时流媒体播放
• 无限长度自回归生成- 支持10,000秒以上的连续视频生成
• 概括性表现- 对卡通人物、歌唱和各种不同场景都具有很强的概括性

unsetunset相关链接unsetunset

• 论文：https://arxiv.org/pdf/2512.04677
• 仓库：https://github.com/Alibaba-Quark/LiveAvatar
• 主页：https://liveavatar.github.io
• 模型：https://huggingface.co/Quark-Vision/Live-Avatar

unsetunset论文阅读unsetunset

Live Avatar是首款支持实时、无限长音频驱动数字人端到端扩散框架，针对现有模型推理慢、长时序身份漂移两大行业痛点设计三套核心创新。其一 Timestep-forcing Pipeline（TPP）多 GPU 并行推理，打破扩散串行去噪瓶颈，大幅提升实时帧率；其二 Rolling Sink Frame（RSFM）滚动锚定机制，搭配历史缓存噪声注入，抑制长视频误差累积、人脸失真；其三自强制分布匹配蒸馏，将大尺寸双向教师模型轻量化为 4 步流式学生模型，兼顾画质与速度。整套框架支持单卡 80GB、多卡 H800 两种部署模式，大量定量指标与人工评测证明，在帧率、唇形同步、长时序一致性上全面领先 OmniAvatar、StableAvatar 等主流方案，全资源开源供开发者二次开发。

unsetunset方法概述unsetunset

实时虚拟形象（Live Avatar）训练框架。 (a) 阶段 1：基于运动帧辅助（scaffolding）的扩散强制（Diffusion Forcing）预训练——在分块独立噪声和因果注意力掩码的基础上，引入带噪声的运动帧以提供辅助的时间上下文信息。(b) 阶段 2：基于历史数据扰动（History Corrupt）的自强制（Self-Forcing）蒸馏——移除运动帧并改用滚动 KV 缓存（rolling KV cache），同时强制保持 KV 缓存与带噪声潜变量（noisy latents）之间的噪声水平一致性。

“时间步驱动流水线并行”（TPP）的示意图。在预热阶段填满流水线后，所有 GPU 在全流水线阶段同时进行去噪操作，从而将串行的扩散链转化为异步的空间流水线。例如，GPU2 始终执行从 t2 到 t1 的步骤：它复用本地 KV 缓存（速度极快），并仅将潜空间数据（latent）发送给 GPU3（速度快）。

unsetunset实验结果unsetunset

生成视频在10秒、100秒、1000秒和10000秒时刻的可视化结果，展示了该模型在长时程时间外推方面的强大能力。

来自用户研究的定性示例。OmniAvatar 呈现出夸张的动作，且身份保真度下降；而 EchoMimic V2 忽略了参考姿态，生成了固定的身体模板，导致了明显的畸变。

unsetunset使用教程unsetunset

Installation

1. Create Environment

conda create -n liveavatar python=3.10 -y
conda activate liveavatar

2. Install CUDA Dependencies (optional)

conda install nvidia/label/cuda-12.4.1::cuda -y
conda install -c nvidia/label/cuda-12.4.1 cudatoolkit -y

3. Install PyTorch & Flash Attention

pip install torch==2.8.0 torchvision==0.23.0 --index-url https://download.pytorch.org/whl/cu128

# If you are using NVIDIA Hopper architecture (H800/H200, etc.), FlashAttention 3 is recommended for a significant speedup:
pip install flash_attn_3 --find-links https://windreamer.github.io/flash-attention3-wheels/cu128_torch280 --extra-index-url https://download.pytorch.org/whl/cu128

# Otherwise, use FlashAttention 2:
pip install flash-attn==2.8.3 --no-build-isolation

4. Install Python Requirements

pip install -r requirements.txt

5. Install FFMPEG

apt-get update && apt-get install -y ffmpeg    

unsetunset结论unsetunset

Live Avatar 从模型蒸馏、分布式推理、长时序时序约束三层架构同步优化，一次性解决传统音频数字人 “实时性差、长时间画面崩坏” 两大核心缺陷。14B 大模型搭配轻量化蒸馏与多卡流水线并行，兼顾高清画质与交互流畅度，上万秒稳定生成能力补齐商用直播、长期 AI 陪伴的落地短板。项目同时提供多套部署脚本，兼顾高端多卡服务器与单卡高性能工作站，代码、模型完全开源。后续官方将持续优化 3/4 卡轻量化 TPP 方案、集成 TTS 工具链，进一步降低硬件门槛，为虚拟数字人工业化生产、实时交互应用提供成熟开源技术底座。