流式数字人开始卷时长了！阿里淘直播&南大开源 TaoMate-HD，3步去噪生成768×1376音视频，支持60分钟连续输出，Temporal 0.913全场最高。

数字人直播的难点不在把一段话说漂亮，而在连播一小时之后口型、音色、画面亮度都不跑偏。阿里淘直播AIGC团队把去噪拆成低分辨率打底与高分辨率精修，3步生成一个chunk，音频沿同一条轨迹同步产出，并让每一阶段各自记住自己的历史。

流式音视频生成一直卡在一组矛盾上：直接在高分辨率网格上做去噪，细节保住了但算力吃不住；降到低分辨率，速度上去了但人脸和画质糊；做成自回归chunk逐段续接，时间一长语音会重复、中断，画面色调也会漂。已有做法是整段按固定分辨率跑，或者靠在线ASR与文本指针去对齐语音进度。

阿里巴巴集团淘直播AIGC团队联合南京大学提出TaoMate-HD，思路是渐进分辨率的自回归音视频生成：每个chunk用3步去噪，前2步在480×864的低分辨率网格上建立粗结构，最后1步在768×1376上精修空间细节；音频全程保持同一套latent几何，和视频走同一条联合轨迹。配套两件事：每个去噪阶段维护独立的KV历史库，以及一套非对称蒸馏的续接训练，让模型在换prompt之后能接着把话说完而不是重来。

官方配置输出24 FPS视频与32kHz立体声，量化评估在100条1–10分钟序列上完成，论文另给出60分钟连续流的演示。核心结果：Temporal 0.913（Table 1全场最高）、VisualRealism 5.00、AudioAes 4.407、CER 19.57%；匹配BF16/SDPA执行下，渐进分辨率相对直接768p生成提速1.60×，阶段并行部署相对串行渐进再提速1.92×，8卡并行下FPS从4.68升到8.99。

unsetunset相关链接unsetunset

• 论文：https://arxiv.org/abs/2611.03394 
• 代码：https://github.com/TaoLiveAIGC/TaoMate-HD
• 主页：https://taoliveaigc.github.io/TaoMate-HD/
• 预览权重（LoRA）：https://huggingface.co/TaoLiveAIGC/TaoMate-HD-preview
• 基座权重（MiniMax-H3 FL2VA）：https://huggingface.co/MiniMaxAI/MiniMax-H3
• 基座ModelScope镜像：https://www.modelscope.cn/models/MiniMax/MiniMax-H3/summary

unsetunset内容介绍unsetunset

一句话说清：给它一段带台词的prompt序列，TaoMate-HD按chunk流式吐出说话人的视频与同步语音，可以在不重置状态的情况下换prompt继续往下播。

与"整段固定分辨率生成"的常规做法不同，核心特点是：

1. 3步渐进。2步低分辨率定结构与运动，1步高分辨率补细节；换网格时用一个coupled-noise lift保持信号与噪声的分解不变，音频latent几何全程不动。
2. 阶段局部历史。粗粒度阶段与精修阶段各存各的clean预测作为下一chunk同阶段的历史，因此低分辨率阶段不必等高分辨率阶段算完，为并行留出空间；另用首chunk视频作视觉锚点、最近两个音视频chunk承载跨prompt上下文。
3. 免ASR续接。靠重叠的文本窗口与保留音频推断语音进度，不需要在线语音识别，也不用显式文本指针。

适用场景：直播带货的长时数字人、需要换段落继续的对口型视频、连续对话式虚拟主播。仓库提供inference.py、提示词示例与10秒演示配置，并支持serial与accelerated两种模式。

同一个说话人画面随去噪阶段由粗到细，前2步在480×864、最后1步在768×1376上完成。

unsetunset方法概述unsetunset

一句话总括：一套机制管分辨率，一套机制管记忆，一套机制管接话。

1. 渐进式生成（Progressive Generation）

解决"高分辨率跑不动"。取N=3，前N−1步在低分辨率网格L（480×864）上去噪建立粗粒度视频结构，最后1步在高分辨率网格H（768×1376）上精修。难点是换网格会破坏信号与噪声的分解，团队用coupled-noise lift把低分辨率状态提升为高分辨率状态，保持原有分解；音频不参与分辨率切换，始终与视频共享同一条联合去噪轨迹。每一步都能提前给出clean prediction（x̂ = u + σv̂），不必等后续阶段算完就能把结果交给历史库——这正是后面并行部署能成立的前提。

2. 阶段局部KV历史（Stage-local KV History）

解决"长流会忘"。每个去噪阶段维护自己的KV历史库，当前chunk的某阶段只依赖同阶段的前一chunk，以及相邻阶段的对应关系，因此低分辨率阶段与高分辨率阶段可以流水重叠。长流推理时，每个库保留首chunk视频作为视觉锚点，再加最近两个配对音视频chunk。换prompt不重置stage-local history，是"连续播一小时"能成立的直接原因。

3. 非对称蒸馏续接（Asymmetric Distillation for Continuation）

解决"接话重复或断掉"。文本窗口从W1=A+B推进到W2=B+C，重叠段B作为续接上下文；生成器拿W2往下续，而fake score仍保留含开头词的W1，real score用源转录前缀，两者在共享的高分辨率画布上监督。每个rollout只采样一个阶段，把该阶段的clean predictions双线性放大后拼进监督画布。配套的语音完成训练教模型说完剩余词语、再自然过渡到非语音行为，因此不需要ASR或显式指针。CER因此从30.75%降到19.57%（-11.18个百分点）——注意这是Table 3里"去掉/保留非对称蒸馏"的自身消融，不是与外部基线的横向对比，下文会展开。

igures/fig5_speech.png)重叠文本窗口与保留音频共同决定语音进度，续接时无需在线ASR。

unsetunset实验结果unsetunset

长视频质量与吞吐（Table 1，100条1–10分钟序列）

以下为原文表格摘录，Temporal衡量帧间稳定性，Long-range衡量色彩与亮度连续性，CER为字符错误率。FPS列必须连着GPU数一起看：MiniMax-H3与VDN是8卡、0.40与2.21 FPS，其余多数方法是单卡，而TaoMate-HD两行都是8卡。

Temporal 0.913与AudioAes 4.407是这张表的最高值；论文另报相对MiniMax-H3的吞吐为22.4×（按各自计时区间，对应8.99对0.40 FPS）。但要留意Long-range 0.930并不占优：上一代TaoMate是0.983，LiveAvatar是0.969，都比它高；VisualRealism 5.00也是与MiniMax-H3、VDN、Lynn-Flash、StableAvatar并列，不是唯一第一。Temporal与AudioAes拿到全表最高，但长程色彩连续性仍落后于上一代TaoMate与LiveAvatar。

分辨率与部署消融（Table 2 / 加速口径）

这里最容易把两档加速比混为一谈，原文口径是：1.60×指渐进分辨率相对直接768p生成的平均耗时从491秒降到307秒（空间维度，同模型同硬件、含音视频解码）；1.92×指阶段并行部署相对串行渐进从307秒降到160秒（部署维度，靠stage overlap、LOW-stage融合、KV复用、选择性W8A8、注意力kernel与codec调度）。两者对比对象不同，不能相乘或读成"总共3倍"。

直接768p耗时约为渐进方案的1.6倍，而画质指标基本持平。

非对称蒸馏消融（Table 3）

CER的改善主要来自substitution下降12.64个百分点、deletion下降1.28个百分点，insertion反而上升2.74个百分点；LSE-D也从9.011微升到9.044（该指标越低越好，即唇形距离略退）。另外并行模式相对串行是有代价的：CER从19.57升到21.28、AudioAes从4.407降到4.367、LipSync从7.061降到6.724，换来的才是8.99 FPS。论文给出60分钟连续流演示，但定量评估只在1–10分钟序列上进行。

unsetunset局限与未来方向unsetunset

首先，CER的口径要说清。19.57%是"是否使用非对称蒸馏"的自身消融结果，不是对基线的最优值：Table 1里MiniMax-H3的CER只有3.42%、VDN为3.59%，都远低于它。不过这两者不是长流自回归生成、FPS仅0.40与2.21，与TaoMate-HD面向小时级连续输出的设定不同，直接横比CER并不公平，合理参照是同族的上一代TaoMate（103.74%）。把19.57%写成"大幅超越所有基线"是不成立的。

其次，加速有质量代价。并行模式在CER、AudioAes、LipSync三项上都略逊于串行；Long-range也低于上一代TaoMate与LiveAvatar；VisualRealism 5.00为并列最高而非独占。论文没有独立的Limitations章节，这些非全胜点只能从表格逐格读出来。

此外，验证范围与开放程度都有限。定量评估只在100条1–10分钟序列上做，60分钟是定性演示，不等于小时级质量已被量化验证；官方只放出推理代码与2.481GB的预览LoRA（rank-128，基于MiniMax-H3 FL2VA），训练代码与完整权重未放；复现还需另下基座，且依赖SageAttention、FlashAttention-3与vLLM的W8A8 kernel。论文与README都未给单卡显存需求。

unsetunset结论unsetunset

TaoMate-HD验证的是一条工程路线：把分辨率沿去噪轴拆开、把历史按阶段拆开，就能在3步之内兼顾768×1376的画质与小时级连续输出，再用阶段并行把吞吐推到8.99 FPS。"长时一致性"这条线上，它和近期多轮图像编辑、长视频生成的方向是同向的，只是把问题落到了音视频同步与语音续接上。

对于做直播或数字人产品的团队，这是目前少数给出完整推理脚本、明确prompt格式和两种部署模式的可复现方案，值得先在10秒示例上跑通serial再上accelerated；对于研究者，Table 2的四档分辨率/吞吐对照与Table 3的蒸馏消融，比最终那几个总分更值得逐格看，尤其是"并行提速伴随CER回退"这个权衡。

流式数字人的竞争点，正在从"单段像不像"转向"连播一小时还稳不稳"——而稳定性一旦变成主要指标，历史怎么存、语音怎么接，就比再堆一档分辨率更重要了。