把视频扩散模型的注意力稀疏度从90%推到97%还能保住画质,加速倍数在单张RTX 5090上做到265倍——北大、清华联合阿里提出SparkDiffusion,不是又一个加速trick,而是先解释了为什么以前的稀疏化一推到极限就糊。
开源视频模型的推理成本,大头在attention上:长时空token序列、每一步采样都要算一遍。稀疏注意力是标准解法,但传统设计推到高稀疏度就丢全局上下文,带补偿分支(低秩/线性分支)的设计目前普遍停在90%附近。再往上走会遇到一个怪现象:训练损失还在收敛,出来的视频结构却碎了——论文把这个现象命名为高稀疏陷阱(high-sparsity trap)。
北大、清华联合阿里、电子科大、哈工大提出SparkDiffusion,用三段式流水线解决它:稀疏注意力预热、轨迹混合蒸馏、FP8量化加融合算子。在Wan2.1-T2V-14B-720P上,3步无CFG推理做到265倍端到端加速(单张RTX 5090,H100上220倍);Wan2.1-T2V-1.3B-480P整条视频去噪只要1.3秒(H100上0.6秒)。97%注意力稀疏度下,VBench只比稠密50步基线低0.54分。代码与6个官方权重仓均已开源,协议Apache-2.0。
相关链接
-
论文:https://arxiv.org/abs/2609.23153 -
代码:https://github.com/AlibabaResearch/SparkDiffusion -
主页:https://sparkdiffusion.github.io/ -
模型权重:https://huggingface.co/collections/alibabagroup/sparkdiffusion
内容介绍
一句话定义:把一个预训练稠密视频DiT,经过两段后训练加一次部署期量化,变成一个3步推理、90%以上注意力稀疏、画质基本不掉的快速生成器。
与常规加速方案(单独做蒸馏、单独做稀疏注意力、单独做量化)不同,SparkDiffusion的核心卖点是三个组件以乘法叠加,且每一层都对应一个明确的瓶颈诊断:
-
97%注意力稀疏度可用——此前带补偿分支的设计普遍停在90%,90%到97%这一段单独贡献1.31至1.32倍延迟收益; -
3步CFG-free推理——100次前向(50步×CFG双分支)压到3次,单项贡献33.3倍; -
覆盖面宽——Wan2.1/Wan2.2两种基座、T2V/I2V两种任务、480P/720P两种分辨率、RTX 5090与H100两种卡,同一套配方全部跑通。
适用场景:单卡跑长序列720P视频生成、需要大批量出片的生产流水线、以及把Wan系列本地化部署的工作流。
方法概述
一句话总括:先用短预热把稀疏架构变成一个能用的粗粒度先验,再用终态对齐的蒸馏去校正终态分布,最后用FP8把省下的计算换成真实的墙钟时间。
1. 稀疏注意力预热(RoLA)
问题在于稠密checkpoint直接换上稀疏注意力没法用。做法是插入补偿稀疏注意力模块(RoLA):block-sparse分支只算被选中的少量query-key块(块大小64×64),低秩补偿分支用预注意力的归一化q、k做低秩投影、SiLU非线性,再套一个截断秩的3D RoPE旋转来保留相对时空位置;两支用初始化接近零的gate融合,让模块起步时接近纯稀疏分支。这一阶段只用step-local的flow matching目标,2000条视频、约250步、8卡H100上2.9小时(约23 GPU时),目的只是让主干适应稀疏架构、建立粗粒度生成先验。
2. 轨迹混合蒸馏(CrossDistill)
问题是97%稀疏模型在step-local监督下收敛、终态质量却劣化(下文细说)。做法是把采样轨迹在噪声交叉点(0.934)切开:高噪段用PCM-style一致性匹配保住结构、运动和多样性,低噪段用DMD-style分布匹配锐化细节、校正终态误差。学生是3步——一步高噪PCM加两步低噪DMD,教师是冻结的稠密50步Wan2.1。这一阶段在8卡H100上跑约130小时(约1000 GPU时)。
3. FP8量化与融合算子
问题是省下的FLOPs不一定等于省下的时间。做法是部署期把attention线性投影和FFN量化成W8A8 FP8(E4M3),权重离线标定静态per-channel scale,激活在运行时按token动态scale,归一化层、gate和稀疏mask选择保持BF16;逐token的量化路径融合成单个自定义kernel,一次过内存完成缩放和类型转换。推理算子全部自研、不依赖外部稀疏注意力库;3步采样下量化误差几乎没有累积空间,BF16换FP8的VBench差距不超过0.1分。
四段式流水线:数据准备、稀疏预热、轨迹混合蒸馏、FP8加融合算子。高噪段保结构与多样性,低噪段保保真度。
高稀疏陷阱:这篇文章最值钱的部分
单独拆出来讲,因为它是理解整个方法的前提。
现象是:97%稀疏下,step-local验证损失已经收敛,终态视频却出现结构破碎、语义漂移、马赛克纹理和时序闪烁。作者做了两个对照实验来定位病因:
其一,把补偿分支从rank-64放宽到全秩(r=128),终态误差只从0.124降到0.121,VBench从80.92到81.05——模型早就「表达得出来」,说明表示不是瓶颈。
其二,做oracle干预:同一份初始噪声下,把稀疏学生的velocity在一段连续采样步内替换成稠密教师的velocity。结果在97%稀疏度下,只修正噪声最高的5步,就能消掉大部分终态误差(3.4倍),同等预算修正噪声最低的5步则几乎无效;把高噪窗口扩到28步,终态误差几乎全部恢复。
oracle干预实验:同预算下,高噪段修正带来3.4倍终态误差下降,低噪段修正基本无效。
结论是结构误差在高噪阶段被注入、再被后续步骤放大,而flow matching这类step-local目标只监督单个噪声水平上的velocity,不约束这些误差沿采样轨迹如何累加。附录里作者用一个简化代理模型把这个机制形式化了,但同时也明确写了边界:终态对齐抵消的是误差中「终态可见的投影」,不是修复误差本身,且这个代理不是关于真实非线性稀疏视频DiT的定理,Ψ也不对应任何感知指标——读作动机,不读作保证。
值得肯定的是,作者还在VSA、SLA两种同族稀疏设计上复现了同样的失败模式:97%稀疏下step-local训练VBench只有79.72和79.84,接上同样的Stage 2后恢复到82.45和82.51。陷阱是这一族方法的共性,解法也是。
实验结果
主对比(81帧;1.3B为480×832,14B与A14B为720×1280)
VBench与VBench-2.0总分,以及RTX 5090/H100去噪延迟:
|
|
|
|
|
|
|
|
|---|---|---|---|---|---|---|
|
|
|
|
83.69 | 60.20 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
18.0s | 8.0s |
|
|
|
|
83.21 |
|
|
|
|
|
|
|
|
55.85 | 1.3s | 0.6s |
|
|
|
|
84.21 | 60.36 |
|
|
|
|
|
|
|
|
25.1s | 8s |
三个加速比的口径:14B-720P在5090上265倍、H100上220倍;1.3B-480P为140倍/153倍;Wan2.2-A14B-720P为181倍/189倍。同稀疏度(90%)下,SparkDiffusion在14B-720P上全面超过FastWan和TurboDiffusion;1.3B-480P上同时做到VBench-2.0最高(55.85)和延迟最低(比两个基线快1.5至2.2倍)。
细看五个能力维度有一个反常识的项:人类保真度(Human Fidelity)不降反升——90%稀疏下83.51对稠密基线的81.60,97%下也还有81.77;掉分集中在常识(97%时59.02对63.98)和物理(58.63对62.84)两个维度。稀疏化丢的是需要长程推理的世界知识,不是画面里的人长得对不对,这个分布对判断「哪些场景能接受97%」很有用。
265倍是怎么叠出来的
论文给了逐项拆解(Wan2.1-14B-720P,RTX 5090):
|
|
|
|
|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
最大单项是蒸馏(33.3倍),稀疏注意力3.3倍,FP8再加1.7倍。
注意单项最大的不是稀疏注意力而是蒸馏。稀疏化的独特价值在于它是蒸馏之外还能继续叠的乘法项——而从90%推到97%的1.31倍,恰恰是只有先解决高稀疏陷阱才能拿到的部分。
多样性与目标消融
少步蒸馏通常伴随模式坍缩。用V-JEPA 2和VideoMAE V2编码、1000条prompt各5个种子测种子级多样性,97%稀疏的SparkDiffusion(0.087/23.04)反而比90%的两个少步基线(0.075/21.31、0.078/21.67)更接近稠密参考(0.125/27.15)。
97%稀疏下蒸馏目标的消融:只PCM为81.94/56.41,只DMD为82.56/57.38,轨迹混合(CrossDistill)为83.15/58.05——两个纯目标都能缓解陷阱(证明问题在监督),但各自在保真-多样性轴上偏科,混合目标两头都占。
三个模型、两种卡上的端到端延迟与加速比。
局限与未来方向
首先,全部实验都在Wan2.1/Wan2.2上完成,没有跨到LTX、HunyuanVideo等其他视频DiT,配方是否即插即用还需要社区验证。
其次,265倍有明确口径:只算去噪段,不含文本编码与VAE解码;RTX 5090的第一个样本含编译与kernel autotune,比较延迟要看after warmup的样本;Wan2.2在5090上的延迟还包含高噪/低噪两组专家在显存里换入换出的开销。另外论文标题写265倍,GitHub README的口径是200倍以上——两个都是官方数字,引用时要注明条件。
再次,权重与论文有一处没对齐:模型卡里0.97稀疏的720P仓标注4步推理、3步仓对应的是0.95稀疏(支持90%至95%),而论文的265倍是97%稀疏加3步的组合,公开权重里没有严格对应这一组合的仓,复现前要自己跑通对齐。
此外,97%稀疏下质量仍低于稠密基线(VBench 83.15对83.69,VBench-2.0 58.05对60.20,物理与常识两个维度掉分更明显),换来的速度不是免费的。
最后,训练门槛不低:Stage 2蒸馏需要8卡H100约1000 GPU时,个人玩家只能直接用官方权重;理论部分作者自己也声明是「抵消而非修复」的代理分析。作者在结论里预告下一步会把这套框架推向全模态生成模型和自回归世界模型。
结论
SparkDiffusion的真正贡献不是265倍这个数字,而是把一个工程问题重新表述成了监督问题:稀疏度推不上去的瓶颈不在架构、在step-local训练信号,换一个终态对齐的目标就能解锁最后那1.3倍延迟。诊断部分(oracle干预加双对照)的方法论比结果本身更值得学。
对于个人爱好者和开发者,最现实的入口是1.3B-480P权重加社区ComfyUI集成(10月9日上线,已在RTX 5090的WSL2环境验证,Windows原生后端还是实验性);想跑720P就上0.95稀疏的3步仓,注意它不是论文里265倍那个精确配置。对于算法研究者,terminal-aligned训练这条思路可以平移到自回归视频扩散和世界模型——高噪段的结构误差跨chunk传播,终态对齐在那里只会更重要。
视频生成的竞争已经从「能不能生成」转到「单卡能不能实时生成」,这篇论文给出的是其中一条路线的完整拆解——谁先把稀疏化、蒸馏和量化做成一套可复现的乘法,谁就把单卡视频生成变成日常动作。
感谢你看到这里,添加小助手 AIGC_Tech 加入官方 AIGC读者交流群,下方扫码加入 AIGC Studio 星球,获取前沿AI应用、AIGC实践教程、大厂面试经验、AI学习路线以及IT类入门到精通学习资料等,欢迎一起交流学习💗~

