输入一个长文本prompt,输出一张1-2步生成的1024×1024图像:菜单一行不错、海报标题一个字不歪。蚂蚁InclusionAI联合西湖大学等机构推出的IDM,把矩匹配从外挂编码器搬进生成器自己的EMA特征空间,2个NFE就把LongText-Bench中文成绩拉到94.25%。
少步蒸馏的图像生成模型,短板一直很明确:步数一少,prompt里的细节就丢,长文本渲染尤其惨。Distribution matching distillation(DMD)是主流解法,但要么额外养一个fake-score网络,要么靠DINOv2这类外部特征编码器做表示对齐——管线重、显存开销大。
蚂蚁InclusionAI联合西湖大学、清华大学、浙江大学、上海创智学院与MBZUAI推出的IDM(Intrinsic Distribution Matching),走了一条更省的路:跟随APEX用生成器内部的速度分支拿到score差,再叠加一个只依赖生成器EMA副本的特征矩匹配损失,完全不需要外部编码器。同一份checkpoint同时支持1-NFE和2-NFE采样,在Z-Image-Turbo 6B上单张A100(BF16)1步0.25秒、2步0.30秒,吞吐5.18-5.41张/秒。2-NFE下LongText-Bench中文94.25%、英文90.20%,都是同预算对比方法里的最高分。
相关链接
-
论文:https://arxiv.org/abs/2610.39633 -
代码:https://github.com/inclusionAI/IDM -
主页:https://inclusionai.github.io/IDM
内容介绍
IDM是一个面向1-2步文本生图的蒸馏训练框架:输入噪声和文本条件,输出直接跳过多步采样的成图。
与常规少步蒸馏做法不同,它的核心特点是:
-
不需要fake-score网络——score差从生成器内部的速度分支取(条件向量取负实现分支分离),沿袭APEX的内部构造 -
不需要外部特征编码器——矩匹配用的特征来自生成器自己的EMA副本,均值池化最后一层hidden activation,DINOv2彻底下岗 -
一份checkpoint两种预算——训练时loss权重不随采样预算变,同一个模型1步、2步随便切
适用场景:端侧/实时文生图、需要渲染中文长文本的海报菜单生成、以及在Qwen-Image 20B这类大底座上做低成本LoRA蒸馏。
标准FM要反复积分速度场,一步生成学一个直接的噪声到数据映射;训练中用内部DMD损失加EMA特征矩匹配损失把pθ拉向pr。
方法概述
一套损失管score差,一套损失管统计量。
1. 内部DMD损失(L_score)
DMD的思路是用参考分布与生成分布的score差监督快速生成器,传统做法要单独训一个fake-score网络估生成分布的score。IDM沿用APEX的内部构造:把条件向量c取负,让同一个transformer的两个分支分别近似参考速度和模型速度,两者之差就是DMD修正量。论文没有丢掉修正量的任何部分——先对预测的干净样本重新加噪,再用detach过的修正量同时构造速度目标v_DMD和端点目标x0_DMD,对两个目标做平方误差回归。推理时只加载条件生成器、文本编码器和VAE,不做矩计算、不维护特征队列、不算fake-score。
2. EMA特征矩匹配损失(L_pop)
这一项是IDM的增量。动机来自对reverse-KL场的分解:任意分布的score可以精确拆成「矩匹配高斯的score」加「非高斯残差」两部分。高斯分量只由均值和协方差决定,残差收集其余全部score结构——两个分布可以矩完全相同但形状不同。论文的结论是:矩是能显式约束的量,但矩匹配不能替代残差,所以保留完整DMD修正、再叠加矩约束。具体做法是把生成样本和参考样本过一遍生成器EMA副本,均值池化最后一层hidden activation得到特征,匹配两组特征的均值和逐坐标标准差( pooled across conditions,用detach的队列存统计量)。推理时这部分零开销。
上:DMD损失,重新加噪的预测端点经内部速度差构造detach的回归目标;下:特征矩损失,EMA副本提特征,匹配均值与逐坐标标准差。
3. 速度+端点双回归
同一个DMD修正量可以监督速度预测,也可以监督干净样本端点预测,论文用消融选了等权双回归:只加速度回归,五项综合指标全面落后(LongText-CN 93.03对94.25);只加端点回归稍好但仍差一截。注意这两个目标来自同一个detach修正,不是两份独立的分布信息,权重组合纯粹是经验选择。
实验结果
长文本渲染与综合质量(Z-Image系,2 NFE)
|
|
|
|
|
|
|
|---|---|---|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
88.64 |
|
|
|
|
|
|
|
|
|
|
|
53.06 | 77.81 |
|
94.25 | 90.20 |
|
|
|
|
|
|
|
2-NFE下IDM的LongText-CN比Z-Image-Turbo++高2.63个百分点、比APEX高3.87个百分点。但两个非全胜要写清楚:DPG-Bench 86.82低于APEX的88.64;英文长文本90.20也没追上8步的参考成绩91.74。各对比方法训练数据和配置不同,论文强调只有自家消融才是同口径对比。
老茶馆与红汉服两个中文长文本prompt,1-9 NFE全预算对比:IDM在1-2步区间保持招牌、对联和灯牌文字的可读性。
质量与效率(单张A100,BF16;延迟batch 1,吞吐batch 10)
|
|
|
|
|
|
|
|
|
|---|---|---|---|---|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Qwen-Image 20B全参数版2-NFE另有DPG-Bench 87.16、WISE 0.56;同底座同预算的APEX全参数版FID 6.44、GenEval 0.90、延迟0.45秒,IDM的6.34/0.91/0.44秒基本是同延迟下小幅占优。r=64的LoRA只更新0.4B参数,GenEval几乎不掉。
消融:矩匹配到底贡献了什么(Z-Image全参数,2 NFE,同数据同配置)
|
|
|
|
|
|
|
|---|---|---|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
53.06 | 77.81 | 86.82 | 94.25 | 90.20 |
在内部DMD之上加EMA矩匹配,五项指标全部上涨(+0.19到+0.41)。DINOv2特征也能涨,但和EMA的差距只有0.06-0.13——用生成器自己的特征就够,外挂编码器没有必要性。特征来源换活人自特征(77.51)或教师特征(77.36)的GenEval都低于EMA的77.81。
寿司海报与咖啡菜单两个密集文字场景,1与2 NFE下的累计组件消融:没有矩损失时寿司海报出现过饱和。
样例
Z-Image底座2-NFE输出:人像、书封、涂鸦、菜单与黑板字,长文本渲染是主要展示项。
局限与未来方向
首先,官方权重至今未放出——GitHub四个checkpoint槽位全部写着Coming soon,README明说「Base-model或APEX权重不是IDM checkpoint,跑不出上表数字」,当前能验证的只有代码和论文数字。
其次,跨方法对比混杂着训练数据规模:IDM的参考数据集包含ShareGPT-4o、BLIP-3o,外加Qwen-Image-2512与Z-Image-Turbo合成的60万条FLUX-Reason-6M prompt和500万条text-rendering prompt,而APEX只用了20万条海报prompt——长文本分数的领先有多少来自数据、多少来自方法,论文用同口径消融回答了一部分,但与外部方法的对比仍有这个变量。
此外,矩匹配的绝对收益不大(五项指标+0.19到+0.41),训练开销也不小:Z-Image全参数15K步用了32张H100 80GB。FID 6.71在少步模型里不是最低档的量级领先,Sana-Sprint 1.6B在1-NFE跑到7.04且吞吐7.22张/秒,小底座的速度优势仍在。
结论
IDM验证了一件事:少步蒸馏的表示对齐不一定要外挂编码器,生成器自己的EMA特征就够用,且长文本渲染是它的主战场——2-NFE中文94.25%是同预算已对比方法里的最高分。
对于做实时/端侧生图的工程师,等权重放出后Z-Image-Turbo 6B底座是首选,单张A100上2步0.30秒,社区已经把这套配方搬到MOSS-Image上做出2步版;对于跟踪蒸馏技术的研究者,reverse-KL场的高斯分解+残差论证值得精读,它把「为什么矩匹配不够、为什么要保留完整DMD」讲成了闭环。风险提示:代码Apache-2.0,但未来IDM权重协议单独适用,且依赖的Z-Image、Qwen-Image底座各有自己的商用条款,商用前要分开核对;社区2步仓是第三方产物,分数未经官方验证。
分布匹配的下一个问题,也许不再是「跟谁比」,而是「用什么比」。
感谢你看到这里,添加小助手 AIGC_Tech 加入官方 AIGC读者交流群,下方扫码加入 AIGC Studio 星球,获取前沿AI应用、AIGC实践教程、大厂面试经验、AI学习路线以及IT类入门到精通学习资料等,欢迎一起交流学习💗~

