大数跨境

2步生成0.30秒、中文长文本94.25%?蚂蚁开源IDM,一步图像生成不再依赖外挂编码器。

2步生成0.30秒、中文长文本94.25%?蚂蚁开源IDM,一步图像生成不再依赖外挂编码器。 AIGC Studio
2026-11-06
11
导读:IDM验证了一件事:少步蒸馏的表示对齐不一定要外挂编码器,生成器自己的EMA特征就够用,且长文本渲染是它的主战场——2-NFE中文94.25%是同预算已对比方法里的最高分。
点击下方名片关注AIGC Studio公众号!获取最新AI前沿应用/AIGC实践教程!
扫描下方二维码,加入AIGC Studio知识星球!可以获得最新AI前沿应用/AIGC实践教程/大厂面试经验/算法刷题和IT各学科入门到精通学习资料!学习/科研/工作/副业,强烈推荐!

输入一个长文本prompt,输出一张1-2步生成的1024×1024图像:菜单一行不错、海报标题一个字不歪。蚂蚁InclusionAI联合西湖大学等机构推出的IDM,把矩匹配从外挂编码器搬进生成器自己的EMA特征空间,2个NFE就把LongText-Bench中文成绩拉到94.25%。

少步蒸馏的图像生成模型,短板一直很明确:步数一少,prompt里的细节就丢,长文本渲染尤其惨。Distribution matching distillation(DMD)是主流解法,但要么额外养一个fake-score网络,要么靠DINOv2这类外部特征编码器做表示对齐——管线重、显存开销大。

蚂蚁InclusionAI联合西湖大学、清华大学、浙江大学、上海创智学院与MBZUAI推出的IDM(Intrinsic Distribution Matching),走了一条更省的路:跟随APEX用生成器内部的速度分支拿到score差,再叠加一个只依赖生成器EMA副本的特征矩匹配损失,完全不需要外部编码器。同一份checkpoint同时支持1-NFE和2-NFE采样,在Z-Image-Turbo 6B上单张A100(BF16)1步0.25秒、2步0.30秒,吞吐5.18-5.41张/秒。2-NFE下LongText-Bench中文94.25%、英文90.20%,都是同预算对比方法里的最高分。

unsetunset相关链接unsetunset

  • 论文:https://arxiv.org/abs/2610.39633
  • 代码:https://github.com/inclusionAI/IDM
  • 主页:https://inclusionai.github.io/IDM

unsetunset内容介绍unsetunset

IDM是一个面向1-2步文本生图的蒸馏训练框架:输入噪声和文本条件,输出直接跳过多步采样的成图。

与常规少步蒸馏做法不同,它的核心特点是:

  1. 不需要fake-score网络——score差从生成器内部的速度分支取(条件向量取负实现分支分离),沿袭APEX的内部构造
  2. 不需要外部特征编码器——矩匹配用的特征来自生成器自己的EMA副本,均值池化最后一层hidden activation,DINOv2彻底下岗
  3. 一份checkpoint两种预算——训练时loss权重不随采样预算变,同一个模型1步、2步随便切

适用场景:端侧/实时文生图、需要渲染中文长文本的海报菜单生成、以及在Qwen-Image 20B这类大底座上做低成本LoRA蒸馏。

标准FM要反复积分速度场,一步生成学一个直接的噪声到数据映射;训练中用内部DMD损失加EMA特征矩匹配损失把pθ拉向pr。

unsetunset方法概述unsetunset

一套损失管score差,一套损失管统计量。

1. 内部DMD损失(L_score)

DMD的思路是用参考分布与生成分布的score差监督快速生成器,传统做法要单独训一个fake-score网络估生成分布的score。IDM沿用APEX的内部构造:把条件向量c取负,让同一个transformer的两个分支分别近似参考速度和模型速度,两者之差就是DMD修正量。论文没有丢掉修正量的任何部分——先对预测的干净样本重新加噪,再用detach过的修正量同时构造速度目标v_DMD和端点目标x0_DMD,对两个目标做平方误差回归。推理时只加载条件生成器、文本编码器和VAE,不做矩计算、不维护特征队列、不算fake-score。

2. EMA特征矩匹配损失(L_pop)

这一项是IDM的增量。动机来自对reverse-KL场的分解:任意分布的score可以精确拆成「矩匹配高斯的score」加「非高斯残差」两部分。高斯分量只由均值和协方差决定,残差收集其余全部score结构——两个分布可以矩完全相同但形状不同。论文的结论是:矩是能显式约束的量,但矩匹配不能替代残差,所以保留完整DMD修正、再叠加矩约束。具体做法是把生成样本和参考样本过一遍生成器EMA副本,均值池化最后一层hidden activation得到特征,匹配两组特征的均值和逐坐标标准差( pooled across conditions,用detach的队列存统计量)。推理时这部分零开销。

上:DMD损失,重新加噪的预测端点经内部速度差构造detach的回归目标;下:特征矩损失,EMA副本提特征,匹配均值与逐坐标标准差。

3. 速度+端点双回归

同一个DMD修正量可以监督速度预测,也可以监督干净样本端点预测,论文用消融选了等权双回归:只加速度回归,五项综合指标全面落后(LongText-CN 93.03对94.25);只加端点回归稍好但仍差一截。注意这两个目标来自同一个detach修正,不是两份独立的分布信息,权重组合纯粹是经验选择。

unsetunset实验结果unsetunset

长文本渲染与综合质量(Z-Image系,2 NFE)


方法
OneIG
GenEval
DPG-Bench
LongText-CN
LongText-EN
Z-Image-Turbo
50.94
76.53
85.78
78.48
72.89
DMD2
50.70
76.12
85.40
85.30
80.99
TwinFlow
51.38
72.41
85.98
78.65
71.99
APEX
52.60
77.23
88.64
90.38
88.76
Z-Image-Turbo++
52.50
75.70
85.86
91.62
89.88
IDM
53.06 77.81
86.82
94.25 90.20
Z-Image-Turbo(8-NFE参考)
52.84
75.01
84.86
92.56
91.74

2-NFE下IDM的LongText-CN比Z-Image-Turbo++高2.63个百分点、比APEX高3.87个百分点。但两个非全胜要写清楚:DPG-Bench 86.82低于APEX的88.64;英文长文本90.20也没追上8步的参考成绩91.74。各对比方法训练数据和配置不同,论文强调只有自家消融才是同口径对比。

老茶馆与红汉服两个中文长文本prompt,1-9 NFE全预算对比:IDM在1-2步区间保持招牌、对联和灯牌文字的可读性。

质量与效率(单张A100,BF16;延迟batch 1,吞吐batch 10)


底座
调参
NFE
FID↓
CLIP↑
GenEval↑
延迟(s)↓
吞吐(张/s)↑
Z-Image-Turbo 6B
全参数
1
7.13
28.37
0.77
0.25
5.41
Z-Image-Turbo 6B
全参数
2
6.71
28.22
0.78
0.30
5.18
Z-Image-Turbo 6B
LoRA r=64
2
6.79
28.13
0.77
0.30
5.18
Qwen-Image 20B
全参数
1
6.77
28.71
0.90
0.35
3.44
Qwen-Image 20B
全参数
2
6.34
28.56
0.91
0.44
3.28
Qwen-Image 20B
LoRA r=64
2
6.41
28.47
0.90
0.44
3.28

Qwen-Image 20B全参数版2-NFE另有DPG-Bench 87.16、WISE 0.56;同底座同预算的APEX全参数版FID 6.44、GenEval 0.90、延迟0.45秒,IDM的6.34/0.91/0.44秒基本是同延迟下小幅占优。r=64的LoRA只更新0.4B参数,GenEval几乎不掉。

消融:矩匹配到底贡献了什么(Z-Image全参数,2 NFE,同数据同配置)


配置
OneIG
GenEval
DPG-Bench
LongText-CN
LongText-EN
无DMD、无矩损失
52.25
76.24
85.68
92.70
88.88
只去掉矩损失(内部DMD)
52.87
77.46
86.54
93.87
89.79
DMD+DINOv2特征矩损失
53.00
77.75
86.71
94.13
90.09
IDM:DMD+EMA特征矩损失
53.06 77.81 86.82 94.25 90.20

在内部DMD之上加EMA矩匹配,五项指标全部上涨(+0.19到+0.41)。DINOv2特征也能涨,但和EMA的差距只有0.06-0.13——用生成器自己的特征就够,外挂编码器没有必要性。特征来源换活人自特征(77.51)或教师特征(77.36)的GenEval都低于EMA的77.81。

寿司海报与咖啡菜单两个密集文字场景,1与2 NFE下的累计组件消融:没有矩损失时寿司海报出现过饱和。

样例

Z-Image底座2-NFE输出:人像、书封、涂鸦、菜单与黑板字,长文本渲染是主要展示项。

unsetunset局限与未来方向unsetunset

首先,官方权重至今未放出——GitHub四个checkpoint槽位全部写着Coming soon,README明说「Base-model或APEX权重不是IDM checkpoint,跑不出上表数字」,当前能验证的只有代码和论文数字。

其次,跨方法对比混杂着训练数据规模:IDM的参考数据集包含ShareGPT-4o、BLIP-3o,外加Qwen-Image-2512与Z-Image-Turbo合成的60万条FLUX-Reason-6M prompt和500万条text-rendering prompt,而APEX只用了20万条海报prompt——长文本分数的领先有多少来自数据、多少来自方法,论文用同口径消融回答了一部分,但与外部方法的对比仍有这个变量。

此外,矩匹配的绝对收益不大(五项指标+0.19到+0.41),训练开销也不小:Z-Image全参数15K步用了32张H100 80GB。FID 6.71在少步模型里不是最低档的量级领先,Sana-Sprint 1.6B在1-NFE跑到7.04且吞吐7.22张/秒,小底座的速度优势仍在。

unsetunset结论unsetunset

IDM验证了一件事:少步蒸馏的表示对齐不一定要外挂编码器,生成器自己的EMA特征就够用,且长文本渲染是它的主战场——2-NFE中文94.25%是同预算已对比方法里的最高分。

对于做实时/端侧生图的工程师,等权重放出后Z-Image-Turbo 6B底座是首选,单张A100上2步0.30秒,社区已经把这套配方搬到MOSS-Image上做出2步版;对于跟踪蒸馏技术的研究者,reverse-KL场的高斯分解+残差论证值得精读,它把「为什么矩匹配不够、为什么要保留完整DMD」讲成了闭环。风险提示:代码Apache-2.0,但未来IDM权重协议单独适用,且依赖的Z-Image、Qwen-Image底座各有自己的商用条款,商用前要分开核对;社区2步仓是第三方产物,分数未经官方验证。

分布匹配的下一个问题,也许不再是「跟谁比」,而是「用什么比」。

感谢你看到这里,添加小助手 AIGC_Tech 加入官方 AIGC读者交流群,下方扫码加入 AIGC Studio 星球,获取前沿AI应用、AIGC实践教程、大厂面试经验、AI学习路线以及IT类入门到精通学习资料等,欢迎一起交流学习💗~

【声明】内容源于网络
0
0
AIGC Studio
一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、Stable Diffusion、Sora等相关技术。这里不仅有简单易懂的AIGC理论实践和AI学习路线,还有大厂工作经历和体会分享。如果有幸能给你一些帮助就更好啦!
内容 1287
粉丝 0
AIGC Studio 一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、Stable Diffusion、Sora等相关技术。这里不仅有简单易懂的AIGC理论实践和AI学习路线,还有大厂工作经历和体会分享。如果有幸能给你一些帮助就更好啦!
总阅读66.2k
粉丝0
内容1.3k