大数跨境

多轮改图越改越糊?港中文MMLab联合商汤、上海AI实验室放出TailSteer,只调去噪轨迹尾部,10轮PSNR从13.85提到19.96。

多轮改图越改越糊?港中文MMLab联合商汤、上海AI实验室放出TailSteer,只调去噪轨迹尾部,10轮PSNR从13.85提到19.96。 AIGC Studio
2026-11-11
8
导读:TailSteer验证了一件事:多轮编辑的漂移不必靠外挂模块逐轮纠偏,把训练监督集中到去噪轨迹的最后5%,就能在几乎不动基座能力的前提下把10轮保真拉高6dB以上,而且推理侧零改动。
点击下方名片关注AIGC Studio公众号!获取最新AI前沿应用/AIGC实践教程!
扫描下方二维码,加入AIGC Studio知识星球!可以获得最新AI前沿应用/AIGC实践教程/大厂面试经验/算法刷题和IT各学科入门到精通学习资料!学习/科研/工作/副业,强烈推荐!

给一张图连续下十条编辑指令,框里的物体按要求加,框外本该一个像素不动。但多数编辑器改到第十轮,背景、颜色和人物身份已经悄悄漂走。TailSteer把去噪轨迹的尾段往"保留"方向引导,不改架构、不加适配器,10轮后PSNR从13.85升到19.96。

多轮图像编辑的麻烦不是单轮改不好,而是累积漂移(cumulative drift):每一轮都会把上一轮的输出重新编码、解码,VAE重建误差和模型自身的再生成倾向叠加,到第十轮,没让改的地方已经不是原来那张图。已有办法要么给每轮加一致性约束,要么训练外挂LoRA,代价是基座原本的文生图与单轮编辑能力被改弱。

香港中文大学MMLab联合商汤研究院、上海人工智能实验室提出TailSteer,定位是SFT、RL或OPD之后的最后一道训练阶段(final-stage training):不改模型结构,不换采样流程,只在训练时把去噪轨迹的尾段监督到一个"保留感知端点"。团队引入steering onset(转向起点ks)把轨迹切成两段,ks之前要求模型复现原始基座的速度场,之后逐步把目标速度混合到保留端点。训练极轻:每个基座只做2000次更新、8×H100、BF16、有效批量16,从11947张源图缓存出38540条轨迹,既不需要人工标注的编辑配对,也不需要构造多轮编辑链。


相关链接

  • 论文:https://arxiv.org/abs/2611.06741 
  • 代码:https://github.com/Lyricccco/tailsteer
  • 主页:https://lyricccco.github.io/tailsteer/
  • 模型权重(FLUX.2 [klein] Base 9B):https://huggingface.co/Lyricccco/FLUX.2-klein-base-9B-TailSteer
  • 模型权重(SenseNova-U1.5-8B-MoT):https://huggingface.co/sensenova/SenseNova-U1.5-8B-MoT-TailSteer
  • 模型权重(Qwen-Image-2.1):https://huggingface.co/Lyricccco/Qwen-Image-2.1-TailSteer
  • 评测集Add & Preserve:https://huggingface.co/datasets/Lyricccco/Add-and-Preserve
  • 训练数据:https://huggingface.co/datasets/Lyricccco/TailSteer-Source
  • 开源协议:代码Apache-2.0;权重三仓分别授权,见文末风险提示;论文CC BY-NC-SA 4.0

内容介绍

一句话说清:给一个图像编辑模型和一张原图,TailSteer输出的是同一个架构、同一套权重格式的新checkpoint,用它连续编辑十几二十轮,不该变的地方仍然不变。

与"每轮外挂一致性模块"的常规做法不同,核心特点是:

  1. 只动尾段。结构在去噪早期就定了,细节在尾部才浮现,残留的保留误差也只在尾段还可纠正。团队在50步采样里默认从第46步附近介入,最后约5%的轨迹留给转向。
  2. 能力不折损。ks之前的速度场被显式约束回放基座,前期学到的生成与编辑先验不被覆盖,因此文生图、单轮编辑分数整体贴近base model。
  3. 推理零负担。不用适配器、不用模型切换、不用额外一致性机制;三套放出的都是完整bf16权重,走官方pipeline直接加载。

适用场景:商品图连续改文案与元素、角色设定图多轮微调、参考图引导的连续姿态编辑、多图物体逐步合成。仓库自带四个demo(20轮咖啡馆场景、骨架引导舞蹈、物体合成、人物合成)与四个论文训练配置。

TailSteer主框架:prior region复现基座速度场,transition region混合到保留端点,全程on-policy训练Prior region复现基座动态,transition region按衰减权重把速度场从基座速度混合到保留端点速度,下方是两段各自的on-policy rollout策略。

方法概述

一句话总括:一套机制定端点,一套机制证伪单步,一套机制沿轨迹把端点铺开。

1. 保留感知轨迹端点(Preservation-Aware Trajectory Endpoint)

解决"监督目标从哪来"。编辑能力来自基模型,保留能力来自源图像,于是团队直接把两者拼成一个保留端点:用保留mask M做加权,框外取源图像素、框内取基模生成的编辑像素,相加即为目标端点。这一步的实用价值在于不需要ground-truth编辑配对——未改动的源图内容本身就是保留参考,训练数据可以自动生成。团队从Open Images与MONET收集11947张候选源图,每张配三条独立局部编辑指令和一条identity-edit指令,按3:1混合构成主设置。

数据构造与保留端点未改动的源图内容提供保留参考,训练不需要人工标注的编辑结果。

2. 单步终端干预(One-step Terminal Intervention)

解决"能不能只改最后一步"。最直觉的做法是只在预终端时刻做一次修正,用该步速度场的MSE作为训练损失。团队把它当成对照实验做了,结论是不行:Table 3里"Training only last-step"把GEdit-EN从7.52砸到2.24、RISE accuracy从13.61砸到3.33、COA从31.84掉到13.10。单步修正虽然能压一点漂移,却会把前期已学到的先验整体扰乱。这条消融是全文最值得读的一格——它直接否掉了"最省事的方案",也解释了为什么需要第三段。

单步终端干预及其局限只改最后一步会显著损伤单轮编辑能力,是TailSteer转向"跨步引导"的直接动机。

3. 轨迹尾部转向(Tail Steering)

解决"怎么把端点铺到整条尾段"。引入转向起点ks,轨迹划为prior region(ks之前)与transition region(ks之后到终点):前者目标速度就是基座速度,后者用一个从1线性衰减到0的权重,把基座速度与保留端点速度混合成目标速度,再对该目标做stop-gradient的MSE损失。训练走on-policy:从缓存步自rollout出状态再算损失,而不是拿离线的预制轨迹硬拟合;Table 3显示去掉on-policy后RISE从13.61掉到11.39。ks由定性比较选定,四个基座分别是Kontext 25、Klein 46、SenseNova 42、Qwen 30。论文明确写了,所有辅助组件只在训练期使用,推理时"no model switching, external adapters, or additional consistency mechanisms"。

实验结果

Add & Preserve:10轮保真

100张图、10条连续加物体指令,COA衡量要求的物体是否真的出现,PSNR/SSIM/LPIPS衡量框外保留程度。以下均取论文主设置的ks档。

基座
COA(%)↑
PSNR@10↑
SSIM@10↑
LPIPS@10↓
FLUX.2 [klein] Base 9B
31.02 → 31.84
13.85 → 19.96(+6.11dB)
0.289 → 0.621
0.524 → 0.290
SenseNova-U1.5-8B-MoT
94.93 → 94.78
11.23 → 18.22(+6.99dB)
0.166 → 0.489
0.607 → 0.417
Qwen-Image-2.1
67.36 → 66.94
16.93 → 18.15(+1.22dB)
0.438 → 0.513
0.270 → 0.239
GPT-Image-2.5 Sunburst(API对照)
98.29
18.55
0.540
0.378

值得单独说一句:TailSteer在FLUX.2上的PSNR@10(19.96)与SSIM@10(0.621)都高于闭源API对照,LPIPS也更低,但COA只有31.84,远低于98.29——它解决的是"别乱改",不是"更听指令"。

定量评测做到第10轮,15–20轮的展示是定性对比图,两处口径不同。

单轮能力保持:整体贴近,但有降项

论文用Table 1专门验证"没把基座改坏",README也自己写明"including lower RISE accuracy at these settings"。以下是主设置档:

基座
Qwen-IB EN↑
GEdit-EN↑
RISE Acc.(%)↑
ImgEdit↑
FLUX.2 [klein] Base 9B
49.27 → 49.42
7.47 → 7.52
14.17 → 13.61
4.20 → 4.19
SenseNova-U1.5-8B-MoT
53.43 → 52.24
8.33 → 8.27
31.39 → 29.44
4.43 → 4.41
Qwen-Image-2.1
53.39 → 53.06
8.11 → 8.04
20.56 → 18.06
4.40 → 4.42

三个基座的RISE accuracy全部下降(降幅0.56、1.94、2.50),SenseNova与Qwen的多数单轮指标也小幅下滑。更完整地说,Table 2里FLUX.2主设置档的MSE-Bench三项SR@5(40.00→33.00)、PF@5(3.91→3.23)、Cons.@5(4.03→3.32)以及EdiVal的IF@3(32.69→30.24)同样下降,只有CC@3(85.24→87.57)与保真类指标上升。SenseNova与Qwen在MSE-Bench上则多为上涨,说明这个代价与基座、与ks都有关,不能一概而论。

消融实验:数据规模与轨迹类型
消融实验:数据规模与轨迹类型

缓存轨迹从1000增到38540,PSNR@10随之从14–19区间升到19.96;local-edit数据比identity-edit更有效。

消融:三个不可替代的组件

训练策略(FLUX.2 [klein])
GEdit-EN↑
RISE(%)↑
COA(%)↑
PSNR@10↑
只训最后一步
2.24
3.33
13.10
14.93
标准SFT
5.24
8.89
31.07
19.77
只训轨迹尾部(step-46起)
6.09
10.28
29.62
20.04
TailSteer去掉on-policy
7.44
11.39
31.94
19.81
TailSteer完整方法 7.52 13.61 31.84 19.96

只训尾部能把PSNR推到20.04,但单轮能力塌了;完整方法是唯一在保真与能力保持之间同时站住的档位。数据规模消融同样单调:1000条轨迹时PSNR@10在14.15–17.61,5000条到18.85–19.01,全量38540条才到19.96。

局限与未来方向

首先,定量与定性的轮数口径不一致。摘要写"15–20 editing turns"的大幅改善,但所有表格只到第10轮(PSNR@10 / SSIM@10 / LPIPS@10),15轮与20轮的结果只有Figure 6的定性对比图,没有分数。看到"20轮不失真"这类说法时要知道它指的是视觉展示。

其次,收益集中在保真,不是编辑成功率。COA在SenseNova与Qwen上反而下降,RISE三个基座全降,FLUX.2的MSE-Bench与IF@3也降。它优化的是"不该改的地方别改",不能直接等同于"编辑能力更强"。

结论

TailSteer验证了一件事:多轮编辑的漂移不必靠外挂模块逐轮纠偏,把训练监督集中到去噪轨迹的最后5%,就能在几乎不动基座能力的前提下把10轮保真拉高6dB以上,而且推理侧零改动。

对于做图像编辑产品的工程师,这是一套可以直接换checkpoint接入现有pipeline的方案,但要针对自己的基座重选ks,并把RISE、COA这类可能下降的指标纳入回归测试;对于研究者,Table 3里"单步干预塌方→SFT折中→on-policy尾部转向"的完整消融链,比最终结果更值得读,它把"为什么必须跨步"论证得很干净。

把能力保持和多轮稳定性拆成两个可以分别度量的目标,可能比继续堆单轮编辑分数更接近真实工作流——毕竟没有人只改一轮就交付。

感谢你看到这里,添加小助手 AIGC_Tech 加入官方 AIGC读者交流群,下方扫码加入 AIGC Studio 星球,获取前沿AI应用、AIGC实践教程、大厂面试经验、AI学习路线以及IT类入门到精通学习资料等,欢迎一起交流学习💗~

【声明】内容源于网络
0
0
AIGC Studio
一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、Stable Diffusion、Sora等相关技术。这里不仅有简单易懂的AIGC理论实践和AI学习路线,还有大厂工作经历和体会分享。如果有幸能给你一些帮助就更好啦!
内容 1290
粉丝 0
AIGC Studio 一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、Stable Diffusion、Sora等相关技术。这里不仅有简单易懂的AIGC理论实践和AI学习路线,还有大厂工作经历和体会分享。如果有幸能给你一些帮助就更好啦!
总阅读69.2k
粉丝0
内容1.3k