给一张图连续下十条编辑指令,框里的物体按要求加,框外本该一个像素不动。但多数编辑器改到第十轮,背景、颜色和人物身份已经悄悄漂走。TailSteer把去噪轨迹的尾段往"保留"方向引导,不改架构、不加适配器,10轮后PSNR从13.85升到19.96。
多轮图像编辑的麻烦不是单轮改不好,而是累积漂移(cumulative drift):每一轮都会把上一轮的输出重新编码、解码,VAE重建误差和模型自身的再生成倾向叠加,到第十轮,没让改的地方已经不是原来那张图。已有办法要么给每轮加一致性约束,要么训练外挂LoRA,代价是基座原本的文生图与单轮编辑能力被改弱。
香港中文大学MMLab联合商汤研究院、上海人工智能实验室提出TailSteer,定位是SFT、RL或OPD之后的最后一道训练阶段(final-stage training):不改模型结构,不换采样流程,只在训练时把去噪轨迹的尾段监督到一个"保留感知端点"。团队引入steering onset(转向起点ks)把轨迹切成两段,ks之前要求模型复现原始基座的速度场,之后逐步把目标速度混合到保留端点。训练极轻:每个基座只做2000次更新、8×H100、BF16、有效批量16,从11947张源图缓存出38540条轨迹,既不需要人工标注的编辑配对,也不需要构造多轮编辑链。
相关链接
-
论文:https://arxiv.org/abs/2611.06741 -
代码:https://github.com/Lyricccco/tailsteer -
主页:https://lyricccco.github.io/tailsteer/ -
模型权重(FLUX.2 [klein] Base 9B):https://huggingface.co/Lyricccco/FLUX.2-klein-base-9B-TailSteer -
模型权重(SenseNova-U1.5-8B-MoT):https://huggingface.co/sensenova/SenseNova-U1.5-8B-MoT-TailSteer -
模型权重(Qwen-Image-2.1):https://huggingface.co/Lyricccco/Qwen-Image-2.1-TailSteer -
评测集Add & Preserve:https://huggingface.co/datasets/Lyricccco/Add-and-Preserve -
训练数据:https://huggingface.co/datasets/Lyricccco/TailSteer-Source -
开源协议:代码Apache-2.0;权重三仓分别授权,见文末风险提示;论文CC BY-NC-SA 4.0
内容介绍
一句话说清:给一个图像编辑模型和一张原图,TailSteer输出的是同一个架构、同一套权重格式的新checkpoint,用它连续编辑十几二十轮,不该变的地方仍然不变。
与"每轮外挂一致性模块"的常规做法不同,核心特点是:
-
只动尾段。结构在去噪早期就定了,细节在尾部才浮现,残留的保留误差也只在尾段还可纠正。团队在50步采样里默认从第46步附近介入,最后约5%的轨迹留给转向。 -
能力不折损。ks之前的速度场被显式约束回放基座,前期学到的生成与编辑先验不被覆盖,因此文生图、单轮编辑分数整体贴近base model。 -
推理零负担。不用适配器、不用模型切换、不用额外一致性机制;三套放出的都是完整bf16权重,走官方pipeline直接加载。
适用场景:商品图连续改文案与元素、角色设定图多轮微调、参考图引导的连续姿态编辑、多图物体逐步合成。仓库自带四个demo(20轮咖啡馆场景、骨架引导舞蹈、物体合成、人物合成)与四个论文训练配置。
Prior region复现基座动态,transition region按衰减权重把速度场从基座速度混合到保留端点速度,下方是两段各自的on-policy rollout策略。
方法概述
一句话总括:一套机制定端点,一套机制证伪单步,一套机制沿轨迹把端点铺开。
1. 保留感知轨迹端点(Preservation-Aware Trajectory Endpoint)
解决"监督目标从哪来"。编辑能力来自基模型,保留能力来自源图像,于是团队直接把两者拼成一个保留端点:用保留mask M做加权,框外取源图像素、框内取基模生成的编辑像素,相加即为目标端点。这一步的实用价值在于不需要ground-truth编辑配对——未改动的源图内容本身就是保留参考,训练数据可以自动生成。团队从Open Images与MONET收集11947张候选源图,每张配三条独立局部编辑指令和一条identity-edit指令,按3:1混合构成主设置。
未改动的源图内容提供保留参考,训练不需要人工标注的编辑结果。
2. 单步终端干预(One-step Terminal Intervention)
解决"能不能只改最后一步"。最直觉的做法是只在预终端时刻做一次修正,用该步速度场的MSE作为训练损失。团队把它当成对照实验做了,结论是不行:Table 3里"Training only last-step"把GEdit-EN从7.52砸到2.24、RISE accuracy从13.61砸到3.33、COA从31.84掉到13.10。单步修正虽然能压一点漂移,却会把前期已学到的先验整体扰乱。这条消融是全文最值得读的一格——它直接否掉了"最省事的方案",也解释了为什么需要第三段。
只改最后一步会显著损伤单轮编辑能力,是TailSteer转向"跨步引导"的直接动机。
3. 轨迹尾部转向(Tail Steering)
解决"怎么把端点铺到整条尾段"。引入转向起点ks,轨迹划为prior region(ks之前)与transition region(ks之后到终点):前者目标速度就是基座速度,后者用一个从1线性衰减到0的权重,把基座速度与保留端点速度混合成目标速度,再对该目标做stop-gradient的MSE损失。训练走on-policy:从缓存步自rollout出状态再算损失,而不是拿离线的预制轨迹硬拟合;Table 3显示去掉on-policy后RISE从13.61掉到11.39。ks由定性比较选定,四个基座分别是Kontext 25、Klein 46、SenseNova 42、Qwen 30。论文明确写了,所有辅助组件只在训练期使用,推理时"no model switching, external adapters, or additional consistency mechanisms"。
实验结果
Add & Preserve:10轮保真
100张图、10条连续加物体指令,COA衡量要求的物体是否真的出现,PSNR/SSIM/LPIPS衡量框外保留程度。以下均取论文主设置的ks档。
|
|
|
|
|
|
|---|---|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
值得单独说一句:TailSteer在FLUX.2上的PSNR@10(19.96)与SSIM@10(0.621)都高于闭源API对照,LPIPS也更低,但COA只有31.84,远低于98.29——它解决的是"别乱改",不是"更听指令"。
定量评测做到第10轮,15–20轮的展示是定性对比图,两处口径不同。
单轮能力保持:整体贴近,但有降项
论文用Table 1专门验证"没把基座改坏",README也自己写明"including lower RISE accuracy at these settings"。以下是主设置档:
|
|
|
|
|
|
|---|---|---|---|---|
|
|
|
|
14.17 → 13.61 |
|
|
|
|
|
31.39 → 29.44 |
|
|
|
|
|
20.56 → 18.06 |
|
三个基座的RISE accuracy全部下降(降幅0.56、1.94、2.50),SenseNova与Qwen的多数单轮指标也小幅下滑。更完整地说,Table 2里FLUX.2主设置档的MSE-Bench三项SR@5(40.00→33.00)、PF@5(3.91→3.23)、Cons.@5(4.03→3.32)以及EdiVal的IF@3(32.69→30.24)同样下降,只有CC@3(85.24→87.57)与保真类指标上升。SenseNova与Qwen在MSE-Bench上则多为上涨,说明这个代价与基座、与ks都有关,不能一概而论。
缓存轨迹从1000增到38540,PSNR@10随之从14–19区间升到19.96;local-edit数据比identity-edit更有效。
消融:三个不可替代的组件
|
|
|
|
|
|
|---|---|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| TailSteer完整方法 | 7.52 | 13.61 | 31.84 | 19.96 |
只训尾部能把PSNR推到20.04,但单轮能力塌了;完整方法是唯一在保真与能力保持之间同时站住的档位。数据规模消融同样单调:1000条轨迹时PSNR@10在14.15–17.61,5000条到18.85–19.01,全量38540条才到19.96。
局限与未来方向
首先,定量与定性的轮数口径不一致。摘要写"15–20 editing turns"的大幅改善,但所有表格只到第10轮(PSNR@10 / SSIM@10 / LPIPS@10),15轮与20轮的结果只有Figure 6的定性对比图,没有分数。看到"20轮不失真"这类说法时要知道它指的是视觉展示。
其次,收益集中在保真,不是编辑成功率。COA在SenseNova与Qwen上反而下降,RISE三个基座全降,FLUX.2的MSE-Bench与IF@3也降。它优化的是"不该改的地方别改",不能直接等同于"编辑能力更强"。
结论
TailSteer验证了一件事:多轮编辑的漂移不必靠外挂模块逐轮纠偏,把训练监督集中到去噪轨迹的最后5%,就能在几乎不动基座能力的前提下把10轮保真拉高6dB以上,而且推理侧零改动。
对于做图像编辑产品的工程师,这是一套可以直接换checkpoint接入现有pipeline的方案,但要针对自己的基座重选ks,并把RISE、COA这类可能下降的指标纳入回归测试;对于研究者,Table 3里"单步干预塌方→SFT折中→on-policy尾部转向"的完整消融链,比最终结果更值得读,它把"为什么必须跨步"论证得很干净。
把能力保持和多轮稳定性拆成两个可以分别度量的目标,可能比继续堆单轮编辑分数更接近真实工作流——毕竟没有人只改一轮就交付。
感谢你看到这里,添加小助手 AIGC_Tech 加入官方 AIGC读者交流群,下方扫码加入 AIGC Studio 星球,获取前沿AI应用、AIGC实践教程、大厂面试经验、AI学习路线以及IT类入门到精通学习资料等,欢迎一起交流学习💗~

