大数跨境

CVPR 2026|CODSR:可控单步扩散的图像超分

CVPR 2026|CODSR:可控单步扩散的图像超分 AI科研进阶社
2026-10-12
3

题目:Bridging Fidelity-Reality with Controllable One-Step Diffusion for Image Super-Resolution

论文地址:https://arxiv.org/abs/2512.14061

代码地址:https://github.com/Chanson94/CODSR

创新点

•提出区域自适应生成先验激活模块,结合低分辨率图像梯度与噪声构建区域感知的扩散隐空间先验,能够依据图像不同区域内容自适应调控生成先验,更好保留原图物体结构,抑制超分中常见的结构扭曲问题。

•设计LQ 引导的时间感知 SFT 特征调制模块,将低分辨率图像信息嵌入扩散 UNet 网络,在不同扩散时间步对特征做动态调制,充分利用低质图像自带的基础结构信息引导高分辨率重建。

方法

本文构建单步扩散图像超分辨率框架,整体由区域自适应生成先验激活、低分辨率图像引导特征调制、文本匹配引导三大模块协同完成图像重建。首先在区域自适应生成先验激活模块中,对输入低分辨率图像进行 VAE 编码,将得到的隐特征与随机噪声、低分辨率图像梯度加权融合,生成可适配图像不同区域内容的生成隐先验;随后在 LQ 引导的时间感知 SFT 特征调制模块中,提取低分辨率图像特征,借助时间感知 SFT 以及卷积运算完成特征的动态调制,将调制后的特征送入可训练 UNet 主干网络,并随机选取扩散时间步开展前向计算;文本匹配引导分支使用冻结的 Grounded-SAM2,结合图像与物体类别文本提示生成实例掩码,构造位置损失对网络进行实例级结构约束;UNet 输出的隐变量送入冻结 VAE 解码器,最终重建得到高分辨率图像,整套方法依托单步推理机制,在保障重建感知质量的同时避免传统扩散模型多步采样带来的高额推理开销。

各超分方法在 LPIPS、MUSIQ 指标与推理耗时上的综合对比气泡图

本图用于对比多种图像超分辨率算法的综合性能,纵轴为 MUSIQ,数值越高代表图像感知质量越好,横轴为 LPIPS,数值越低代表生成图像与原图感知相似度越高,气泡半径代表模型推理耗时,半径越大推理所需时间越长,图中标注了 Ours、TVT、PISA-SR、OSEDiff、SeeSR、FaithDiff、HYPIR 共七种方法,本文方法 Ours 位于图左上角,拥有最高的 MUSIQ 得分与较低的 LPIPS,同时气泡尺寸很小,代表在保持顶尖图像感知质量与保真度的前提下推理速度更快,SeeSR 气泡最大,说明其推理耗时显著更高,FaithDiff 拥有较高 MUSIQ 但 LPIPS 偏高且推理开销大,HYPIR 的 MUSIQ 指标在所有方法中最低,整体图表直观体现本文方法在图像质量、保真度与推理效率三者之间实现更优的权衡。

所提图像超分方法整体网络架构,由三个核心模块协同完成重建

本图展示完整的图像超分辨率模型架构,包含三大功能模块,模块 (a) 为区域自适应生成先验激活,对输入低分辨率图像做编码处理,结合噪声与图像梯度生成适配不同区域的生成隐式先验,模块 (b) 是低分辨率图像引导的特征调制模块,借助时间感知 SFT 模块提取低分辨率图像特征,通过卷积与逐元素运算对特征实施调制,将调制特征送入可训练的 UNet 主干网络并随机选取扩散时间步进行计算,模块 (c) 为文本匹配引导分支,使用冻结的 Grounded-SAM2 模型,依托原图和物体文本描述生成目标实例掩码,构建位置约束损失来监督训练,UNet 输出结果送入冻结的 VAE 解码器,最终重建出高分辨率图像,图例区分可训练与冻结网络,标注各类算子,整套架构将区域自适应扩散先验、低质图像特征调制与实例掩码文本监督结合,在图像超分重建过程中更好地维持物体结构完整性。

在真实低分辨率图像上,本文方法与多种主流超分算法的视觉效果定性对比

本图选取三组来自 RealSR、RealLQ250、RealLR200 数据集的真实低分辨率图像,每组图使用红色方框标记需要重点观察的局部区域,并裁剪出对应局部 patch 进行多方法横向对比,第一组为人物背影场景,对比 DiffBIR、SUPIR、FaithDiff、SinSR、OSEDiff、PiSA‑SR 和本文方法;第二组是包含鹿角与紫色野花的自然图像,对比 Real‑ESRGAN、DiffBIR、SinSR、OSEDiff、PiSA‑SR、HYPIR 与本文方法;第三组为印刷文字区域,对比 Real‑ESRGAN、DiffBIR、SUPIR、OSEDiff、PiSA‑SR、TVT、FaithDiff 与本文方法,从视觉结果上能够看出,其他对比方法容易出现细节模糊、纹理扭曲、文字形变、物体结构失真等问题,而本文方法可以更好还原人物轮廓、花草细节与印刷文字,在保留物体原始结构的同时生成更加自然清晰的细节,直观证明该方法在真实场景图像超分辨率重建上具备更优的视觉重建质量。

实验


该表格将多种基于扩散的图像超分方法分为全步长扩散方法与单步扩散方法两大类,在 RealSR、DrealSR、RealPhoto60、RealDeg 四个真实场景数据集上开展定量评估,使用 PSNR、SSIM、LPIPS、DISTS、NIQE、MUSIQ、MANIQA、CLIPIQA 等多项指标,向上箭头代表指标越高效果越好,向下箭头代表指标越低效果越好,最优结果标为红色,次优结果标为蓝色,对比可见本文方法(Ours)属于单步扩散超分模型,在多个数据集的感知质量相关指标上取得最优或次优成绩,在保持快速单步推理的同时,整体感知重建性能可以媲美甚至超越传统多步扩散超分算法,充分验证该方法在真实图像超分辨率任务上的有效性。

【声明】内容源于网络
0
0
AI科研进阶社
感谢关注AI科研进阶社!人工智能学习资料、机器学习&深度学习基础干货、论文写作资源等都在这里!
内容 191
粉丝 0
AI科研进阶社 感谢关注AI科研进阶社!人工智能学习资料、机器学习&深度学习基础干货、论文写作资源等都在这里!
总阅读3.6k
粉丝0
内容191