大数跨境
0
0

CVPR2022 |自然图像重建!DGUNet: 北大提出普适的可解释性图像重建网络

CVPR2022 |自然图像重建!DGUNet: 北大提出普适的可解释性图像重建网络 极市平台
2022-05-05
0
↑ 点击蓝字 关注极市平台

作者丨艺术家
编辑丨极市平台

极市导读

 

深度神经网络(DNN)在图像重建方面取得了巨大的成功。然而,大多数DNN方法采用黑盒设计,缺乏可解释性。本文提出了一种普适的深度展开网络(DGUNet)用于图像重建。具体来说,在不损失可解释性的情况下,论文提出的方法将梯度估计策略集成到近端梯度下降(PGD)算法的梯度下降过程中。 >>加入极市CV技术交流群,走在计算机视觉的最前沿

论文链接:https://arxiv.org/abs/2204.13348

代码地址:https://github.com/MC-E/Deep-Generalized-Unfolding-Networks-for-Image-Restoration

1.摘要

深度神经网络(DNN)在图像重建方面取得了巨大的成功。然而,大多数DNN方法采用黑盒设计,缺乏可解释性。虽然一些方法将传统的优化算法与DNN相结合,但它们通常需要已知的退化过程或手工制作的退化假设,这使其难以处理复杂和真实的退化场景。本文提出了一种普适的深度展开网络(DGUNet)用于图像重建。具体来说,在不损失可解释性的情况下,论文提出的方法将梯度估计策略集成到近端梯度下降(PGD)算法的梯度下降过程中。此外,本文在不同的PGD迭代步中设计了尺度的阶段间信息通路,来克服大多数深度展开网络(DUN)的级间信息损失。通过整合提出的自适应梯度下降模块和有信息量的近端映射模块,我们将迭代的PGD算法展开为一个可训练的DNN。在各种图像重建任务上的实验表明,本文提出的方法具有优异的性能、可解释性和通用性。

2.方法

从贝叶斯最大后验角度出发,传统的基于模型的方法将图像重建定义为如下公式:

其中 代表数据保真项, 代表先验项。通常使用 损失函数作为数据保真项,因此, 上式可以进一步变形为:

基于近端梯度下降算法(PGD), 上式可以被展开为一个迭代的求解过程:

其中红色部分代表梯度下降, 蓝色部分代表近端映射。进而可以将上式分解为:

其中 A 代表退化矩阵, prox 要已知的退化矩阵 , 很难处理退化末知的真实场景。本文基于 PGD 算法, 用深度网络对 其进行展开。详细的, 本文将退化矩阵 和近端映射方程用深度网络代替, 并将梯度下降 的步长 设置为可学习的参数。因此, 梯度下降过程被重定义为:

近端映射模块还融人了阶段间信息来克服深度展开网络的阶段间信息损失:

综上所述,本文提出方法的深度展开结构为:

本文提出方法的损失函数为常用的 损失函数, 对每个阶段的输出都进行约束:

其中K代表阶段的数量。

3.实验对比

3.1图像去雨

3.2图像去模糊

3.3图像去噪

3.4压缩感知

可以看到,本文提出的DGUNet在保持可解释性的基础上,性能在多种图像重建任务上达到目前最优水平。

公众号后台回复“CVPR 2022”获取论文合集打包下载~

△点击卡片关注极市平台,获取最新CV干货
极市干货
数据集资源汇总:90+深度学习开源数据集整理|包括目标检测、工业缺陷、图像分割等多个方向
实操教程Pytorch - 弹性训练极简实现( 附源码)PyTorch常用代码段合集
CVPR 2022:CVPR'22 最新132篇论文分方向整理CVPR'22 最新106篇论文分方向整理一文看尽 CVPR 2022 最新 20 篇 Oral 论文


CV技术社群邀请函 #

△长按添加极市小助手
添加极市小助手微信(ID : cvmart4)

备注:姓名-学校/公司-研究方向-城市(如:小极-北大-目标检测-深圳)


即可申请加入极市目标检测/图像分割/工业检测/人脸/医学影像/3D/SLAM/自动驾驶/超分辨率/姿态估计/ReID/GAN/图像增强/OCR/视频理解等技术交流群


每月大咖直播分享、真实项目需求对接、求职内推、算法竞赛、干货资讯汇总、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企视觉开发者互动交流~


觉得有用麻烦给个在看啦~  
【声明】内容源于网络
0
0
极市平台
为计算机视觉开发者提供全流程算法开发训练平台,以及大咖技术分享、社区交流、竞赛实践等丰富的内容与服务。
内容 8155
粉丝 0
极市平台 为计算机视觉开发者提供全流程算法开发训练平台,以及大咖技术分享、社区交流、竞赛实践等丰富的内容与服务。
总阅读197
粉丝0
内容8.2k