基于小波域ADMM深度网络的图像复原方法

基于小波域admm深度网络的图像复原方法
技术领域
1.本发明涉及图像复原技术，具体涉及一种基于小波域admm深度网络的图像复原方法，属于图像处理领域。


背景技术：

2.图像是人类获取、表达、传递信息的一种重要手段，在日常生活各个方面都有重要意义。然而，在其生成、存储、传输过程中，往往有诸多因素会导致图像质量得到降低，使其难以满足实际应用的需求。因此，如何通过一定的图像处理技术来对低质量图像进行恢复是很有必要的。图像复原即是这样一种技术，它旨在从低质量观测图像中恢复出高质量清晰图像，目前在遥感图像处理、医疗诊断、智能监控等众多领域都有着重要的应用前景。
3.图像复原方法可分为基于模型的方法和基于学习的方法两大类。基于模型的方法利用图像自身信息提出具体的先验项并直接通过相应的优化算法进行求解，基于学习的方法根据训练样本利用相应的网络对高质量图像进行估计。其中，基于学习的方法在图像复原任务中得到了广泛的应用，拥有较快的处理速度和较佳的复原性能。然而，现有方法大多都是直接从训练数据中学习高低质量图像间的映射关系，未在网络设计中充分考虑图像的退化模型，限制了性能的进一步提升。且大多数网络还是在像素域处理，其性能有待进一步提升的空间。


技术实现要素：

4.本发明的目的是在小波域下基于交替方向乘子法(alternating direction method of multiplier,admm)将图像复原问题分解为复原子问题和去噪子问题分别求解，并以其子问题的优化过程指导深度网络的设计，从而构建一种基于小波域admm的深度卷积神经网络用于图像复原。
5.本发明提出的基于小波域admm深度网络的图像复原方法，主要包括以下操作步骤：
6.(1)首先将图像复原问题变换到小波域进行研究，提出基于小波域的图像复原模型；该复原模型首先解决一个小波域图像复原问题，再经过小波逆变换将图像变换到像素域；
7.(2)使用admm算法，对步骤(1)所述的小波域图像复原问题进行分解，得到一个复原子问题、一个去噪子问题、一个辅助变量迭代方程，并分别对这些问题分别求解；
8.(3)针对步骤(2)所述的去噪子问题，构建去噪网络d用于求解，得到去噪后的小波特征图zk；
9.(4)使用梯度下降法求解步骤(2)所述的复原子问题，得到迭代更新后的小波估计
10.(5)结合步骤(2)所述辅助变量迭代方程、步骤(3)所述去噪子问题的解、步骤(4)所述复原子问题的解及步骤(1)所述的基于小波域的复原模型，设计并搭建基于小波域
admm的深度卷积神经网络；
11.(6)利用训练图像数据集，训练步骤(5)中构建的网络；
12.(7)将低质量图像作为输入，利用步骤(6)训练出的模型，得到最终恢复出的高质量清晰图像。
附图说明
13.图1是本发明基于小波域admm深度网络的图像复原方法原理框图：其中，(a)为基于小波域admm的深度卷积神经网络结构图，(b)为子网络结构图(c)为去噪网络结构图。
14.图2是本发明用于去模糊的10张标准测试图像。
15.图3是本发明与六种方法对测试图像“barbara”的去高斯模糊结果的对比图(高斯模糊核尺寸为25
×
25，标准差为1.6，噪声级别为2)：其中，(a)为高斯模糊图像，(b)(c)(d)(e)(f)(g)(h)分别为方法1、方法2、方法3、方法4、方法5、方法6及本发明的去高斯模糊结果，(i)为原始图像。
16.图4是本发明与五种方法对测试图像“boats”的去运动模糊结果的对比图(运动模糊核尺寸为19
×
19，噪声级别为2.55)：其中，(a)为运动模糊图像，(b)(c)(d)(e)(f)(g)分别为方法2、方法1、方法7、方法5、方法6及本发明的去高斯模糊结果，(h)为原始图像。
17.图5是本发明用于去噪的12张标准测试图像。
18.图6是本发明与七种方法对测试图像“parrot”的去噪结果的对比图(噪声级别为50)：其中，(a)为含噪图像，(b)(c)(d)(e)(f)(g)(h)(i)分别为方法8、方法9、方法10、方法5、方法11、方法12、方法6及本发明的去噪结果，(j)为原始图像。
具体实施方式
19.下面结合附图对本发明作进一步说明：
20.图1中，基于小波域admm深度网络的图像复原方法，具体可以分为以下七个步骤：
21.(1)首先将图像复原问题变换到小波域进行研究，提出基于小波域的图像复原模型；该复原模型首先解决一个小波域图像复原问题，再经过小波逆变换将图像变换到像素域；
22.(2)使用admm算法，对步骤(1)所述的小波域图像复原问题进行分解，得到一个复原子问题、一个去噪子问题、一个辅助变量迭代方程，并分别对这些问题分别求解；
23.(3)针对步骤(2)所述的去噪子问题，构建去噪网络d用于求解，得到去噪后的小波特征图zk；
24.(4)使用梯度下降法求解步骤(2)所述的复原子问题，得到迭代更新后的小波估计
25.(5)结合步骤(2)所述辅助变量迭代方程、步骤(3)所述去噪子问题的解、步骤(4)所述复原子问题的解及步骤(1)所述的基于小波域的复原模型，设计并搭建基于小波域admm的深度卷积神经网络；
26.(6)利用训练图像数据集，训练步骤(5)中构建的网络；
27.(7)将低质量图像作为输入，利用步骤(6)训练出的模型，得到最终重建出的高质量清晰图像。
28.具体地，所述步骤(1)中，不同于大多数的复原方法直接在像素域对图像进行处理，本发明方法基于小波域的图像复原模型首先解决一个小波域图像复原问题，其表达式如下：
[0029][0030]
其中yw，xw分别表示低质量小波图像和原始高质量小波图像，为一个等效的小波域降质算子。是基于小波域的数据保真项，θ(
·
)是小波域先验项，λ是平衡以上两项的一个系数。
[0031]
其次，得到一个最佳小波图像估计xw后，通过小波逆变换将图像变换到像素域，得到复原重建的高质量图像。这个过程可以表示为：
[0032]
x＝w-1
xw[0033]
其中w-1
为小波逆变换操作算子，x为重建出的高质量清晰图像。
[0034]
所述步骤(2)中，使用admm算法将原小波域图像复原问题分解为复原子问题、去噪子问题和辅助变量迭代方程，分别如下：
[0035][0036][0037][0038]
其中，ρ为一个正的拉格朗日参数，z为待估计的小波域去噪图像，u为辅助变量。
[0039]
所述步骤(3)中，使用去噪网络对去噪子问题进行求解，得到去噪子问题的解为：
[0040][0041]
其中d(
·
)为去噪网络操作算子。
[0042]
所述步骤(4)中，使用梯度下降法对复原子问题进行求解，得到复原子问题的解为：
[0043][0044]
所述步骤(5)中，考虑到迭代求解的运算复杂度和深度网络的良好性能，本发明方法并不直接进行迭代求解，而是根据复原子问题和去噪子问题解的形式构建相应的深度网络，以实现端到端的图像复原。具体地，对于步骤(3)中去噪子问题的求解，构建了图1(c)所示的去噪网络。该网络先通过两个3
×
3的卷积层进行浅层特征的提取，接着通过d个密集残差块(rdb)实现进一步学习，并利用由一个concat层和1
×
1卷积层组成的特征融合层对学到的特征进行自适应融合，最后通过两个3
×
3的卷积层完成重建。该网络输入为小波特征xw和引入的辅助变量u，网络输出同样为一个小波特征图，整个网络是在小波域上实现图像去噪的。完成去噪子问题的求解后，即可将其应用于步骤(4)复原子问题求解中，根据步骤(4)所述复原子问题解的形式，可将其展开为图1(b)所示的子网络结构图。然后，以该子网
络为基本模块，结合上文所述的小波域复原模型，引入小波变换及小波逆变换，构建了图1(a)所示的基于小波域admm的卷积神经网络用于图像复原。网络中的矩阵操作均通过一个卷积层实现，对于输入低质量图像，可以直接通过该网络获得复原重建后的高质量清晰图像。
[0045]
所述步骤(6)中，针对不同的图像复原任务，首先构建不同的训练图像样本。如，针对去噪任务，生成对应的含噪图像构建训练样本对；针对去模糊任务，则先产生模糊图像构建样本对。然后，使用该训练样本对步骤(5)中提出的基于小波域admm的深度卷积神经网络进行训练。
[0046]
所述步骤(7)中，将低质量图像输入到步骤(6)训练好的网络模型中，得到最终复原重建出的高质量清晰图像。
[0047]
为了验证本发明方法的有效性，本发明针对去模糊任务和去噪任务分别进行了实验。
[0048]
在去模糊任务中，本发明用10张标准测试图像“barbara”、“boats”、“butterfly”、“c.man”、“house”、“leaves”、“lena”、“parrots”、“peppers”、“starfish”进行了实验，且针对高斯模糊和运动模糊情况分别进行了实验。
[0049]
针对高斯模糊，模糊图像的生成方式为：用标准差为1.6的25
×
25高斯模糊核对图像进行模糊，然后用噪声级为2的高斯噪声对模糊后的图像进行加噪处理。选取了六种去高斯模糊算法作为对比方法，且按照本发明中相同的降质过程及实验设置进行了训练测试。六种对比去高斯模糊算法为：
[0050]
方法1：tirer等人提出的方法，参考文献“tirer t,giryes r.image restoration by iterative denoising and backward projections[j].ieee transactions on image processing,2018,28(3):1220-1234.”[0051]
方法2：papyan等人提出的方法，参考文献“papyan v,elad m.multi-scale patch-based image restoration[j].ieee transactions on image processing,2015,25(1):249-261.”[0052]
方法3：danielyan等人提出的方法，参考文献“danielyan a,katkovnik v,egiazarian k.bm3d frames and variational image deblurring[j].ieee transactions on image processing,2011,21(4):1715-1728.”[0053]
方法4：dong等人提出的方法，参考文献“dong w,zhang l,shi g,et al.nonlocally centralized sparse representation for image restoration[j].ieee transactions on image processing,2012,22(4):1620-1630.”[0054]
方法5：zhang等人提出的方法，参考文献“zhang k,zuo w,gu s,et al.learning deep cnn denoiser prior for image restoration[c]//proceedings of the ieee conference on computer vision and pattern recognition.2017:3929-3938.”[0055]
方法6：dong等人提出的方法，参考文献“dong w,wang p,yin w,et al.denoising prior driven deep neural network for image restoration[j].ieee transactions on pattern analysis and machine intelligence,2018,41(10):2305-2318.”[0056]
针对运动模糊，模糊图像生成方式为：用参考文献“levin a,weiss y,durand f,et al.understanding and evaluating blind deconvolution algorithms[c]//
[0067]
方法10：zhang等人提出的方法，参考文献“zhang k,zuo w,chen y,et al.beyond a gaussian denoiser:residual learning of deep cnn for image denoising[j].ieee transactions on image processing,2017,26(7):3142-3155.”[0068]
方法11：lefkimmiatis等人提出的方法，参考文献“lefkimmiatis s.universal denoising networks:a novel cnn architecture for image denoising[c]//proceedings of the ieee conference on computer vision and pattern recognition.2018:3204-3213.”[0069]
方法12：wang等人提出的方法，参考文献“wang w,guo r,tian y,et al.cfsnet:toward a controllable feature space for image restoration[c]//proceedings of the ieee international conference on computer vision.2019:4140-4149.”[0070]
对比实验的内容如下：
[0071]
实验1，分别用方法1，方法2，方法3，方法4，方法5，方法6，以及本发明方法对10张测试图像模拟生成的高斯模糊图像进行去模糊处理。本实验中，模糊核取为标准差为1.6的25
×
25高斯模糊核，高斯噪声级别为2。表一给出了各个方法去模糊结果的psnr(peak signal to noise ratio)。另外，为了进行视觉比较，给出了在测试图像“barbara”上的去模糊效果图。“barbara”高斯模糊图像、各方法的去模糊结果及“barbara”原始图像分别如图3(a)、图3(b)、图3(c)、图3(d)、图3(e)、图3(f)、图3(g)、图3(h)及图3(i)所示。
[0072]
表一
[0073]
图像方法1方法2方法3方法4方法5方法6本发明barbara26.0925.2025.9926.5426.1526.4726.99boats30.9430.8431.1731.2231.4131.5431.89butterfly28.5829.7429.7929.7430.4430.6731.23c.man27.5127.6027.6827.9728.0628.2428.75house33.1233.3033.5633.3333.7934.2534.56leaves28.9829.5430.1330.1530.4330.2331.54lena30.8130.9330.9130.9831.1431.4831.65parrots31.6531.9231.9032.0331.8232.4032.90peppers29.3130.0929.6429.9530.6830.1830.58starfish30.3630.4430.5730.8330.7732.0032.04平均值29.7329.9630.1330.2730.4730.7531.21
[0074]
实验2，分别用方法2，方法1，方法7，方法5，方法6，以及本发明方法对10张测试图像模拟生成的运动模糊图像进行去模糊处理。本实验中，模糊核取为参考文献“levin a,weiss y,durand f,et al.understanding and evaluating blind deconvolution algorithms[c]//proceedings of the ieee conference on computer vision and pattern recognition.2009:1964-1971.”中所描述的19
×
19运动模糊核，高斯噪声级别为2.55。表二给出了各个方法去模糊结果的psnr(peak signal to noise ratio)。另外，为了进行视觉比较，给出了在测试图像“boats”上的去模糊效果图。“boats”运动模糊图像、各方法的去模糊结果及“boats”原始图像分别如图4(a)、图4(b)、图4(c)、图4(d)、图4(e)、图4(f)、图4(g)及图4(h)所示。
[0075]
表二
[0076]
图像方法2方法1方法7方法5方法6本发明barbara30.9831.6331.9332.3732.3932.89boats31.6632.1233.1733.0433.3933.74butterfly30.7530.0832.1032.2232.5833.03c.man30.5330.7231.4331.4931.7031.80house33.0434.9634.9434.8835.3435.40leaves30.5330.2232.1133.2832.9933.56lena31.8731.8133.3633.5333.8034.20parrots32.7233.0134.6634.4634.9835.18peppers31.0631.2131.8331.9832.0532.14starfish30.9330.6432.2232.2532.7132.88平均值31.4131.6432.7732.9533.1933.48
[0077]
实验3，分别用方法8，方法9，方法10，方法5，方法11，方法12，方法6以及本发明方法对12张测试图像模拟生成的含噪图像进行去噪处理。本实验中，选取的高斯噪声级别为50。表三给出了各个方法去噪结果的psnr(peak signal to noise ratio)。另外，为了进行视觉比较，给出了在测试图像“parrot”上的去噪效果图。“parrot”含噪图像、各方法的去噪结果及“parrot”原始图像分别如图6(a)、图6(b)、图6(c)、图6(d)、图6(e)、图6(f)、图6(g)、图6(h)、图6(i)及图6(j)所示。
[0078]
表三
[0079]
图像方法8方法9方法10方法5方法11方法12方法6本发明c.man26.1326.6227.0026.8826.8427.1127.0627.16house29.6929.4030.0129.9629.7430.2530.6830.84peppers26.6827.0427.2927.3327.2527.4627.3127.53starfish25.0425.4125.7025.5725.6025.7925.7625.73monar25.8226.2826.7626.6126.5226.8927.0126.99airpl25.1025.4925.8725.8925.6925.8425.8925.87parrot25.9026.1726.4826.5526.3026.4326.5626.67lena29.0528.8929.3629.4029.1729.4329.7929.85barbara27.2325.7826.2326.2426.9226.2426.8427.22boat26.7826.8427.1927.1727.0427.2227.4027.48man26.8126.9227.2427.1727.1127.1727.2527.32couple26.4626.4926.8926.8826.6426.8927.2227.20平均值26.7226.7827.1727.1427.0727.2227.4027.49
[0080]
对于高斯模糊情况，从图3所示的去模糊结果图可以看出，几种对比方法均能实现一定程度的模糊去除。方法1和方法2能够大体实现图像的去模糊，但是细节恢复不清晰。方法3和方法4较前面两种方法性能有所提升但是仍然有很多细节并未恢复出来。方法5和方法6在去模糊上表现出不错的性能，基本实现了细节信息的恢复。但是相对而言，本发明的结果中图像更加清晰，细节恢复更加精细，整体视觉效果更佳。另外，从表一所给的psnr上
看，本发明方法取得了最高的psnr值，且较其它方法有较大的提升，比所有对比方法中效果最好的方法6还高出0.46db。对于运动模糊情况，从图4所示的去模糊结果图可以看出，几种对比方法均实现了较好的去模糊效果，能恢复出比较清晰的图像。但相对而言，本发明方法还是获得了更好的复原结果，在保证模糊去除程度的基础上，极大程度上地恢复出了更多的纹理信息，且图像边缘结构保持更好。此外，由表二所示结果来看，本发明方法仍取得了最高的psnr值，比对比方法中效果最好的方法6高出0.29db。综上，可以看出本发明方法在去模糊任务上有很好的复原效果，不论是高斯模糊还是运动模糊，且在综合考虑主观视觉效果和客观评价指标的情况下，本发明方法都表现出了良好的性能。
[0081]
对于去噪任务，从图6所示的去噪结果图及表三所示的psnr结果可以看出，本发明方法表现出较好的去噪效果。方法8和方法9对于噪声去除的能力较差，一些噪声并未完全被处理干净。其余的对比方法均有不错的去噪效果，能完成图像中噪声的大部分去除，且呈现出比较接近的效果。相较来说，本发明方法较这些方法取得了更佳的效果，从客观评价指标上来说取得了最高的psnr值，从视觉效果来看在去除噪声的同时本发明方法很好地保持了图像的纹理细节和边缘结构，获得了更好的视觉效果。
[0082]
总的来说，本发明方法不论在去模糊还是去噪任务中，都取得了很好的复原效果。通过综合比较各方法的主观视觉效果和客观评价指标，可以看出，本发明的复原效果更好，能够处理多种不同的复原任务。综上所述，本发明是一种有效的图像复原方法。