一种同时去雾和提高分辨率的真实场景视觉增强方法与流程

1.本发明涉及图像处理技术领域，具体是涉及一种同时去雾和提高分辨率的真实场景视觉增强方法。


背景技术：

2.在恶劣天气(沙尘暴或者雾霾)和不同成像条件(水下或者低照度)下捕获图像时，由于环境介质中悬浮的大量颗粒(如雾霾，沙尘)或者由于光线在穿透水体的过程中受到水体吸收衰减变色和水体杂质干扰，导致观察到的图像出现低能见度，质量退化和颜色失真等问题，这些不理想的退化会影响图像的可视性，进而影响后续图像处理任务，如物体识别，道路监控系统，遥感系统等。因此，在复杂的成像条件下，如雾霾、沙尘暴、水下或低照度等，户外图像的可视性增强一直是计算机视觉的一项重要任务。
3.目前，基于传统模型或者神经网络训练，计算机视觉领域国内外学者提出了很多去雾和图像超分辨的相关算法。首先，在图像去雾领域，最著名的图像去雾方法是由何恺明提出的基于暗通道先验(dcp)的图像去雾方法，暗通道先验是基于这样的观察：在大多数非天空斑块中，至少有一个颜色通道的一些像素的强度非常低，在无雾的室外图像中接近于零。此外，近年来许多深度学习网络用于去雾的方法也被广泛提出，其中cai等人提出了一个dehazenet用于估计介质传输图，li等人提出了一个端到端的aod-net，可以直接输出无雾图像，还有一些用对抗生成网络(hardgan)等来解决去雾问题。
4.尽管以上的算法都得到了不错的去雾效果，但是很多恢复后的无雾图像仍然会受到压缩伪影和块状伪影的破坏；除此之外，本来存在于原始图像中的噪声会随着去雾过程而被放大，进而使得最终恢复图像的清晰度和可视化降低。考虑到图像超分辨算法可以利用更高维度的图像信息来实现更好的图像恢复，所以可以将去雾之后的图像视为低分辨率图像，同时利用图像超分辨的方法来提升图像分辨率以得到更多细节并且减少伪影和噪声。
5.单幅图像超分辨率(sisr)通常可以分为以下类型：基于插值的方法，基于先验的优化方法和基于神经网络的方法。在基于插值的方法中，常用的方法是双线性和双立方体插值器、lanczos和最近邻等，这些方法很方便，但在模糊的情况下性能有限。在基于先验的方法中，yang提出了一种用于图像超分辨率的高效稀疏表示先验等。很多神经网络的方法也用来处理低分辨率图片，如ircnn,srmd,srcnn,vdsr等。
6.尽管以上的工作在分别处理图像去雾或者图像超分辨任务中各自都可以得到不错的效果，但是得到的恢复图像要么无法很好地达到去雾效果，要么会受到伪影和噪声的破坏，很难在恶劣的环境条件下得到清晰的非退化图像。因此，在去除雾霾的同时，减少去雾图像中的伪影和噪声，提升图像分辨率，得到更加清晰的视觉效果图像，是需要解决的技术问题。


技术实现要素：

7.为解决上述技术问题，本发明基于秩一先验和一个用于处理多种图像退化问题的超分辨深度神经网络作为先验，在变分模型的框架下提出了一个同时去除雾霾和提高图像分辨率的真实场景的视觉增强方法，在得到去雾图像的同时，对图像的分辨率进行提升，以得到更清晰的视觉效果。
8.本发明所述的一种同时去雾和提高分辨率的真实场景视觉增强方法，步骤为：
9.s1、输入雾霾图像i(x)，基于秩一先验得到初始散射光图和初始去雾图像j(x)；
10.s2、基于变分模型框架，同时结合秩一先验及一个超分辨深度神经网络先验，提出优化问题；
11.s3、通过引入辅助变量u和v，增加惩罚项，基于半二次分裂(hqs)方法，得到新的无约束优化问题；
12.s4、利用交替最小化算法，对新的无约束优化问题求解，得到最终视觉增强图像。
13.进一步的，s1具体为，
14.s1-1、根据输入的雾霾图像i(x)，计算每个r,g,b通道的统一辐射度其反映的是均匀的环境光：
[0015][0016]
ω＝m
×
n,c＝{r,g,b}
[0017]
其中，x是图像中的像素位置，c是指r,g,b三通道中任意一个通道，ic(x)是雾霾图像的颜色通道图，m和n分别是雾霾图像的对应的长和宽，ω是雾霾图像的面积大小。
[0018]
s2-2、正则化统一辐射度得到描述环境光源光谱特征的统一光谱
[0019][0020]
s2-3、根据秩一先验得到初始散射光图：
[0021][0022]
取中最高的0.1％范数中像素的索引，将这些像素索引对应的i(x)中的像素均值作为全局大气光a，得到初始去雾图像j(x)为：
[0023][0024]
其中，x是图像中的像素位置，ω∈(0，1]是一个残差参数，t0是一个避免除零的小的正数。
[0025]
进一步的，s2中，基于变分模型框架，同时结合秩一先验及一个超分辨深度神经网络先验，提出的优化问题为：
[0026][0027]
其中，表示假定的模糊核k和要恢复的高分辨率图像j之间的卷积操作，
↓s是
一个后续的下采样操作，比例系数为s；式中的第一项是衡量需更新的散射光图对于初始的散射光图的数据保真项，第二项是根据去雾的物理模型得到的数据保真项，φ(j)是由srmd(super-resolution network for multiple degradations，多种退化的超分辨网络)训练出来的超分辨率网络，用plug-and-play的方式作为模型先验；α，β是控制保真项的参数，μ是控制变分项的参数，λ是控制超分辨网络先验项的参数；这里,采用具有周期性边界条件的后向差分来近似两个离散微分算子和
[0028][0029]
其中，表示中第i行和第j列的像素值。
[0030]
进一步的，s3中通过引入辅助变量u和v，增加惩罚项，基于hqs方法，得到新的无约束优化问题为：
[0031][0032]
其中，γ和σ是惩罚参数，当γ和σ趋近于无穷的时候，s3的结果趋向s2的结果。
[0033]
进一步的，s4中，利用交替最小化算法，得到以下的子问题，进而分别迭代求解散射光图辅助变量u和v，低分辨图像其中，是第k+1次迭代时更新的散射光图，u
k+1
、v
k+1
是第k+1次迭代时更新的辅助变量，是第k+1次迭代时更新的低分辨率图像：
[0034][0035][0036][0037]
s4-1、利用split-bregman方法求解，得到的结果和基于x方向和y方向在第k+1次迭代时的显示解
[0038][0039]
其中，和分别是傅里叶变换和逆傅里叶变换，是对的复共轭算子，
[0040][0041]
这里和分别是基于x方向和y方向的梯度算子，和分别是基于x方向和y方向在第k次迭代时更新的辅助变量，和分别是基于x方向和y方向在第k次迭代时更新的参数；
[0042][0043]
其中，
[0044]
s4-2、直接求得闭式解，
[0045][0046]
为了得到一个更加自然的去雾图片，引入参数ω∈(0，1]，上述公式可以进一步写成：
[0047][0048]
s4-3、子问题可以进一步写为：
[0049][0050]
这里，最终的视觉增强图像表示为关于低分辨率图像v，模糊核k，噪声水平比例因子s和参数λ的函数：
[0051][0052]
其中θ表示map推理的参数，映射函数由基于cnn的超分辨网络srmd学习。
[0053]
本发明所述的有益效果为：本发明首先利用秩一先验得到一幅初始的去雾图片和散射光图，然后在变分模型的框架下，同时结合了秩一先验去雾和一个用于处理多种图像退化问题的超分辨深度神经网络先验，利用半二次分裂(hqs)的优化算法，同时交替迭代估计用于去除雾霾的散射光图和通过深度超分辨率网络寻求高质量的视觉增强图像；不仅可以极大地去除雾霾的不利影响，同时也可以减少伪影和抑制噪声的出现，最终得到细节更加清晰，可视化更高的高质量图像。此外，所提出的方法还可以处理其他复杂场景，即不同
天气和成像条件下的图像恢复，例如，沙尘天气，水下条件成像以及低照度条件成像，具有很高的鲁棒性。
[0054]
本发明可以进一步作为图像处理软件应用到其他图像处理任务中，如道路监控系统，水下探测，夜晚低照度情况下的监测系统以及目标识别，在复杂场景下，提高获取图像的清晰度和可识别度。
附图说明
[0055]
图1为利用秩一先验得到初始的散射光图和去雾图像的流程图；
[0056]
图2为本发明在变分模型下，同时结合秩一先验和一个用于处理多种图像退化问题的超分辨深度神经网络先验的图像视觉增强算法的流程图；
[0057]
图3为雾天的实验结果，(a)为雾天图像，(b)为利用暗通道方法恢复的图像，(c)为利用直接使用秩一先验恢复的图像，(d)为本发明采用的方法得到的视觉增强图像；
[0058]
图4为沙尘天气的实验结果，(a)为沙尘天气图像，(b)为利用著名的暗通道方法恢复的图像，(c)为利用直接使用秩一先验恢复的图像，(d)为本发明采用的方法得到的视觉增强图像；
[0059]
图5为不同天气和成像条件下的图像恢复实验结果，其中(a)为雾天，(b)为沙尘天气，(c)为水下条件成像，(d)为低照度条件成像。
具体实施方式
[0060]
为了使本发明的内容更容易被清楚地理解，下面根据具体实施例并结合附图，对本发明作进一步详细的说明。
[0061]
本发明所述的一种同时去雾和提高分辨率的真实场景视觉增强方法，其步骤为：
[0062]
s1、输入雾霾图像i(x)，基于秩一先验得到初始散射光图和初始去雾图像j(x)；
[0063]
描述由于大气中的颗粒会对光产生吸收和散射作用造成的退化的数学模型通常是：
[0064][0065]
其中，x是图像中的像素位置，ο表示点乘，i(x)和j(x)分别是待去雾图像和要恢复的无雾图像，a是全局大气光，t(x)为空气折射率。
[0066]
本发明不考虑求解空气折射率t(x)，相反，考虑求解描述影响描述影响成像的环境散射光部分的散射光图进而，可以以重写模型求解得到要恢复的无雾图像j(x)：
[0067][0068]
其中，ω∈(0，1]是一个残差参数，在实践中为远处的物体保持少量的雾度，t0是一个避免除零的小的正数，t0＝0.001；基于以上的模型，为了得到恢复的去雾图像，需要求解散射光图和全局大气光a。
[0069]
如图1，s1的具体步骤为：
[0070]
s1-1、根据输入的雾霾图像i(x)，计算每个r,g,b通道的统一辐射度其反映的是均匀的环境光：
[0071][0072]
ω＝m
×
n,c＝{r,g,b}
[0073]
其中，m和n是图像的尺寸大小；
[0074]
s2-2、正则化统一辐射度得到描述环境光源光谱特征的统一光谱
[0075][0076]
s2-3、根据秩一先验得到初始散射光图：
[0077][0078]
取中最高的0.1％范数中像素的索引，将这些像素索引对应的i(x)中的像素均值作为全局大气光a，得到初始去雾图像j(x)为：
[0079][0080]
其中，x是图像中的像素位置，ω∈(0，1]是一个残差参数，t0是一个避免除零的小的正数。
[0081]
s2、基于变分模型框架，同时结合秩一先验及一个超分辨深度神经网络先验，提出优化问题；
[0082]
在得到初始的散射光图和初始去雾图像j(x)之后，本发明通过变分模型框架，同时结合了秩一先验去雾和一个用于处理多种图像退化问题的超分辨深度神经网络srmd先验，提出以下的优化问题：
[0083][0084]
其中，表示假定的模糊核k和要恢复的高分辨率图像j之间的卷积操作，
↓s是一个后续的下采样操作，比例系数为s；式中的第一项是衡量对于的数据保真项，第二项是根据去雾的物理模型得到的数据保真项，φ(j)是由srmd(super-resolution network for multiple degradations，多种退化的超分辨网络)训练出来的超分辨率网络，用plug-and-play的方式作为模型先验；α，β是控制保真项的参数，μ是控制变分项的参数，λ是控制超分辨网络先验项的参数。这里,采用具有周期性边界条件的后向差分来近似两个离散微分算子和
[0085][0086]
其中，表示中第i行和第j列的像素值。
[0087]
s3、通过引入辅助变量u和v，增加惩罚项，基于半二次分裂(hqs)方法，得到新的无约束优化问题；
[0088][0089]
其中，γ和σ是惩罚参数，当γ和σ趋近于无穷的时候，公式(4)的结果趋向公式(3)。
[0090]
s4、利用交替最小化算法，对新的无约束优化问题求解，得到最终视觉增强图像；具体为：
[0091]
利用交替最小化算法，可以得到以下的子问题，进而分别迭代求解散射光图辅助变量u和v，低分辨图像
[0092][0093][0094][0095]
求解(5):可以利用split-bregman方法求解，
[0096][0097]
和
[0098]
交替求解和(u
x
，uy):
[0099]
[0100][0101]
由于公式(9)的等式右侧是可微的，利用快速傅里叶变换(fft)，可以得到的结果:
[0102][0103]
其中，
[0104][0105]
利用广义的收缩公式，求解公式(10)，得到的显示解：
[0106][0107]
其中，
[0108]
求解(6):可以直接求得闭式解，
[0109][0110]
为了得到一个更加自然的去雾图片，与模型(2)相似，引入参数ω∈(0，1]，公式(13)可以进一步写成：
[0111][0112]
求解(7):公式(7)首先可以进一步写为
[0113][0114]
这里，最终的视觉增强图像表示为关于低分辨率图像v，模糊核k，噪声水平比例因子s和参数λ的函数：
[0115][0116]
其中θ表示map推理的参数，映射函数由基于cnn的超分辨网络srmd学习。
[0117]
至此，根据以上的迭代优化求解过程，可以得到优化后的散射光图和最终的去雾并且提升分辨率的视觉增强图像
[0118]
如图3所示，在雾霾天气下，对比著名的暗通道先验方法，其中，本发明所述的方法如图3(d)所示，在处理天空和非天空区域的时候不会出现块状伪影和雾气，并且恢复出来的图像细节更加清晰，而图3(b)中暗通道先验在处理时出现了不理想的块状伪影和噪声，图像整体的效果比较模糊。此外，对比直接只用秩一先验恢复的图像，本发明在极大地去除了雾霾的同时减少了伪影和抑制了噪声的出现。
[0119]
图4展示了在沙尘天气下，暗通道先验方法如图4(b)所示，无法很好的去除沙尘，直接使用秩一先验恢复的图像如图4(c)所示，虽然可以去除沙尘，但是同时也放大了存在于原始图片中的噪声，而本发明所述的方法如图4(d)所示，在去除沙尘的同时抑制了噪声的出现，得到的恢复图像也更加清晰。
[0120]
图5展示了本发明的鲁棒性，在处理不同天气和条件下的退化图像时，本发明的方法依然可以有很好效果并且可以恢复更多的细节。
[0121]
本发明所述的变分模型不仅加入了全变分项，还将秩一先验和超分辨深度神经网络先验加入进了同一个优化问题，其中，全变分项可以有效去除图像中不理想的噪声，依靠梯度下降对图像进行平滑处理，有效地在图像内部对图像进行平滑，而在图像边缘尽可能得到比较锐利的边缘；秩一先验可以有效地去除图像中的雾霾沙尘等不利影响；超分辨深度神经网络可以有效去除压缩伪影，块状伪影和噪声等的不利影响，增强图片的可视性。基于此，本发明在变分模型的框架下提出的同时去除雾霾和提高图像分辨率的真实场景的视觉增强方法，可以在得到去雾图像的同时，对图像的分辨率进行提升，进而得到更清晰的视觉效果。
[0122]
以上所述仅为本发明的优选方案，并非作为对本发明的进一步限定，凡是利用本发明说明书及附图内容所作的各种等效变化均在本发明的保护范围之内。