一种区域自适应的图像去雾系统及方法与流程
本发明属于图像修复领域，尤其涉及一种区域自适应的图像去雾系统及方法。
背景技术：
在现实生活中，雾、烟、尘等不透明的微小颗粒的存在使得拍摄得到的图像会产生一定程度的视觉质量降级(如颜色偏移，亮度和对比度变化)。由于许多的计算机视觉任务(如目标检测，语义分割，目标跟踪，自动驾驶)依赖清晰的图像作为训练样本，因此，图像去雾作为一个预处理步骤具有非常重大的意义。给定一张有雾图片，传统的去雾方法首先估计介质透射谱和全局大气光强度，然后利用大气散射模型来得到清晰无雾的图像；许多深度学习方法直接回归介质透射谱或清晰图像来提高去雾的性能。但是之前的方法试图用一个网络来同时处理去雾和纹理恢复问题，忽略了两个不同的目标函数之间潜在的对抗性，在恢复有雾图片的亮度时不可避免地牺牲了纹理细节，或者在通过对比度增强恢复纹理细节同时不能完全去除雾，即表现为过去雾和欠去雾现象。
因此，本发明提出了一种区域自适应的两阶段图像去雾方法，通过将图像去雾任务解耦成图像去雾和纹理修复两个子任务，来避免过去雾与欠去雾问题，并提高去雾的效果与性能。
技术实现要素：
针对现有技术中的上述不足，本发明提供的一种区域自适应的图像去雾系统及方法，解决了传统去雾方法中过去雾和欠去雾的问题。
为了达到以上目的，本发明采用的技术方案为：
本方案提供一种区域自适应的图像去雾系统，包括一种区域自适应的图像去雾系统，其特征在于，包括预去雾模块、与所述预去雾模块连接的自适应区域划分模块、分别与所述自适应区域划分模块连接的余雾去除模块和纹理修复模块，以及分别与所述余雾去除模块和纹理修复模块连接的特征融合模块，其中：
所述预去雾模块用于对有雾图片进行预去雾处理，得到有雾图片最初的中间去雾结果和纹理损失谱；
所述自适应区域划分模块用于利用纹理损失谱将最初的中间去雾结果划分为欠去雾区域和纹理损失区域；
所述余雾去除模块用于对欠去雾区域进行余雾处理，并提取经余雾处理后的特征谱；
所述纹理修复模块利用纹理损失区域对有雾图片进行纹理修复，并提取经纹理修复后的特征谱；
所述特征融合模块用于将经余雾处理后的特征谱和经纹理修复后的特征谱进行级联处理，并依次通过第九卷积单元和第十卷积单元将融合后的特征谱映射至图像空间，得到最终的去雾图像。
进一步地，所述预去雾模块包括第一输入层、与所述第一输入层连接的第一卷积单元、与所述第一卷积单元连接的第二卷积单元、分别与所述第二卷积单元连接的第一平滑空洞卷积残差块和第三卷积单元、与所述第一平滑空洞卷积残差块连接的第二平滑空洞卷积残差块、与所述第三卷积单元连接的第四卷积单元、分别与所述第二平滑空洞卷积残差块和第四卷积单元连接的第一反卷积单元、与所述第一反卷积单元连接的第五卷积单元、分别与所述第五卷积单元连接的第六卷积单元和第七卷积单元，以及分别与所述第六卷积单元和第七卷积单元连接的第一输出层，其中：
所述第一卷积单元包括依次连接的第一卷积层、第一激活函数层relu和第一归一化层bn，所述第一卷积层的卷积核大小为3×3，步长为1，输入通道数为4，输出通道数为32；
所述第二卷积单元包括依次连接的第二卷积层、第二激活函数层relu和第二归一化层bn，所述第二卷积层的卷积核大小为3×3，步长为2，输入通道数为32，输出通道数为64；
所述第三卷积单元包括依次连接的第三卷积层、第三激活函数层relu和第三归一化层bn，所述第三卷积层的卷积核大小为3×3，步长为1，输入通道数为64，输出通道数为64；
所述第四卷积单元包括依次连接的第四卷积层、第四激活函数层relu和第四归一化层bn，所述第四卷积层的卷积核大小为3×3，步长为1，输入通道数为64，输出通道数为64；
所述第五卷积单元包括依次连接的第五卷积层、第五激活函数层relu和第五归一化层bn，所述第五卷积层的卷积核大小为3×3，步长为1，输入通道数为32，输出通道数为32；
所述第六卷积单元包括依次连接的第六卷积层、第六激活函数层relu和第六归一化层bn，所述第六卷积层的卷积核大小为1×1，步长为1，输入通道数为32，输出通道数为3；
所述第七卷积单元包括依次连接的第七卷积层、第七激活函数层relu和第七归一化层bn，所述第七卷积层的卷积核大小为3×3，步长为1，输入通道数为32，输出通道数为1；
所述第一平滑空洞卷积残差块的输入通道数和输出通道数均为64，空洞率为2；
所述第二平滑空洞卷积残差块的输入通道数和输出通道数均为64，空洞率为4；
所述第一反卷积单元包括依次连接的第一反卷积层、激活函数层relu和归一化层bn，所述第一反卷积层的卷积核大小为4×4，步长为2，输入通道数为64，输出通道数为32。
再进一步地，所述余雾去除模块包括依次连接的第八卷积层、第八激活函数层relu和第八归一化层bn，所述第八卷积层的卷积核大小为3×3，步长为1，输入通道数为3，输出通道数为16；
所述纹理修复模块为多尺度融合网络，其中：骨干网为unet++网络，网络的底部级联有10个残差块。
再进一步地，所述特征融合模块包括依次连接的第二输入层、第九卷积单元、第十卷积单元和第二输出层，其中：
所述第九卷积单元包括依次连接的第九卷积层、第九激活函数层relu和第九归一化层bn，所述第九卷积层的卷积核大小为3×3，步长为1，输入通道数为32，输出通道数为32；
所述第十卷积单元包括依次连接的第十卷积层、第十激活函数层relu和第十归一化层bn，所述第十卷积层的卷积核大小为1×1，步长为1，输入通道数为32，输出通道数为3。
再进一步地，所述图像去雾系统的损失函数的表达式如下：
losstotal＝λ1·lossmid+lossfinal
其中，losstotal表示图像去雾系统的损失函数，λ1表示超参数，lossmid表示最初的中间去雾结果与真值的均方误差，lossfinal表示最终的去雾图像与真值的均方误差，w，h分别表示输入有雾图像的宽度和高度，x,y分别表示水平和垂直方向的坐标，i表示最初的中间去雾结果，c表示最终的中间去雾结果，j表示有雾图片对应的清晰图片。
基于上述系统，本发明还公开了一种区域自适应的图像去雾方法，包括如下步骤：
s1、对有雾图片进行预去雾处理，得到有雾图片最初的中间去雾结果和纹理损失谱；
s2、利用纹理损失谱将所述最初的中间去雾结果划分成欠去雾区域和纹理损失区域；
s3、对所述欠去雾区域进行余雾去除处理，并提取经余雾处理后的特征谱；
s4、利用纹理损失区域对有雾图片进行纹理修复，并提取经纹理修复后的特征谱；
s5、对经余雾处理后的特征谱和经纹理修复后的特征谱进行级联处理，并依次通过第八卷积单元和第九卷积单元将融合后的特征谱映射至图像空间，得到最终的去雾图像，从而完成区域自适应的图像去雾。
进一步地，所述步骤s1包括如下步骤：
s101、利用梯度算子方法计算每张有雾图片对应的梯度谱；
s102、将所述有雾图片及其对应的梯度谱依次通过第一卷积单元和第二卷积单元映射至图像特征空间，得到有雾图片的特征谱；
s103、将所述有雾图片的特征谱分别输入至两个分支，其一个分支依次通过第一平滑空洞卷积残差块和第二平滑空洞卷积残差块提取特征谱中的语义信息和上下文信息，另一分支依次通过第三卷积单元和第四卷积单元提取特征谱中的边缘信息和纹理信息；
s104、将所述语义信息、上下文信息、边缘信息和纹理信息，通过逐像素相加进行融合处理，并利用第一反卷积单元将进行融合后的特征谱的分辨率放大2倍；
s105、将放大后的特征谱通过第五卷积单元进行特征映射，并将映射后的特征谱分别输入至第六卷积单元和第七卷积单元得到有雾图片最初的中间去雾结果和纹理损失谱。
再进一步地，所述步骤s101中梯度谱m(x,y)的表达式如下：
gx＝f(x+1,y)-f(x,y)
gy＝f(x,y+1)-f(x,y)
其中，gx表示有雾图片在坐标(x,y)处的水平方向梯度，gy有雾图片在坐标(x,y)处的垂直方向梯度，f表示宽度与高度的二维图像平面。
再进一步地，所述步骤s2包括如下步骤：
s201、根据纹理损失谱m和最初的中间去雾结果i计算得到纹理损失区域o，其表达式如下：
其中，
s202、根据纹理损失谱1-m和最初的中间去雾结果i计算得到欠去雾区域u，其表达式如下：
其中，
再进一步地，所述步骤s4中提取经纹理修复后的特征谱xi,j的表达式如下：
其中，xi,j表示经i次下采样和j次特征融合过后的特征谱，f表示一个最大池化层和两个级联的3×3的卷积层，g表示两个级联的3×3的卷积层，r表示10个级联的残差块，
本发明的有益效果：
(1)本发明是一种单图像去雾方法，将图像去雾问题解耦成去雾和纹理修复两个子问题，并用分别两个进行处理，避免了采用单阶段去雾网络在去雾的同时导致纹理失真的问题，或在修复纹理的同时不能完全去除雾，即学习不同目标函数时存在的潜在对抗性，有效地解决了过去雾与欠去雾问题。
(2)本发明利用预去雾生成纹理损失谱，并通过纹理损失谱将中间去雾结果自适应的分成欠去雾和纹理损失区域，来分别进行二次去雾和纹理修复，因此，能够以区域自适应的方式实现单图像去雾，并提高去雾结果的主观效果和客观指标。
附图说明
图1为本发明的系统结构图。
图2为本发明中预去雾模块结构图。
图3为本发明中特征谱融合模块结构图。
图4为本发明的方法流程图。
图5为本发明中自适应区域划分框图。
图6为本发明中纹理修复模块结构图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
实施例
本发明提供了一种区域自适应的图像去雾系统，通过将图像去雾和纹理修复分别进行解耦以处理单图像去雾问题，避免了传统的方法中只用一个网络来学习两个不同的目标函数，提出的两阶段去雾网络能够通过区域自适应的方式来恢复清晰图像，并避免过去雾与欠去雾问题，本发明中，过去雾指去雾时造成了颜色失真和纹理损失。欠去雾指没有完全去除雾，仍有余雾残留。一种区域自适应的图像去雾方法，其结构如图1所示，包括预去雾模块、与所述预去雾模块连接的自适应区域划分模块、分别与所述自适应区域划分模块连接的余雾去除模块和纹理修复模块，以及分别与所述余雾去除模块和纹理修复模块连接的特征融合模块，所述预去雾模块用于对有雾图片进行预去雾处理，得到有雾图片最初的中间去雾结果和纹理损失谱；所述自适应区域划分模块用于利用纹理损失谱将最初的中间去雾结果划分为欠去雾区域和纹理损失区域；所述余雾去除模块用于对欠去雾区域进行余雾处理，并提取经余雾处理后的特征谱；所述纹理修复模块利用纹理损失区域对有雾图片进行纹理修复，并提取经纹理修复后的特征谱；所述特征融合模块用于将经余雾处理后的特征谱和经纹理修复后的特征谱进行级联处理，并依次通过第九卷积单元和第十卷积单元将融合后的特征谱映射至图像空间，得到最终的去雾图像。
如图2所示，所述预去雾模块包括第一输入层、与第一所述输入层连接的第一卷积单元、与所述第一卷积单元连接的第二卷积单元、分别与所述第二卷积单元连接的第一平滑空洞卷积残差块和第三卷积单元、与所述第一平滑空洞卷积残差块连接的第二平滑空洞卷积残差块、与所述第三卷积单元连接的第四卷积单元、分别与所述第二平滑空洞卷积残差块和第四卷积单元连接的第一反卷积单元、与所述第一反卷积单元连接的第五卷积单元、分别与所述第五卷积单元连接的第六卷积单元和第七卷积单元，以及分别与所述第六卷积单元和第七卷积单元连接的第一输出层，所述第一卷积单元包括依次连接的第一卷积层、第一激活函数层relu和第一归一化层bn，所述第一卷积层的卷积核大小为3×3，步长为1，输入通道数为4，输出通道数为32；所述第二卷积单元包括依次连接的第二卷积层、第二激活函数层relu和第二归一化层bn，所述第二卷积层的卷积核大小为3×3，步长为2，输入通道数为32，输出通道数为64；所述第三卷积单元包括依次连接的第三卷积层、第三激活函数层relu和第三归一化层bn，所述第三卷积层的卷积核大小为3×3，步长为1，输入通道数为64，输出通道数为64；所述第四卷积单元包括依次连接的第四卷积层、第四激活函数层relu和第四归一化层bn，所述第四卷积层的卷积核大小为3×3，步长为1，输入通道数为64，输出通道数为64；所述第五卷积单元包括依次连接的第五卷积层、第五激活函数层relu和第五归一化层bn，所述第五卷积层的卷积核大小为3×3，步长为1，输入通道数为32，输出通道数为32；所述第六卷积单元包括依次连接的第六卷积层、第六激活函数层relu和第六归一化层bn，所述第六卷积层的卷积核大小为1×1，步长为1，输入通道数为32，输出通道数为3；所述第七卷积单元包括依次连接的第七卷积层、第七激活函数层relu和第七归一化层bn，所述第七卷积层的卷积核大小为3×3，步长为1，输入通道数为32，输出通道数为1；所述第一平滑空洞卷积残差块的输入通道数和输出通道数均为64，空洞率为2；所述第二平滑空洞卷积残差块的输入通道数和输出通道数均为64，空洞率为4；所述第一反卷积单元包括依次连接的第一反卷积层、激活函数层relu和归一化层bn，所述第一反卷积层的卷积核大小为4×4，步长为2，输入通道数为64，输出通道数为32。所述余雾去除模块包括依次连接的第八卷积层、第八激活函数层relu和第八归一化层bn，所述第八卷积层的卷积核大小为3×3，步长为1，输入通道数为3，输出通道数为16。所述纹理修复模块为多尺度融合网络，其中：骨干网为unet++网络，网络的底部级联有10个残差块。
如图3所示，所述特征融合模块包括依次连接的第二输入层、第九卷积单元、第十卷积单元和第二输出层，所述第九卷积单元包括依次连接的第九卷积层、第九激活函数层relu和第九归一化层bn，所述第九卷积层的卷积核大小为3×3，步长为1，输入通道数为32，输出通道数为32；所述第十卷积单元包括依次连接的第十卷积层、第十激活函数层relu和第十归一化层bn，所述第十卷积层的卷积核大小为1×1，步长为1，输入通道数为32，输出通道数为3。
本实施例中，整个图像去雾系统的损失函数由两部分组成：(1)预去雾结果与清晰图片之间的均方误差lossmid，通过该损失来优化预去雾模块的网络参数，使预去雾模块输出的预测结果逼近清晰无雾图片。(2)整个去雾网络输出的最终去雾结果与清晰图片之间的均方误差lossfinal，该损失不断优化整个去雾网络的参数，使其能够自适应学习预去雾结果中可能发生的纹理损失的区域(纹理损失谱)，通过纹理损失谱将预去雾结果划分成两个子区域，分别进行余雾去除和纹理修复，从而恢复清晰无雾的图片。其中，整个图像去雾系统的损失函数的表达式如下：
losstotal＝λ1·lossmid+lossfinal
其中，losstotal表示图像去雾系统的损失函数，λ1表示超参数，lossmid表示最初的中间去雾结果与真值的均方误差，lossfinal表示最终的去雾图像与真值的均方误差，w，h分别表示输入有雾图像的宽度和高度，x,y分别表示水平和垂直方向的坐标，i表示最初的中间去雾结果，c表示最终的中间去雾结果，j表示有雾图片对应的清晰图片。
如图4所示，基于上述系统，本发明还公开了一种区域自适应的图像去雾方法，其实现方法如下：
s1、对有雾图片进行预去雾处理，得到有雾图片最初的中间去雾结果和纹理损失谱，其实现方法如下：
s101、利用梯度算子方法计算每张有雾图片对应的梯度谱，所述梯度谱m(x,y)的表达式如下：
gx＝f(x+1,y)-f(x,y)
gy＝f(x,y+1)-f(x,y)
其中，gx表示有雾图片在坐标(x,y)处的水平方向梯度，gy有雾图片在坐标(x,y)处的垂直方向梯度，x的范围为[0,w]，y的范围为[0,h],f表示宽度与高度的二维图像平面；
s102、将所述有雾图片及其对应的梯度谱依次通过第一卷积单元和第二卷积单元映射至图像特征空间，得到有雾图片的特征谱，第四卷积单元的卷积步长为2，使得特征谱的分辨率降为原图的1/2；
s103、将所述有雾图片的特征谱分别输入至两个分支，其一个分支依次通过第一平滑空洞卷积残差块和第二平滑空洞卷积残差块提取特征谱中的语义信息和上下文信息，另一分支依次通过第三卷积单元和第四卷积单元提取特征谱中的边缘信息和纹理信息；
s104、将所述一个分支提取特征谱中的语义信息和上下文信息和另一分支提取特征谱中的边缘信息和纹理信息，通过逐像素相加进行融合处理，并利用第一反卷积单元将进行融合后的特征谱的分辨率放大2倍；
s105、将放大后的特征谱通过第五卷积单元进行特征映射，并将映射后的特征谱分别输入至第六卷积单元和第七卷积单元得到有雾图片最初的中间去雾结果和纹理损失谱。
本实施例中，为减小的计算复杂度，预去雾模块采用轻量级的网络架构，网络输入为有雾图片及其对应的梯度谱，网络输出为中间去雾结果(3，h，w)和纹理损失谱(1，h，w)，其中，h、w分别为输入图像的高度和宽度。纹理损失谱为单通道图像，像素值较大的区域属于过去雾区域，存在纹理失真现象；像素值较小的区域属于欠去雾区域，表明仍有雾残留。该模块具有多尺度感受野，能够有效捕捉高级的上下文信息和低级的纹理、边缘信息，其具体网络框图如图2所示。本实施例中，第一卷积单元和第二卷积单元卷积conv，实例归一化in,激活函数relu将输入信号映射到特征空间。
s2、如图5所示，利用纹理损失谱将所述最初的中间去雾结果划分成欠去雾区域和纹理损失区域，其实现方法如下：
s201、根据纹理损失谱m和最初的中间去雾结果i计算得到纹理损失区域o，其表达式如下：
其中，
s202、根据纹理损失谱1-m和最初的中间去雾结果i计算得到欠去雾区域u，其表达式如下：
其中，
s3、将所述欠去雾区域进行余雾去除处理，提取经余雾处理后的特征谱。
本实施例中，将自适应区域划分输出的过去雾区域进行余雾去除来实现进一步去雾。进行余雾具体为通过一个卷积块(conv+in+relu)，对其进行特征提取，输出的特征谱大小为(16，h，w)。
s4、利用纹理损失区域对有雾图片进行纹理修复，提取经纹理修复后的特征谱，所述步骤s4中提取经纹理修复后的特征谱的表达式如下：
其中，xi,j表示经i次下采样和j次特征融合过后的特征谱，f表示一个最大池化层和两个级联的3×3的卷积层，g表示两个级联的3×3的卷积层，r表示10个级联的残差块，
本实施例中，如图6所示，为恢复更加丰富的纹理细节并调整对比度，纹理修复采用多尺度融合网络，使得不同分辨率的特征谱之间的信息相互聚合。骨干网络采用unet++网络，并在网络的最底部级联10个残差块来增加网络的特征表示能力和纹理修复能力，输出的特征谱大小为(16，h，w)，由图6可以看出纹理修改模块输出的特征谱为x0,4
s5、对经余雾处理后的特征谱和经纹理修复后的特征谱进行级联处理，并依次通过第八卷积单元和第九卷积单元将融合后的特征谱映射至图像空间，得到最终的去雾图像，从而完成区域自适应的图像去雾。
- 还没有人留言评论。精彩留言会获得点赞！