一种基于多尺度和非局部的轻量去雨方法与流程

deep detail network[c]//ieee conference on computer vision and pattern recognition.honolulu,usa,2017:3855-3863.
[0013]
[5]li g,he x,zhang w,et al.non-locally enhanced encoder-decoder network for single image de-raining[c]//2018acm multimedia conference,2018.


技术实现要素：

[0014]
本发明提供了一种基于多尺度和非局部的轻量去雨方法，本发明通过构建多尺度特征金字塔结构和convlstm(卷积长短期记忆网络)模块实现雨线特征信息的粗提取和融合；同时利用基于纵横交错关注技术(一种轻量的非局部方法)的特征提取模块从远程依赖中捕获上下文信息，使得残差图像r更为高效和准确地生成，以取得高质量的去雨图像，详见下文描述：
[0015]
一种基于多尺度和非局部的轻量去雨方法，所述方法包括：
[0016]
构建由初始模块和convlstm模块组成的粗融合网络；
[0017]
构建由基于纵横交错关注技术的特征提取模块和重构模块组成的精融合网络；
[0018]
通过有雨图像数据库训练粗融合网络和精融合网络，使用均方差误差损失和感知损失对预测出的去雨图像计算损失值；
[0019]
利用反向传播机制更新网络参数，获取基于多尺度和非局部的轻量去雨模型，基于轻量去雨模型对有雨图像进行处理。
[0020]
其中，所述初始模块，用于生成原尺度、1/2尺度和1/4尺度的特征图像，组成多尺度特征金字塔；所述初始模块包含三个卷积操作，分别为一个步长为1的3
×
3卷积层和两个步长为2的3
×
3卷积层；
[0021]
将多尺度特征金字塔送入三个convlstm模块中，经一层卷积提取特征，再经过一层convlstm层后将小尺度的图像特征上采样，融合在大尺度图像特征中作为当前convlstm层的输入。
[0022]
进一步地，所述特征提取模块是一个编解码结构，其中卷积核大小为3的encoder的下采样尺度为2；在解密部分，将卷积层替换为纵横交错关注层，用于捕获上下文信息；
[0023]
在特征提取模块内部增加跨连接融合同尺度的特征图，将三个特征提取模块输出的特征图重构为残差图像，有雨图像减去残差图像即可得到去雨图像。
[0024]
其中，将convlstm模块和特征提取模块的输出，与上采样的小尺度特征图像融合，作为当前阶段步长为1的3
×
3卷积层的输入；
[0025]
将三个卷积层输出的特征图像送入重构模块，最终得到残差图像。
[0026]
本发明提供的技术方案的有益效果是：
[0027]
1、本发明通过卷积操作对有雨图像进行下采样分解，利用convlstm模块实现雨线特征的粗提取和融合，利用基于纵横交错关注技术的特征提取模块实现雨线特征的精提取和融合；
[0028]
2、本发明通过多尺度特征金字塔结构，convlstm模块和基于轻量非局部技术的特征提取模块，高效利用了多尺度有雨图像中不同雨线间的相似性特征，因而对于残差图像r的建模更为准确，网络模型的去雨效果更佳；
[0029]
3、本发明通过在去雨网络内部增加上采样操作、跨连接操作和叠加操作，将相同
阶段不同尺度和不同阶段相同尺度的特征图像融合在一起，实现不同语义信息的相结合，使得残差图像的生成更具鲁棒性。
附图说明
[0030]
图1为一种基于多尺度和非局部的轻量去雨方法的流程图；
[0031]
图2为粗融合网络和精融合网络的结构图；
[0032]
图3为粗融合网络部分的初始模块的结构图；
[0033]
图4为精融合网络部分的特征提取模块的结构图；
[0034]
图5为特征提取模块的纵横交错关注的结构图；
[0035]
图6为精融合网络部分的重构模块的结构图。
具体实施方式
[0036]
为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
[0037]
实施例1
[0038]
一种基于多尺度和非局部的轻量去雨方法，参见图1，该方法包括以下步骤：
[0039]
101：构建有雨图像数据库(包含训练数据集和测试数据集)；
[0040]
其中，该步骤具体为：收集不同场景下的图像，对收集到的图像进行photoshop人工处理增加不同雨量的雨线，生成有雨图像y。选取部分有雨图像y改变大小至n
×
n，作为训练数据集。其中，n为预设图像大小。
[0041]
102：构建粗融合网络；
[0042]
其中，该粗融合网络主要包括：初始模块和convlstm模块。分批将步骤101中的有雨图像y送入初始模块中，生成原尺度、1/2尺度和1/4尺度的特征图像。再将三种尺度的图像所组成的特征金字塔送入convlstm模块中，图像首先经过一层卷积进一步提取特征，之后再经过一层convlstm。在每一层操作中都将小尺度图像特征上采样，并融合在大尺度图像特征中作为下一层的输入。
[0043]
103：构建精融合网络；
[0044]
其中，该精融合网络主要包括：基于纵横交错关注技术的特征提取模块和重构模块。首先，将步骤102得到的多尺度粗融合特征送入三个特征提取模块，每一个特征提取模块均是encoder-decoder(编解码)结构，其中卷积核大小为3的encoder的下采样尺度为2。
[0045]
此外，通过增加跨连接来融合同尺度的特征图像，使得特征图的表达更具鲁棒性。最后，将三个特征提取模块输出的特征图像送入重构模块，得到残差图像r，有雨图像y减去残差图像r即可得到去雨图像。
[0046]
104：利用步骤101构建的有雨图像数据库训练总体网络(粗融合网络和精融合网络)。在训练总体网络时，使用mse loss(均方差误差损失)和perceptual loss(感知损失)两种损失函数对预测出的去雨图像计算损失值。利用反向传播机制更新网络参数，最终得到一个基于多尺度和非局部的轻量去雨模型；
[0047]
105：基于轻量去雨模型对有雨图像进行处理。
[0048]
实施例2
[0049]
下面结合具体的实验数据对实施例1中的方案进行进一步地介绍，详见下文描述：
[0050]
201：准备数据集
[0051]
其中，该步骤具体包括：
[0052]
1)准备训练和测试数据集；
[0053]
did-mdn作者通过photoshop人工合成了一个有雨图像数据集，其中训练集包含12000张，测试集包含1200张。训练集用于训练去雨网络模型，测试集用于评估去雨网络模型的性能。
[0054]
2)增强数据。
[0055]
为了提升去雨网络模型的性能，应对输入的有雨图像进行增强。增强的方法包括但不限于：随机翻转，随机剪裁，图像缩放等。
[0056]
202：设计并训练粗融合网络和精融合网络；
[0057]
其中，该步骤具体包括：
[0058]
1)构建粗融合网络：主要包含初始模块和convlstm模块。
[0059]
将有雨图像y送入初始模块中，生成原尺度、1/2尺度和1/4尺度的特征图像，组成多尺度特征金字塔。如图3所示，初始模块包含三个卷积操作，分别为一个步长为1的3
×
3卷积层和两个步长为2的3
×
3卷积层。不同尺度特征图像的感受野范围不同，通过构造多尺度特征金字塔结构能够帮助后续网络模块提取不同雨线间的相似性特征，有助于残差图像的生成。
[0060]
再将多尺度特征金字塔送入三个convlstm模块中，图像首先经过一层卷积提取特征，之后再经过一层convlstm。如图2所示，在经过convlstm层后都会将小尺度的图像特征上采样，并融合在大尺度图像特征中作为当前convlstm层的输入。
[0061]
convlstm由fc-lstm(全连接长短期记忆网络)发展而来，不仅具有时序建模能力，还具有提取局部特征的能力。fc-lstm通常由输入门i
t
,遗忘门f
t
,单元状态c
t
,输出门o
t
,隐藏状态h
t
五个部分组成。convlstm层则是将fc-lstm的输入与各个门之间的连接由前馈式替换成了卷积，同时状态与状态之间的运算也换成了卷积，其工作原理可以由以下公式表示：
[0062][0063][0064][0065][0066][0067]
其中，*表示卷积，表示hadamard product(哈达玛积)。x,c,h,i,f,o都是四维的tensor(张量)，第一维度为batch size(批大小)，第二维度为通道数，后两个维度为行和列的空间信息。对于convlstm的初始状态，单元状态c
t
和隐藏状态h
t
都设置为零状态。
[0068]
2)构建精融合网络：主要包含基于纵横交错关注技术的特征提取模块和重构模块。
[0069]
如图2所示，将convlstm层输出的多尺度图像特征送入三个特征提取模块中，在经
过特征提取模块后都会将小尺度的图像特征上采样，并融合在大尺度图像特征中作为当前特征提取模块的输入。
[0070]
如图4所示，每一个特征提取模块都是一个encoder-decoder(编解码)结构，其中卷积核大小为3的encoder的下采样尺度为2。在decoder部分，将传统的卷积层替换为纵横交错关注层，有助于网络从远程依赖中捕获上下文信息。此外，在特征提取模块内部增加跨连接来融合同尺度的特征图，使得特征图的表达更具鲁棒性。最后，将三个特征提取模块输出的特征图重构为残差图像r，有雨图像y减去残差图像r即可得到去雨图像。
[0071]
纵横交错关注层与传统非局部方法不同，特征图像的每一个像素只与本行本列的其他像素进行运算。如图5所示，纵横交错关注层首先对输入的特征图像h进行2个1
×
1卷积操作来生成两张特征图像q和k，然后通过亲和操作和softmax操作来生成关注图a，接着对特征图像h进行另一个1
×
1卷积操作来生成特征图像v，用来实现特征的自适应，最后通过聚合操作可以得到该层最终的输出特征图像h'。其中，亲和操作是计算特征图像q的每一处位置与特征图像k中同行同列像素的相关度关系，聚合操作则是将关注图a和特征图像v融合后与特征图像h叠加在一起生成特征图像h'。纵横交错关注层作为一种轻量的非局部方法，不仅能学习到全局特征的长程依赖性，还能节省大量的计算提高网络去雨速度。
[0072]
如图2和图6所示，将convlstm模块和特征提取模块的输出，与上采样的小尺度特征图像融合，作为当前阶段步长为1的3
×
3卷积层的输入，之后将三个卷积层输出的特征图像送入重构模块，最终得到残差图像r。这样设计的目的是：能够让相同阶段不同尺度和不同阶段相同尺度的特征图像融合在一起，实现不同语义信息的相结合，能够在一定程度上弥补部分操作所带来的特征信息丢失问题，使得残差图像的生成更具鲁棒性。
[0073]
3)设计网络训练过程中的损失函数：在训练总体网络(粗融合网络和精融合网络)时采用mse loss和perceptual loss两种损失函数对预测出的去雨图像计算损失值。
[0074]
4)初始化网络参数：网络参数一般包括卷积层的滤波器参数，归一化层的参数，以及学习率大小、损失函数权重、衰减系数等。本发明采用kaiming方法对网络参数随机初始化。
[0075]
5)训练模型：通过最小化损失函数mse loss和perceptual loss，优化总体网络，实现对有雨图像中雨线的去除。最终训练完成的模型即为本发明基于多尺度和非局部的轻量去雨算法的模型。
[0076]
203：测试去雨效果
[0077]
其中，该步骤具体包括：
[0078]
1)准备好测试集数据，调用设计完成的网络结构和训练完成的网络参数，并将测试集中的有雨图像输入到训练好的模型中；
[0079]
2)有雨图像y依次通过粗融合网络的初始模块和三个convlstm模块完成图像特征的粗提取，再经过精融合网络的三个特征提取模块，最后经过重构模块生成残差图像r，有雨图像y减去残差图像r即可得到去雨图像；
[0080]
3)将去雨图像与测试集中的无雨图像x逐一进行psnr(峰值信噪比)和ssim(结构相似度)计算，得出的psnr和ssim的值即可代表本系统的去雨效果。
[0081]
其中，当psnr的值位于20-30db之间，代表去雨效果一般；当位于30db以上时，代表去雨效果佳。当ssim的值越接近1时，代表去雨效果越好。
[0082]
本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。
[0083]
本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0084]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。