一种图像去雨方法和装置

1.本发明主要涉及图像处理技术领域，具体涉及一种图像去雨方法和装置。


背景技术：

2.雨是一种常见的天气现象，目前大多数计算机视觉任务都假设处于晴朗的环境，雨的出现显著地影响了许多计算机视觉任务的可见性和性能，如目标检测和实例分割等。因此，图像去雨成为数字图像处理以及计算机视觉技术领域重要基础任务之一。
3.现有去雨方法使用成对的训练集，利用有监督学习的方法训练网络。虽然这些方法具有良好的性能，但当从现实世界的雨图像中去除雨时，它们可能会失败。原因是降雨条纹在合成数据中是均匀分布的，而在现实世界中则不是。而且在真实场景中，很难获取成对的图像。最近，一些基于半监督和无监督去雨雨方法被提出，以提高模型在现实世界中的泛化能力。然而，在这些方法中仍然存在雾相关特征提取不精确、图像生成质量低的问题。


技术实现要素：

4.本发明所要解决的技术问题是针对现有技术的不足，提供一种图像去雨方法和装置。
5.本发明解决上述技术问题的技术方案如下：一种图像去雨方法，包括如下步骤：
6.s1：导入多个原始雨图像以及与多个所述原始雨图像一一对应的多个清晰雨图像，并分别对各个所述原始雨图像以及各个所述清晰雨图像进行数据增强处理，得到各个所述原始雨图像的雨天训练图像以及各个所述清晰雨图像的雨天清晰训练图像；
7.s2：构建初始去雨模型；其中，所述初始去雨模型包括图像处理模块和图像判别模块；
8.s3：基于所述图像处理模块,分别根据各个所述雨天训练图像以及各个所述清晰雨图像的雨天清晰训练图像进行图像处理，得到各个所述雨天训练图像的重构雨天图像、雨条纹去除图像以及各个所述清晰雨图像的重构清晰图像；
9.s4：根据各个所述原始雨图像、各个所述清晰雨图像、各个所述雨天训练图像的重构雨天图像以及各个所述清晰雨图像的重构清晰图像进行损失函数分析，得到各个所述原始雨图像的损失函数；
10.s5：基于所述图像判别模块,分别根据各个所述原始雨图像、各个所述清晰雨图像、各个所述雨天训练图像的雨条纹去除图像以及各个所述清晰雨图像的重构清晰图像进行均方差计算，得到各个所述原始雨图像的均方差；
11.s6：判断所有所述原始雨图像是否均满足条件，所述条件为所述原始雨图像的损失函数小于或等于预设损失函数，且所述原始雨图像的均方差小于或等于预设均方差；若否，则根据所有所述原始雨图像的损失函数以及均方差分别对所述图像处理模块进行参数更新，参数更新后返回步骤s3循环执行，直至所有所述原始雨图像均满足所述条件；若是，则将最后一次参数更新后的所述图像处理模块作为目标去雨模型，并执行步骤s7；
12.s7：导入待处理雨图像，通过所述目标去雨模型对所述待处理雨图像进行图像去雨处理，得到图像去雨结果。
13.基于上述一种图像去雨方法，本发明还提供一种图像去雨装置。
14.本发明解决上述技术问题的另一技术方案如下：一种图像去雨装置，包括：
15.数据增强模块，用于导入多个原始雨图像以及与多个所述原始雨图像一一对应的多个清晰雨图像，并分别对各个所述原始雨图像以及各个所述清晰雨图像进行数据增强处理，得到各个所述原始雨图像的雨天训练图像以及各个所述清晰雨图像的雨天清晰训练图像；
16.模型构建模块，用于构建初始去雨模型；其中，所述初始去雨模型包括图像处理模块和图像判别模块；
17.处理模块，用于基于所述图像处理模块,分别根据各个所述雨天训练图像以及各个所述清晰雨图像的雨天清晰训练图像进行图像处理，得到各个所述雨天训练图像的重构雨天图像、雨条纹去除图像以及各个所述清晰雨图像的重构清晰图像；
18.损失函数分析模块，用于根据各个所述原始雨图像、各个所述清晰雨图像、各个所述雨天训练图像的重构雨天图像以及各个所述清晰雨图像的重构清晰图像进行损失函数分析，得到各个所述原始雨图像的损失函数；
19.均方差计算模块，用于基于所述图像判别模块,分别根据各个所述原始雨图像、各个所述清晰雨图像、各个所述雨天训练图像的雨条纹去除图像以及各个所述清晰雨图像的重构清晰图像进行均方差计算，得到各个所述原始雨图像的均方差；
20.判断模块，用于判断所有所述原始雨图像是否均满足条件，所述条件为所述原始雨图像的损失函数小于或等于预设损失函数，且所述原始雨图像的均方差小于或等于预设均方差；若否，则根据所有所述原始雨图像的损失函数以及均方差分别对所述图像处理模块进行参数更新，参数更新后返回所述处理模块中，直至所有所述原始雨图像均满足所述条件；若是，则将最后一次参数更新后的所述图像处理模块作为目标去雨模型；
21.去雨结果获得模块，用于导入待处理雨图像，通过所述目标去雨模型对所述待处理雨图像进行图像去雨处理，得到图像去雨结果。
22.基于上述一种图像去雨方法，本发明还提供一种图像去雨系统。
23.本发明解决上述技术问题的另一技术方案如下：一种图像去雨系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，当所述处理器执行所述计算机程序时，实现如上所述的图像去雨方法。
24.基于上述一种图像去雨方法，本发明还提供一种计算机可读存储介质。
25.本发明解决上述技术问题的另一技术方案如下：一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被处理器执行时，实现如上所述的图像去雨方法。
26.本发明的有益效果是：通过对原始雨图像清晰雨图像的数据增强处理得到雨天训练图像以及雨天清晰训练图像，基于图像处理模块根据雨天训练图像以及雨天清晰训练图像的图像处理得到重构雨天图像、雨条纹去除图像以及重构清晰图像，根据原始雨图像、清晰雨图像、重构雨天图像以及重构清晰图像的损失函数分析得到损失函数，基于图像判别模块根据原始雨图像、清晰雨图像、雨条纹去除图像以及重构清晰图像的均方差计算得到
均方差，判断所有原始雨图像是否均满足条件，若否则根据所有原始雨图像的损失函数以及均方差对图像处理模块的参数更新，直至所有原始雨图像均满足条件，则将最后一次参数更新后的图像处理模块作为目标去雨模型，通目标去雨模型对待处理雨图像的图像去雨处理得到图像去雨结果，解决了雾相关特征提取不精确、图像生成质量低的问题，获得了图像内容更丰富、生成质量更高的清晰图像，提高了清晰图像的准确性。
附图说明
27.图1为本发明实施例提供的一种图像去雨方法的流程示意图；
28.图2为本发明实施例提供的一种图像去雨装置的模块框图。
具体实施方式
29.以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
30.图1为本发明实施例提供的一种图像去雨方法的流程示意图。
31.如图1所示，一种图像去雨方法，包括如下步骤：
32.s1：导入多个原始雨图像以及与多个所述原始雨图像一一对应的多个清晰雨图像，并分别对各个所述原始雨图像以及各个所述清晰雨图像进行数据增强处理，得到各个所述原始雨图像的雨天训练图像以及各个所述清晰雨图像的雨天清晰训练图像；
33.s2：构建初始去雨模型；其中，所述初始去雨模型包括图像处理模块和图像判别模块；
34.s3：基于所述图像处理模块,分别根据各个所述雨天训练图像以及各个所述清晰雨图像的雨天清晰训练图像进行图像处理，得到各个所述雨天训练图像的重构雨天图像、雨条纹去除图像以及各个所述清晰雨图像的重构清晰图像；
35.s4：根据各个所述原始雨图像、各个所述清晰雨图像、各个所述雨天训练图像的重构雨天图像以及各个所述清晰雨图像的重构清晰图像进行损失函数分析，得到各个所述原始雨图像的损失函数；
36.s5：基于所述图像判别模块,分别根据各个所述原始雨图像、各个所述清晰雨图像、各个所述雨天训练图像的雨条纹去除图像以及各个所述清晰雨图像的重构清晰图像进行均方差计算，得到各个所述原始雨图像的均方差；
37.s6：判断所有所述原始雨图像是否均满足条件，所述条件为所述原始雨图像的损失函数小于或等于预设损失函数，且所述原始雨图像的均方差小于或等于预设均方差；若否，则根据所有所述原始雨图像的损失函数以及均方差分别对所述图像处理模块进行参数更新，参数更新后返回步骤s3循环执行，直至所有所述原始雨图像均满足所述条件；若是，则将最后一次参数更新后的所述图像处理模块作为目标去雨模型，并执行步骤s7；
38.s7：导入待处理雨图像，通过所述目标去雨模型对所述待处理雨图像进行图像去雨处理，得到图像去雨结果。
39.优选地，所述预设均方差可以为0.5。
40.应理解地，对所述原始雨图像和清晰图像(即所述清晰雨图像)进行数据增强，得到非配对训练样本，所述训练样本包含了非配对的雨天图像训练样本(即所述雨天训练图
像)和清晰图像训练样本(即所述雨天清晰训练图像)，并将所述训练样本(即所述雨天训练图像和所述雨天清晰训练图像)输入到基于无监督学习的去雨模型(即所述初始去雨模型)中进行训练。
41.应理解地，对所述原始雨图像和清晰图像(即所述清晰雨图像)进行随机裁剪，得到训练样本(即所述雨天训练图像和所述雨天清晰训练图像)，并将所述训练样本(即所述雨天训练图像和所述雨天清晰训练图像)输入到基于无监督学习的去雨模型(即所述初始去雨模型)中进行训练。
42.具体地，对所述原始雨天图像和清晰图像(即所述清晰雨图像)进行采样，即进行样本的格式、大小、像素等方面进行处理，得到模型的训练样本(即所述雨天训练图像和所述雨天清晰训练图像)，并将训练样本(即所述雨天训练图像和所述雨天清晰训练图像)输入到基于无监督学习的去雨模型(即所述初始去雨模型)中进行训练。
43.上述实施例中，通过对原始雨图像清晰雨图像的数据增强处理得到雨天训练图像以及雨天清晰训练图像，基于图像处理模块根据雨天训练图像以及雨天清晰训练图像的图像处理得到重构雨天图像、雨条纹去除图像以及重构清晰图像，根据原始雨图像、清晰雨图像、重构雨天图像以及重构清晰图像的损失函数分析得到损失函数，基于图像判别模块根据原始雨图像、清晰雨图像、雨条纹去除图像以及重构清晰图像的均方差计算得到均方差，判断所有原始雨图像是否均满足条件，若否则根据所有原始雨图像的损失函数以及均方差对图像处理模块的参数更新，直至所有原始雨图像均满足条件，则将最后一次参数更新后的图像处理模块作为目标去雨模型，通目标去雨模型对待处理雨图像的图像去雨处理得到图像去雨结果，解决了雾相关特征提取不精确、图像生成质量低的问题，获得了图像内容更丰富、生成质量更高的清晰图像，提高了清晰图像的准确性。
44.可选地，作为本发明的一个实施例，所述图像处理模块包括雨条纹提取单元、雨条纹去除单元以及雨图像生成单元，所述步骤s3的过程包括：
45.基于所述雨条纹提取单元,分别根据各个所述雨天训练图像进行雨条纹的提取，得到各个所述雨天训练图像的雨条纹提取图像；
46.基于所述雨条纹去除单元，分别根据各个所述雨天训练图像进行雨条纹的去除，得到各个所述雨天训练图像的雨条纹去除图像；
47.根据各个所述雨天训练图像的雨条纹提取图像以及所述雨条纹去除图像进行图像融合，得到各个所述雨天训练图像的第一融合图像；
48.根据各个所述雨天训练图像的雨条纹提取图像以及各个所述清晰雨图像的雨天清晰训练图像进行图像融合，得到各个所述清晰雨图像的第二融合图像；
49.基于所述雨图像生成单元，分别根据各个所述雨天训练图像的雨条纹提取图像、第一融合图像以及各个所述清晰雨图像的第二融合图像进行重构，得到各个所述雨天训练图像的重构雨天图像以及各个所述清晰雨图像的待去除清晰图像；
50.基于所述雨条纹去除单元，分别根据各个所述清晰雨图像的待去除清晰图像进行雨条纹的去除，得到各个所述雨天训练图像的重构清晰图像。
51.应理解地，将所述雨天图像训练样本(即所述雨天训练图像)分别输入进雨条纹提取模块和雨条纹去除模块，得到雨条纹提取模块的输出(即所述雨条纹提取图像)和雨条纹去除模块的输出(即所述雨条纹去除图像)，对所述雨条纹提取模块的输出(即所述雨条纹
提取图像)和雨条纹去除模块的输出(即所述雨条纹去除图像)进行图像融合输入到雨图像生成模块，得到雨图像生成模块的输出(即所述第一融合图像)。
52.上述实施例中，基于图像处理模块根据雨天训练图像以及雨天清晰训练图像的图像处理得到重构雨天图像、雨条纹去除图像以及重构清晰图像，能够预测图像中的雨条纹形状与位置以及清晰图像，获得了图像内容更丰富、生成质量更高的清晰图像，提高了清晰图像的准确性。
53.可选地，作为本发明的一个实施例，所述雨条纹提取单元包括卷积核和sigmoid激活函数层，所述基于所述雨条纹提取单元,分别根据各个所述雨天训练图像进行雨条纹的提取，得到各个所述雨天训练图像的雨条纹提取图像的过程包括：
54.基于所述卷积核，分别根据各个所述雨天训练图像进行特征提取，得到各个所述雨天训练图像的特征提取后图像；
55.基于所述sigmoid激活函数层，分别根据各个所述特征提取后图像进行归一化处理，得到各个所述雨天训练图像的雨条纹提取图像。
56.应理解地，为了适应不同强度雨的图像，使用多个并行的雨特征聚合块来聚合全局雨相关信息，并同时使用不同大小的所述卷积核来学习雨条纹特征的多尺度相关性。通过关注信息最丰富的知识来提高网络的辨别学习能力，以更准确地表达雨特征。
57.应理解地，所述雨特征聚合块，首先使用不同大小卷积核来学习雨相关特征的多尺度相关性。并进一步模拟了雨条纹特征的长距离依赖模式和位置模式。提取全局特征。为了细化相关信息以获得更好的融合和表示，对全局特征进行权重分配。为了在空间维度上有效地突出了与雨相关的特征。最后使用所述sigmoid激活函数来加权并行雨特征聚合块块的输出，以调整在原始输入的不同空间位置的信息的重要性。
58.具体地，在雨条纹提取模块中，首先对输入图像(即所述雨天训练图像)扩展其通道数，得到高维特征。然后，使用多个并行雨特征聚合块来用于聚合不同的特征尺度的全局雨条纹信息。在雨特征聚合块的第一层中，使用3
×
3和5
×
5卷积核来学习雨和雾相关特征的多尺度相关性。最后使用sigmoid激活函数来加权并行雨特征聚合块的输出，以调整在原始输入的不同空间位置的信息的重要性。
59.应理解地，为了适应不同强度雨的图像，使用多个并行雨特征聚合块来聚合全局雨相关信息，并同时使用不同大小的卷积核来学习雨条纹特征的多尺度相关性。通过关注信息最丰富的知识来提高网络的辨别学习能力，以更准确地表达雨特征。
60.具体地，所述雨特征聚合块，首先使用不同大小卷积核来学习雨相关特征的多尺度相关性。并进一步模拟了雨条纹特征的长距离依赖模式和位置模式。提取全局特征。为了细化相关信息以获得更好的融合和表示，对全局特征进行权重分配。为了在空间维度上有效地突出了与雨相关的特征。最后使用sigmoid激活函数来加权并行雨特征聚合块的输出，以调整在原始输入的不同空间位置的信息的重要性。
61.上述实施例中，基于卷积核根据雨天训练图像的特征提取得到特征提取后图像，基于sigmoid激活函数层根据特征提取后图像的归一化处理得到雨条纹提取图像，能够学习雨和雾相关特征的多尺度相关性，调整在原始输入的不同空间位置的信息的重要性，通过关注信息最丰富的知识来提高网络的辨别学习能力，以更准确地表达雨特征，同时，也有效地突出了与雨相关的特征。
62.可选地，作为本发明的一个实施例，所述雨条纹去除单元包括编码块、残差块以及解码块，所述基于所述雨条纹去除单元，分别根据各个所述雨天训练图像进行雨条纹的去除，得到各个所述雨天训练图像的雨条纹去除图像的过程包括：
63.基于所述编码块，分别根据各个所述雨天训练图像进行编码，得到各个所述雨天训练图像的编码后图像；
64.基于所述残差块，分别根据各个所述编码后图像进行特征提取，得到各个所述雨天训练图像的特征提取后编码图像，并分别将各个所述雨天训练图像的编码后图像以及特征提取后编码图像进行特征融合，得到各个所述雨天训练图像的融合图像；
65.基于所述解码块，分别根据各个所述融合图像进行解码，得到各个所述雨天训练图像的雨条纹去除图像。
66.应理解地，所述编码块用于对输入图像进行信息编码、压缩；所述残差块用于防止梯度的消失同时对所述编码块输出结果进一步细化特征；所述解码块用于对卷积神经网络模型中的卷积层进行下采样，将所述残差块得到结果提取，得到清晰图像(即所述雨条纹去除图像)。
67.具体地，在雨条纹去除模块中，首先对输入图像(即所述雨天训练图像)进行卷积，提取浅层特征，然后用平均池化操作对浅层特征进行降采样得到最终编码特征，执行两次上述过程。为了避免网络深度增加导致的梯度消失和过拟合问题，利用残差网络将编码特征进一步细化。最后，在解码过程中，为了保留图像内容和丰富的细节，使用密集连接融合不同层的输出。
68.上述实施例中，基于雨条纹去除单元根据雨天训练图像的雨条纹去除得到雨条纹去除图像，提取了浅层特征，避免了网络深度增加导致的梯度消失和过拟合的问题，保留了图像内容和丰富的细节。
69.可选地，作为本发明的一个实施例，所述雨图像生成单元包括多个第一卷积层和多个第二卷积层，所述基于所述雨图像生成单元，分别根据各个所述雨天训练图像的雨条纹提取图像、第一融合图像以及各个所述清晰雨图像的第二融合图像进行重构，得到各个所述雨天训练图像的重构雨天图像以及各个所述清晰雨图像的待去除清晰图像的过程包括：
70.基于多个所述第一卷积层，分别根据各个所述雨天训练图像的第一融合图像进行特征提取，得到各个所述雨天训练图像的第一高级语义信息；
71.基于第一式，根据各个所述雨天训练图像的第一高级语义信息以及雨条纹提取图像进行第一亲和力权值的计算，得到各个所述雨天训练图像的第一亲和力权值，所述第一式为：
[0072][0073]
其中，ω
a1
为第一亲和力权值，h1为第一高级语义信息，f
rain
为雨条纹提取图像，k为预设的高级语义特征内包含的通道数；
[0074]
根据所有所述雨天训练图像的所述第一亲和力权值分别对各个所述第一卷积层进行参数更新，得到各个所述第一卷积层的更新后第一卷积层；
[0075]
基于多个所述更新后第一卷积层，分别根据各个所述雨天训练图像的第一融合图
像进行特征提取，得到各个所述雨天训练图像的重构雨天图像；
[0076]
基于多个所述第二卷积层，分别根据各个所述雨天训练图像的第二融合图像进行特征提取，得到各个所述雨天训练图像的第二高级语义信息；
[0077]
基于第二式，根据各个所述雨天训练图像的第二高级语义信息以及雨条纹提取图像进行第二亲和力权值的计算，得到各个所述雨天训练图像的第二亲和力权值，所述第二式为：
[0078][0079]
其中，ω
a2
为第二亲和力权值，h2为第二高级语义信息，f
rain
为雨条纹提取图像，k为预设的高级语义特征内包含的通道数；
[0080]
根据所有所述雨天训练图像的所述第二亲和力权值分别对各个所述第二卷积层进行参数更新，得到各个所述第二卷积层的更新后第二卷积层；
[0081]
基于多个所述更新后第二卷积层，分别根据各个所述雨天训练图像的第二融合图像进行特征提取，得到各个所述雨天训练图像的待去除清晰图像。
[0082]
应理解地，所述雨图像生成模块用于去除额外的背景信息，进一步保留雨条纹特征，生成更加逼真的生成雨天图像。
[0083]
具体地，在雨图像生成模块中，首先用卷积层(即所述第一卷积层或所述第二卷积层)提取输入图像的语义信息(即所述第一高级语义信息或所述第二高级语义信息)。然后，使用以下公式来计算高级语义信息(即所述第一高级语义信息或所述第二高级语义信息)与雨相关特征(即所述雨条纹提取图像)之间的亲和权值(即所述第一亲和力权值或所述第二亲和力权值)，同时引导低级特征进行不同的特征完成，用于去除额外的背景信息，进一步保留雨条纹特征，公式如下：
[0084][0085]
其中，h表示高级语义信息(即所述第一高级语义信息或所述第二高级语义信息)，f
rain
表示雨相关特征(即所述雨条纹提取图像)，k表示高级语义特征所包含的通道数。
[0086]
应理解地，利用高级语义信息与所述雨相关特征的亲和力权值引导低级特征进行不同的特征完成，用于去除额外的背景信息，进一步保留雨条纹特征。
[0087]
上述实施例中，基于雨图像生成单元根据雨条纹提取图像、第一融合图像以及第二融合图像的重构得到重构雨天图像以及待去除清晰图像，能够引导低级特征进行不同的特征完成，去除了额外的背景信息，进一步保留了雨条纹特征。
[0088]
可选地，作为本发明的一个实施例，所述步骤s4的过程包括：
[0089]
基于第三式，分别根据各个所述原始雨图像以及各个所述原始雨图像的重构雨天图像进行第一损失函数的计算，得到各个所述原始雨图像的第一损失函数，所述第三式为：
[0090][0091]
其中，为第一损失函数，r
rec
为重构雨天图像，r
gt
为原始雨图像，||1为一范式；
[0092]
基于第四式，分别根据各个所述原始雨图像的清晰雨图像以及重构清晰图像进行第二损失函数的计算，得到各个所述原始雨图像的第二损失函数，所述第四式为：
[0093][0094]
其中，为第二损失函数，c
rec
为重构清晰图像，c
gt
为清晰雨图像，||1为一范式；
[0095]
具体的，所述原始雨图像的损失函数包括所述第一损失函数和所述第二损失函数。
[0096]
应理解地，所述第一损失函数的公式如下：
[0097][0098]
其中r
rec
表示重构的雨天图像(即所述重构雨天图像)，r
gt
表示雨天图像训练样本(即所述原始雨图像)。
[0099]
所述第二损失函数的公式如下：
[0100][0101]
其中r
rec
表示重构的清晰图像(即所述重构清晰图像)，r
gt
表示清晰图像训练样本(即所述清晰雨图像)。
[0102]
上述实施例中，基于第三式根据原始雨图像以及重构雨天图像的第一损失函数计算得到第一损失函数，基于第四式根据清晰雨图像以及重构清晰图像的第二损失函数计算得到第二损失函数，解决了雾相关特征提取不精确、图像生成质量低的问题，获得了图像内容更丰富、生成质量更高的清晰图像，提高了清晰图像的准确性。
[0103]
可选地，作为本发明的一个实施例，所述图像判别模块包括雨图像判别单元和清晰图像判别单元，所述s5的过程包括：
[0104]
基于所述清晰图像判别单元，分别根据各个所述清晰雨图像以及各个所述雨天训练图像的雨条纹去除图像进行第一均方差的计算，得到各个所述原始雨图像的第一均方差；
[0105]
基于所述雨图像判别单元，分别根据各个所述原始雨图像以及各个所述清晰雨图像的重构清晰图像进行第二均方差的计算，得到各个所述原始雨图像的第二均方差；
[0106]
其中，所述原始雨图像的均方差包括所述第一均方差和所述第二均方差。
[0107]
应理解地，对所述雨图像判别模块和清晰图像判别模快分别用来判别雨图像生成模块和雨条纹去除模块生成结果的真实性。
[0108]
应理解地，将所述清晰图像训练样本(即所述清晰雨图像)和雨条纹去除模块生成的清晰图像(即所述雨条纹去除图像)一起输入进清晰图像判别模块。
[0109]
应理解地，将所述雨天图像训练样本(即所述原始雨图像)和雨图像生成模块生成的雨图像(即所述重构清晰图像)分别输入进雨图像判别模块。
[0110]
上述实施例中，基于清晰图像判别单元根据清晰雨图像以及雨条纹去除图像的第一均方差计算得到第一均方差，基于雨图像判别单元根据原始雨图像以及重构清晰图像的第二均方差计算得到第二均方差，解决了雾相关特征提取不精确、图像生成质量低的问题，获得了图像内容更丰富、生成质量更高的清晰图像，提高了清晰图像的准确性。
[0111]
可选地，作为本发明的一个实施例，所述基于所述清晰图像判别单元，分别根据各个所述清晰雨图像以及各个所述雨天训练图像的雨条纹去除图像进行第一均方差的计算，得到各个所述原始雨图像的第一均方差的过程包括：
[0112]
基于第五式和所述清晰图像判别单元，分别根据各个所述原始雨图像的清晰雨图像以及雨条纹去除图像进行第一均方差的计算，得到各个所述原始雨图像的第一均方差，所述第五式为：
[0113]
msec＝|d
rain
(f
fc
)-d
rain
(c
gt
)|2，
[0114]
其中，msec为第一均方差，f
fc
为雨条纹去除图像，c
gt
为清晰雨图像，d
rain
()为清晰图像判别模块，||2为二范式。
[0115]
应理解地，使用四层卷积和激活函数将输入图像(即所述清晰雨图像和所述雨条纹去除图像)转换为1/16输入尺寸大小的特征图用来区分网络生成的图像和真实雨天图像，并通过计算这两个特征图之间的均方差msec来更新整个网络参数。
[0116]
具体地，对于清晰图像判别模块，使用四层卷积和relu激活函数将输入图像转换为原始图像大小为1/16的特征图。每一层具有相同的核大小为4
×
4，步幅为2，从第一层到最后一层的过滤器为64，128，256，512。最后，使用一个步幅为1的卷积，内核大小为3
×
3来学习区分真实和虚假的图像。对于雨图像判别模块，添加了一个新分支。这个新的分支包含一个卷积层和一个sigmoid函数，用于区分图像是包含雨还是雾的特征。最后一个卷积层的内核大小为8
×
8，步幅为1。
[0117]
应理解地，所述第一均方差的计算如下：
[0118]
msec＝|d
rain
(f
fc
)-d
rain
(f
cgt
)|2[0119]
其中，f
fc
表示由雨条纹去除模块生成的清晰图像(即所述雨条纹去除图像)，f
cgt
(即c
gt
)表示清晰图像训练样本(即所述清晰雨图像)，dc(*)表示清晰图像判别模块。
[0120]
上述实施例中，基于第五式和清晰图像判别单元根据清晰雨图像以及雨条纹去除图像的第一均方差计算得到第一均方差，可以区分网络生成的图像和真实雨天图像，能够通过学习区分真实和虚假的图像。
[0121]
可选地，作为本发明的一个实施例，所述基于所述雨图像判别单元，分别根据各个所述原始雨图像以及各个所述清晰雨图像的重构清晰图像进行第二均方差的计算，得到各个所述原始雨图像的第二均方差的过程包括：
[0122]
基于第六式和所述雨图像判别单元，分别根据各个所述原始雨图像以及各个所述原始雨图像的重构清晰图像进行第二均方差的计算，得到各个所述原始雨图像的第二均方差，所述第六式为：
[0123][0124]
其中，mser为第二均方差，c
rec
为重构清晰图像，r
gt
为原始雨图像，dr()为雨图像判别模块，为第i个二范式。
[0125]
应理解地，对于步骤s6中的条件，其条件具体为：所述原始雨图像的第一损失函数以及所述第二损失函数均小于或等于预设损失函数，且所述原始雨图像的第一均方差以及所述第二均方差均小于或等于预设均方差。
[0126]
具体地，所述雨图像判别模块使用四层卷积将输入图像(即所述原始雨图像和所
述重构清晰图像)转换为1/16输入尺寸大小的两个特征图，然后使用了三个并行的卷积层+sigmoid激活函数用于判别图像的多个维度的真实性。一共得到六个特征图，通过计算这六个特征图之间的均方差mser来更新整个网络参数。
[0127]
应理解地，图像判别模块与清晰图像判别模块所述相似，但在最后一层上使用了多个并行的卷积层用于判别图像的多个维度的真实性。
[0128]
应理解地，所述第二均方差的公式如下：
[0129][0130]
其中，f
fr
(即c
rec
)表示雨图像生成模块生成的雨图像(即所述重构清晰图像)，f
rgt
(即r
gt
)表示雨天图像训练样本(即所述原始雨图像)，dr(*)表示雨图像判别模块。
[0131]
应理解地，i可以为卷积层和sigmoid激活函数的数量。
[0132]
上述实施例中，基于第六式和雨图像判别单元根据原始雨图像以及重构清晰图像的第二均方差计算得到第二均方差，能够判别图像的多个维度的真实性，获得了图像内容更丰富、生成质量更高的清晰图像，提高了清晰图像的准确性。
[0133]
可选地，作为本发明的另一个实施例，本发明用于自适应地去除图像中存在的雨条纹，方法包括：对原始雨图像和清晰图像进行数据增强，得到非配对训练样本，并将训练样本输入到无监督去雨模型中进行训练；首先，对雨图像训练样本分别输入到雨条纹提取模块、雨条纹去除模块，得到雨条纹图像和清晰图像；将得到的雨条纹图像和清晰图像融合输入进雨图像生成模块，得到重构的雨天图像；然后，将清晰图像训练样本与雨条纹图像融合输入进雨图像生成模块，生成清晰图像样本对应的雨天图像；得到的雨天图像输入进雨条纹去除模块，生成重构的清晰图像；通过雨图像判别模块和清晰图像判别模块对生成图像进行约束。
[0134]
可选地，作为本发明的另一个实施例，本发明的去雨模型包含两个转换单元：雨图像到清晰图像转换单元和清晰图像到雨图像的转换单元，其中包含5个模块：雨条纹提取模块、雨条纹去除模块、雨图像生成模块、雨图像判别模块和清晰图像判别模块；
[0135]
对所述雨图像到清晰图像转换单元，将所述雨天图像训练样本分别输入进雨条纹提取模块和雨条纹去除模块，得到雨条纹提取模块的输出和雨条纹去除模块的输出，所述雨条纹提取模块用于预测图像中的雨条纹形状与位置，所述雨条纹去除模块用于预测雨天图像对应的清晰图像。对所述雨条纹提取模块的输出和雨条纹去除模块的输出进行图像融合输入到雨图像生成模块，得到雨图像生成模块的输出，所述雨图像生成模块用于合成清晰图像对应的雨天图像；
[0136]
对所述清晰图像到雨图像转换单元，将所述清晰图像训练样本和雨条纹提取模块的输出融合输入进雨图像生成模块，然后将得到的结果输入进雨条纹去除模块得到重构的清晰图像；
[0137]
对所述雨图像判别模块和清晰图像判别模快分别用来判别雨图像生成模块和雨条纹去除模块生成结果的真实性。
[0138]
可选地，作为本发明的另一个实施例，本发明将清晰图像训练样本与雨条纹图像融合输入进雨图像生成模块生成清晰图像样本对应的雨天图像；并将得到的雨天图像输入
进雨条纹去除模块，生成重构的清晰图像；通过雨图像判别模块和清晰图像判别模块对生成图像进行约束。
[0139]
图2为本发明实施例提供的一种图像去雨装置的模块框图。
[0140]
可选地，作为本发明的另一个实施例，如图2所示，一种图像去雨装置，包括：
[0141]
数据增强模块，用于导入多个原始雨图像以及与多个所述原始雨图像一一对应的多个清晰雨图像，并分别对各个所述原始雨图像以及各个所述清晰雨图像进行数据增强处理，得到各个所述原始雨图像的雨天训练图像以及各个所述清晰雨图像的雨天清晰训练图像；
[0142]
模型构建模块，用于构建初始去雨模型；其中，所述初始去雨模型包括图像处理模块和图像判别模块；
[0143]
处理模块，用于基于所述图像处理模块,分别根据各个所述雨天训练图像以及各个所述清晰雨图像的雨天清晰训练图像进行图像处理，得到各个所述雨天训练图像的重构雨天图像、雨条纹去除图像以及各个所述清晰雨图像的重构清晰图像；
[0144]
损失函数分析模块，用于根据各个所述原始雨图像、各个所述清晰雨图像、各个所述雨天训练图像的重构雨天图像以及各个所述清晰雨图像的重构清晰图像进行损失函数分析，得到各个所述原始雨图像的损失函数；
[0145]
均方差计算模块，用于基于所述图像判别模块,分别根据各个所述原始雨图像、各个所述清晰雨图像、各个所述雨天训练图像的雨条纹去除图像以及各个所述清晰雨图像的重构清晰图像进行均方差计算，得到各个所述原始雨图像的均方差；
[0146]
判断模块，用于判断所有所述原始雨图像是否均满足条件，所述条件为所述原始雨图像的损失函数小于或等于预设损失函数，且所述原始雨图像的均方差小于或等于预设均方差；若否，则根据所有所述原始雨图像的损失函数以及均方差分别对所述图像处理模块进行参数更新，参数更新后返回所述处理模块中，直至所有所述原始雨图像均满足所述条件；若是，则将最后一次参数更新后的所述图像处理模块作为目标去雨模型；
[0147]
去雨结果获得模块，用于导入待处理雨图像，通过所述目标去雨模型对所述待处理雨图像进行图像去雨处理，得到图像去雨结果。
[0148]
可选地，本发明的另一个实施例提供一种图像去雨系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，当所述处理器执行所述计算机程序时，实现如上所述的图像去雨方法。该系统可为计算机等系统。
[0149]
可选地，本发明的另一个实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被处理器执行时，实现如上所述的图像去雨方法。
[0150]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
[0151]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装
置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0152]
在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
[0153]
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
[0154]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0155]
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0156]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。