1.本发明涉及图像处理方法领域,具体是一种无监督的双支路带雨无雨图像处理方法。
背景技术:2.在雨天从室外视觉系统(例如自动驾驶,监视和人员/车辆跟踪)获取的图像和视频通常会因雨这种天气现象而产生退化。这种退化情况将直接降低后续高级任务的效果,例如目标检测,图像识别和显著性检测。因此单图像去雨这一任务将具有广泛的应用。然而由于实际处理中雨纹的复杂性和求解的不定性,单图像去雨仍然是一个重要但具有挑战性的问题。
3.带雨图像主要包含雨条纹和雨滴,在真实图像之前形成雨掩模。对于暴雨,由于光线的散射,它们可能会造成雾霾大气,从而使图像模糊和朦胧。因此,将雨纹与真实图像分离是解决这一问题的一个直观思路。雨纹去除问题可以建模为
4.x=r+b,
5.其中x为带雨图像,可分解为雨条纹分量r和干净背景图像b。
6.近年来,已经提出了很多基于深度学习的训练网络。值得注意的是,大多数现有方法都是在合成数据集上以监督方式进行训练的监督方法,因为它们明确需要成对的雨天和干净的图像。通过定义雨图与其真值之间的严格约束,监督模型通常可以获得很好的去雨效果。其良好性能可以归因于输入雨图的雨纹分布通过训练实际上已经为模型所知。因此,监督的方法通常使用配对数据具有很强的概括能力。但是,对于没有真值(即不成对)的真实雨图,由于不规则和不均匀的雨纹分布,大多数现有的监督去雨模型效果都不好。
7.值得注意的是,从现实世界中获取的大多数雨图都没有真值,因此监督的模型无法直接使用它们。在这种情况下,无监督或半监督方法则可以进行训练,因为这类方法无需配对图像或仅需少量配对图像。由于缺乏先验知识,针对单图像去雨任务的半监督和无监督网络的研究要比有监督的网络慢得多。主要原因有两个:(1)真实雨图的雨纹具有非常不规则的形状和方向。即使对于合成数据集,如果没有某些严格的成对约束,仍然很难计算出雨图和无雨图像之间的精确映射;(2)对于现有的综合数据集(例如rain1400和rain800),监督模型仍无法获得理想的恢复结果,即仍有大量的改进空间。
技术实现要素:8.本发明的目的是提供一种无监督的双支路带雨无雨图像处理方法,以解决上述背景技术提到的问题。
9.为了达到上述目的,本发明所采用的技术方案为:
10.本发明一种无监督的双支路带雨无雨图像处理方法中,首先获取原始的带雨/无雨图像,将原始的带雨/无雨图像划分为训练集和测试集,其中训练集主要用于雨纹与背景分解、特征提取和注意力学习,测试集主要用于评价本发明方法的去雨性能,此外,进行必
要的参数初始化;
11.本发明方法将无监督雨纹注意力学习、无监督去雨和无监督制雨处理集成到一个统一的学习框架,可得到一个可用于真实背景图像提取的雨纹注意力特征图。基于给定的原始的带雨图像,本发明方法将其分解为一个雨纹注意力部分和真实的无雨背景图像;基于给定的原始的无雨图像,本发明方法将其分解为一个雨纹注意力部分和真实的有雨背景图像。
12.为了获得更加鲁棒的去雨效果,本发明方法将原始的带雨/无雨图像进行无监督注意力处理,通过基于长短时记忆网络的设置可有效获取原始的带雨/无雨图像的雨纹注意力特征图;此外,通过无监督cyclegan方法,对得到的注意力特征进行生成器和判别器处理,可确保得到精细的去雨图像,同时可以得到自动生成的带雨图像,再通过循环一致性,复原出原始的带雨图像和无雨图像,增强模型的鲁棒性。
13.此外,基于构建双支路之间的特征交换和学习,通过所述无监督雨纹注意力模块提取的雨纹注意力特征图进行共享优化,在得到性能更加优越的去雨效果的同时,也可以生成更为逼真的带雨图像;通过仿真实验,验证了本发明方法可有效提升单幅图像的雨纹去除效果,同时生成的带雨图像可以提供更好的雨纹分布。
14.将原始的带雨/无雨图像同时输入到本文所自定义的基于无监督雨纹注意力的模块构成的双支路深度神经网络中,对得到的注意力特征进行生成器和判别器处理,可有效去除雨纹并且生成雨纹,具体为:
15.对于给定一组数据x=[x1,...xn]∈rd×n,其中d是原始数据的维数,n是点数,x1,...xn分别是单独的数据。其中包含的训练样本集x
l
=[x1,x2,...,x
l
]∈rd×
l
和测试样本集xu=[x1,x2,...,xu]∈rd×u,且满足样本数量l+u=n根据上述,可将原始数据分解为一个训练集用来训练框架来正确分解雨纹和背景,一个验证集用来判别训练结果好坏和一个测试集来量化框架的去雨效果;本发明方法将无监督雨纹注意力学习、无监督去雨和无监督制雨处理集成到一个统一的学习框架,可得到一个可用于真实背景图像提取的雨纹注意力特征图;基于给定的采集到的带雨图像,本发明方法将其分解为一个雨纹注意力部分和真实的无雨背景图像;基于给定的采集到的无雨图像,本发明方法将其分解为一个雨纹注意力部分和真实的有雨背景图像;因此,基于构建双支路之间的特征交换和学习,通过所自定义的基于无监督雨纹注意力的模块提取的雨纹特征进行共享优化,在得到性能更加优越的去雨效果的同时,也可以生成更为逼真的带雨图像,即解决以下数学问题:
[0016]
x=r+b,
[0017]
其中x表示带雨图像,r是图像中存在的雨纹,b是不带雨的真实背景图像;通过上述无监督雨纹注意力模块提取的雨纹特征进行共享优化,在得到性能更加优越的去雨效果的同时,也可以生成更为逼真的带雨图像。
[0018]
基于无监督注意力机制的雨纹特征提取,其是将原始输入的带雨/无雨图像通过基于长短时记忆网络进行循环处理,通过基于cyclegan网络中双支路的生成器和判别器实现无监督深度对抗学习,可有效获取原始图像的雨纹特征表示。
[0019]
基于双支路的生成器和判别器处理,通过无监督式的深度学习方法,对得到的雨纹注意力特征图,将这些雨纹特征图和原始图像进行合并操作,经过生成器分别生成无雨图像和带雨图像,再通过判别器对生成图像和原始图像的真假判断,从而获得去雨图像和
带雨图像。
[0020]
基于循环一致性的再次加工,将第一步得到的去雨图像和无雨图像当成输入,再次送到另一对的生成器和判别器中进行处理,经过循环一致性处理后可在一定程度上使得网络更加稳定并提高无雨图像和带雨图像的精确性。
[0021]
测试集用于对测试集中的测试样本进行处理,得到所述带雨图像样本的去雨结果;首先利用基于无监督注意力机制的雨纹特征提取,经过基于双支路的生成器和判别器处理得到最终的精细化的无雨图像;根据峰值信噪比psnr和结构相似性ssim这两种衡量图像相似性的数值标准,对测试集得到的去雨图像和测试集中的干净样本进行比对测试,获得去雨效果的量化结果。对于网络生成的带雨图像,则不需进行衡量比对,其可作为其他训练任务的数据来源。
[0022]
经由上述的技术方案可知,与现有技术相比,本发明方法提出了一种新的基于无监督注意力机制的雨纹特征提取,其是将原始输入的图像通过基于长短时记忆模块的深度网络进行循环处理,通过上述双支路构成的双支路和循环一致性结构,可有效获取原始图像的雨纹特征表示;同时基于双支路的生成器和判别器处理,通过无监督式的深度学习方法,对得到的雨纹注意力特征图,将这些雨纹特征图和原始图像进行合并操作,经过生成器分别生成无雨图像和带雨图像,再通过判别器对生成图像和原始图像的真假判断,从而获得去雨图像和带雨图像;再基于循环一致性的再次加工,将第一步得到的去雨图像和无雨图像当成输入,再次送到另一对的生成器和判别器中进行处理,经过循环一致性处理后可在一定程度上使得网络更加稳定并提高无雨图像和带雨图像的精确性;
附图说明
[0023]
图1为本发明实施例公开的一种无监督的双支路带雨无雨图像处理方法的网络框架。
[0024]
图2为本发明实施例公开的基于无监督注意力机制的雨纹特征提取模块的细节图。
[0025]
图3为本发明实施例公开的一种无监督的双支路带雨无雨图像处理方法的生成器的细节图。
[0026]
图4为本发明实施例公开的一种无监督的双支路带雨无雨图像处理方法的判别器的细节图。
[0027]
图5为本发明实施例公开的一种无监督的双支路带雨无雨图像处理方法的流程图。
[0028]
图6为本发明实施例公开的一种无监督的双支路带雨无雨图像处理方法的结构图。
[0029]
图7为本发明实施例公开的无监督注意力机制的雨纹特征提取模块提取出来的雨纹示意图。
[0030]
图8为本发明实施例公开的多张单图像去雨效果示意图。
[0031]
图9为本发明实施例公开的多张单图像制雨效果示意图。
[0032]
图10为本发明实施例公开的监督方法在本发明制造的去雨数据集和传统去雨数据集上的去雨效果对比示意图。
具体实施方式
[0033]
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0034]
如图1所示,本发明方法提出了一种无监督的双支路带雨无雨图像处理方法,其是将原始输入的图像通过基于长短时记忆模块的深度网络进行循环处理,通过上述双支路构成的双支路和循环一致性结构,可有效获取原始图像的雨纹特征表示;同时基于双支路的生成器和判别器处理,通过无监督式的深度学习方法,对得到的雨纹注意力特征图,将这些雨纹特征图和原始图像进行合并操作,经过生成器分别生成无雨图像和带雨图像,再通过判别器对生成图像和原始图像的真假判断,从而获得去雨图像和带雨图像;再基于循环一致性的再次加工,将第一步得到的去雨图像和无雨图像当成输入,再次送到另一对的生成器和判别器中进行处理,经过循环一致性处理后可在一定程度上使得网络更加稳定并提高无雨图像和带雨图像的精确性;
[0035]
本发明在三个合成去雨图像的数据集和两个真实去雨图像的数据集进行了测试:合成去雨图像的数据集有:rain100l、rain800和rain12;真实去雨图像数据集有:spa-data和sirr-data。rain100l是一个只有一种雨纹形状的综合数据集,包含200幅带雨图像用于训练,100幅带雨图像用于测试。rain800包含700张训练图像和100张测试图像。rain12只有一种雨纹形状,它包含12张用于测试的带雨图像,没有用于训练的带雨图像。spa-data是由真实视频处理得到的带有真值的真实图像,其测试集包含1000张图片,本发明方法将训练好的模型直接在上面测试泛化性。sirr-data由互联网上采集的147张真实带雨图像构成,其不带有真值。这些数据库从多方面收集,因而测试结果具有普遍说明性。
[0036]
请参阅附图5,本发明实施例公开的一种无监督的双支路去雨和制雨方法流程图。本发明实施例公开的一种无监督的双支路去雨和制雨方法,具体实施步骤为:
[0037]
步骤101:使用基于无监督的注意力雨纹提取模块,利用神经网络强大的学习能力,从原始的带雨/无雨图像中抽取不同的雨纹特征图。
[0038]
具体来说,本发明方法的无监督的注意力雨纹提取模块urad模块的整体结构请参阅附图2,其中每个阶段都有一个conv+relu,后跟一个lstm单元,一个resblocks和一个conv。lstm单元包括一个输入门i
t
,一个遗忘门f
t
,一个输出门o
t
和一个单元状态c
t
,g
t
是中间的状态值。其中下标t和t-1分别代表两个相邻的时刻。lstm单元中的相互作用定义如下:
[0039]it
=σ(wi[x
t
,h
t-1
]+bi),f
t
=σ(wf[x
t
,h
t-1
]+bf)
[0040]gt
=σ(wg[x
t
,h
t-1
]+bg),o
t
=σ(wo[x
t
,h
t-1
]+bo),
[0041]ct
=f
t
⊙ct-1
+i
t
⊙gt
,h
t
=o
t
⊙
ε(c
t
)
[0042]
其中wi,wf,wg,wo分别表示神经网络参数中的权重,bi,bf,bg,bo分别表示神经网络参数中的偏置。x
t
表示通过前置的t-阶段的conv+relu得到的特征图,c
t
表示的是将被送入lstm单元下一个阶段的细胞状态,h
t
是当前lstm单元的输出,并将被发送到卷积层conv中,h
t-1
则是上一个lstm单元的输出。[
·
]是特征图拼接操作,
⊙
是特征图点乘操作,σ和ε分别是sigmoid函数和tanh函数。在训练步骤中,将输入图像i与前一阶段提取的雨纹特征图连接起来,然后送入conv+relu中。h
t-1
和c
t-1
初始值设置为0,与conv+relu的输出x具有相同的
维数,初始雨纹特征的值则被设置为0.5。整个lstm单元循环6次得到最终的雨纹特征图。
[0043]
为了检测任意图像中的雨信息,本发明方法需要在没有监督的情况下约束urad学习到的信息。由于本发明方法没有任何雨信息的真值,本发明方法使用先验和自我监督相结合的方法来训练urad。首先对无雨图像的掩模进行先验处理,记为
[0044][0045]
其中是urad的函数,n表示原始的无雨图像。是urad检测到的无雨图像中的雨纹信息。是和雨纹信息具有相同维度的值全为0的分布。因为在无雨图像n中并没有雨纹信息,因此的分布必须尽可能地接近接下来,本发明方法为带雨图像构建了一个自监督的损失
[0046][0047]
其中是urad检测到的带雨图像中的雨纹信息。和r分别表示去雨后的图像和原始带雨图像。通过无监督的注意力雨纹提取模块提取出的雨纹信息请参阅附图7。
[0048]
步骤102:利用101步骤得到的雨纹特征图,通过将它们与原始带雨/无雨图片合并在一起,经过双支路的生成器和判别器的对抗学习,获得去雨/制雨图像。
[0049]
具体来说,本发明方法的双支路生成器请参阅附图3,其中两个生成器gn和gr拥有相同的u-net结构,其中生成器拥有16个conv+relu基础块,它们通过快捷路径相连。生成器的输入是原始图像和其被urad所提取到的雨纹特征信息的拼接。本发明方法可以将生成器的过程描述为:
[0050][0051]
其中gn利用r和来生成去雨图像同时gr利用n和来生成带雨图像从感知损失函数的角度来说,从预先训练的深度网络中提取的特征包含丰富的语义信息,并且距离可以作为感知相似性的衡量标准。因此本发明方法利用感知损失函数来避免由gan网络的生成器导致的人工影响:
[0052][0053]
其中φ(
·
)是vgg16网络在imagenet上面预训练好的模型的第2卷积层和第3卷积层。除此之外,两个鉴别器dn和dr也被设计出来鉴别真实的图片r和n,与生成的图片和他们的结构图请参阅附图4,它们使用了多比例尺结构,每个比例尺寸下的映射特征都会经过三个卷积层然后被输入到sigmoid函数中。根据gan网络的对抗损失函数,本发明方法定义生成器gn和判别器dn之间的对抗函数为:
[0054][0055]
其中判别器dn最大化该损失函数来区分生成的无雨图像和真实的无雨图像。相反
的,生成器gn最小化该损失函数来使得生成的无雨图像看起来更真实。与上述对抗损失函数类似,本发明方法定义生成器gr和判别器dr之间的对抗函数为:
[0056][0057]
步骤103:利用102步骤得到的去雨/制雨图像,通过循环一致性处理,再得到原始的带雨/无雨图像,提高网络性能并加强网络鲁棒性。
[0058]
为了确保网络的稳定性以及保持循环一致,本发明方法重构了生成的样本和
[0059][0060]
其中gr利用和gn利用和来重构带雨图像和无雨图像因为没有配对数据,去雨后的图像可能不会保留原始图像的颜色和结构信息。类似cyclegan,本发明方法使用循环一致性损失来限制的空间生成样本并保留图像内容:
[0061][0062]
通过上面的描述,本发明方法最终采用的整体损失函数的定义为:
[0063][0064]
其中λ1,λ2,λ3,λ4是通过实验分别得到的各损失函数的比例。
[0065]
以上就是本发明方法的主要过程步骤和其中涉及到损失函数,上述本发明公开的实施例中详细描述了方法和损失函数,对于本发明的方法可采用多种形式的系统实现,因此本发明还公开了一种系统,下面给出具体的实施例进行详细说明。
[0066]
请参阅附图6,为本发明实施例公开的一种无监督的双支路去雨和制雨方法结构图。本发明公开了一种无监督的双支路去雨和制雨方法,该系统具体包括:
[0067]
训练模块201,用于训练样本雨纹特征提取。测试预处理模块202,用于测试样本的雨纹特征提取功能。测试模块203,用于对单幅图像去雨/制雨功能。首先将原始输入的图像通过基于长短时记忆模块的深度网络进行循环处理,通过上述双支路构成的双支路和循环一致性结构,可有效获取原始图像的雨纹特征表示;同时基于双支路的生成器和判别器处理,通过无监督式的深度学习方法,对得到的雨纹注意力特征图,将这些雨纹特征图和原始图像进行合并操作,经过生成器分别生成无雨图像和带雨图像,再通过判别器对生成图像和原始图像的真假判断,从而获得去雨图像和带雨图像;再基于循环一致性的再次加工,将第一步得到的去雨图像和无雨图像当成输入,再次送到另一对的生成器和判别器中进行处理,经过循环一致性处理后可在一定程度上使得网络更加稳定并提高无雨图像和带雨图像的精确性;
[0068]
表1:本发明和各个算法在四个去雨图像合成数据集上的去雨效果对比结果
[0069][0070]
请参阅表1,本发明方法主要与detailnet,jorder,rescan,prenet,sirr,cyclegan以及rr-gan方法识别结果对比。表1给出了每个算法分别在三个合成去雨图像数据集rain100l,rain12和rain800以及一个真实去雨图像数据集spanet-data上使用峰值信噪比(psnr)和结构相似性(ssim)这两种衡量图像相似性的数值标准,对测试模块得到的去雨图像和测试样本的实际无雨图像进行比对测试,获得去雨效果的量化结果。
[0071]
通过数据集上的实例实验结果显示,本发明方法可有效用于基于各种类型的带雨图像数据集的去雨,并且可以获得比现有无监督方法更好的效果,甚至某些指标优于现有的监督和半监督方法。
[0072]
请参阅附图8,为本发明实施例公开的在多种数据集上去雨效果示意图。
[0073]
通过实验结果可以看出本发明的去雨效果明显优于相关的detailnet,rescan,以及cyclegan方法,且表现出了较强的稳定性,具有一定的优势。
[0074]
同时,本实验还测试了制雨效果,通过与现有数据集的对比结果显示,本发明方法也可以有效用于制作雨图,现有方法在生成雨图上训练后的去雨效果可以超过部分已有去雨数据训练集。
[0075]
请参阅附图9和图10,为本发明实施例公开的方法所生成的数据集,以及监督方法在本发明方法生成的去雨数据集上的效果与以有去雨数据集上的效果对比。
[0076]
通过实验结果可以看出,本发明实施例公开的方法所生成的数据集的雨纹更加多变和复杂,同时监督方法prenet在本发明方法生成的去雨数据集auto100l上可以获得比在传统去雨数据集rain100l上更好的效果。
[0077]
综上所述:本发明公开了一种无监督的双支路去雨和制雨方法,为了在无监督模式下准确获取雨纹特征图,提出了一种新的基于无监督注意力机制的雨纹特征提取,其是将原始输入的图像通过基于长短时记忆模块的深度网络进行循环处理,通过上述双支路构成的双支路和循环一致性结构,可有效获取原始图像的雨纹特征表示;同时基于双支路的生成器和判别器处理,通过无监督式的深度学习方法,对得到的雨纹注意力特征图,将这些雨纹特征图和原始图像进行合并操作,经过生成器分别生成无雨图像和带雨图像,再通过判别器对生成图像和原始图像的真假判断,从而获得去雨图像和带雨图像;再基于循环一致性的再次加工,将第一步得到的去雨图像和无雨图像当成输入,再次送到另一对的生成器和判别器中进行处理,经过循环一致性处理后可在一定程度上使得网络更加稳定并提高无雨图像和带雨图像的精确性。
[0078]
对于实施例公开的系统而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
[0079]
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的
一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。