一种基于三维卷积神经网络的彩色偏振图像的去噪方法

1.本发明涉及偏振成像技术领域，特别涉及一种基于三维卷积神经网络的深度学习彩色偏振图像去噪方法。


背景技术：

2.彩色偏振成像技术兼具光谱和偏振两种特性，能够获得较灰度偏振图像更精细、更丰富的红绿蓝三波段偏振信息。彩色偏振成像对目标与背景在光谱特性和偏振特性的差异具有敏感性，综合利用偏振信息及其在不同波长下的差异进行探测识别，将显著提高光电成像系统对目标的探测识别能力。因此，彩色偏振成像在抗雾霾、烟尘、复杂背景等恶劣环境下探测隐身、伪装、虚假目标等方面具有潜在的应用价值。然而在实际应用中，噪声会对彩色偏振成像带来较大干扰，导致偏振信息被淹没在噪声中，另外，噪声还会导致颜色失真，从而影响成像效果。因此，需要一种有效的彩色偏振图像去噪方法。
3.现有的图像去噪技术主要有数据驱动和非数据驱动两类。就去噪效果而言，最优的非数据驱动方法是基于颜色空间变换的三维相似块匹配方法。但是偏振图像像素之间具有物理相关性，如果直接将普通数字图像的去噪方法应用于偏振图像，将会无法充分利用偏振信息，另外对于低信噪比的图片，非数据驱动方法也无法较好的去噪，而且此类去噪算法有诸多参数需要先验知识来确定，很难获得算法的最优解。基于数据驱动的深度学习的方法在去噪效果上是优于其他方法的，但是该方法依赖于数据集，而当前普遍采用高斯噪声人为加入到无噪声图像里的合成图像作为数据集，然而真实的环境噪声分布更加复杂，仅通过高斯噪声模拟真实的噪声会导致算法在真实噪声场景受限。


技术实现要素：

4.本发明的目的是为了克服现有技术中的不足，解决彩色偏振图像受噪声影响难以提取彩色偏振信息的问题，提供一种基于三维卷积神经网络的彩色偏振图像的去噪方法。
5.本发明的目的是通过以下技术方案实现的：
6.一种基于三维卷积神经网络的彩色偏振图像的去噪方法，包括以下步骤：
7.s1.建立由四维彩色偏振图像构成的数据集，所述数据集的数据样本均在真实环境下使用彩色偏振相机拍摄所得，数据集中配对的不同信噪比的四维彩色偏振图像通过调整相机的曝光时间以及增益获取；
8.s2.对数据集进行预处理，首先使用数据增强方法扩增数据集，然后将四维彩色偏振图像转化为五维张量格式，最后按规定比例随机划分数据集为训练集、验证集和测试集，用来训练、调试和检验三维卷积神经网络性能；
9.s3.构建基于残差密集架构的三维卷积神经网络；三维卷积神经网络包括浅层特征提取模块、密集特征融合模块和深度特征融合模块，且每个模块中的卷积层均为三维卷积层，能够同时提取像素高度、像素宽度、偏振维度和彩色维度的信息，以获取三维特征图；
10.s4.将数据集输入所述三维卷积神经网络进行训练，并采用基于偏振信息约束的
彩色偏振损失函数进行优化，引导三维卷积神经网络均衡的学习像素信息、偏振信息、彩色信息；
11.s5.使用训练、调试完毕的三维卷积神经网络对测试集进行测试，从三维卷积神经网络的输出层得到五维张量格式的去除噪声后的彩色偏振图像，利用彩色偏振图像之间的偏振特性将五维张量格式的彩色偏振图像降维，得到彩色光强图像、彩色偏振度图像与彩色偏振角图像。
12.进一步的，步骤s1中，所述数据集中的四维彩色偏振图像包括像素高、像素宽、彩色和偏振四个维度，按顺序表示为h
×w×
(r,g,b)
×
(0
°
,45
°
,90
°
,135
°
)；数据集中的四维彩色偏振图像按照高信噪比-低信噪比相互配对，配对的不同信噪比的四维彩色偏振图像通过相机在真实环境下拍摄所得，真实环境包括室内与室外非数字环境；通过设置相机长曝光时间与低增益能够获得高信噪比图像，设置相机短曝光时间与高增益能够获得低信噪比图像。
13.进一步的，步骤s2中，使用裁剪、旋转、翻转的方法将数据集进行扩增，五维张量格式中的五维分别为：批维度、偏振维度、图像高度、图像宽度、彩色维度，其中批维度表示批数据处理的大小，偏振维度表示不同的偏振角度分量，图像高度表示图像像素高度，图像宽度表示图像像素宽度，彩色维度表示特征图通道。
14.进一步的，步骤s3中，浅层特征提取模块使用顺序排列的三维卷积层来提取浅层的偏振特征；密集特征融合模块使用顺序堆叠的残差密集模块来融合特征，该模块主要由三维卷积层的残差连接和密集连接组成，还包括三维合并层、三维瓶颈层以及局部残差连接；深度特征融合模块使用三维卷积层、三维合并层、三维瓶颈层以及全局残差连接进行特征的深度融合。
15.进一步的，步骤s4中，损失函数包括光强损失、色彩损失和偏振损失，分别约束三维卷积神经网络训练中的光强、色彩、偏振信息；光强损失计算了三维卷积神经网络的输出图像与真值图像之间的均方误差，色彩损失计算了三维卷积神经网络的输出图像光强分量与真值图像光强分量之间的均方误差，偏振损失计算了三维卷积神经网络的输出图像与真值图像之间的偏振角与偏振度分量的均方误差；各损失函数通过自适应权重随着训练过程动态调节比例。
16.进一步的，所述三维卷积层的卷积核为形状为3
×3×
3像素的立方体，卷积时，卷积核用于对五维张量格式的数据在像素高度、像素宽度和偏振维度进行卷积，然后计算生成三维特征图，最后将特征图置于彩色维度中；每个三维卷积层后设有激活函数层；
17.所述浅层特征提取模块包括两层三维卷积层，第一层卷积层的卷积核大小为3
×3×
3，卷积核通道数为64，第二层卷积层的卷积核大小为3
×3×
3，卷积核通道数为32，第一层和第二层三维卷积之间有一个直接连接到三维卷积神经网络输出层的全局残差连接，用于优化网络训练过程，防止梯度爆炸。
18.密集特征融合模块配置有十个三维卷积残差密集模块，所述三维卷积残差密集模块由六个三维卷积层、一个三维合并层、一个三维瓶颈层组成，每一层三维卷积层都能够产生三维特征图，各三维卷积层之间采用密集连接；各三维卷积残差密集模块之间采用局部残差连接；
19.深度特征融合模块中，三维合并层获取密集特征融合模块的所有输出特征图并在
彩色维度上进行合并；三维瓶颈层能够收缩彩色维度的通道数，将三维合并层得到的三维特征图融合；深度特征融合模块的三维卷积层进一步对融合之后的结果进行特征提取，得到最终的输出。
20.本发明还提供一种基于三维卷积神经网络的彩色偏振图像的去噪装置，包括：
21.数据采集单元，用于通过相机获取四维彩色偏振图像，以构建数据集；
22.预处理单元，用于对数据集进行预处理并将数据集中图像转化为五维张量格式；
23.神经网络单元，用于得到去噪的输出图像。
24.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述基于三维卷积神经网络的彩色偏振图像的去噪方法的步骤。
25.本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述基于三维卷积神经网络的彩色偏振图像的去噪方法的步骤。
26.与现有技术相比，本发明的技术方案所带来的有益效果是：
27.1、本发明公开一种基于三维卷积神经网络的彩色偏振图像去噪方法，主要基于残差密集网络结构进行三维卷积神经网络搭建。三维卷积可以同时对像素高度、像素宽度、偏振维度、彩色维度进行卷积操作，提取三维特征图，协同处理多源特征之间的关系，因此网络不仅能进一步提高图像去噪效果，还能恢复偏振信息并且校正失真的色彩信息。
28.2、本发明公开一种适用于彩色偏振图像的三维卷积神经网络损失函数，主要采用光强损失、偏振损失以及色彩损失，并且使用自动调节机制随着训练分配各部分权重。其中光强损失能够对图像进行基本的约束，使训练有效的收敛，偏振损失能有效的约束网络对偏振信息的学习，色彩损失能有效的约束网络对色彩信息的学习。另外，自动调节机制可以自动分配权重，有效解决了多个损失函数的耦合问题。
29.3、该方法利用了三维卷积的高维特性，能够同时对像素高、像素宽、偏振以及彩色通道四个维度进行协同特征提取与融合，不仅能高效去除彩色偏振图像中的噪声，从噪声图像中准确恢复目标的偏振信息，而且对于彩色图像的色偏、色差问题也能进行校正，从而有利于提升彩色偏振成像技术在的实际噪声环境下的成像质量，拓展其在低信噪比环境下的应用场景与范围。
30.4、本发明公开了基于残差密集架构的三维卷积神经网络，将三维卷积和残差密集模块有效的融合，不仅能利用三维卷积对高维度图像进行特征提取，还能利用残差密集架构对图像的特征进行高效融合，从而有利于在噪声图像中提取出图像的有效信息，得到更好的彩色偏振图像噪声去处效果。
附图说明
31.图1为根据本发明实施例的基于三维卷积神经网络的彩色偏振图像去噪方法的流程图；
32.图2为根据本发明实施例的数据集转换为五维张量的图片形状变化示意图；
33.图3为根据本发明实施例的构建基于残差密集架构的三维卷积神经网络的结构示意图；
34.图4a至图4i为根据本发明实施例的彩色偏振图像的去噪及多源信息复原效果示
意图。
具体实施方式
35.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。本发明适用于不同彩色偏振成像体制(分振幅、分焦平面等)和不同类别偏振信息成像方式(stokes，mueller等)，下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
36.下面参照附图描述根据本发明实施例提出的基于三维卷积神经网络的彩色偏振图像去噪方法，由于彩色分焦平面偏振图像是彩色偏振图像中的一种，本实施例以基于彩色分焦平面偏振图像的stokes矢量成像方式为例。
37.图1是本发明提供的一种基于三维卷积神经网络的彩色分焦平面偏振图像去噪方法的流程图。本实施例的图像去噪方法包括：
38.s1，构建彩色偏振图像数据集：首先设置彩色分焦平面相机为高增益模式并且采用短的曝光时间，此时采集到的图像信噪比极低，作为三维卷积神经网络输入的噪声图像，然后设置相机为低增益模式并且采用长曝光时间，此时采集的高信噪比图片噪声较少，最后将高信噪比图片重复采集多次，并计算其平均值从而得到噪声极小的图像，作为训练中的真值图像。真值图像和噪声图构成一个图像对。需要注意的是，采集噪声图像和真值图像的时候需要控制感光度和曝光时间的变化幅度与互补的关系，让图像对的光强值基本保持一致。
39.s2，彩色偏振图像数据集预处理，首先，对每一对高-低信噪比图像，分别计算其平均像素亮度，然后根据平均像素亮度将两张图像亮度进行标定，使其平均像素亮度相同。然后将彩色分焦平面图像进行数据增强，将图像都裁剪为64
×
64大小的图像块，并且随机的进行翻转和旋转操作。之后将彩色分焦平面图像进行超像素拆分与维度变换，如图2所示，具体地，对于一张像素尺寸为w
×
h的彩色分焦平面图像，首先对rgb彩色超像素进行拆分，图像形状变为w/2
×
h/2
×
3，其中最后一个维度的3代表r、g、b三个彩色通道，然后对每个彩色通道的偏振超像素进行拆分，图像形状变为4
×
w/4
×
h/4
×
3，其中第一个维度4代表四个偏振方向θ＝0
°
，45
°
，90
°
，135
°
，最后再增添一个批量维度，代表深度学习中批量处理的大小，即可构建成格式为{批，偏振，像素宽，像素高，通道}的五维张量。最后按照8:1:1的固定比例随机拆分数据集为训练集，验证集和测试集，数据集预处理完毕；
40.设数据集中输入图像每个通道中，噪声图像为无噪图像为i
θ
，噪声为n
θ
，则三者满足：
[0041][0042]
其中θ＝0
°
，45
°
，90
°
，135
°
。
[0043]
s3，搭建基于残差密集结构的三维卷积神经网络，如图3所示，三维卷积神经网络主要由多个顺序排列的三维卷积残差密集模块组成。
[0044]
3.1配置三维卷积层。三维卷积层的卷积核为形状为3
×3×
3像素的立方体。卷积时，卷积核对五维张量数据在像素高度、像素宽度和偏振维度进行卷积，然后计算生成三维
的特征图，最后将特征图置于通道维度中。另外，三维卷积层后伴随有leaky-relu激活函数。
[0045]
3.2配置三维浅层特征提取模块。具体地，所述三维浅层特征提取模块包括两层三维卷积层，第一层卷积层的卷积核大小为3
×3×
3，卷积核通道数为64，第二层卷积层的卷积核大小为3
×3×
3，卷积核通道数为32，另外第一层和第二层三维卷积之间有一个直接连接到输出层的分支，该分支为全局残差连接，用于优化网络训练过程，防止梯度爆炸。
[0046]
3.3配置三维密集特征融合模块。具体地，在本实施例中该模块一共配置了10个三维卷积残差密集模块。具体地，三维卷积残差密集模块由六个三维卷积层，以及对应的伴随着六个三维卷积层的六个leaky-relu激活函数层，三维合并层，三维瓶颈层和局部残差连接组成。具体地，每一层三维卷积层都会产生三维特征图，选其中一个三维卷积层为例，记为第i层(0＜i≤6)，其后的卷积层记为i+n层(i＜n≤4)，则第i层的特征图都会通过直接传输并到后面所有的卷积层i+n，并与第i+n层产生的特征图一起输入到i+n+1层三维卷积层，这一连接方式为密集连接。具体地，三维卷积残差密集模块的输入特征图，会直接传输到该模块的最后一层，然后与输出特征图相加作为整个三维卷积残差密集模块的输出，这一连接方式为局部残差连接。
[0047]
3.3配置三维深度特征融合模块。具体地，所述特征融合模块包括三维合并层，三维瓶颈层和三维卷积层。首先，三维合并层获取到10个三维卷积残差密集模块的所有输出特征图，然后将特征图在彩色维度上进行合并；三维瓶颈层能够收缩彩色维度的通道数，将三维合并层得到的大量三维特征图融合；三维卷积层进一步对融合之后的结果进行特征提取，得到最终的输出。
[0048]
3.4配置全局残差连接结构。全局残差连接结构是将第一个三维卷积层的输出特征图直接输入到最后一个三维卷积层的输出特征图处，并将两处特征图相加再得到最终输出结果的方式，该策略可以加快训练速度并且提升三维卷积神经网络对图像噪声去除的能力。
[0049]
s4，设计彩色偏振损失函数，首先通过光强损失来恢复光强信息，并对三维卷积神经网络的训练做基本的约束，然后通过偏振度与偏振角损失来恢复偏振信息，约束三维卷积神经网络在训练中学习偏振信息。
[0050]
具体地，像素损失函数l
pixel
定义如下：
[0051][0052]
其中n为训练样本数量，表示噪声图像和无噪图像训练对，表示三维卷积神经网络输出的去噪后的图片，θ＝0
°
，45
°
，90
°
，135
°
，表示四个角度的偏振分量，||
·
||2表示2范数。
[0053]
具体地，在发明的一个实施例中，利用偏振信息来构建损失函数，包括线性偏振度(dolp)和偏振角(aop)。对于偏振信息，通常使用stokes矢量s
t
＝[s0,s1,s2,s3]来进行表征，其中s0表示光强分量，s1和s2表示线性偏振分量，s3表示圆偏振分量，一般近似取0。进一步地，dolp和aop可stokes矢量计算得到：
[0054][0055][0056]
其中i
θ
,θ＝0
°
,45
°
,90
°
,135
°
表示不同偏振分量图像的光强值。
[0057]
进一步地，在本发明的一个实施例中，偏振度损失l
dolp
和偏振角损失l
aop
定义如下：
[0058][0059]
其中dolp(
·
)和aop(
·
)分别表示线性偏振度和偏振角的算子。
[0060]
进一步地，偏振损失函数由偏振度损失和偏振角损失有机组成：
[0061]
l
polarization
＝ω
dolp
l
dolp
+φω
aop
l
aop
ꢀꢀꢀꢀꢀꢀ
(6)
[0062]
其中φ是偏振角调节因子，用于平衡损失函数的权重，其中各子函数的权重ω是随着损失函数变化而变化的，计算方法为子损失函数的值与总损失函数的比值。
[0063]
具体地，在本发明的一个实施例中，使用色彩损失函数来约束网络，使得网络拥有色彩失真的校正能力。色彩损失通过计算s0分量的均方误差得到，定义如下：
[0064][0065]
进一步地，色彩损失函数l
color
定义如下：
[0066][0067]
其中s0(
·
)表示的是计算斯托克斯矢量第一分量的算子。
[0068]
具体地，彩色偏振损失函数由光强损失、偏振损失和色彩损失三部分组成，定义如下：
[0069]
l＝ω
pixel
l
pixel
+ω
polarization
l
polarization
+ω
color
l
color
,
ꢀꢀꢀꢀꢀꢀꢀ
(3)
[0070]
其中ω是各子函数的权重，计算方法为子损失函数的值与总损失函数的比值，所以在训练过程中，随着损失函数的值的变化，权重也是在不断的在调节，从而自动平衡个部分的比例，优化训练过程。
[0071]
s5，在本发明的实施例中，根据彩色偏振图像对噪声去除的要求以及偏振信息、彩色信息恢复的效果的反馈来手动调整三维卷积神经网络模型的参数，包括初始学习率及学习率指数衰减速率、批处理大小、损失函数调节因子φ、三维卷积残差密集模块的数量以及通道数等参数。具体地，在本实施例中最小批处理样本数为32，学习率初始化为0.0001，使用指数衰减学习率方法，设置衰减率为0.9，训练周期为70，使用adam算法优化损失函数，损失函数调节因子为0.2，总共有10个三维卷积残差密集模块，每个模块有6个三维卷积层，每个卷积层有32个通道。
[0072]
在本发明的实施例中，使用三维卷积残差密集网络对彩色偏振图像去噪，之后得
到的根据偏振信息重建的彩色图像，彩色线性偏振度图和彩色偏振角度图。如图4所示，其中图4a为噪声彩色图，图4b为噪声彩色线性偏振度图，图4c为噪声彩色偏振角图；图4d、e、f分别为使用本发明实施例去噪后重建的彩色图、彩色偏振度图和彩色偏振角图；图4g、h、i分别为根据真值图像重建的彩色图、彩色偏振度图和彩色偏振角图。从图可以看出本发明提出的基于三维卷积神经网络的彩色偏振图像去噪算法能够有效去除彩色分焦平面相机所采集的图像的噪声，并且对于噪声极为敏感的偏振度图像与偏振角图像，能在被噪声淹没的信息中很好地恢复其偏振信息，而且对于由噪声引起的色彩失真也能很好的校正。
[0073]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0074]
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。