基于多模态损失函数U型编解码网络的图像增强方法

本发明属于暗光彩色图像增强领域，具体为一种基于多模态损失函数u型编解码网络的图像增强方法。

背景技术：

1、随着光电技术的发展及相关产业的兴起，光电探测技术在军事探测、城市安防、环境监测、特种监控等领域得到了广泛的应用以及空前的发展。传统的光电成像技术使用目标物反射或辐射的电磁波作为信号源，对需要识别的目标进行检测识别与追踪。然而，随着人们对成像信息的要求不断升高，传统的光电成像技术已经无法满足日益增长的需求：在实际的使用场景中，周围环境里存在的背景杂波，光照变化，障碍遮挡等可能对传统的光电成像技术造成干扰。例如：在军事探测中，若目标辐射与背景辐射相似或背景辐射过强，则很难在背景杂波中准确高效地识别出目标；亦或目标使用了光学遮挡伪装，那么传统的光电成像技术是束手无策的；再或目标处于水中，则水的散射作用会导致极大的误差。简单来说，实际探测场景中的干扰会大幅提升识别的复杂度，使得目标与非目标之间的光学特性差异被大大弱化，出现明显的灰度响应混叠现象，进而导致传统光电成像技术的的识别效率出现大幅下降，甚至产生严重错误。

2、偏振是光的重要物理特性之一，地表或大气中的目标在反射、散射、透射和辐射电磁波时会产生由自身特性所决定的特定偏振信息，且这些偏振信息能用于分析目标的形状、表面粗糙度、纹理走向和材料的理化特性等。通过结合光强成像和偏振成像，可以再一定程度上克服光强的响应混叠效应，解决在暗光条件下光强成像的缺点，提升成像系统的信噪比，提供更多维度的信息。

3、在复杂多变的光学环境下，特别是光子计数极低的暗光条件下，偏振成像往往具有很大的难度，由于偏振图像的生成大多由偏振光光强的计算获得，暗光条件下光强的低信噪比会显著降低偏振图像的清晰程度。并且，在暗光环境下偏振片的传输率可能产生下降，进而引起图像退化。传统的光学成像器件以及数据处理方法往往无法获得以及处理图像的偏振信息，影响目标检测和识别

4、传统的暗光环境成像增强去噪技术如nlm，cbm3d算法大部分是基于相似块进行增强去噪。然而，由于光强(s0)，偏振度(dolp)和偏振角(aop)对于不同的场景下的噪声有不同的灵敏度。传统的增强方案一般来说只能有效增强rgb三通道的色彩强度。对于需要同时使用rgb成像技术与偏振成像技术的光电探测系统，这些处理方法往往无法兼顾偏振成像的增强，进而会产生大量的欠增强或过增强的问题。这让传统的增强方法在日新月异的成像系统面前失去了其固有的优势，以至于在复杂环境下工作时可能产生极为严重的错误。

技术实现思路

1、为了克服上述传统技术的不足，本发明提供了一种基于深度学习的偏振图像增强方法，以实现对暗光图像快速且准确的增强还原。

2、实现本发明目的的技术解决方案为：一种基于多模态损失函数u型编解码网络的图像增强方法，包括以下步骤：

3、步骤1、构建图像增强网络polarunet；

4、步骤2、构建图像增强网络polarunet的损失函数；

5、步骤3、初始化图像增强网络polarunet参数：学习率lr、每一批次送入网络的图片裁剪大小patch-size、每一批次送入网络的图片数量batch-size、最大迭代次数；

6、步骤4、将训练集原始图像和对应的真值输入到去噪网络polarunet中，对其进行训练直到损失函数收敛，得到训练好的图像增强网络polarunet模型；

7、步骤5、将测试集待增强图像输入到步骤5中训练好的图像增强网络polarunet进行图像增强处理。

8、优选地，构建图像增强网络polarunet的具体步骤如下：

9、步骤1.1、网络的整体结构为对称的特征提取网络和特征融合网络以及底层卷积网络。对应层的特征提取网络和特征融合网络中的数据形状一致。每一层特征提取网络的通道数是前一层的2倍，高与宽是前一层的每一层特征融合网络的通道数是后一层的2倍，高与宽是后一层的传入数据为三通道s0图像与三通道dolp图像在通道维度组合成的六通道图像；

10、步骤1.2、构建四层特征提取网络，每层特征提取网络由两个3×3的卷积层和一个2×2的最大池化层构成；每一层网络先进行两次3×3卷积，再通过2×2最大池化，前三层网络输出传入下一层特征提取网络、最后一层输出传入底层卷积网络；

11、步骤1.3、构建底层卷积网络由两个3×3的卷积层构成，输出传入第一层特征融合网络；

12、步骤1.4、构建四层特征融合网络，每层特征融合网络由一个2×2上采样卷积层、一个特征拼接层和两个3×3卷积层构成；先进行2×2反卷积，并与对应的特征提取层卷积后的特征图进行特征融合，再进行两次3×3卷积。前三层输出传入下一层网络，最后一层输出通过1×1卷积层恢复为6通道输出。

13、步骤1.5、卷积层中使用lrelu激活函数：

14、

15、优选地，步骤2中构建的图像增强网络polarunet的损失函数具体为：

16、loss＝λs0×losss0+λdolp×lossdolp

17、

18、

19、其中，losss0为光强模态的loss值，lossdolp为线偏振度模态的loss值。n为每次训练输入的batch-size数，表示每一轮网络训练后的输出图光强通道进行rgb-yuv转换后y通道图像，和其对应的真值图像；表示每一轮网络训练后的输出图光强通道进行rgb-yuv转换后uv通道图像，和其对应的真值图像；表示每一轮网络训练后的输出图像偏振度通道图像和其对应的真值图像。

20、步骤3、使用步骤2构建的损失函数函数，使用adam优化器对网络参数进行优化；将训练集按patch-size裁剪、按照batch-size进行随机分组后送入网络，训练直至最大迭代次数，获得训练后的网络模型。

21、本发明与现有技术相比，其显著优点为：(1)通过yuv色彩空间对图像进行转换，通过调整y与uv通道不同的损失函数的线性组合系数，可保证在不影响图像整体亮度增强效果的情况下减小色差；在不明显减少光强损失函数的信息量的同时减少了其对线偏振度损失函数的影响，间接提高了线偏振度图像的增强效果；(2)本发明通过训练后得到的模型在保证去噪性能的同时，可以快速实现可见光图像去噪，大大提高了效率。

22、下面结合说明书附图对本发明做进一步描述。

技术特征：

1.一种基于多模态损失函数u型编解码网络的图像增强方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于多模态损失函数u型编解码网络的图像增强方法，其特征在于，构建图像增强网络polarunet的具体步骤如下：

3.根据权利要求1所述的基于多模态损失函数u型编解码网络的图像增强方法，其特征在于，初始化的图像增强网络polarunet参数包括：学习率lr、每一批次送入网络的图片裁剪大小patch-size、最大迭代次数。

4.根据权利要求1所述的基于多模态损失函数u型编解码网络的图像增强方法，其特征在于，步骤2中构建的网络polarunet的损失函数具体为：

5.根据权利要求1所述的基于多模态损失函数u型编解码网络的图像增强方法，其特征在于，训练网络模型，步骤如下：

技术总结
本发明公开了一种基于多模态损失函数U型编解码网络的图像增强方法，涉及图像处理领域，包括：设计U型编解码网络模型，将短曝光S0与Dolp图像作为训练集、对应的长曝光图像作为真值参考，输入网络进行训练；并设计了使用YUV色彩空间的光强与线偏振度多模态损失函数，使用梯度下降算法调整网络参数，直到最大迭代次数，输出网络模型；将短曝光测试集图像输入训练好的网络模型，输出增强图像，与对应真值图像进行对比分析。经本发明改进后的网络模型在彩色偏振图像还原上的峰值信噪比、结构相似度和处理速度得到了提升。

技术研发人员：葛骏宇,陈昊,朱兴程,顾国华,万敏杰,徐秀钰,王佳节,韶阿俊
受保护的技术使用者：南京理工大学
技术研发日：
技术公布日：2024/1/15