一种基于局部对比学习的红外图像真彩化方法与流程

本发明属于图像处理技术与深度学习，具体涉及一种局部对比学习的红外图像真彩化方法。

背景技术：

1、红外传感器对人眼不可见的物体表面温度分布进行成像，将人们对世界的感知扩展到了光谱中的红外波段。红外成像具有良好的抗干扰性与全天时工作能力，成为不可或缺的探测手段，广泛装载于各类军事装备和武器平台中，实现场景监视、目标预警、搜索跟踪、精确制导、辅助驾驶、视觉导航、隐形武器探测和光电对抗等应用。红外成像设备获取的图像是热图像,主要反映了场景中不同物体之间的温度差异,为单一维度的灰度图像,不具备色彩信息，且在局部纹理细节较为模糊，一定程度上影响了观察人员对目标的快速辨识和对场景的正确理解。通过红外图像彩色化技术，为红外图像中的各个像素赋以具有真实感和舒适感的色彩信息，提高图像表现力，改善视觉效果，增强人眼感知，将有望应用于各型军用红外探测系统中，生成真实感彩色图像，改善场景理解的有效性、目标辨识的准确性和信息获取的敏捷性，提高探测图像的使用价值，创造战场优势。

2、随着深度学习技术的崛起，自2015年起，研究人员开始将深度学习方法应用到图像着色中，利用其强大的数据挖掘和目标表征能力，提高图像着色效果。目前图像上色问题的主要方式为在大量灰度彩色图像对上进行训练，较传统算法，该算法在通用性和彩色化效果上都获得极大提升，但仍存在生成图像模糊、真实感弱的特点；后续还提出将生成对抗网络引入红外图像彩色化中，提出了三通道红外图像彩色网络，通过在红外彩色图像对构成的数据上训练网络，获得了真实感更强的彩色化效果。而对于红外图像彩色化而言，很难获得大量的红外彩色图像对，因此数据集获取困难在一定程度上限制了该技术在红外图像彩色化上的应用，且着色后的真彩图像难以与真实红外图像在内容上保持一致。

技术实现思路

1、有鉴于此，针对现有技术的以上缺陷或改进需求，本发明公开实施例提供了一种基于局部对比学习的红外图像真彩化方法，旨在解决，在非配对数据的情况下，红外图像映射到真彩域后会存在内容改变、细节缺失等问题，本发明通过基于注意力机制的多感受野特征融合及局部对比学习的思想，保证着色结果真实、自然。

2、本发明所采用具体技术方案为：

3、一种基于局部对比学习的红外图像真彩化方法,包括以下步骤：

4、s101：构建图像尺寸一致以及数量比例为1:1的非成对红外图像和可见光图像作为输入数据集；搭建循环生成对抗网络的多感受野生成器，将红外图像输入到生成器中进行多感受野特征提取及注意力特征融合，得到着色后的真彩图像；

5、s102、在循环生成对抗网络中引入局部互信息对比学习模块，构建红外着色网络；局部互信息对比学习模块用于对比红外图像与着色后真彩图像的局部互信息；构建局部对比学习损失以保证着色结果局部内容与原始红外图像一致；

6、s103、搭建判别器网络、构建对抗损失函数、循环一致损失函数以及总变分损失函数，不断优化着色后的真彩图像，训练红外着色网络；

7、s104、将数据集中的测试集红外图像输入到训练好的红外着色网络中，得到相对应的真彩化图像。

8、进一步的，在步骤s101中，利用相机在不同场景下采集红外图像及可见光图像，将红外图像和可见光图像的尺寸调成一致后，构建数量比例为1:1的非成对红外图像与可见光图像，并分为训练集及测试集。

9、进一步的，步骤s101所述的多感受野生成网络包括基于u-net++网络的特征提取器以及多感受野特征融合模块。

10、进一步的，所述特征提取器为编码-解码结构，用于提取不同感受野的特征并跳跃连接后进行输出。

11、进一步的，所述特征融合模块采用嵌套式的多感受野特征融合方式，每次采用一个注意力融合结构来融合两个感受野差异较小的特征，得到的新的特征再与感受野差异较大的特征再次进行融合，最终利用特征融合模块将提取到的所有特征融合为一个特征图；其中：注意力融合结构用于使特征融合模块自主学习各个感受野特征的相互依赖关系、强调重要信息以及抑制无关信息；

12、特征融合模块中基于注意力融合结构自适应学习两个特征的关联权重，具体为：首先将输入融合块的两个特征进行通道上的合并[fi,fi+1]，并通过卷积层学习特征之间的注意力矩阵，最后利用sigmoid函数将注意力矩阵中的权重值映射到0和1之间，注意力矩阵学习如下式所示：

13、

14、其中g表示sigmoid函数，h表示一个3×3的卷积核，[.]表示通道连接操作，αi表示注意力；计算得到注意力图后，两特征之间按照注意力权重进行融合，计算方式如下：

15、featurefuse(fi,fi+1)＝fi⊙αi+fi+1⊙(1-αi)。

16、进一步的，在步骤s102中，局部互信息对比学习模块对红外场景的分布特征进行对照学习，以约束真彩着色图像的效果，使真彩着色图像在场景分布上忠于原始红外输入；

17、具体包括以下步骤：

18、s201:在局部互信息对比学习模块的每个互信息对比子模块中，首先将红外原始图像x和真彩着色图像y送入固定参数的编码器gx和gy中，提取不同层的特征图，分别得到fx、fy：

19、fx＝gx(x),fy＝gy(y)

20、其中gxe为反向生成网络的编码器，gye为正向生成网络的编码器，x为红外原始图像，y为真彩着色图像；

21、s202:将fx和fy进行随机采样得到n个中心向量；

22、s203:采样每个中心向量的八个最近相邻向量，并计算x图像和y图像中的n个中心向量与其相邻八向量之间的差向量；

23、s204:将各差向量送入一个两层的mlp中，投影到隐空间中，并进行l2标准化，得到x图像的局部互信息特征以及y图像的局部互信息特征(i＝1,2,…,n)。

24、进一步的，在步骤s102中，局部对比学习损失用于对红外图像的帧内局部互信息特征和真彩着色图像的局部互信息特征进行对比学习，使真彩结果与红外图像在局部信息上保持一致，采用以下函数：

25、

26、其中为x图像的局部互信息特征，为y图像的局部互信息特征，τ为学习超参数。

27、进一步的，在步骤s103中，判别器网络为五层卷积网络结构；判别器网络首先对输入图像进行5次卷积操作，得到一个特征图，然后将获得的特征图输入交叉熵函数，判断特征图是否符合目标图像分布。

28、进一步的，在步骤s103中，

29、所述对抗损失使得网络能够学习到目标域图像的分布，采用以下函数：

30、

31、式中，gy为生成器，dy为判别器，xt为真实红外图像，ys为真实可见光图像，gy(xt)为经过生成器着色得到的真彩域图像；

32、循环一致性损失由像素级损失、感知损失及纹理损失组成；

33、像素级损失采用以下函数描述：

34、lc(gx,gy)＝∑t||xt-gx(gy(xt))||2

35、式中，xt为真实红外图像，gy(xt)为正向生成网络得到的真彩化图像，gx(gy(xt))为经过反向生成器重建的红外图像；

36、感知损失中，感知损失函数在预先训练好的vgg19网络的基础上，通过比较不同层次特征的欧氏距离来衡量生成图像的视觉感知效果，采用以下函数：

37、

38、其中φi,j表示vgg-19中第i个池化层之前，第j个卷基层的特征图像，n表示一个mini-batch所包含的图像的数目；

39、纹理损失采用以下函数描述：

40、

41、其中表示vgg-19中第l层输出xt为真实红外图像,gx(gy(xt))为经过反向生成器重建的红外图像,gram()为输入特征的拉格姆矩阵计算；

42、所述总变分损失用于确保生成的图像在局部优化的过程中也能保持整体平滑采用以下函数描述：

43、

44、式中，y为生成的可见光图像，i,j为图像的坐标。

45、通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

46、针对红外可见光配对数据集难以获取的现实，采用一种自监督的非配对循环生成对抗网络，通过设计双向循环对比学习策略，完成红外域到真彩域的映射。同时，通过基于注意力机制的多感受野编解码网络，将红外图像的多尺度特征融合到真彩着色结果中，达到较好的纹理恢复效果。

47、针对域转换过程中映射内容改变、细节缺失等问题，采用对比学习构建红外图像空间分布特征用于约束真彩着色效果，通过最大化红外局部特征与对应位置的真彩局部特征之间的互信息熵，使真彩结果与红外图像在局部对比度变化规律上保持一致。

48、针对传统对抗学习仅关注于全图评价而忽略了局部相似性评价的问题，引入patchgan对局部感受野为真实样本的概率进行判定，使模型在对抗学习的过程中更加关注局部细节信息的恢复。另外设计了跨域的帧内对比一致性保持损失，保证真彩着色后结果在内容上与原始图像一致。