一种基于空间梯度引导网络的可见光与红外图像融合方法

本发明属于图像处理、信息融合、深度学习、机器视觉领域，涉及一种基于空间梯度引导网络的可见光与红外图像融合方法，适用于军事领域、遥感、目标检测系统可见光图像与红外图像融合。

背景技术：

1、linfeng tang在2021年8月在ieee transactions on instrumentation andmeasurement上发表的stdfusionnet:an infrared and visible image fusion networkbased on salient target detection论文在图像数据的训练时长上有大幅度的增进，但是对于场景的理解以及亮度的分布没有做到准确的估算。

2、另外，yang y在2021年7月在ieee transactions on instrumentation andmeasurement上发表的infrared and visible image fusion using visual saliencysparse representation and detail injection model论文在图像噪声上得到很好的抑制，但是在特征提取过程种过度依赖手动设计融合规则，提取的特征缺乏多样性，对比度低、纹理模糊，容易出现伪影情况。

3、因此，提出一种基于空间梯度引导网络的可见光与红外图像融合方法，来解决在特征提取过程种过度依赖手动设计融合规则，提取的特征缺乏多样性，对比度低、纹理模糊，容易出现伪影的问题，较好的理解融合后图像场景的亮度分布问题。

技术实现思路

1、一种基于空间梯度引导网络的可见光与红外图像融合方法，将可见光与红外图像融合方法将图像融合问题转化为梯度和显著度信息的提取与重构；

2、针对特征提取部分，设计一种损失函数，该损失函数由梯度项和显著项两部分组成；对于梯度项，引入空间梯度模块，根据可见光图像像素尺度纹理信息的丰富度来决定梯度分布的优化目标；

3、对于显著项，通过调整红外光图像的损失项的权重来改变显著目标的强度信息比例；

4、针对特征重构部分，设计一种光照损失函数，在融合过程中加入空间引导模块来减少信息的损失、保留图像光照强度；空间引导模块首先使用高斯低通滤波器来降低噪声的影响，在边缘区域选择较小的权值，引导融合图像的梯度分布以更大的梯度显著度接近原像素，保证可见光图像和红外光图像的边缘区域一致性，同时能保证减少红外光图像融合时的失真问题；

5、对于显著度信息，由于不同的融合任务对于提取的显著度信息不同，需要通过调整每个显著度损失项的权重比例，在融合过程中选择有效、突显的信息进行保存；

6、利用梯度项和显著项两种策略提取和重建梯度和显著度信息；

7、所提基于空间梯度引导网络的可见光与红外图像融合方法能解决融合图像中场景亮度分布不准确问题，实现融合图像场景亮度分布准确的功能，优化融合图像的细节轮廓与纹理信息，提高热源目标的显著信息；

8、一种基于空间梯度引导网络的可见光与红外图像融合方法，在使用过程中的步骤为：

9、步骤(1)：将红外图像进行特征提取，首先训练红外图像的第一层，第一层的卷积核大小为1×1，之后利用四个权值的卷积层充分提取红外图像的深度特征，在红外图像第二层、第三层和第四层的输出后面都有一个显著项模块，以减少特征提取中显著目标信息的损失，显著项模块能提取到卷积层更多的细节信息，除第一层以外，所有卷积层的核大小均为3×3，特征提取的所有层都是用relu作为激活函数；

10、显著项损失函数为：

11、

12、其中：x和y表示空间模块映射或梯度映射的第x行第y列的元素，h为红外图像的高度，w为红外图像的宽度，为背景损失函数，为显著目标损失函数，为融合图像的损失函数，α为权重比例，n为图像的像素值；

13、步骤(2)：将可见光图像进行特征提取，首先训练可见光图像的第一层，第一层的卷积核大小为1×1，之后利用四个权值的卷积层充分提取可见光图像的深度特征，在可见光图像第二层、第三层和第四层的输出后面都有一个梯度项模块，以减少特征提取中细节纹理信息的损失，梯度项模块能提取到卷积层纹理信息，除第一层以外，所有卷积层的核大小均为3×3，特征提取的所有层都是用relu作为激活函数；

14、梯度项损失函数为：

15、

16、其中：i1(x,y)表示原图像，if(x,y)表示融合图像，s1(x,y)表示空间梯度模块根据原图像的梯度级别生成的梯度图，表示梯度算子；

17、梯度算子采用scharr梯度算子，为了避免大量噪声对于梯度判断的影响，空间梯度模块首先对原图像进行双边滤波，然后利用scharr算子寻找梯度映射，并根据梯度的大小在像素尺度上生成空间模块映射，空间梯度模块的生成过程为：

18、

19、

20、

21、

22、式中，w(x,y,k,l)为加权系数，加权系数由定义域核和值域核共同决定；d(x,y,k,l)为定义域核；r(x,y,k,l)为值域核，值域核的大小取决于被卷积像素的灰度值和领域像素的灰度值的差；k和l为领域像素的坐标点；||·||表示范数；σd和σr分别表示定义域核和值域核高斯方差；方差越大，说明权重差别越小；exp()为指数函数；f(x,y)是(x,y)对应的灰度值；f(k,l)是(k,l)对应的灰度值；

23、由于原可见光图像采用双边滤波函数，选取梯度值较大的像素点，能保留大量的纹理细节信息；

24、采用空间梯度模块作用于梯度损失函数，保证融合后的图像以优化的方式保留像素尺度上的丰富纹理；步骤(3)：特征重构部分中将红外图像与可见光图像提取的特征进行拼接，作为图像融合的输入；图像重构包含五个卷积层，第一层、第二层和第三层输出后面都跟着一个空间引导模块，提取可见光图像中的亮度分布信息，提高融合图像光照亮度的同时再一次减少融合过程中信息的丢失，充分整合细节纹理信息和显著目标信息，生成最后融合的图像；除了第五层核为1×1外，其余各层大小均为3×3；

25、特征重构部分的第五层使用tanh激活函数，其余所有层均使用relu作为激活函数；

26、步骤(4)：融合图像的光照亮度信息根据可见光图像的像素来估计场景的亮度分布，输入为可见光图像，输出为亮度概率，是由五个卷积层、一个全局池化层和两个全连接层构成；所有卷积层均使用relu作为激活函数，全局池化层对光照信息进行集成，由两个全连接层进行亮度概率的计算；

27、空间引导模块在充分提取亮度分布信息的同时，减少融合图像的训练时间；

28、空间引导模块的光照损失函数为：

29、

30、其中：pir和pvi分别为红外图像与可见光图像的亮度权重；和分别为红外图像与可见光图像的亮度损失；

31、由于亮度损失是指像素级测量融合图像和原图像之间的差异；红外光与可见光图像的亮度损失分别为：

32、

33、

34、其中：iir(x,y)表示红外图像，ivi(x,y)表示可见光图像，；

35、步骤(5)：将光照亮度信息与拼接的红外图像、可见光图像进行融合，获得最终的融合图像；融合图像的损失函数为：

36、

37、其中：为梯度项损失函数；为显著项损失函数；β用于平衡显著项和梯度项系数；为融合过程中的光照损失函数。

38、本发明相对于现有技术具有如下的优点及效果：

39、(1)现有特征提取网络和特征重构网络两种网络采用相同的损失函数并不能注意到两种不同图片属性的细节。相反的是，本发明由特征提取网络与特征重构网络两部分组成，分别提出不同的损失函数，大幅度的保留需要提取原图像的特征信息。

40、(2)现有的可能会产生负数的梯度项损失函数可能会引起图像的模糊。然而，本发明针对可见光图像的特征提取提出了全为正数的梯度项的损失函数，增强了边缘信息和细节纹理的保留能力，减少了融合失真、模糊的问题。

41、(3)现有的图像特征提取的显著项损失函数产生的负值会导致图像的失真问题。针对红外光图像的特征提取提出了非负的显著项的损失函数，突出了热源目标的信息特征。

42、(4)现有的损失函数大多数没有考虑光照亮度的分布问题，会产生无法辨别场景的时间问题与颜色问题，考虑光照亮度的损失函数没有考虑到亮度重叠的问题。本发明在红外光与可见光的细节提取的基础上提出了亮度分布的估计，可以清晰地辨认出场景的光照亮度问题与颜色问题。在融合过程中提出了全新的光照亮度的损失函数，大幅度的保留了可见光图像中的场景亮度的分布问题，同时减少与红外光热源目标的亮度重叠问题。