一种基于卷积神经网络的近红外和可见光图像融合方法

本发明涉及图像处理领域，尤其涉及一种基于卷积神经网络的近红外和可见光图像融合方法。

背景技术：

近红外和可见光图像融合是在安全监控和地质勘探领域具有广泛应用的一种图像融合方式。可见光和近红外光谱相差较大，两种光谱具有的物理特性(反射特性和投射特性)差异显著。可见光图像主要由目标和环境光反射成像，因此包含颜色信息，但是当遭遇一些低能见度的场景，例如大雾、烟雾以及低光照，可见光图片会表现出低对比度以及缺乏细节信息。与可见光谱不同，近红外光谱范围更高，由于近红外图片仅有目标物反射成像，因此不受环境光照的影响，近红外图片也包含更多细节信息，然而，近红外图像是灰度图，因此缺乏颜色对比度信息。因此要得到一副颜色自然且场景清晰度较高的图像，我们就要进行两者融合，充分利用两者的互补信息，使得我们可以准确地对场景进行感知。

现有的近红外和可见光图像融合方法主要包含三类：基于多尺度变换、基于正则化模型以及基于数理统计的融合方法。基于多尺度变换的方法着眼于保留源图像的细节信息，虽然融合结果呈现出较好的细节保真度，然而，由于缺乏对颜色信息的有效处理，融合结果大多存在颜色失真的问题；基于正则化模型的方法主要通过保留可见光图像的像素分布和近红外图像的梯度信息来得到目标融合图像，这类方法忽视了保留可见光图像中的细节信息，导致融合结果中会出现局部细节丢失的问题；基于数理统计的方法致力于保留源图像的局部特性，然而局部滤波器的使用会引起边缘信息的模糊，进而导致融合图片中的光晕效应。

技术实现要素：

为了解决上述问题，本发明提供了一种基于卷积神经网络的近红外和可见光图像融合方法，主要包括以下步骤：

s1：从rgb-nir近红外和可见光图像数据集中挑选m对预配准的图像对，然后将其裁剪为p1×p1尺寸的n1组图像对，用来作为训练集，m、p1和n1均为大于零的正整数；

s2：建立融合网络框架，用于特征提取和融合图像的重建；

s3：基于所述融合网络框架，设计一种混合损失函数，通过不断优化该损失函数，利用所述训练集训练一个适用于近红外和可见光图像融合任务的融合网络；

s4：使用训练好的融合网络，输入实际得到的近红外和可见光图像对，即可直接得到融合图像。

进一步地，m为45，p1为46，n1为27264。

进一步地，所述融合网络架构的所有卷积层中均加入批标准化操作，以便加快训练速度。

进一步地，所述融合网络架构由级联层、编码层以及解码层组成。

进一步地，所述级联层用于对源图像在通道上进行串联，作为特征图输入到编码层；所述编码层用于提取源图像中的特征信息；所述解码层用于精炼编码层得到的特征图，重构得到彩色的融合图像，所述源图像为训练集中的近红外和可见光图像对。

进一步地，所述编码层中加入了稠密连接结构。

进一步地，所述混合损失函数由像素损失、结构损失以及边缘损失共同组成。

进一步地，所述像素损失用于保留可见光图像的颜色信息，结构损失用于保留源图像中的细节信息，边缘损失则用于抑制融合图像中的光晕效应。

进一步地，所述混合损失函数如公式(1)所示：

l＝lcolor+α·lbssim+β·ledge(1)

其中，l表示混合损失函数，lcolor、lbssim和ledge分别表示像素损失、结构损失和边缘损失，α和β均为超参数，用于平衡各个损失函数的影响。

本发明提供的技术方案带来的有益效果是：本发明通过一些测试图像对，与现有的几种融合算法进行对比，在主观视觉效果上都优于其他对比融合算法，本发明算法可以很好的保留源图像的细节、纹理和，具有更好的对比度这使得融合后的图像更为清晰、可靠、便于人眼直观视觉观察。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例中一种基于卷积神经网络的近红外和可见光图像融合方法的流程图；

图2是本发明实施例中融合网络的结构图；

图3是本发明实施例中实验结果的示意图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。

针对现有方法中越来越复杂的认为设计的融合规则和前处理步骤，本发明的实施例提供了一种基于卷积神经网络的近红外和可见光图像融合方法，可以直接由输入图像得到融合图像，极大地简化了融合流程，而且，通过优化本发明中设计的损失函数，融合结果相比于现有方法拥有更加自然的色彩信息同时局部细节信息保留地更加完整。

请参考图1-2，图1是本发明实施例中一种基于卷积神经网络的近红外和可见光图像融合方法的流程图，图2是本发明实施例中融合网络的结构图，具体包括如下步骤：

s1：从现有的近红外和可见光图像数据集中选取45组图像对，利用数据增强的方法得到扩充后的大规模训练集。

s2：构建融合网络框架，用于特征提取和融合图像的重建。

s3：针对性地设计一种混合损失函数，通过不断优化该损失函数，训练一个适用于近红外和可见光图像融合任务的融合网络，并利用测试图像对对该融合网络进行测试，以确保得到符合预设精度的融合网络。

s4：通过符合预设精度的训练好的融合网络，输入测试图像对的融合图像。

步骤s1中，由于深度学习网络的训练需要大量的数据，现有的近红外和可见光图像数据集不具备如此大的规模，因此本发明利用剪切的数据增强方法在现有数据集的基础上构建出一个适用于深度学习网络的近红外和可见光图像数据集。通过不带重叠的剪切操作，将45组图像对扩充为27264组图像块对，足够用于训练一个性能较好的融合网络。

步骤s2中，图2为本发明中融合网络的结构图，编码层和解码层分别用以特征提取和图像重构。本方法在所有卷积层中加入了批标准化(batchnormalization)操作，批处理化让梯度变大，避免梯度消失问题的产生，而且梯度变大意味着学习收敛速度变快，能大大加快训练速度。

在编码层中，为了避免浅层特征在前向传播中权重逐渐降低，同时也为了避免反向传播时梯度消失的问题，本发明在编码层中加入了稠密连接结构，每一层的特征图都作为后面所有层的输入，因此浅层特征得到了充分地利用。

步骤s3，为了得到一个适用于近红外和可见光图像融合任务的融合网络，本发明设计了一种针对性的混合损失函数l，定义如下：

l＝lcolor+α·lbssim+β·ledge(1)

lcolor、lbssim和ledge分别代表像素损失、结构损失和边缘损失，α和β均为超参数，用于平衡各个损失函数的影响。像素损失lcolor定义如下：

其中，a和b分别为源图像的长和宽，||.||f为frobenious正则项，iv、in和if分别为可见光、近红外和融合图片，i表示第i个像素，p为源图像中的像素数量，即p＝a×b，由于色彩信息主要由可见光图像在rgb三个通道的像素值反映，因此可以不断最小化像素损失保留色彩信息。所述源图像为训练集中的近红外和可见光图像对。结构损失lbssim定义如下：

lbssim＝1-dssim(iv(l)，in，if(l))(3)

其中，iv(l)、if(l)分别为可见光和融合图片的亮度通道，

其中，w代表图像中的第w个图像块，此处n代表源图像中图像块数量，(x|w)代表x图像的第w个图像块，ω1和ω2定义如下：

ω2＝1-ω1(6)

其中grad(.)用于计算梯度图，||.||2代表l2正则项，通过自适应地选择保留可见光或者近红外图像的局部结构信息，极大程度地保留了源图像中的局部细节信息。边缘损失ledge定义如下：

其中，

w＝1-norm(grad(in))(8)

其中norm(.)为归一化操作，边缘损失在保留融合图像中已有细节的前提下，约束远离边缘的像素具有和可见光中背景具有类似的像素值分布，从而达到抑制融合图像中的光晕效应的目的。

本发明的实验测试图像采用已严格配准过的rgb-nir数据集中的近红外和可见光图像对，对比算法包括基于引导滤波器的融合方法(gff)、基于拉普拉斯高斯金字塔的融合方法(cvn)和基于交叉场的融合方法(vsm)。实验结果如图3所示，观察可知，gff算法可以较好地保留源图像的细节信息，然而，由于其未考虑颜色信息，融合结果中呈现出颜色失真的问题；cvn算法可以较好地保留局部的颜色对比度信息，然而融合图片呈现出过高的对比度，视觉效果较差；vsm算法地融合结果可以保留源图像的色彩信息，然而融合结果中存在细节丢失的问题。相比之下，通过本发明上述方法得到的融合结果具有最为真实的色彩外观同时也保留了最多的局部细节信息。

本发明的有益效果：本发明通过一些测试图像对，与现有的几种融合算法进行对比，在主观视觉效果上都优于其他对比融合算法，本发明方法可以很好的保留源图像的细节、纹理和，具有更好的对比度这使得融合后的图像更为清晰、可靠、便于人眼直观视觉观察。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。