基于密集连接生成对抗网络的图像融合方法和装置

1.本技术涉及计算机技术领域，特别是涉及一种基于密集连接生成对抗网络的图像融合方法、装置、计算机设备和存储介质。


背景技术：

2.受复杂环境干扰，隐藏的人造目标(如丛林中隐藏的车辆，树叶中隐藏的摄像头等)在可见光成像时不显著，给目标的检测识别带来了很大挑战。不同材质的物体的偏振特性不同，因此偏振成像可以凸显物体的材质差异，对于发现复杂环境下隐藏的人造目标有益。但与可见光图像相比，偏振图像低频信息表达不丰富，有可能造成目标重要属性信息的丢失。融合可见光图像和偏振图像，有利于抑制复杂环境对人造目标成像质量的影响，为目标的检测识别奠定基础。
3.传统的图像融合方法主要有基于变换域的图像融合方法、基于引导滤波的图像融合方法、基于稀疏表示和梯度传递的图像融合方法等。基于变换域的方法首先使用图像变换来分解源图像，然后基于分解系数设计融合策略。基于引导滤波的融合方法本质上是一种基于梯度信息的空间域融合方法。基于稀疏表示和梯度传递融合的方法通过解决具有不同正则项的最小化问题来融合图像，但是基于稀疏表示的方法需要提前构建完备的稀疏字典，梯度传递方法则在融合图像时会有失真。这些传统方法通常都包括三个关键步骤，即图像转换、活动水平测量和融合规则设计。大多数方法对不同的源图像采用相同的变换，因此它们不适于融合可见光图像和偏振图像。此外，大多数方法中的活动水平测量和融合规则都是手工设计的，这使得难以适应不同的场景。随着融合规则的设计不断复杂化，人工计算量也随之增大。因此，现有技术存在适应性不佳、效率低的问题。


技术实现要素：

4.基于此，有必要针对上述技术问题，提供一种能够提升图像融合适应性和效率的基于密集连接生成对抗网络的图像融合方法、装置、计算机设备和存储介质。
5.一种基于密集连接生成对抗网络的图像融合方法，所述方法包括：
6.获取可见光图像样本和偏振图像样本，将所述可见光图像样本和所述偏振图像样本输入可见光和偏振图像融合训练模型中；所述可见光和偏振图像融合训练模型包括生成器网络和判别器网络；所述生成器网络包括两路级联前置网络和一路级联密集连接网络；所述判别器网络包括多层特征提取网络；
7.通过所述两路级联前置网络分别对所述可见光图像样本和所述偏振图像样本进行处理，得到两路采样通道特征图；其中，第一层前置网络的输入为所述可见光图像样本和所述偏振图像样本的源图；其他层前置网络的输入为前一层两路采样通道特征图和对应通道的图像源图；
8.将所述两路级联前置网络的每层前置网络输出的特征图级联，并加入所述可见光图像样本和所述偏振图像样本的源图，输入到所述级联密集连接网络；
9.通过所述级联密集连接网络对输入的图像进行处理，得到所述可见光图像样本和所述偏振图像样本的生成器融合图像；其中，每一层密集连接网络的输入包括前一级网络的输出和所述可见光图像样本和所述偏振图像样本的源图；
10.以可见光图像样本源图为真、所述生成器融合图像为假，将所述生成器融合图像以及所述可见光图像样本源图输入所述判别器网络，通过所述判别器网络输出所述生成器融合图像的判别结果；
11.根据预先构建的损失函数、所述生成器融合图像和所述判别结果对所述可见光和偏振图像融合模型进行训练，得到训练好的生成器网络；
12.通过训练好的生成器网络进行可见光与偏振图像融合。
13.在其中一个实施例中，还包括：所述密集连接网络包括：卷积层、批量归一化层和lrelu激活层，其中，最后一级密集连接网络的激活层为tanh激活层；
14.所述多层特征提取网络包括卷积层、批量归一化层和lrelu激活层。
15.在其中一个实施例中，还包括：根据预先构建的损失函数、所述生成器融合图像和所述判别结果对所述可见光和偏振图像融合模型进行训练；所述损失函数包括所述可见光和偏振图像融合训练模型的对抗损失函数、所述生成器网络的生成器对抗损失函数、所述生成器网络的内容损失函数。
16.在其中一个实施例中，还包括：所述对抗损失函数为：
[0017][0018]
其中，x为所述可见光图像样本源图，d(x)为所述判别器网络的输出，z为所述生成器网络的输入，g(z)为所述生成器网络的输出，p
data
表示真实图像数据分布；p
z
表示生成图像数据分布；表示数学期望，x服从概率分布p
data
；表示数学期望，x服从概率分布p
z
，log(
·
)表示对数操作。
[0019]
在其中一个实施例中，还包括：所述生成器对抗损失函数为：
[0020][0021]
其中，n为批量归一化的批数量，为每个批次下的所有融合结果图像，f代表融合。
[0022]
在其中一个实施例中，还包括：所述内容损失函数包括：相似度损失函数和梯度损失函数；
[0023]
所述相似度损失函数为：
[0024]
loss
ssim
＝w
dolp
(1
‑
ssim
dolp
)+w
s0
(1
‑
ssim
s0
)
[0025]
其中，w
dolp
为所述偏振图像样本的权重，为所述偏振图像样本的梯度量，为所述可见光图像样本的梯度量，w
s0
为所述可见光图像样本的权重，ssim
dolp
为所述偏振图像样本的结构相似度，ssim
s0
为所述可见
光图像样本的结构相似度；
[0026]
所述梯度损失函数为：
[0027][0028]
其中，n、w分别为图像的长和宽，为所述生成器融合图像的梯度量，||
·
||1表示l1范数。
[0029]
在其中一个实施例中，还包括：根据预先构建的损失函数、所述生成器融合图像和所述判别结果，采用mini
‑
batch的训练策略对所述可见光和偏振图像融合模型进行训练。
[0030]
一种基于密集连接生成对抗网络的图像融合装置，所述装置包括：
[0031]
样本获取模块，用于获取可见光图像样本和偏振图像样本，将所述可见光图像样本和所述偏振图像样本输入可见光和偏振图像融合训练模型中；所述可见光和偏振图像融合训练模型包括生成器网络和判别器网络；所述生成器网络包括两路级联前置网络和一路级联密集连接网络；所述判别器网络包括多层特征提取网络；
[0032]
前置网络处理模块，用于通过所述两路级联前置网络分别对所述可见光图像样本和所述偏振图像样本进行处理，得到两路采样通道特征图；其中，第一层前置网络的输入为所述可见光图像样本和所述偏振图像样本的源图；其他层前置网络的输入为前一层两路采样通道特征图和对应通道的图像源图；
[0033]
密集连接网络处理模块，用于将所述两路级联前置网络的每层前置网络输出的特征图级联，并加入所述可见光图像样本和所述偏振图像样本的源图，输入到所述级联密集连接网络；通过所述级联密集连接网络对输入的图像进行处理，得到所述可见光图像样本和所述偏振图像样本的生成器融合图像；其中，每一层密集连接网络的输入包括前一级网络的输出和所述可见光图像样本和所述偏振图像样本的源图；
[0034]
判别器网络判别模块，用于以可见光图像样本源图为真、所述生成器融合图像为假，将所述生成器融合图像以及所述可见光图像样本源图输入所述判别器网络，通过所述判别器网络输出所述生成器融合图像的判别结果；
[0035]
训练模块，用于根据预先构建的损失函数、所述生成器融合图像和所述判别结果对所述可见光和偏振图像融合模型进行训练，得到训练好的生成器网络；
[0036]
图像融合模块，用于通过训练好的生成器网络进行可见光与偏振图像融合。
[0037]
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
[0038]
获取可见光图像样本和偏振图像样本，将所述可见光图像样本和所述偏振图像样本输入可见光和偏振图像融合训练模型中；所述可见光和偏振图像融合训练模型包括生成器网络和判别器网络；所述生成器网络包括两路级联前置网络和一路级联密集连接网络；所述判别器网络包括多层特征提取网络；
[0039]
通过所述两路级联前置网络分别对所述可见光图像样本和所述偏振图像样本进行处理，得到两路采样通道特征图；其中，第一层前置网络的输入为所述可见光图像样本和所述偏振图像样本的源图；其他层前置网络的输入为前一层两路采样通道特征图和对应通道的图像源图；
[0040]
将所述两路级联前置网络的每层前置网络输出的特征图级联，并加入所述可见光
图像样本和所述偏振图像样本的源图，输入到所述级联密集连接网络；
[0041]
通过所述级联密集连接网络对输入的图像进行处理，得到所述可见光图像样本和所述偏振图像样本的生成器融合图像；其中，每一层密集连接网络的输入包括前一级网络的输出和所述可见光图像样本和所述偏振图像样本的源图；
[0042]
以可见光图像样本源图为真、所述生成器融合图像为假，将所述生成器融合图像以及所述可见光图像样本源图输入所述判别器网络，通过所述判别器网络输出所述生成器融合图像的判别结果；
[0043]
根据预先构建的损失函数、所述生成器融合图像和所述判别结果对所述可见光和偏振图像融合模型进行训练，得到训练好的生成器网络；
[0044]
通过训练好的生成器网络进行可见光与偏振图像融合。
[0045]
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
[0046]
获取可见光图像样本和偏振图像样本，将所述可见光图像样本和所述偏振图像样本输入可见光和偏振图像融合训练模型中；所述可见光和偏振图像融合训练模型包括生成器网络和判别器网络；所述生成器网络包括两路级联前置网络和一路级联密集连接网络；所述判别器网络包括多层特征提取网络；
[0047]
通过所述两路级联前置网络分别对所述可见光图像样本和所述偏振图像样本进行处理，得到两路采样通道特征图；其中，第一层前置网络的输入为所述可见光图像样本和所述偏振图像样本的源图；其他层前置网络的输入为前一层两路采样通道特征图和对应通道的图像源图；
[0048]
将所述两路级联前置网络的每层前置网络输出的特征图级联，并加入所述可见光图像样本和所述偏振图像样本的源图，输入到所述级联密集连接网络；
[0049]
通过所述级联密集连接网络对输入的图像进行处理，得到所述可见光图像样本和所述偏振图像样本的生成器融合图像；其中，每一层密集连接网络的输入包括前一级网络的输出和所述可见光图像样本和所述偏振图像样本的源图；
[0050]
以可见光图像样本源图为真、所述生成器融合图像为假，将所述生成器融合图像以及所述可见光图像样本源图输入所述判别器网络，通过所述判别器网络输出所述生成器融合图像的判别结果；
[0051]
根据预先构建的损失函数、所述生成器融合图像和所述判别结果对所述可见光和偏振图像融合模型进行训练，得到训练好的生成器网络；
[0052]
通过训练好的生成器网络进行可见光与偏振图像融合。
[0053]
上述基于密集连接生成对抗网络的图像融合方法、装置、计算机设备和存储介质，通过获取可见光图像样本和偏振图像样本，将可见光图像样本和偏振图像样本输入可见光和偏振图像融合训练模型中，通过两路级联前置网络分别对可见光图像样本和偏振图像样本进行处理，得到两路采样通道特征图，将两路级联前置网络的每层前置网络输出的特征图级联，并加入可见光图像样本和偏振图像样本的源图，输入到级联密集连接网络，通过级联密集连接网络对输入的图像进行处理，得到可见光图像样本和偏振图像样本的生成器融合图像；以可见光图像样本源图为真、生成器融合图像为假，将生成器融合图像以及可见光图像样本源图输入判别器网络，通过判别器网络输出生成器融合图像的判别结果；根据预
先构建的损失函数、生成器融合图像和判别结果对可见光和偏振图像融合模型进行训练，得到训练好的生成器网络；通过训练好的生成器网络进行可见光与偏振图像融合。本发明提出的可见光和偏振图像融合训练模型是一种有监督的gan网络训练模型，通过有监督的训练，使得在生成器与判别器之间的持续博弈过程中，增强生成器对两类不同源的图像的细节特征的生成能力和判别器对偏振信息的区分能力，通过对抗学习提升可见光与偏振图像的融合质量。
附图说明
[0054]
图1为一个实施例中基于密集连接生成对抗网络的图像融合方法的流程示意图；
[0055]
图2为一个实施例中生成器网络示意图；
[0056]
图3为一个实施例中判别器网络示意图；
[0057]
图4为一个实施例中可见光和偏振图像融合训练模型示意图；
[0058]
图5为一个实施例中使用训练好的生成器网络进行图像融合的示意图；
[0059]
图6为一个实施例中对偏振图像进行灰度拉伸的前后对比示意图，其中，a为原始偏振图像，b为灰度拉伸后图像；
[0060]
图7为一个具体实施例中可见光图像和偏振图像融合结果示意图，其中，a为场景一的偏振图像，b为场景一的可见光图像，c为场景一的融合图像，d为场景二的偏振图像，e为场景二的可见光图像，f为场景二的融合图像。
[0061]
图8为一个实施例中基于密集连接生成对抗网络的图像融合装置的结构框图；
[0062]
图9为一个实施例中计算机设备的内部结构图。
具体实施方式
[0063]
为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
[0064]
本技术提供的基于密集连接生成对抗网络的图像融合方法，可以应用于如下应用环境中。其中，终端执行一种基于密集连接生成对抗网络的图像融合方法。通过获取可见光图像样本和偏振图像样本，将可见光图像样本和偏振图像样本输入可见光和偏振图像融合训练模型中，通过两路级联前置网络分别对可见光图像样本和偏振图像样本进行处理，得到两路采样通道特征图，将两路级联前置网络的每层前置网络输出的特征图级联，并加入可见光图像样本和偏振图像样本的源图，输入到级联密集连接网络，通过级联密集连接网络对输入的图像进行处理，得到可见光图像样本和偏振图像样本的生成器融合图像；以可见光图像样本源图为真、生成器融合图像为假，将生成器融合图像以及可见光图像样本源图输入判别器网络，通过判别器网络输出生成器融合图像的判别结果；根据预先构建的损失函数、生成器融合图像和判别结果对可见光和偏振图像融合模型进行训练，得到训练好的生成器网络；通过训练好的生成器网络进行可见光与偏振图像融合。其中，终端可以但不限于是各种个人计算机、笔记本电脑和平板电脑。
[0065]
在一个实施例中，如图1所示，提供了一种基于密集连接生成对抗网络的图像融合方法，包括以下步骤：
[0066]
步骤102，获取可见光图像样本和偏振图像样本，将可见光图像样本和偏振图像样本输入可见光和偏振图像融合训练模型中。
[0067]
可见光和偏振图像融合训练模型包括生成器网络和判别器网络；如图2所示，生成器网络包括两路级联前置网络和一路级联密集连接网络；如图3所示，判别器网络包括多层特征提取网络。
[0068]
步骤104，通过两路级联前置网络分别对可见光图像样本和偏振图像样本进行处理，得到两路采样通道特征图。
[0069]
其中，第一层前置网络的输入为可见光图像样本和偏振图像样本的源图；其他层前置网络的输入为前一层两路采样通道特征图和对应通道的图像源图。
[0070]
本发明设计的生成器模型是在密集连接densenet网络基础上，设计了3层前置网络，分别对两张源图像进行特征采样，监督生成器的训练。同时，在两路采样通道中，为了保证潜在联系性，各个通道中的下一层特征图是将两路通道中的上层特征图级联并最后连接各自通道的原图，这样设计可同时保证原图信息和特征信息。此外，本发明设计的网络丢弃了下采样结构，可以减小像素损失。由于没有下采样操作，所以每层的特征图尺寸大小和源图像一致。
[0071]
步骤106，将两路级联前置网络的每层前置网络输出的特征图级联，并加入可见光图像样本和偏振图像样本的源图，输入到级联密集连接网络。
[0072]
级联密集连接网络的输入为前面所有的特征图级联并加入两张原图，并且在后面每层特征图中都连结两幅源图。
[0073]
步骤108，通过级联密集连接网络对输入的图像进行处理，得到可见光图像样本和偏振图像样本的生成器融合图像。
[0074]
其中，每一层密集连接网络的输入包括前一级网络的输出和可见光图像样本和偏振图像样本的源图。
[0075]
步骤110，以可见光图像样本源图为真、生成器融合图像为假，将生成器融合图像以及可见光图像样本源图输入判别器网络，通过判别器网络输出生成器融合图像的判别结果。
[0076]
判别器网络与生成器网络结构不同，原因在于判别器本质上是个分类器，它通过对输入图像的卷积获得特征图来判别输入的真假。本发明借鉴vgg网络的思想做二分类，与生成器相类似，每一次卷积操作后都将加入一个bn层以加速收敛。在整个网络中没有使用全连接层以及池化层而是仅使用了卷积层来改变维度，原因在于融合任务在某一点的确定上无需全图的特征，并且池化层会丢失部分像素信息，此外仅使用卷积层使得网络变得更为鲁棒强健。
[0077]
本发明提出的可见光和偏振图像融合训练模型是一种有监督的gan网络训练模型，gan网络的核心思想是在于生成器和判别器的持续博弈，这二者都在博弈中各自提高自己的性能。生成器需要尽可能生成真实的数据，以获得更低的对抗损失，而判别器需要尽可能把生成数据判断为虚假数据，将源图像判断为真实数据，即把生成数据判别为0，将真实的源图像判别为1，以此不断提高的生成器的造假能力和判别器的判断能力。
[0078]
步骤112，根据预先构建的损失函数、生成器融合图像和判别结果对可见光和偏振图像融合模型进行训练，得到训练好的生成器网络。
[0079]
可见光和偏振图像融合训练模型训练流程如图4所示，具体实施步骤是：
[0080]
在训练阶段，首先由两幅单通道的可见光灰度图像和偏振度图像级联生成一幅两通道的图像，此两通道图像作为生成器网络的输入，监督生成器的生成；接着，生成器的融合结果再输入到判别器，此外，本发明为了增强判别器的判别能力，输入判别器的图像是可见光图像和生成器融合结果，判别器的主要功能就是将可见光源图判别为真，生成的融合图像判别为虚假图像。这样就可以不断提高生成器的造假能力。与此同时，判别器也会随着训练不断更新参数，不断提高其判别真假的能力，当判别器无法区分生成图像和源图像，则认为训练过程结束。
[0081]
步骤114，通过训练好的生成器网络进行可见光与偏振图像融合。
[0082]
在图像融合阶段，如图5所示，不再需要判别器，只需要将偏振和可见光源图像投入生成器即可获得融合结果。
[0083]
上述基于密集连接生成对抗网络的图像融合方法中，通过获取可见光图像样本和偏振图像样本，将可见光图像样本和偏振图像样本输入可见光和偏振图像融合训练模型中，通过两路级联前置网络分别对可见光图像样本和偏振图像样本进行处理，得到两路采样通道特征图，将两路级联前置网络的每层前置网络输出的特征图级联，并加入可见光图像样本和偏振图像样本的源图，输入到级联密集连接网络，通过级联密集连接网络对输入的图像进行处理，得到可见光图像样本和偏振图像样本的生成器融合图像；以可见光图像样本源图为真、生成器融合图像为假，将生成器融合图像以及可见光图像样本源图输入判别器网络，通过判别器网络输出生成器融合图像的判别结果；根据预先构建的损失函数、生成器融合图像和判别结果对可见光和偏振图像融合模型进行训练，得到训练好的生成器网络；通过训练好的生成器网络进行可见光与偏振图像融合。本发明提出的可见光和偏振图像融合训练模型是一种有监督的gan网络训练模型，通过有监督的训练，使得在生成器与判别器之间的持续博弈过程中，增强生成器对两类不同源的图像的细节特征的生成能力和判别器对偏振信息的区分能力，通过对抗学习提升可见光与偏振图像的融合质量。
[0084]
在其中一个实施例中，还包括：密集连接网络包括：卷积层、批量归一化层和lrelu激活层，其中，最后一级密集连接网络的激活层为tanh激活层；
[0085]
多层特征提取网络包括卷积层、批量归一化层和lrelu激活层。
[0086]
本发明的每层网络包括4*4的卷积核，批量归一化bn层和leakyrelu(lrelu)激活层，lrelu激活函数有加快收敛以及解决梯度消失的优点，相比于relu激活函数，可以有效减小神经元无效的风险。在最后输出层使用的激活函数为tanh，将输出的所有元素归一化到
‑
1到1。
[0087]
在其中一个实施例中，还包括：根据预先构建的损失函数、生成器融合图像和判别结果对可见光和偏振图像融合模型进行训练；损失函数包括可见光和偏振图像融合训练模型的对抗损失函数、生成器网络的生成器对抗损失函数、生成器网络的内容损失函数。
[0088]
在其中一个实施例中，还包括：对抗损失函数为：
[0089][0090]
其中，x为可见光图像样本源图，d(x)为判别器网络的输出，z为生成器网络的输入，g(z)为生成器网络的输出，p
data
表示真实图像数据分布；p
z
表示生成图像数据分布；
表示数学期望，x服从概率分布p
data
；表示数学期望，x服从概率分布p
z
，log(
·
)表示对数操作。
[0091]
生成器尽可能使生成的图像结果服从的p
z
分布与真实图像服从的p
data
一致。本发明设计的图像融合体系是要将可见光图像丰富的细节信息融合入偏振图像中以达成两源图像的信息融合，由于图像融合是个客观的图像操作，为避免生成器随意生成出包含错误信息或者两类源图像都不具备的虚假信息，网络参照条件生成对抗网络(cgan)的思想对生成图像的过程加以约束。训练时将可见光图像作为判别器的真实对照图像标签，使其与融合图像一并输入判别器进行判别，理想情况下虚假图像输出为0，真实标签图像即可见光图像输出为1，生成器的输出需要判别器将生成数据判别为1。
[0092]
在其中一个实施例中，还包括：生成器对抗损失函数为：
[0093][0094]
其中，n为批量归一化的批数量，为每个批次下的所有融合结果图像，f代表融合。
[0095]
在其中一个实施例中，还包括：内容损失函数包括：相似度损失函数和梯度损失函数；
[0096]
相似度损失函数为：
[0097]
loss
ssim
＝w
dolp
(1
‑
ssim
dolp
)+w
s0
(1
‑
ssim
s0
)
[0098]
其中，w
dolp
为偏振图像样本的权重，为偏振图像样本的梯度量，为可见光图像样本的梯度量，w
s0
为可见光图像样本的权重，ssim
dolp
为偏振图像样本的结构相似度，ssim
s0
为可见光图像样本的结构相似度；
[0099]
梯度损失函数为：
[0100][0101]
其中，n、w分别为图像的长和宽，为生成器融合图像的梯度量，||
·
||1表示l1范数。
[0102]
在其中一个实施例中，还包括：根据预先构建的损失函数、生成器融合图像和判别结果，采用mini
‑
batch的训练策略对可见光和偏振图像融合模型进行训练。
[0103]
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0104]
在一个具体实施例中，使用的训练数据为自建数据集，数据由flir公司的偏振相机获取，该相机采用sony imx250 polarized传感器。在计算原始的线性偏振度图上，灰度值较低，图像比较暗，对比度较低。本发明采用灰度拉伸提高图像的对比度，使得灰度信息对比更为丰富，灰度拉伸效果如图6所示。
[0105]
将普通可见光和线性偏振度图一一匹对，每幅图像的大小为1024*1224，本发明采用的网络输入为128*128，为进一步扩大数据集，将每幅源图像随机裁剪为128*128大小。
[0106]
训练阶段具体实施步骤如下：
[0107]
①
将线性偏振度图与可见光图像成对随机打乱并每轮将图片对输入生成器；
[0108]
②
生成器将图片进行融合产生融合图像，并与其对应的可见光图像一并输入给判别器进行判断，计算数据损失函数ld_total的均值通过adam优化器更新网络参数；
[0109]
③
在步骤二运行两次后针对同样一组数据，计算一次lg_total的均值，并同样使用adam优化器更新一次网络参数；
[0110]
④
开始下一轮图像训练，直至训练结束。
[0111]
实验采用mini
‑
batch的训练策略，一个批次训练量为32。训练完一批次，计算一次损失函数，更新一次网络参数。为了让判别器在训练起步阶段性能优于生成器，生成器每生成完一批次，判别器训练两次。
[0112]
图7为采用本发明所述方法的部分融合结果。从定量指标上评价，本发明所述方法融合的可见光和偏振图像得到的平均峰值信噪比(psnr)指标为13.973，结构相似性(ssim)指标为0.527，明显优于现有的非负矩阵分解方法和脉冲耦合神经网络方法相结合的偏振图像融合方法(其psnr为11.928，ssim为0.326)，这说明本发明可以显著提升可见光与偏振图像的图像融合质量。
[0113]
在一个实施例中，如图8所示，提供了一种基于密集连接生成对抗网络的图像融合装置，包括：样本获取模块802、前置网络处理模块804、密集连接网络处理模块806、判别器网络判别模块808、训练模块810和图像融合模块812，其中：
[0114]
样本获取模块802，用于获取可见光图像样本和偏振图像样本，将可见光图像样本和偏振图像样本输入可见光和偏振图像融合训练模型中；可见光和偏振图像融合训练模型包括生成器网络和判别器网络；生成器网络包括两路级联前置网络和一路级联密集连接网络；判别器网络包括多层特征提取网络；
[0115]
前置网络处理模块804，用于通过两路级联前置网络分别对可见光图像样本和偏振图像样本进行处理，得到两路采样通道特征图；其中，第一层前置网络的输入为可见光图像样本和偏振图像样本的源图；其他层前置网络的输入为前一层两路采样通道特征图和对应通道的图像源图；
[0116]
密集连接网络处理模块806，用于将两路级联前置网络的每层前置网络输出的特征图级联，并加入可见光图像样本和偏振图像样本的源图，输入到级联密集连接网络；通过级联密集连接网络对输入的图像进行处理，得到可见光图像样本和偏振图像样本的生成器融合图像；其中，每一层密集连接网络的输入包括前一级网络的输出和可见光图像样本和偏振图像样本的源图；
[0117]
判别器网络判别模块808，用于以可见光图像样本源图为真、生成器融合图像为假，将生成器融合图像以及可见光图像样本源图输入判别器网络，通过判别器网络输出生
成器融合图像的判别结果；
[0118]
训练模块810，用于根据预先构建的损失函数、生成器融合图像和判别结果对可见光和偏振图像融合模型进行训练，得到训练好的生成器网络；
[0119]
图像融合模块812，用于通过训练好的生成器网络进行可见光与偏振图像融合。
[0120]
训练模块810还用于根据预先构建的损失函数、生成器融合图像和判别结果对可见光和偏振图像融合模型进行训练；损失函数包括可见光和偏振图像融合训练模型的对抗损失函数、生成器网络的生成器对抗损失函数、生成器网络的内容损失函数。
[0121]
训练模块810还用于根据预先构建的损失函数、生成器融合图像和判别结果，采用mini
‑
batch的训练策略对可见光和偏振图像融合模型进行训练。
[0122]
关于基于密集连接生成对抗网络的图像融合装置的具体限定可以参见上文中对于基于密集连接生成对抗网络的图像融合方法的限定，在此不再赘述。上述基于密集连接生成对抗网络的图像融合装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0123]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于密集连接生成对抗网络的图像融合方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
[0124]
本领域技术人员可以理解，图9中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0125]
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述方法实施例中的步骤。
[0126]
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例中的步骤。
[0127]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强
型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0128]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0129]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。