基于多尺度信息交换的红外图像增强方法、计算机程序产品与流程

1.本发明属于一种红外图像增强方法，具体涉及一种基于多尺度信息交换的红外图像增强方法、计算机程序产品。


背景技术：

2.红外成像在医学成像、安全监控、环境污染检测和军事目标检测中均发挥了重要作用。通常，红外图像都具有一些缺点，例如低对比度和细节模糊，这限制了对红外目标的观察，以及红外成像应用的进一步发展。因此，为了获得高质量的图像结果，有必要对红外图像进行增强处理。
3.目前，对红外图像增强的大多数方法，是通过使用空间和频域来推广的，包括直方图均衡、对比度调整和变换，经验模态分解等。引入了基于直方图均衡的方法，对红外图像的直方图分布进行均衡化处理，提升图像整体灰度的动态范围，但该类方法经常会存在喊声过度增强或增强不足的问题。而基于卷积神经网络(cnn)的方法在各种视觉任务中，例如目标检测，图像识别和底层视觉等领域，均取得了优秀的性能表现。
4.choi等人第一次提出基于cnn增强红外图像的方法，利用了一个相对较浅的cnn。此后，基于retinex启发的网络，如shen,l.,yue,z.,feng,f.,chen,q.,liu,s.,ma,j.于2017年发表的《msr-net:low-light imageenhancement using deep convolutional network》，zhang,y.,hang,j.,guox.于2019年发表的《kindling the darkness:a practical low-light imageenhancer》。基于编码器-解码器网络，如ren,w.,liu,s.,ma,l.,xu,q.,xu,x.,cao,x.,du,j.,yang,m.h.于2019年发表的《low-lightimage enhancement via a deep hybrid network》，ren,w.,liu,s.,ma,l.,xu,q.,xu,x.,cao,x.,du,j.,yang,于2019年发表的《low-lightimage enhancement via a deep hybrid network》。基于生成对抗网络(gan)，如ignatov,a.,kobyshev,n.,timofte,r.,vanhoey,k.,van gool,l.于2018年发表的《wespe:weaklysupervised photo enhancer for digital cameras》。这些网络类型在图像增强任务中均取得了较好的表现。但是目前，基于卷积神经网络的图像增强方法，在图像的细节表现能力和整体视觉效果上，仍然需要进一步提高。


技术实现要素：

5.本发明为解决目前基于卷积神经网络的图像增强方法，在图像的细节表现能力和整体视觉效果上，仍然需要提高的技术问题，提供一种基于多尺度信息交换的红外图像增强方法、计算机程序产品。
6.为达到上述目的，本发明采用以下技术方案予以实现：
7.一种基于多尺度信息交换的红外图像增强方法，其特殊之处在于，包括以下步骤：
8.s1，通过对原始图像进行卷积学习，得到原始图像的粗提取特征图f0；
9.s2，分别对粗提取特征图f0进行上采样处理和下采样处理，得到上采样后的粗提
取特征图f1和下采样后的粗提取特征图f2；
10.s3，依次通过瓶颈注意力模块和随机选择与融合模块对f1、f0和f2进行一次注意力特征提取和多尺度特征交换，通过瓶颈注意力模块再进行二次注意力特征提取，然后再通过特征融合模块进行多尺度特征融合，得到多尺度特征融合图；
11.s4，重复执行多次步骤s2和步骤s3，且每次以上一次步骤s3得到的多尺度特征融合图作为步骤s2中的粗提取特征图f0，得到多级特征提取图；
12.s5，将所述多级特征提取图输入卷积层，得到初步重构图像；
13.s6，对所述原始图像依次进行下采样和上采样，再与初步重构图像连接，得到最终增强图像。
14.进一步地，步骤s3中，所述一次注意力特征提取具体为：
15.sa.1，分别计算f1、f0和f2的通道特征注意力图和空间特征注意力图，分别得到f1、f0和f2的空间-通道特征注意力图m(f1)、m(f0)和m(f2)；
16.sa.2，分别使m(f1)、m(f0)和m(f2)与对应的f1、f0和f2逐像素相乘，再将相乘结果与f1、f0和f2叠加，得到对应的一次输出特征图l1、l0和l2。
17.进一步地，步骤s3中，所述多尺度特征交换具体为：
18.sb.1，分别对l1和l2进行下采样处理和上采样处理，使l1和l2恢复到与l0相同的尺度，再将l0、恢复到与l0相同尺度的l1和l2相加，得到特征图l；
19.sb.2，对特征图l进行全局平均池化，将同一通道信息编码为一个实数；
20.sb.3，通过一个卷积层充当通道缩减卷积层进行卷积学习，生成一个通道特征；
21.sb.4，对步骤sb.3得到的通道特征，分别使用三个维度相同的并行的卷积层充当通道扩展卷积，对应生成三个通道特征图v1、v0和v2；
22.sb.5，使三个通道特征图v1、v0和v2分别与l0、恢复到与l0相同尺度的l1和l2在特征维度进行相乘，得到经过多尺度特征信息交换的特征图l’1、l’0和l’2；
23.sb.6，分别从v1、v0和v2中随机挑选通道，经过softmax激活得到常数s1、s2和s3；
24.sb.7，结合特征图l’1、l’0和l’2，以及常数s1、s2和s3，得到多尺度特征交换结果u0；
25.sb.8，再重复执行两次步骤sb.6和步骤sb.7，得到两次不同的多尺度特征交换结果u1和u2。
26.进一步地，步骤s3中，所述二次注意力特征提取与所述一次注意力特征提取的方法相同，得到二次输出特征图l21、l20和l22。
27.进一步地，步骤s3中，所述多尺度特征融合具体为：
28.sc.1，分别对l21和l22进行上采样或下采样，使l21、l20和l22的尺度相同；
29.sc.2，对l20、经过上采样或下采样的l21和l22进行相加，得到结果特征图m；
30.sc.3，使用残差连接将结果特征图m与粗提取特征图f0相加，得到多尺度特征融合图。
31.进一步地，步骤s3中，所述瓶颈注意力模块、随机选择与融合模块和特征融合模块中的损失函数为：
32.33.其中，表示损失函数，表示输出图像，i
*
表示输入图像，ε表示常数。
34.进一步地，步骤sa.2中，所述通道特征注意力图具体通过以下方式得到：
35.通过全局平均池化将每一个通道中的全局信息编码为一个实数，然后通过由两个全连接层组成的隐藏层实现特征通道的降低与还原，再通过批归一化层实现数据的归一化，得到通道特征注意力图。
36.进一步地，步骤sa.2中，所述空间特征注意力图具体通过以下方式得到：
37.先经过1*1卷积将输入的粗提取特征图特征映射到低维空间r
c/r
×h×w，再经过两层3*3膨胀卷积，然后使用1*1卷积映射到空间r1×h×w，最后使用归一化层进行数据归一化，得到空间特征注意力图；
38.其中，c表示粗提取特征图的通道数，r表示，h表示，w表示。
39.进一步地，步骤s4中，所述重复执行多次步骤s2和步骤s3具体为重复执行三次。
40.本发明还提供了一种计算机程序产品，包括计算机程序，其特殊之处在于，该程序被处理器执行时实现上述一种基于多尺度信息交换的红外图像增强方法的步骤。
41.与现有技术相比，本发明具有以下有益效果：
42.1.本发明提出了一种基于多尺度信息交换的红外图像增强方法，在图像增强过程中，对原始尺寸的原始图像进行卷积学习，得到粗提取特征图，再对粗提取特征图分别上、下采样进行特征提取，更好的补充原始尺度的特征学习过程。同时，在多尺度信息挖掘过程中，使用随机选择与融合模块对不同尺度的特征信息进行交换，从而进行跨尺度特征学习，结合来自多个尺度的特征信息，同时保留了原始图像的空间细节，提升了图像的细节表现能力。
43.2.本发明中进行注意力特征提取时通过瓶颈注意力模块完成，计算得到空间-通道特征注意力图后，与粗提取特征图相乘，相乘结果再与粗提取特征图叠加完成注意力特征提取，使图像中的目标在空间及通道维度上都能够得到强调。
44.3.本发明中在对图像进行重构时，对原始图像依次进行下采样和上采样，再与初步重构图像连接，能够有效提高重构图像的质量，还能够避免原始图像中噪声对结果的扰动。
45.4.本发明还提供了能够执行上述方法步骤的计算机程序产品，能够将本发明的方法推广应用，在相应的硬件设备上实现融合。
附图说明
46.图1为本发明基于多尺度信息交换的红外图像增强方法实施例的流程示意图；
47.图2为本发明实施例中msieb的原理示意图；
48.图3为本发明实施例中bab的原理示意图；
49.图4为本发明实施例中rsfb的原理示意图；
50.图5为本发明实施例中ffb的原理示意图；
具体实施方式
51.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例
中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
52.本发明提出了一种基于多尺度信息交换的红外图像增强方法，能够提升图像的细节表现能力和整体视觉效果。如图1所示，为本发明红外图像增强方法一个实施例的整体流程示意图，原始图像采用卷积层(conv)进行卷积学习后，依次经过三个多尺度增强模块(msieb)进行处理，再输入卷积层进行初步重构，最后与依次经过下采样和上采样的原始图像连接，完成增强，得到最终增强图像。具体实施步骤如下：
53.步骤1，提取输入的原始图像的特征
54.对输入的原始图像采用卷积层进行卷积学习，得到原始图像的粗提取特征图f0。
55.步骤2，深度信息挖掘
56.步骤2主要由三个结构相同的多尺度增强模块(msieb)完成，对步骤1提取到的粗提取特征图f0进行深层次的特征挖掘。如图2，每个msieb中主要包含瓶颈注意力模块(bab)、随机选择与融合模块(rsfb)和特征融合模块(ffb)，如下是在每个msieb中执行的具体步骤：
57.步骤2.1，一次注意力特征提取
58.用于实现步骤2.1的主体结构为瓶颈注意力模块(bab)。bab计算粗提取特征图的通道特征注意力图和空间特征注意力图，再合并形成粗提取特征图的空间-通道特征注意力图，将空间-通道特征注意力图与输入的粗提取特征图融合，形成经过注意力特征提取改进后的输出特征图，输出特征图的提取方式可通过下式表示：
[0059][0060]
其中，f
′
表示经过注意力特征提取改进后的输出特征图，f表示粗提取特征图，m(f)表示空间-通道特征注意力图，表示逐像素相乘。m(f)通过空间特征注意力图ms(f)与特征注意力图mc(f)扩展融合并激活后得到，可表示为下式：
[0061]
m(f)＝σ(mc(f)+ms(f))
[0062]
如图3，ms(f)与mc(f)分别通过空间注意力分支与通道注意力分支计算。空间注意力分支首先经过1
×
1卷积，将输入的粗提取特征图的特征映射到低维空间r
c/r
×h×w，然后经过两层3
×
3膨胀卷积以增大网络的感受野，再使用1
×
1卷积映射到r1×h×w，最后使用归一化层进行数据归一化，得到空间特征注意力图ms(f)，其中，h和w分别表示粗提取特征图的高度和宽度，c/r表示低维空间通道数，r表示从粗提取特征到低位空间的通道映射比例。而通道注意力分支，首先通过全局平均池化将每一个通道中全局信息编码为一个实数，从而得到向量fc∈rc×1×1，然后通过一层隐藏层(由两个全连接层组成)实现特征通道的降低与还原，实现额外开销的降低，最后通过批归一化(bn)层实现数据的归一化，得到通道特征注意力图。
[0063]
计算得到空间-通道特征注意力图后，与粗提取特征图f逐像素相乘，再将结果特征图与粗提取特征图f叠加得到输出特征图l，此时，图像中的目标在空间及通道维度上都得到了强调。
[0064]
步骤1提取到的粗提取特征图，分别经下采样及上采样操作，同原始图像对应的粗提取特征图形成三层多尺度特征，将粗提取特征图f0、上采样后的上采样粗提取特征图f1
和下采样后的下采样粗提取特征图f2分别输入bab，bab输出经通道特征注意力及空间特征注意力加权的输出特征图l1、l0和l2，分别对应f1、f0、f2。
[0065]
步骤2.2，多尺度特征交换。
[0066]
执行步骤2.2的主体结构为rsfb，rsfb结构如图4所示。输入为不同尺度的输出特征图l1、l0和l2，l1与l2分别经上采样与下采样恢复到与l0相同的尺度，并将三者相加得到特征图l。对特征图l使用全局平均池化，将同一通道信息编码为一个实数，得到r1×1×c，其中c表示通道数，使用一个卷积层充当通道缩减卷积层来生成一个紧凑的通道特征，表示为r1×1×
r1
，其中r1＝c/n，r1表示紧凑的通道特征的通道数，n为整数，表示从通道数c到r的比例系数。最后，使用三个并行的卷积层充当通道扩展卷积来生成三个通道特征图，分别记作v1、v0和v2，三个并行的卷积层维度均为1
×1×
c，v1、v0和v2分别与对应层级的输出特征图l1、l0和l2在特征维度进行相乘，得到经过多尺度特征信息交换的特征图l’1、l’0和l’2，进而得到rsfb的输出u，u＝s1l
’1+s2l
’2+s3l
’3，其中s1、s2、s3是从v1、v0、v2中随机挑选通道经过softmax激活得到的。
[0067]
如图2，对bab的输出，分别通过三个rsfb进行处理，三个rsfb在处理过程中的s1、s2、s3不同，对应得到多尺度特征交换结果u1、u0和u2。
[0068]
步骤2.3，二次注意力特征提取
[0069]
将多尺度特征交换结果u1、u0和u2分别输入bab，再次进行注意力特征提取，具体的，二次注意力特征提取的方法与一次注意力特征提取的方法完全相同，将u1、u0和u2分别作为一次注意力特征提取中的粗提取特征图，经二次注意力特征提取后得到对应的二次输出特征图l21、l20和l22。
[0070]
步骤2.4，多尺度特征融合。
[0071]
如图5，三层多尺度特征经步骤2.1-步骤2.3得到特征图二次输出特征图l21、l20和l22，通过ffb将不同尺度的特征图上采样或下采样到与l20同样的尺度，并相加得到结果特征图m，同时使用残差连接将m与该msieb的输入特征图，即粗提取特征图相加形成该msieb的结果特征图。
[0072]
完成上述步骤s2.1至步骤s2.4后，就完成了一个msieb的特征提取过程，在本实施例中，总共使用了三个结构相同的msieb对粗提取特征图进行多级特征提取，得到多级特征提取图。
[0073]
步骤3，图像重建
[0074]
步骤2得到了经过多尺度特征交换及深度提取的特征图，再通过步骤3对图像进行重建。步骤2得到的多级特征提取图的输出特征输入卷积层得到初步重构图像，为了提高重构图像的质量，同时，为了避免原始图像中噪声对结果的扰动，对原始图像依次进行下采样及上采样操作后，与初步重构图像连接，形成最终增强图像。
[0075]
上述本发明的红外图像增强方法，主要通过三个msieb完成处理，msieb中，瓶颈注意力模块、随机选择与融合模块和特征融合模块的损失函数均可采用下述损失函数：
[0076][0077]
其中，表示损失函数，表示输出图像，i
*
表示输入图像，ε表示常数。
[0078]
在本发明的其他实施例中，msieb的数量也可根据实际需要进行调整，经实际验
证，采用本发明的方法，在保留原始图像的空间细节的同时，也提升了图像的细节表现能力。
[0079]
另外，本发明的红外图像增强方法还可以作为计算机程序产品应用于终端设备，终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，处理器执行所述计算机程序时实现本发明红外图像增强方法的步骤。此处的终端设备可以是计算机、笔记本、掌上电脑，及各种云端服务器等计算设备，处理器可以是通用处理器、数字信号处理器、专用集成电路或其他可编程逻辑器件等。
[0080]
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。