一种轻量化多尺度的红外图像超分辨率重建方法

1.本发明涉及一种轻量化多尺度红外图像超分辨率重建方法，属于图像超分辨率重建技术领域。


背景技术：

2.超分辨率图像重建是指由一幅低分辨率图像或图像序列恢复出高分辨率图像的过程。图像超分辨率重建已应用于医学成像、安全监控﹑改善遥感图像质量、图像压缩和目标检测领域。相较于低分辨率图像,高分辨率图像通常包含更大的像素密度、更丰富的纹理细节及更高的可信赖度。但在实际上中，受采集设备与环境、网络传输介质与带宽、图像退化模型本身等诸多因素的约束，我们通常并不能直接得到具有边缘锐化、无成块模糊的理想高分辨率图像。提升图像分辨率的最直接的做法是对采集系统中的光学硬件进行改进，但这种做法受限于制造工艺难以大幅改进、制造成本十分高昂等约束。由此，从软件和算法的角度着手。然而，现有的超分辨率重建方法存在参数较多、占用内存高、计算量大、单一尺度等问题，不能够运用到移动端或者做到实时处理的目的。
3.中国发明专利申请号为:“cn201810535634.5”，专利名称为：《一种基于改进的稠密卷积神经网络的超分辨率重建方法》，此发明将稠密卷积神经网络结构(dense convolutional network,densenet)的思想应用到单帧图像的超分辨率重建,并在densenet结构的基础上改进了网络结构，减小了一定的参数，但此方法占用内存高，计算量大，不适合在一般的电脑或者移动端使用。


技术实现要素：

4.本发明针对现有超分辨率网络参数量大、计算量大、内存高和不适用于移动端的问题，提供一种轻量化多尺度残差网络的超分辨率图像重建方法。可以有效保证图像重建后的效果，同时做到了网络参数少、处理速度快、可移植性强。
5.本发明解决技术问题的方案是：
6.一种轻量化多尺度红外图像超分辨率重建方法，包括步骤如下：
7.步骤1，构建网络模型：整个网络包括四个主要模块：浅层特征提取模块、深层特征提取模块、信息融合模块和上采样模块；浅层特征提取模块由两个卷积层组成，用以初步提取图像的结构特征；深层特征提取模块由八个相同的轻量化多尺度残差块堆叠组成，用以进一步获取图像深层信息；信息融合模块对不同级别的深层信息进行融合和筛选；上采样模块将浅层特征和深层特征融合后，再进行像素重组，最后获得超分辨率图像；
8.步骤2，准备数据集：对所用数据集进行模拟降质，所得高低分辨率图像对用以训练整个卷积神经网络；
9.步骤3，训练网络模型：将步骤2中准备好的数据集的低分辨率图像输入到步骤1中构建的神经网络模型进行训练；
10.步骤4，最小化损失函数值:通过最小化网络输出图像与标签的损失函数直到训练
次数达到设定阈值或损失函数的值到达设定范围内即可认为模型参数已预训练完成,保存模型参数；
11.步骤5，微调模型：对模型进行训练和微调，得到效果最佳的模型参数，进一步提高模型的超分辨率重建能力；
12.步骤6，保存模型：将最终确定的模型参数进行固化，之后需要进行超分辨率重建时，直接将图像输入到网络中即可得到最终的图像。
13.步骤1中所述浅层特征提取模块使用两个3
×
3卷积层；深层特征提取模块的轻量化多尺度残差块由两种不同尺度的组卷积块和1
×
1卷积组成，先采用3
×
3组卷积层一和5
×
5组卷积层一提取两种尺度的信息，然后将两个尺度的特征拼接后经过1
×
1卷积层一和1
×
1卷积层二进行特征融合，再将融合特征通过3
×
3组卷积层二和5
×
5组卷积层二进一步提取多尺度特征，再使用1
×
1卷积层三对特征进行筛选，然后引入跳跃连接保持低频信息的完整并优化反向梯度传导，最后加入注意力机制块以结合全局特征；特征融合模块将各轻量化多尺度残差模块的输出进行拼接，然后把图像特征通过一个1
×
1卷积进行筛选和融合；上采样模块先用一个3
×
3卷积扩张特征图通道至先前的尺度比例的平方倍，然后通过像素重组将特征图分辨率扩大为目标尺寸，再用一个3
×
3卷积输出结果图；网络中所有卷积层后的激活函数使用带泄露修正线性单元，所有下采样操作和批归一化操作均被移除，所有卷积操作的步长和填充均为1。
14.步骤2中所述在图像预处理过程中，均使用双三次下采样对图像进行模拟降质，将降质后的图像和原高分辨率图像组合为一对高低分辨率图像对。
15.步骤3中所述在训练过程中数据集使用div2k；将同一张图片的高低分辨率图像进行同样的随机翻转、旋转操作，并将低分辨率图像作为整个网络的输入，将高分辨率图像作为标签。然后使用flir红外图像数据集，通过与可见光数据集相同的预处理后，对网络进行调整以适应红外图像超分辨率重建。
16.步骤4中所述损失值由损失函数求取，损失函数选择使用结构相似性和像素损失的组合函数；得到的超分辨率图像要在图像边缘、颜色、亮度都与高分辨率图像保持一致，更好地接近真实高分辨率图像。
17.步骤5中所述在微调模型参数过程中，前200个训练周期采用相同的学习率，在后300个训练周期中每50个周期将学习率调整至先前的0.5倍。
18.本发明的有益效果：
19.1、本发明基于深度学习的思想，利用可见光数据集进行高低分辨率图像之间的模型预训练，再利用少量红外图像数据集训练得到效果良好的红外超分辨率重建网络，大大降低了对红外成像设备的成像技术要求。
20.2、本发明设计了一种轻量化多尺度残差块提取低分辨率图像的特征，能够充分利用低分辨率图像的多层次、多尺度细节信息。其次，引入注意力机制能在网络较浅的情况下更充分的提取低分辨率图像中的特征信息。
21.3、在网络中通过添加跳跃连接有助于渐少网络参数，使得网络的深度变浅，网络参数的数量较少，最终使得整个网络实现结构简单，重建效率高。
附图说明
22.图1为本发明一种轻量化多尺度图像超分辨率重建方法流程图。
23.图2为本发明一种轻量化多尺度图像超分辨率重建方法网络结构图。
24.图3为本发明所述的每一个轻量化多尺度残差块的具体组成。
具体实施方式
25.下面结合附图以及实施例对本发明进行详细说明。
26.如图1和2所示，一种轻量化多尺度红外图像超分辨率重建方法，该方法具体包括如下步骤：
27.步骤1，构建网络模型。
28.整个网络包括四个主要模块：浅层特征提取模块、深层特征提取模块、信息融合模块和上采样模块。浅层特征提取模块由两个卷积层组成，用以初步提取图像的结构特征；深层特征提取模块由八个相同的轻量化多尺度残差块堆叠组成，用以进一步获取图像深层信息；信息融合模块对不同级别的深层信息进行融合和筛选；上采样模块将浅层特征和深层特征融合后，再进行像素重组，最后获得超分辨率图像。
29.所述浅层特征提取模块使用两个3
×
3卷积层；
30.如图3所示，所述深层特征提取模块的轻量化多尺度残差块由两种不同尺度的组卷积块和1
×
1卷积组成，先采用3
×
3组卷积层一和5
×
5组卷积层一提取两种尺度的信息，然后将两个尺度的特征拼接后经过1
×
1卷积层一和1
×
1卷积层二进行特征融合，再将融合特征通过3
×
3组卷积层二和5
×
5组卷积层二进一步提取多尺度特征，再使用1
×
1卷积层三对特征进行筛选，然后引入跳跃连接保持低频信息的完整并优化反向梯度传导，最后加入注意力机制块以结合全局特征。
31.所述特征融合模块将各轻量化多尺度残差模块的输出进行拼接，然后把图像特征通过一个1
×
1卷积进行筛选和融合；
32.上采样模块先用一个3
×
3卷积扩张特征图通道至先前的尺度比例的平方倍，然后通过像素重组将特征图分辨率扩大为目标尺寸，再用一个3
×
3卷积输出结果图。
33.网络中所有卷积层后的激活函数使用带泄露修正线性单元，所有下采样操作和批归一化操作均被移除，所有卷积操作的步长和填充均为1。
34.步骤2，准备数据集。
35.在训练过程中，可见光数据集使用div2k，然后使用flir红外图像数据集，通过图像的预处理后，可见光数据集用于对模型进行预训练，红外数据集用于对模型的参数进行进一步调整以适应红外图像超分辨率重建任务。
36.所述图像预处理过程，均使用双三次下采样对图像进行模拟降质，将降质后的图像和原高分辨率图像组合为一对高低分辨率图像对。
37.步骤3，训练网络模型。
38.利用可见光数据集学习低分辨率图像与高分辨率图像之间的关系模型，获得图像超分辨率重建模型，然后将红外图像输入超分辨率重建模型，得到信息更为丰富的图像。
39.步骤4，最小化损失函数值。
40.通过最小化网络输出图像与标签的损失函数直到训练次数达到设定阈值或损失
函数的值到达设定范围内即可认为模型参数已预训练完成,保存模型参数。在训练过程中损失函数选择感知损失和像素损失的组合。得到的超分辨率图像要在图像边缘、颜色、亮度都与高分辨率图像保持一致，更好地接近真实高分辨率图像。
41.步骤5，微调模型。对模型进行训练和微调，得到效果最佳的模型参数，进一步提高模型的超分辨率重建能力。
42.在微调模型参数过程中，前200个训练周期采用相同的学习率，在后300个训练周期中每50个周期将学习率调整至先前的0.5倍。
43.步骤6，保存模型参数。
44.将最终确定的模型参数进行固化，之后需要进行超分辨率重建时，直接将图像输入到网络中即可得到最终的图像。
45.实施例：
46.步骤1中所述浅层特征提取模块使用两个3
×
3卷积层；深层特征提取模块的轻量化多尺度残差块由两种不同尺度的组卷积块和1
×
1卷积组成，先采用3
×
3组卷积层一和5
×
5组卷积层一提取两种尺度的信息，然后将两个尺度的特征拼接后经过1
×
1卷积层一和1
×
1卷积层二进行特征融合，再将融合特征通过3
×
3组卷积层二和5
×
5组卷积层二进一步提取多尺度特征，再使用1
×
1卷积层三对特征进行筛选，然后引入跳跃连接保持低频信息的完整并优化反向梯度传导，最后加入注意力机制块以结合全局特征；特征融合模块将各轻量化多尺度残差模块的输出进行拼接，然后把图像特征通过一个1
×
1卷积进行筛选和融合；上采样模块先用一个3
×
3卷积扩张特征图通道至先前的尺度比例的平方倍，然后通过像素重组将特征图分辨率扩大为目标尺寸，再用一个3
×
3卷积输出结果图。网络中所有卷积层后的激活函数使用带泄露修正线性单元，所有下采样操作和批归一化操作均被移除，所有卷积操作的步长和填充均为1。
47.步骤2中所述可见光数据集使用div2k。数据集包含1000张高清图(2k分辨率)，其中800张作为训练，100张作为验证，100张作为测试。选择一定的倍数(如2倍、3倍、4倍等)对其中的高分辨率图像进行下采样,获得低分辨率图像。为了扩充数据量，随即对图像进行翻转、旋转变换。flir数据集包含8000张红外图像，其中6000张作为训练，1000张作为验证。预处理方式同可见光数据集相同，利用可见光数据集获得获得图像超分辨率重建模型，然后将红外图像输入超分辨率重建模型，得到信息更为丰富的图像。
48.步骤3中所述对于每一张训练图片加入噪声，作为整个网络的输入。目的是让网络学习更好的特征提取能力，最终达到更好的重建效果。
49.步骤4中所述网络的输出与标签计算损失函数，通过最小化损失函数达到更好的超分辨率重建效果。损失函数选择结构相似性和像素损失。结构相似性计算公式如下所示：
50.ssim(x,y)＝[l(x,y)]
α
·
[c(x,y)]
β
·
[s(x,y)]
γ
[0051]
其中，l(x,y)表示亮度对比函数，c(x,y)表示对比度对比函数，s(x,y)表示结构对比函数。三个函数的定义如下所示：
[0052]
[0053][0054][0055]
在实际应用中，α、β和γ均取值为1，c3为0.5c2，因此结构相似性公式可以表示为：
[0056][0057]
x和y分别表示两张图像中大小为n
×
n的窗口的像素点，μ
x
和μy分别表示x和y的均值，可作为亮度估计；σ
x
和σy分别表示x和y的方差，可作为对比度估计；σ
xy
表示x和y的协方差，可作为结构相似性度量。c1和c2为极小值参数，可避免分母为0，通常分别取0.01和0.03。所以根据定义，整个图像的结构相似性计算方式如下所示：
[0058][0059]
x和y分别表示待比较的两张图像，mn为窗口总数量，x
ij
和y
ij
为两张图片中各局部窗口。结构相似性具有对称性，其数值范围在[0,1]之间，数值越接近于1，结构相似性越大，两图像的差异越小。一般情况下，通过网络优化直接缩小其与1之间的差值即可，结构相似性损失如下所示：
[0060]
ssim
loss
＝1-mssim(l,o)
[0061]
l和o分别表示标签和网络的输出。通过优化结构相似性损失，可逐步缩小输出图像与输入图像结构上的差异，使得图像在亮度、对比度上更相近，直觉感知上也更相近，生成图像质量较高。
[0062]
像素损失损失定义如下所示：
[0063][0064]
out和label代表网络的输出和标签。
[0065]
总的损失函数定义为：
[0066]
t
loss
＝p
loss
+ssim
loss
[0067]
步骤5中所述在微调模型参数过程中，前200个训练周期采用相同的学习率，在后300个训练周期中每50个周期将学习率调整至先前的0.5倍。
[0068]
步骤6中所述将网络训练完成后，需要将网络中所有参数保存，之后输入任意大小的图像均可获得超分辨率重建结果。
[0069]
本发明通过改进了网络结构，减小了一定的参数，计算量小，此方法所占用内存小。适合在一般的电脑或者移动端使用。通过计算与现有方法得到图像的相关指标，进一步验证了该方法的可行性和优越性。现有技术和本发明提出方法的相关指标对比如表1所示：
[0070][0071]
从表中可知，本发明提出的方法不仅拥有更少的参数量和计算量，还有更高的峰值信噪比和结构相似性两个指标，这些指标进一步说明本发明不仅更轻量还有着更好的超分辨率重建质量。