一种基于多尺度级联残差网络的遥感图像超分辨方法

1.本发明涉及遥感图像处理领域，具体而言，尤其涉及一种基于多尺度级联残差网络的遥感图像超分辨方法。


背景技术：

2.目前，在遥感图像处理领域中，遥感图像超分辨是一项基本的研究方向，而随着人工智能技术的发展，传统的遥感图像超分辨技术所暴露出的图像感知能力首先、图像信息提取效率不足、图像超分辨效果不佳等问题也得到了极大的改善。相比于传统遥感图像超分辨方法，基于深度学习的遥感图像超分辨技术可以通过网络模型学习低清图像到高清图像的映射关系，以实现遥感图像的精细化超分辨工作。
3.然而，由于遥感图像中包含的信息量较大，且以多尺度、小目标信息为主，现有的基于深度学习的遥感图像超分辨技术普遍缺少对多尺度图像信息的深入讨论，这使得对图像中的很多小目标图像信息超分辨能力相对较差，进而影响到了对遥感图像整体超分辨的效果。


技术实现要素：

4.为克服现有技术上述缺陷，针对遥感图像的超分辨问题，为帮助实现遥感图像的精准超分辨，本发明提出了一种系统、可靠的基于多尺度级联残差网络的遥感图像超分辨方法。
5.为此，本发明实施例的目的在于提供一种基于多尺度级联残差网络的遥感图像超分辨方法，其包括如下步骤：1）获取并收集公开的历史遥感图像数据，作为初始高清遥感图像数据；2）将初始高清遥感图像数据进行预处理以生成相应的低清遥感图像，进一步匹配得到遥感图像对，并对遥感图像对进行划分，其中一部分作为训练集数据，另一部分作为测试集数据；3）构建面向遥感图像超分辨的多尺度级联残差网络模型；4）利用训练集数据与测试集数据，分别对网络模型进行训练与测试，最终得到超分辨遥感图像。
6.作为优选，所述获取并收集公开的历史遥感图像数据采用如下方法：通过互联网公开数据集或者网站，通过下载、截取等方式选取并保存高清遥感图像，作为初始高清遥感图像数据。
7.作为优选，所述将初始高清遥感图像数据进行预处理以生成相应的低清遥感图像，进一步匹配得到遥感图像对，并对遥感图像对进行划分，其中一部分作为训练集数据，另一部分作为测试集数据，包括如下步骤：1）对初始高清遥感图像数据进行增广，具体增广的方式为对初始高清遥感图像数据进行随机裁剪、缩放以及对称变换，从而增加高清遥感图像数据总量；
2）设置采样间隔为k个像素，对增广后的高清遥感图像数据进行下采样，从而获得与每张高清遥感图像相对应的低清遥感图像；3）将每张高清遥感图像与其相对应的低清遥感图像匹配并保存在同一文件夹中，该文件夹被规定为一组遥感图像对；4）在获取全部遥感图像对后，对遥感图像对进行划分，其中一部分遥感图像数据作为训练数据，用于对网络模型进行训练以使网络具备遥感图像超分辨能力；剩余的另一部分遥感图像数据均作为测试数据，用于对网络模型进行测试以验证网络超分辨能力的有效性。
8.作为优选，所述构建面向遥感图像超分辨的多尺度级联残差网络模型，网络模型具体包括多尺度特征提取模块、通道注意力模块、级联融合模块以及损失函数。其中，多尺度特征提取模块用于对输入的低清遥感图像进行多尺度、分层次的特征信息提取；通道注意力模块用于调整不同尺度特征信息在不同通道中的权重；级联融合模块用于将不同尺度特征的信息进行融合以生成高清的遥感图像输出；损失函数用于比对网络模型的实际输出与高清遥感图像之间的差距，以促进提升网络模型的遥感图像超分辨能力。
9.作为优选，所述利用训练集数据与测试集数据，分别对网络模型进行训练与测试，最终得到超分辨遥感图像，包括如下步骤：1）利用遥感图像训练数据以训练网络模型，其中，网络模型的输入数据为训练数据遥感图像对中的低清遥感图像，网络模型的真值数据为相应的高清遥感图像；2）利用遥感图像测试数据以测试网络模型，其中，网络模型的输入数据为测试数据遥感图像对中的低清遥感图像，网络模型的真值数据为相应的高清遥感图像；3）运行网络模型，将需要进行超分辨操作的低清遥感图像输入到网络模型中，网络模型将输出相应的高清遥感图像，本次超分辨工作结束。
附图说明
10.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍。需要说明的是，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他附图。
11.图1为本发明实施例的基于多尺度级联残差网络的遥感图像超分辨方法的流程示意图；图2为本发明实施例的多尺度级联残差网络的说明示意图；图3为本发明实施例的多尺度特征提取模块；图4为本发明实施例的通道注意力模块的说明示意图；图5为本发明实施例的多尺度级联残差网络模型训练与测试的流程示意图。
具体实施方式
12.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人
员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
13.如图1所示，为本发明实施例一种基于多尺度级联残差网络的遥感图像超分辨方法的流程示意图，具体步骤如下：s1：获取并收集公开的历史遥感图像数据，作为初始高清遥感图像数据。
14.本实施例中，可采用如下方法得到初始高清遥感数据：通过互联网公开数据集或者网站，通过下载、截取等方式选取并保存高清遥感图像，作为初始高清遥感图像数据。比如，可以通过互联网公开网站搜索的方式查询搜索“谷歌地球”（google earth），其为一款谷歌公司开发的虚拟地球软件，它把卫星照片、航空照相和gis布置在一个地球的三维模型上。在该网站中，用户可直接借助图片截取工具来截取高清的遥感图像，进而作为本实施例中的初始高清遥感图像数据。
15.s2：将初始高清遥感图像数据进行预处理以生成相应的低清遥感图像，进一步匹配得到遥感图像对，并对遥感图像对进行划分，其中一部分作为训练集数据，另一部分作为测试集数据。
16.本实施例中，可采用如下方法来对初始高清图像数据进行增广预处理：针对每张初始高清遥感图像数据进行随机裁剪、缩放以及对称变换，进而获得与原高清遥感图像尺寸大小不同、图像内容信息存在差异的高清遥感子图像，这种增广方式可以有效地增加高清遥感图像数据的总数量，便于为后续网络模型的训练与测试提供更多的数据支持。
17.本实施例中，可采用如下方法来对增广后的高清遥感图像数据进行下采样预处理：针对每张高清遥感图像，设置采样间隔为k个像素，并对图像像素按照行与列来分别进行k个像素间隔的采样以生成相对应的低清遥感图像数据，其中，k为可以根据实际超分辨需求来确定的整数，k越大代表采样间隔越大，下采样效果越明显，所生成的遥感图像数据越低清。按照当前遥感图像超分辨中的常用设置，k一般可取值包括但不限于2、3、4、8、16。
18.本实施例中，在获得与高清遥感图像相对应的低清遥感图像后进行匹配，具体的匹配方法为将这两张遥感图像保存在同一文件夹中，该过程即为匹配过程，相应的文件夹被规定为一组遥感图像对。
19.本实施例中，在获取全部遥感图像对后，对遥感图像对进行划分，其中一部分遥感图像数据作为训练数据，用于对网络模型进行训练以使网络具备遥感图像超分辨能力；剩余的另一部分遥感图像数据均作为测试数据，用于对网络模型进行测试以验证网络超分辨能力的有效性。
20.s3：构建面向遥感图像超分辨的多尺度级联残差网络模型。
21.本实施例中，如图2所示为本实施例的多尺度级联残差网络的说明示意图，所构建的多尺度级联残差网络模型包括多尺度特征提取模块、通道注意力模块、级联融合模块以及损失函数包括多尺度特征提取模块、通道注意力模块、级联融合模块以及损失函数，上述模块通过如图2所示的连接方式进行连接，进而构成用于实现遥感图像超分辨的多尺度级联残差网络。
22.本实施例中，如图3所示为本实施例的多尺度特征提取模块，该模块具体为残差网络resnet-50（所涉及的残差网络resnet-50的详细介绍可参考文献[1]），该网络包含四种尺度的输出，分别标记为尺度一、尺度二、尺度三、尺度四，其目的是对输入的低清遥感图像
进行多尺度、分层次的特征信息提取，从而为后续通道注意力模块以及级联融合模块提供完备的特征信息。
[0023]
本实施例中，如图4所示为本实施例的通道注意力模块的说明示意图，该模块具体为通道注意力网络senet（所涉及的残差网络senet的详细介绍可参考文献[2]），该模块由四个相同结构的senet组成，每个senet分别衔接在残差网络resnet-50中的四种尺度输出后，其目的是用于调整不同尺度特征信息在不同通道中的权重，从而有助于促进超分辨遥感图像的生成。
[0024]
本实施例中，所述级联融合模块为图2中所示带箭头的虚线，其目的是用于将经过通道注意力模块处理后的不同尺度特征信息通过级联的方式进行融合，最终生成期望的超分辨图像。需要指出的是，每个senet后分别添加了一层转置卷积层（所涉及的转置卷积层的详细介绍可参考文献[3]），其目的是调整图像尺寸大小，以使每一尺度输出的长和宽都相同。图2中所示的“add”操作为两个输出特征图的逐元素相加，其目的是用于将不同尺度特征的信息进行融合以生成超分辨的遥感图像输出。另外，在网络模型的最后添加了一层卷积核为1
×
1的普通卷积层（所设计的普通卷积层的详细介绍可参考文献[1]-[3]），其目的是调整最终输出的超分辨图像通道为3，满足对由可见光所构成的图像通道数量。
[0025]
本实施例中，所述损失函数为均方误差函数mse（所涉及的均方误差函数mse的详细介绍可参考文献[4]），用于比对网络模型的实际输出的超分辨遥感图像与高清遥感图像之间的差距，以促进提升网络模型的遥感图像超分辨能力。
[0026]
s4：利用训练集数据与测试集数据，分别对网络模型进行训练与测试，最终得到超分辨遥感图像。
[0027]
本步骤采用了当前遥感图像处理领域中用于训练、测试以及运行网络模型的一般思路。图5所示为本实施例中的网络模型训练、测试以及运行的流程示意图，具体步骤如下：s41：将步骤s2中的遥感图像训练数据以训练步骤s3中构建的网络模型，其中，网络模型的输入数据为训练数据遥感图像对中的低清遥感图像，网络模型的真值数据为相应的高清遥感图像。按照当前人工智能领域中进行网络模型训练的一般思路，本实施例中的训练过程为保持观察均方误差函数mse的变化曲线，当曲线逐渐收敛到不再发生剧烈震荡后，则可初步认定网络模型训练完毕。
[0028]
s42：将步骤s2中的遥感图像测试数据以测试步骤s3中构建的网络模型，其中，网络模型的输入数据为测试数据遥感图像对中的低清遥感图像，网络模型的真值数据为相应的高清遥感图像。按照当前人工智能与超分辨图像处理领域中进行网络模型测试的一般思路，本实施例中的测试过程为利用峰值信噪比psnr评价指标来判断网络模型的超分辨能力（所设计的峰值信噪比psnr的详细介绍可参考文献[4]）。psnr值越大代表失真越少，即网络模型实际输出的超分辨遥感图像与真值高清遥感图像越相似，从而侧面证明网络模型对遥感图像超分辨的能力越强。通常情况下，可设置psnr的阈值为20~30之间的数字，当实际计算的psnr值高于阈值时，则可认定判断网络模型已经具备遥感图像超分辨能力，则可以进入下一步运行网络模型步骤；但如果实际计算的psnr值低于阈值，则需要返回到步骤s2中以重新划分训练集数据与测试集数据。
[0029]
s43：在完成步骤s41和s42后，认定当前网络模型已具备对遥感图像进行超分辨的能力，此事可运行网络以真正用于遥感图像超分辨，具体表现为：向网络模型中输入一张需
要进行超分辨的低清遥感图像，然后运行网络模型即可自动生成与该低清遥感图像相对应的超分辨遥感图像，本次超分辨工作结束。