一种遥感图像超分辨率重建方法

本发明涉及一种遥感图像超分辨率重建方法，属于图像超分辨率重建。

背景技术：

1、目前，遥感在各个领域发挥着重要作用，然而传感器像素密度的增加将显著增加获取光学遥感图像的硬件成本。为了更方便经济地获取高分辨率遥感图像，根据低分辨率图像恢复高分辨率图像的超分辨率重建技术受到广泛关注。

2、图像超分辨率重建技术是从图像数据中学习先验知识，以此恢复低分辨率图像丢失的细节。传统的图像超分辨率方法缺乏学习能力，基于深度学习的超分辨率重建方法在性能上超越了传统方法。比如基于卷积神经网络(cnn)的图像超分辨率重建方法，能够生成高质量且清晰的超分辨率图像。

3、卷积层是cnn的核心组成部分，它主要通过在输入数据的局部区域内应用卷积核来提取特征。这种局部处理原理在许多任务上非常有效，如图像分类和对象检测。然而，对于一些任务，特别是需要捕捉长距离或全局上下文信息的任务，这种局部处理方式可能会受到限制。例如，对于远距离图像特征之间的关联，传统的cnn可能无法很好地处理。因此，研究人员采用了一种源自transformer的自注意力机制，作为捕捉上下文之间全局交互的cnn的替代方法。然而，基于transformer块设计的网络通常具有超过通用卷积网络的参数数量。另一方面，用于图像处理的transformer通常会将输入图像分割成多个小块(称为patches)，这可能会在每个块的边界引入图像边界效应。为了克服这些缺点，研究人员提出了一种名为“swin transformer”的自注意力网络，swin transformer可以处理大尺寸图像，而无需将图像分成小块(patches)，同时也能像transformer一样学习处理远距离依赖关系。

4、然而，尽管swin transformer在上述领域表现出色，但在图像超分辨率方面，特别是在遥感图像方面，其应用和研究仍然相对较少。这意味着尽管swin transformer在某些计算机视觉任务上表现出色，但在图像超分辨率领域的应用尚未被充分探索。

技术实现思路

1、本发明的目的在于提供一种遥感图像超分辨率重建方法，能够对低分辨率的卫星遥感图像进行超分辨率重建。

2、为达到上述目的，本发明提供如下技术方案：

3、第一方面，本发明提供一种遥感图像超分辨率重建方法，包括：

4、将待重建的低分辨率图像输入至训练好的超分辨率重建模型，获取重建的高分辨率图像；

5、其中，所述超分辨率重建模型是结合swin transformer网络和cnn网络构建的生成对抗网络，包括：

6、生成器网络模块：用于基于待重建的低分辨率图像，获取重建的高分辨率图像；

7、判别器网络模块：用于基于待重建的低分辨率图像所对应的真实的高分辨率图像，判别重建的高分辨率图像的真实性；

8、损失计算模块：用于基于判别器损失函数和生成器损失函数计算判别器损失和生成器损失。

9、结合第一方面，进一步的，所述生成器网络模块包括：

10、浅层特征提取模块：用于对输入的待重建的低分辨率图像进行浅层特征提取，获取浅层特征；

11、深层特征提取模块：用于对输入的待重建的低分辨率图像进行深层特征提取，获取深层特征；

12、上采样模块：用于对整合的浅层特征和深层特征进行上采样，获取重建的高分辨率图像；

13、其中，所述浅层特征提取模块利用一个卷积对输入的待重建的低分辨率图像进行浅层特征提取；

14、所述深层特征提取模块利用若干个连接的rdstb对输入的待重建的低分辨率图像进行深层特征提取；

15、所述上采样模块利用最近邻插值法结合卷积，对整合的浅层特征和深层特征进行上采样；

16、其中，所述rdstb包括若干组密集连接的残差块以及连接于最后一组残差块后的一个卷积，每组残差块均包括连接的一个卷积和一个swin transformer block。

17、结合第一方面，进一步的，所述判别器网络模块包括：

18、特征提取模块：用于对输入的待重建的低分辨率图像所对应的真实的高分辨率图像和重建的高分辨率图像进行特征提取，获取特征图；

19、线性层模块：用于对特征图进行二元分类，获取重建的高分辨率图像相对于真实的高分辨率图像为真或为假的判别结果；

20、其中，所述特征提取模块利用swin transformer网络的前两个阶段对输入的重建的高分辨率图像和真实的高分辨率图像进行特征提取；所述swin transformer网络的前两个阶段包括依次连接的patch partition、linear embedding、swin transformer block、patch merging、swin transformer block。

21、结合第一方面，进一步的，所述判别器损失函数为：

22、

23、其中，ld为判别器损失，zf为重建的高分辨率图像，xr为真实的高分辨率图像，为真实的高分辨率图像xr的期望，为重建的高分辨率图像zf的期望，dra(xr,zf)表示相对于重建的高分辨率图像zf，判别器对于真实的高分辨率图像xr的输出概率，dra(zf,xr)表示对于真实的高分辨率图像xr，判别器对于重建的高分辨率图像zf的输出概率，xr～pdata(xr)表示真实的高分辨率图像xr是从实际数据分布pdata(xr)中采样得到的，实际数据分布pdata(xr)是对待重建的低分辨率图像进行实际观测得到的，zf～pz(zf)表示重建的高分辨率图像zf是从潜在分布pz(zf)中随机采样得到的，潜在分布pz(zf)为随机分布；

24、所述生成器损失函数为：

25、lg＝lcont+λladv

26、其中，lg为生成器损失，lcont为内容损失，lcont＝||zf-xr||1，ladv为对抗损失，ladv＝ld，λ为用于权衡内容损失lcont和对抗损失ladv的相对重要性的权重参数。

27、结合第一方面，进一步的，对所述超分辨率重建模型进行训练包括：

28、基于预构建的训练集，对所述生成器网络模块和判别器网络模块进行交替训练，获取训练好的超分辨率重建模型；

29、其中，对所述生成器网络模块和判别器网络模块进行交替训练包括：

30、固定所述判别器网络模块的参数，以生成器损失最小为目标，对所述生成器网络模块进行训练；

31、固定所述生成器网络模块的参数，以判别器损失最小为目标，对所述判别器网络模块进行训练。

32、结合第一方面，进一步的，构建训练集包括：

33、利用双立方插值法对预获取的原始高分辨率图像进行下采样，获取原始高分辨率图像所对应的原始低分辨率图像；

34、由原始高分辨率图像及其所对应的原始低分辨率图像构成高分辨率-低分辨率图像对；

35、由高分辨率-低分辨率图像对构成图像数据库，并将图像数据库划分为训练集、验证集和测试集；

36、其中，利用双立方插值法对预获取的原始高分辨率图像进行下采样，获取原始高分辨率图像所对应的原始低分辨率图像包括：将原始高分辨率图像的16个像素点权重卷积之和作为新的像素值，获取原始高分辨率图像所对应的原始低分辨率图像。

37、结合第一方面，进一步的，还包括：

38、利用峰值信噪比和学习感知块相似度对重建的高分辨率图像进行评估；

39、其中，所述峰值信噪比的计算公式为：

40、

41、其中，psnr为峰值信噪比，n为每个采样值的比特数，mse为均方误差，对于一个尺寸为m×n的图像，其中，ihrij、isrij为待重建的低分辨率图像、重建的高分辨率图像中坐标(i,j)处像素点的像素值；

42、所述学习感知块相似度的计算公式为：

43、

44、其中，lpips为学习感知块相似度，t为特征维度，为待重建的低分辨率图像、重建的高分辨率图像在第τ个特征维度的数值。

45、第二方面，本发明提供一种计算机系统，包括：

46、存储介质：用于存储计算机程序；

47、处理器：用于执行所述计算机程序以实现第一方面任一项所述方法的步骤。

48、第三方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现第一方面任一项所述方法的步骤。

49、第四方面，本发明提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面任一项所述方法的步骤。

50、与现有技术相比，本发明的有益效果是：

51、本发明提供的遥感图像超分辨率重建方法，结合swin transformer网络和cnn网络构建超分辨率重建模型，可以对卫星所拍摄的低分辨率的遥感图像进行超分辨率重建，能够解决目前卫星遥感拍摄过程中，由于信号传输距离过远造成高频信号衰减过大，而中间又没有放大补偿装置，导致所拍摄的图像非常模糊的问题。解决了超分辨率处理任务中起源于卷积层的基本问题，即基于局部处理原理的卷积层在捕捉远距离依赖关系方面存在困难，甚至可能无效的问题。