基于频域特征变分的遥感图像特征提取模型预训练方法和系统与流程

本发明涉及遥感图像处理，更具体的说是涉及一种基于频域特征变分的遥感图像特征提取模型预训练方法和系统。

背景技术：

1、遥感图像在国防安全、环境监测、城市规划等领域具有广泛的应用前景。遥感图像解译一直以来都是遥感领域的研究重点之一，遥感图像目标检测，遥感图像实例分割等更是炙手可热的研究重点。当前主流的遥感图像解译方法，主要基于有监督的训练范式设计模型进行训练，这类模型基于卷积神经网络构建，经过特征提取，特征融合，特征解耦后输出潜在目标区域的掩码信息以及预测框和类型信息。然而，有监督的模型训练范式需要大量的标注信息，及目标的类别，位置，边界信息往往需要大量的人力和物力的帮助。这造成了巨大的人工成本消耗，同时也使得模型难以拓展到相似解译任务。相比之下，基于无监督的模型预训练方法无需任何标注信息即可学习图像内部的特征语义关系，在实际应用中仅需在目标检测及实例分割等下游任务上进行微调，即可实现不错的检测精度。这一方法极大的减少了标注成本，使得遥感图像解译模型的拓展性和泛化性得到了显著的提升。然后，由于遥感图像本身具有复杂背景和目标尺度变换等特性，这使得常规的基于视觉的预训练方法表现不佳，常常受限于遥感图像噪声的干扰，这导致模型难以有效捕捉到典型遥感目标的精细化特征，进而在下游任务上精度表现不佳。

2、因此，如何提供一种遥感图像特征提取模型预训练方法和系统，其可以更准确地捕获遥感图像的精细化特征，进而提高其在下游任务上的表现精度是本领域技术人员亟需解决的问题。

技术实现思路

1、有鉴于此，本发明的目的是提供一种基于频域特征变分的遥感图像特征提取模型预训练方法和系统。

2、为了实现上述目的，本发明采用如下技术方案：

3、一种基于频域特征变分的遥感图像特征提取模型预训练方法，包括以下步骤：

4、s1:构建基于频域特征变分的遥感图像特征提取模型；其中，所述基于频域特征变分的遥感图像特征提取模型包括掩码模块、transformer编码器、transformer解码器、频域特征变分处理模块以及重建模块；所述频域特征变分处理模块包括加噪模块、快速傅里叶变换模块、卷积模块、多层感知机模块、特征降维模块、上采样模块、第一逆傅里叶变换模块和第二逆傅里叶变换模块；

5、s2:利用遥感图像对所述基于频域特征变分的遥感图像特征提取模型进行预训练。

6、优选的，s2具体包括：

7、将遥感图像输入至所述加噪模块添加高斯噪声，获得加噪后图像。

8、优选的，s2具体还包括：

9、将遥感图像输入至所述快速傅里叶变换模块，获得相位向量和振幅向量；

10、将所述振幅向量依次输入至所述卷积模块、所述多层感知机模块，获得去噪后振幅向量；

11、将所述去噪后振幅向量与所述相位向量进行组合后输入至所述第一逆傅里叶变换模块，获得去噪后图像。

12、优选的，s2具体还包括：

13、将所述去噪后振幅向量与所述振幅向量相加后，再与所述相位向量进行组合输入至所述第一逆傅里叶变换模块，获得去噪后图像。

14、优选的，s2具体还包括：

15、将所述相位向量输入至所述特征降维模块，获得降维相位向量；

16、将所述振幅向量输入至所述上采样模块，获得上采样振幅向量；

17、将所述降维相位向量和所述上采样振幅向量进行组合后输入至所述第二逆傅里叶变换模块，获得丢失频度图像。

18、优选的，s2具体还包括：

19、将遥感图像输入至所述掩码模块进行随机掩码，获得掩码遥感图像datamask；

20、将所述掩码遥感图像datamask建模为可输入至所述transformer编码器的词向量fm；其中，相对位置编码被添加到词向量fm中；

21、将词向量fm输入至所述transformer编码器，获得特征图ftrans；

22、将所述掩码遥感图像datamask建模为与所述特征图ftrans形状相同的词向量fdatamask；

23、将所述特征图ftrans和所述词向量fdatamask相加，获得完整特征图fall；

24、将所述完整特征图fall输入至所述transformer解码器，获得输出序列fout；

25、将所述输出序列fout输入至所述重建模块，所述重建模块按照所述相对位置编码进行遥感图像重建，获得遥感重建图像。

26、优选的，在预训练过程中，采用kl散度损失对所述丢失频度图像和所述去噪后图像进行损失计算。

27、优选的，在预训练过程中，采用以下损失函数计算所述去噪后图像、所述加噪后图像与所述遥感重建图像在像素空间的损失：

28、

29、其中，loss表示损失函数；mse表示像素均方误差；表示所述遥感重建图像；img_g表示所述加噪后图像；img_nonoise表示所述去噪后图像；a和b表示权重系数，通过调整权重系数a和b来确定模型的优化方向。

30、一种基于频域特征变分的遥感图像特征提取模型预训练系统，包括频域特征变分处理模块；所述频域特征变分处理模块包括加噪模块、快速傅里叶变换模块、卷积模块、多层感知机模块、特征降维模块、上采样模块、第一逆傅里叶变换模块和第二逆傅里叶变换模块；

31、所述加噪模块用于为遥感图像添加高斯噪声，获得加噪后图像；

32、所述快速傅里叶变换模块用于对遥感图像进行快速傅里叶变换，获得相位向量和振幅向量；

33、所述卷积模块用于对所述振幅向量进行卷积操作；

34、所述多层感知机模块用于对卷积后的振幅向量进行优化，获得去噪后振幅向量；

35、所述特征降维模块用于对所述相位向量进行降维处理，获得降维相位向量；

36、所述上采样模块用于对所述振幅向量进行上采样处理，获得上采样振幅向量；

37、所述第一逆傅里叶变换模块用于对组合后的所述去噪后振幅向量与所述相位向量进行逆傅里叶变换，获得去噪后图像；

38、所述第二逆傅里叶变换模块用于对组合后的所述降维相位向量和所述上采样振幅向量进行逆傅里叶变换，获得丢失频度图像。

39、优选的，上述系统还包括掩码模块、transformer编码器、transformer解码器、频域特征变分处理模块以及重建模块；

40、所述掩码模块用于对遥感图像进行随机掩码，获得掩码遥感图像datamask；

41、所述transformer编码器用于对词向量fm进行编码，获得特征图ftrans；其中，可输入至所述transformer编码器的词向量fm基于所述掩码遥感图像datamask建模获得，相对位置编码被添加到词向量fm中；

42、所述transformer解码器用于对完整特征图fall进行解码，获得输出序列fout；其中，将所述掩码遥感图像datamask建模为与所述特征图ftrans形状相同的词向量fdatamask后，再与所述特征图ftrans相加，获得所述完整特征图fall；

43、所述重建模块用于按照所述相对位置编码对所述输出序列fout进行遥感图像重建，获得遥感重建图像。

44、经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于频域特征变分的遥感图像特征提取模型预训练方法和系统，可以获得以下有益技术效果：

45、1)本发明可以更准确地捕获遥感图像的精细化特征，进而提高其在下游任务上的表现精度。

46、2)利用本发明提出的基于频域特征变分的遥感图像特征提取模型预训练方法，能够有效的提升特征提取过程中遥感图像特征图的质量，帮助模型在预训练阶段充分挖掘典型遥感目标在不同的频域特征表达上的差异特性，进而获取到更高质量的预训练权重，在下游任务上有更好的表现。

47、3)本发明提出的基于频域特征变分的遥感图像特征提取网络预训练模型，根据特征图在频域特征表示上的差异性质，在频域特征处理过程中多维度的建立加噪/去噪/丢失频度图像的联系，引导模型学习遥感目标的差异化特征信息，进而更好地捕捉到关于潜在目标区域的上下文特征信息，进而帮助模型更准确地理解图像内容。