一种基于无监督学习的遥感影像配准方法及系统与流程

本发明涉及遥感影像处理方法，具体涉及一种基于无监督学习的遥感影像配准方法及系统。

背景技术：

1、影像配准是将两幅包含同一场景的不同影像由不同空间坐标系通过一定模型变换到同一坐标系的过程。现有的影像配准方法包括传统的影像配准方法和基于深度学习的影像配准方法，传统的影像配准方法一般可分为基于特征的方法和基于区域的方法。传统的配准方法只适用于具有线性辐射(强度)差异的同源图像，在处理多模态影像时有一些局限性，难以有效地提取多模态图像对之间的共同特征。深度学习方法在图像配准任务中的优点是能够学习更丰富的图像特征，具有更强的表示能力和泛化能力。与传统的方法不同，基于深度学习的方法可以直接从原始输入的图像数据中学习特征表示和变换参数，而不依赖于手工设计的特征描述符或区域划分。这种端到端的学习过程可以克服图像中的变化和干扰，以获取更准确和有效地图像配准结果。

2、然而，现有技术中基于深度学习的影像配准方法在处理有较大形变的影像时难以准确捕获全局转换信息，从而导致配准结果不佳，且现有技术中基于有监督深度学习的影像配准方法需要提供大量的带有真值标签的训练样本作为训练数据，而现阶段遥感领域难以提供大量且具有代表性的遥感影像数据集以供训练，因此限制了该类方法的实际应用。

技术实现思路

1、针对上述现有技术中存在的技术问题，本发明提出一种基于无监督学习的遥感影像配准方法，包括以下步骤：

2、s1获取训练样本集，所述训练样本集包括多个遥感影像对，每个遥感影像对包括参考影像和未配准影像；

3、s2构建无监督学习影像配准网络模型，所述无监督学习影像配准网络模型包括一级配准模块、二级配准模块和空间变换模块；

4、s3利用获取的训练样本集对无监督学习影像配准网络模型进行训练，得到训练好的无监督学习影像配准网络模型；

5、s4获取待配准遥感影像对，所述待配准遥感影像对包括参考影像和待配准影像，将待配准遥感影像对输入训练好的无监督学习影像配准网络模型，得到完成配准的遥感影像对，所述配准的遥感影像对包括参考影像和完成配准的影像。

6、所述s1还包括对遥感影像进行预处理，所述预处理包括辐射校正、大气校正、噪声去除等。

7、所述一级配准模块用于对未配准影像与参考影像进行一级配准得到初步配准影像和一级位移向量场，所述一级配准模块包括特征提取子模块、仿射参数回归子模块和仿射变换子模块；

8、所述二级配准模块用于对初步配准影像进行二级配准得到二级位移向量场，所述二级配准模块采用u-net网络结构，包括编码器、注意力子模块和解码器，所述解码器后还连接了一个全卷积层；

9、所述空间变换模块根据一级位移向量场和二级位移向量场得到最终位移向量场，并根据最终位移向量场对未配准影像进行空间变换，得到最终配准影像。

10、进一步，所述特征提取子模块包括特征提取器1和特征提取器2，分别用于提取参考影像和未配准影像的一级特征；其中每个特征提取器包括两个分支网络，一个分支网络用于生成影像的原始特征，另一个分支网络用于生成影像的注意掩膜。

11、进一步，所述仿射参数回归子模块用于生成仿射变换参数，包括一个仿射参数回归网络和一个全连接层，所述仿射参数回归网络采用卷积网络结构，并在卷积网络中设置了一个特征增强单元，所述特征增强单元采用空洞空间卷积池化金字塔结构。

12、进一步，所述仿射变换子模块用于将仿射参数回归子模块生成的仿射变换参数转换得到一级位移向量场。

13、进一步，所述二级配准模块的编码器包含两个分支，分别用于提取参考影像和未配准影像的影像二级特征；其中，每个分支包括四个编码块，每个编码块包括卷积层、激活函数层和归一化层。

14、所述注意力子模块包括残差扩张卷积块、注意力机制单元和特征融合单元。

15、所述s3中对无监督学习影像配准网络模型进行训练的具体过程包括：

16、s31将训练样本集中的遥感影像对输入一级配准模块中，得到初步配准影像和一级位移向量场；

17、s32将初步配准影像与参考影像输入二级配准模块中，得到二级位移向量场；

18、s33将一级位移向量场、二级位移向量场以及未配准影像输入空间变换模块中，得到最终配准影像；

19、s34根据初步配准影像、最终配准影像与参考影像，计算无监督学习影像配准网络模型的综合损失函数，根据综合损失函数更新无监督学习影像配准网络模型的参数；

20、s35重复s31～s34，迭代直至综合损失函数实现收敛，即得到训练好的无监督学习影像配准网络模型。

21、进一步，所述s31中得到初步配准影像和一级位移向量场的具体步骤为：

22、s311分别将遥感影像对中的参考影像和未配准影像输入一级配准模块的特征提取子模块中，得到参考影像的一级特征和未配准影像的一级特征；

23、s312将参考影像与未配准影像各自对应的一级特征输入仿射参数回归子模块，得到仿射变换参数；

24、s313根据仿射变换参数对未配准影像进行扭曲变换，实现未配准影像与参考影像的初步配准，得到初步配准影像；

25、s314将仿射变换参数输入仿射变换子模块中计算得到一级位移向量场。

26、更进一步，所述s311中参考影像一级特征由参考影像的原始特征与注意掩码计算得到，未配准影像一级特征由未配准影像的原始特征与注意掩码计算得到。

27、进一步，所述s32中得到二级位移向量场的具体过程为：

28、s321将得到的初步配准影像与参考影像分别输入二级配准模块的编码器中进行特征提取，得到初步配准影像和参考影像各自的二级特征；

29、s322将初步配准影像和参考影像各自的二级特征结合后输入二级配准模块的的注意力子模块中进行特征多尺度扩展，然后输入解码器进行上采样和卷积操作，学习两幅影像之间的差异，最后通过全卷积层映射得到二级位移向量场。

30、进一步，所述s33中得到最终配准影像的具体过程包括：

31、s331将一级位移向量场和二级位移向量场相合并，得到最终位移向量场；

32、s332根据最终位移向量场对未配准影像进行空间变换，得到最终配准影像。

33、进一步，所述s34中综合损失函数l包括一级配准损失函数l1和二级配准损失函数l2。

34、所述s34中根据综合损失函数l更新无监督学习影像配准网络模型参数的具体过程为：

35、s341根据一级配准损失函数l1对一级配准网络的参数进行更新，使一级配准网络能够得到最优的仿射变换参数和一级位移向量场。

36、s342根据二级配准损失函数l2对二级配准网络的参数进行更新，使二级配准网络能够得到最优的二级位移向量场。

37、所述一级配准损失函数l1通过计算参考影像和初步配准影像之间的结构相似性得到。

38、所述二级配准损失函数l2包括相似度损失li、结构损失ls和平滑度损失lf；

39、所述相似度损失li通过计算参考影像与最终配准影像之间的相似性得到；所述结构损失ls通过计算参考影像与最终配准影像之间的结构差异得到；所述光滑度损失lf通过计算位移向量场的梯度得到。

40、根据一级配准损失函数l1和二级配准损失函数l2计算得到综合损失函数：

41、l＝λ1l1+λ2l2

42、其中，l1为一级配准损失函数，l2为二级配准损失函数，λ1、λ2分别表示一级配准损失函数和二级配准损失函数的权重参数。

43、另一方面，本发明还提供一种基于无监督学习的遥感影像配准系统，包括：

44、影像获取模块，用于获取进行配准的遥感影像对；

45、影像处理模块，用于对获取的遥感影像对进行预处理操作，包括辐射校正、大气校正、噪声去除等；

46、影像配准模块，采用无监督学习影像配准网络模型对预处理后的遥感影像对进行配准，得到最终配准影像；

47、结果输出模块，用于将完成配准后的最终配准影像结果进行输出。

48、所述无监督学习影像配准网络模型包括一级配准模块、二级配准模块和空间变换模块；

49、所述一级配准模块用于对影像进行粗步配准，包括特征提取子模块、仿射参数回归子模块和仿射变换子模块；

50、所述二级配准模块用于对影像进行精细配准，具体采用u-net网络结构，包括编码器、、注意力子模块和解码器，编码器后连接了一个全卷积层；

51、所述空间变换模块用于根据最终位移向量场对未配准影像进行空间变换，得到最终配准影像。

52、本发明产生的有益效果是：

53、1、本发明构建一种新的深度学习网络模型，通过网络模型中的一级配准模块和二级配准模块直接得到影像的仿射变换参数和位移向量场，通过位移向量场实现对形变较大影像及多模态影像的配准，且通过两步配准过程提高影像配准的精度；

54、2、设计一级配准损失函数l1和二级配准损失函数l2，实现无监督学习的影像配准训练方法，可在有限的影像数据集下获得更好的影像配准结果，解决了难以构建足够且具有代表性的遥感影像数据集用于模型训练的问题。