一种基于图像融合特征学习重建的遥感影像云去除方法

本发明涉及图像处理，尤其涉及一种基于图像融合特征学习重建的遥感影像云去除方法。

背景技术：

1、遥感影像直观性强，蕴含地表信息丰富，在防灾减灾、资源普查、农业调查和军事领域取得了广泛应用。由于遥感影像成像机理的限制，遥感影像极易受到云层干扰，严重限制了遥感影像的使用。云对遥感影像的影响复杂，薄云削弱地表辐射，造成影像失真和模糊；厚云遮挡地表信息，且在地表形成阴影区域。

2、现有对遥感影像云去除的研究仍集中于单一类型的薄云或者厚云，无法同时去除遥感影像中的薄云、厚云和云阴影，且原始地表信息特征难以准确恢复，存在去除前后色彩差异大，整体一致性差的问题。

技术实现思路

1、(一)要解决的技术问题

2、鉴于现有技术的上述缺点、不足，本发明提供一种基于图像融合特征学习重建的遥感影像云去除方法，其解决了现有对遥感影像云去除的研究仍集中于单一类型的薄云或者厚云，无法同时去除遥感影像中的薄云、厚云和云阴影，且原始地表信息特征难以准确恢复，存在去除前后色彩差异大，整体一致性差的技术问题。

3、(二)技术方案

4、为了达到上述目的，本发明采用的主要技术方案包括：

5、本发明实施例提供一种基于图像融合特征学习重建的遥感影像云去除方法，包括：

6、s1、获取遥感卫星针对指定区域所拍摄的有云影像、多张参考影像；以及分别与所述有云影像和多张参考影像一一对应的云及云影掩膜；所述有云影像为遥感卫星针对指定区域在第一时刻所拍摄的影像，且所述有云影像中显示有云；所述参考影像为遥感卫星针对指定区域在第二时刻所拍摄的影像；所述第二时刻与第一时刻不同；

7、s2、根据与所述有云影像和多张参考影像一一对应的云及云影掩膜，在多张所述参考影像中确定第一参考影像；

8、s3、将所述有云影像中云及云影的像元替换成所述第一参考影像中与该云及云影的像元对应位置的像元，得到第一融合图像；

9、s4、针对所述第一融合图像进行裁剪，获取多张裁剪图片，并对裁剪图片进行分类，得到第一图像集和第二图像集；

10、s5、针对所述第二图像集进行处理，得到第三图像集；

11、s6、基于所述第三图像集和所述第二图像集，获取图像重建数据集；

12、s7、基于所述图像重建数据集，对预先获取的图像重建模型进行训练，获取训练好的图像重建模型；

13、s8、对所述第一图像集中的每一张裁剪图片及其云及云影掩膜叠加后，输入至所述训练好的图像重建模型中，得到预测图像集；

14、s9、基于所述第二图像集和所述预测图像集，得到所述有云影像所对应的最终的云去除影像。

15、优选地，

16、所述第一参考影像为在满足公式(1)的参考影像中所对应的云占比最小的参考影像；

17、其中，参考影像所对应的云占比为所述参考影像中云及云影像元的数量与所述参考影像中所有像元的数量之比；

18、所述公式(1)为：

19、

20、pcloud表示有云影像中云及云影的像元位置的集合；

21、preference表示参考影像中云及云影的像元位置的集合。

22、优选地，所述s4具体包括：

23、s41、针对所述第一融合图像进行裁剪，获取多张裁剪图片；

24、其中每一张裁剪图片的尺寸均为256*256；

25、s42、判断每一张裁剪图片中是否含有所述第一参考影像中的像元，获取判断结果；

26、s43、基于每一张裁剪图片所对应的判断结果，对裁剪图片进行分类，得到第一图像集和第二图像集；

27、其中，所述第一图像集包括判断结果为含有所述第一参考影像中的像元的裁剪图片；

28、所述第二图像集包括判断结果为没有含有所述第一参考影像中的像元的裁剪图片。

29、优选地，所述s5具体包括：

30、s51、获取所述第二图像集中每一裁剪图片分别在所述第一参考影像中所一一对应的影像区域；

31、s52、获取每一影像区域中的云占比；

32、所述影像区域中的云占比为所述影像区域中云及云影像元的数量与所述影像区域中所有像元的数量之比；

33、s53、基于影像区域中的云占比，对第二图像集中与该影像区域对应的裁剪图片按照预设策略进行处理，获取第三图像集；

34、所述预设策略包括：

35、若影像区域中的云占比大于0％且小于100％时，使用该影像区域中非云区域的像元将与其对应的裁剪图片中对应位置的像元进行替换，得到对应的替换后的裁剪图片；

36、其中，该影像区域中非云区域是依据第一参考图像的云及云影掩膜得到的；

37、若影像区域中的云占比等于0时，则从云区域掩膜集中随机选取一张云及云影掩膜图片，并使用所述云及云影掩膜图片中有云区域的像元对与所述影像区域对应的裁剪图片中对应位置的像元进行替换，得到对应的替换后的裁剪图片；

38、所述云区域掩膜集为对有云影像的云及云影掩膜按照尺寸为256*256进行裁剪所得到的多张云及云影掩膜图片。

39、优选地，所述s6中所述图像重建数据集包括多对图像；

40、其中每一对图像均包括一张第三图像集中的替换后的裁剪图片以及与其对应的第二图像集中的裁剪图片。

41、优选地，所述s7具体包括：

42、s71、基于所述图像重建数据集，获取所述图像重建数据集每对图像中的第三图像集中的替换后的裁剪图片所对应的融合掩膜图片；

43、其中，当该替换后的裁剪图片是通过从云区域掩膜集中随机选取一张云及云影掩膜图片，并使用所述云及云影掩膜图片中有云区域的像元对与影像区域对应的裁剪图片中对应位置的像元进行替换得到的时，所述替换后的裁剪图片所对应的融合掩膜图片为所述云及云影掩膜图片；

44、当该替换后的裁剪图片是通过使用影像区域中非云区域的像元将与其对应的裁剪图片中对应位置的像元进行替换得到时，所述替换后的裁剪图片所对应的融合掩膜图片为影像区域中非云区域；

45、s72、分别将所述第三图像集中每一替换后的裁剪图片以及与该替换后的裁剪图片所对应的融合掩膜图片作为所述预先获取的图像重建模型的输入图像以及将与替换后的裁剪图片对应的第二图像集中的裁剪图片作为所述预先获取的图像重建模型的目标图像，并输入至所述预先获取的图像重建模型中，所述预先获取的图像重建模型基于所述输入图像和所述目标图像进行训练，获取训练好的图像重建模型；

46、所述预测图像集中包括所述训练好的图像重建模型针对第一图像集中的每一张裁剪图片进行预测所得到的预测图像。

47、优选地，

48、将所述第二图像集中的所有裁剪图片和所述预测图像集中的所有预测图像进行拼接，得到所述有云影像所对应的最终的云去除影像。

49、优选地，

50、所述图像重建模型包括生成器和判别器；

51、其中，所述生成器包括多个特征提取模块；

52、所述特征提取模块是在convnext网络特征提取模块的基础上移除层归一化结构，并将gelu激活函数替换为leaky relu激活函数，以及移除正则化结构所得到的。

53、优选地，

54、所述图像重建模型中的判别器为分级马尔可夫判别器；

55、其中该分级马尔可夫判别器中的每一层级均设置有一个判别所输入图像真假的输出；

56、所述分级马尔可夫判别器通过所有层级的分别所对应的输出，在训练过程中判别输入图像与目标图像之间的相似性，并确定所述分级马尔可夫判别器总损失值。

57、优选地，

58、所述分级马尔可夫判别器采用公式(2)确定所述分级马尔可夫判别器总损失值；

59、所述公式(2)为

60、

61、lossd为所述分级马尔可夫判别器总损失值；

62、i表示第i所述分级马尔可夫判别器个层级；i＝[1、2、3、4]；

63、lossoutputi为第i层级输出的损失值；

64、λi为预先设定的第i层级输出损失值的权重。

65、(三)有益效果

66、本发明的有益效果是：本发明的一种基于图像融合特征学习重建的遥感影像云去除方法，由于将有云影像中云及云影的像元替换成所述第一参考影像中与该云及云影的像元对应位置的像元，得到第一融合图像，然后再对第一融合图像进行裁剪，获取多张裁剪图片，并对裁剪图片进行分类，得到第一图像集和第二图像集，然后对第二图像集进行处理，得到第三图像集，然后，基于所述第三图像集和所述第二图像集，获取图像重建数据集；基于所述图像重建数据集，对预先获取的图像重建模型进行训练，获取训练好的图像重建模型；相对于现有技术而言，本发明中训练好的图像重建模型，由于是图像重建数据集所训练而得到的，因此不仅能学习图像从无云影像向有云影像无云区域的转换特征，而且能学习有云影像中云的空间分布特征，因此能准确恢复云及云影区域原始地表信息，恢复图像原始特征，保证云去除结果的整体一致性。