一种基于跨域共享的多模态遥感数据融合方法

本发明涉及遥感数据处理领域，特别是涉及一种基于跨域共享的多模态遥感数据融合方法。

背景技术：

1、随着航空航天技术的发展，多模态遥感已经成为一种有效的资源勘测监视手段，尤其是多模态遥感数据解译可有效辅助分析地面目标态势信息，进一步提高对地观测效率，研究面向多模态遥感数据的解译方法成为了亟待解决的关键问题。

2、现有的多模态遥感数据解译方法仅适用于固定组合的遥感模态数据，无法做到任意模态组合的自适应扩展解译。且使用现有的多模态遥感数据解译方法需要进行多次调用才能实现不同模态组合数据解译，系统处理效率低下，难以满足现代遥感系统时效性需求。

技术实现思路

1、针对上述技术问题，本发明采用的技术方法为：

2、根据本发明的一个方面，提供了一种基于跨域共享的多模态遥感数据融合方法，该方法包括如下步骤：

3、获取目标区域的多个中间遥感数据，每一中间遥感数据的模态类型互不相同。且每一中间遥感数据具有相同的空间维度及通道维度。

4、将每一中间遥感数据输入共享特征融合网络，生成每一中间遥感数据对应的子融合遥感数据。子融合遥感数据中的每一特征参数对应的置信度均大于或等于置信度阈值。

5、根据每一子融合遥感数据及对应的模态权重，生成目标区域的融合遥感数据。模态权重根据每一模态的子融合遥感数据对应的融合比例确定。

6、共享特征融合网络用于实现如下步骤：

7、根据每一中间遥感数据包括的特征参数之间的语义关系，生成每一中间遥感数据对应的多个增强特征参数。

8、生成每一增强特征参数对应的置信度。置信度根据中间遥感数据中每一增强特征参数对目标区域中对应地物信息的表征强度确定。

9、根据置信度对每一中间遥感数据中目标特征参数进行替换处理，生成每一中间遥感数据对应的子融合遥感数据。目标特征参数为对应置信度小于置信度阈值的增强特征参数。

10、在本发明中，进一步的，共享特征融合网络配置为多个，多个共享特征融合网络之间串行连接设置。

11、将每一中间遥感数据输入共享特征融合网络，生成每一中间遥感数据对应的子融合遥感数据，包括：

12、将每一中间遥感数据作为初始值输入位于初始位置的共享特征融合网络中。

13、将位于末端位置的共享特征融合网络的每一输出值，作为每一中间遥感数据对应的子融合遥感数据。

14、在本发明中，进一步的，根据置信度对每一中间遥感数据中目标特征参数进行替换处理，生成每一中间遥感数据对应的子融合遥感数据，包括：

15、根据多个待替换特征参数对应的置信度确定目标替换特征参数。待替换特征参数为与目标特征参数表征同一地物信息的其它模态对应的增强特征参数。

16、将目标特征参数替换为对应的目标替换特征参数，以生成每一中间遥感数据对应的子融合遥感数据。

17、在本发明中，进一步的，共享特征融合网络包括多个置信度生成网络，每一模态类型对应一个置信度生成网络。

18、生成每一增强特征参数对应的置信度，包括：

19、根据每一增强特征参数对应的模态类型，确定对应的置信度生成网络。

20、根据对应的置信度生成网络，生成每一增强特征参数对应的置信度。

21、在本发明中，进一步的，所述中间遥感数据包括的每一特征参数分别对应一个位置编码。

22、在根据置信度对每一中间遥感数据中目标特征参数进行替换处理，生成每一中间遥感数据对应的子融合遥感数据之后，共享特征融合网络还用于实现如下步骤：

23、使用每一位置编码对子融合遥感数据中对应的目标编码参数进行强化处理，生成编码强化特征参数。目标编码参数为子融合遥感数据中与每一位置编码对应的特征参数。强化处理用于对目标编码参数中位置编码对应的参数进行增强。

24、在本发明中，进一步的，获取目标区域的多个中间遥感数据，包括：

25、获取目标区域的多个初始中间遥感数据。每一初始中间遥感数据的模态互不相同。且每一初始中间遥感数据具有相同的空间维度及通道维度。

26、将每一初始中间遥感数据均划分为相同的多个像元区域。

27、根据每一像元区域在初始中间遥感数据中对应的参数，生成每一像元区域对应的特征参数。

28、获取每一像元区域对应的特征参数的位置编码。不同初始中间遥感数据的相同像元区域对应的位置编码相同。

29、根据每一初始中间遥感数据对应的特征参数及位置编码，生成对应的中间遥感数据。

30、在本发明中，进一步的，在生成目标区域的融合遥感数据之后，方法还包括：

31、对融合遥感数据进行遥感解译处理，生成对应的解译结果。

32、根据本发明的第二个方面，提供了一种基于跨域共享的多模态遥感数据融合装置，该装置包括：

33、中间数据获取模块，用于获取目标区域的多个中间遥感数据，每一中间遥感数据的模态类型互不相同。且每一中间遥感数据具有相同的空间维度及通道维度。

34、特征融合模块，用于将每一中间遥感数据输入共享特征融合网络，生成每一中间遥感数据对应的子融合遥感数据。子融合遥感数据中的每一特征参数对应的置信度均大于或等于置信度阈值。

35、数据融合模块，用于根据每一子融合遥感数据及对应的模态权重，生成目标区域的融合遥感数据。模态权重根据每一模态的子融合遥感数据对应的融合比例确定。

36、特征融合模块包括：

37、特征增强模块，用于根据每一中间遥感数据包括的特征参数之间的语义关系，生成每一中间遥感数据对应的多个增强特征参数。

38、置信度生成子模块，用于生成每一所述增强特征参数对应的置信度。置信度根据中间遥感数据中每一增强特征参数对目标区域中对应地物信息的表征强度确定。

39、参数替换模块，用于根据置信度对每一中间遥感数据中目标特征参数进行替换处理，生成每一中间遥感数据对应的子融合遥感数据。目标特征参数为对应置信度小于置信度阈值的增强特征参数。

40、在本发明中，进一步的，共享特征融合网络配置为多个，多个共享特征融合网络之间串行连接设置。

41、特征融合模块包括：

42、输入模块，用于将每一中间遥感数据作为初始值输入位于初始位置的共享特征融合网络中。

43、输出模块，用于将位于末端位置的共享特征融合网络的每一输出值，作为每一中间遥感数据对应的子融合遥感数据。

44、在本发明中，进一步的，参数替换模块包括：

45、目标确定模块，用于根据多个待替换特征参数对应的置信度确定目标替换特征参数。待替换特征参数为与目标特征参数表征同一地物信息的其它模态对应的增强特征参数。

46、目标替换模块，用于将目标特征参数替换为对应的目标替换特征参数，以生成每一中间遥感数据对应的子融合遥感数据。

47、在本发明中，进一步的，共享特征融合网络包括多个置信度生成网络，每一模态类型对应一个置信度生成网络。

48、置信度生成子模块包括：

49、网络确定模块，用于根据每一增强特征参数对应的模态类型，确定对应的置信度生成网络。

50、置信度生成单元，用于根据对应的置信度生成网络，生成每一增强特征参数对应的置信度。

51、在本发明中，进一步的，中间遥感数据包括的每一特征参数分别对应一个位置编码。

52、在根据置信度对每一中间遥感数据中目标特征参数进行替换处理，生成每一中间遥感数据对应的子融合遥感数据之后，特征融合模块还包括：

53、编码强化模块，用于使用每一位置编码对子融合遥感数据中对应的目标编码参数进行强化处理，生成编码强化特征参数。目标编码参数为子融合遥感数据中与每一位置编码对应的特征参数。强化处理用于对目标编码参数中位置编码对应的参数进行增强。

54、在本发明中，进一步的，中间数据获取模块包括：

55、初始数据获取模块，用于获取目标区域的多个初始中间遥感数据。每一初始中间遥感数据的模态互不相同。且每一初始中间遥感数据具有相同的空间维度及通道维度。

56、像元划分模块，用于将每一初始中间遥感数据均划分为相同的多个像元区域。

57、特征生成模块，用于根据每一像元区域在初始中间遥感数据中对应的参数，生成每一像元区域对应的特征参数。

58、编码获取模块，用于获取每一像元区域对应的特征参数的位置编码。不同初始中间遥感数据的相同像元区域对应的位置编码相同。

59、中间数据生成模块，用于根据每一初始中间遥感数据对应的特征参数及位置编码，生成对应的中间遥感数据。

60、在本发明中，进一步的，在生成目标区域的融合遥感数据之后，装置还包括：

61、解译模块，用于对融合遥感数据进行遥感解译处理，生成对应的解译结果。

62、根据本发明的第三个方面，提供了一种非瞬时性计算机可读存储介质，非瞬时性计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述任一项的一种基于跨域共享的多模态遥感数据融合方法。

63、根据本发明的第四个方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述任一项的一种基于跨域共享的多模态遥感数据融合方法。

64、本发明至少具有以下有益效果：

65、在获得每一中间遥感数据的基础上，再根据每一中间遥感数据对应生成的每一增强特征参数对应的置信度，对每一中间遥感数据中目标特征参数进行替换处理。因此，可以将每一模态中的不符合使用要求的目标特征参数均进行优化替换，对应的促进了各个模态之间的数据的交互融合，以提高每一模态的子融合遥感数据，对目标区域中每一地物信息的表示强度及准确度。最后再根据模态权重对多个模态的子融合遥感数据进行最终的融合，由此，可以进一步提高最终得到的融合遥感数据对目标区域中每一地物信息的表示的丰富度。

66、综上，通过本技术中通过对多模态遥感数据的融合处理，可以使用任意模态组合的遥感数据，生成对地物信息的表示的丰富度及准确度更高的融合遥感数据。融合遥感数据由于融合了多种模态的特征信息，所以其语义特征泛化性较高。进而无需进行多次调用即可实现对不同模态组合数据进行解译的功能，以便于融合遥感数据适配于更多的遥感解译任务，也对应提高了对地观测的效率。