遥感单模态到多模态基础模型轻量化组合迁移方法、装置

本发明涉及遥感领域，尤其涉及一种遥感单模态到多模态基础模型轻量化组合迁移方法、装置。

背景技术：

1、随着我国航天技术的发展，高分辨率遥感卫星相继成功发射，为遥感图像解译提供了更加丰富的数据源。光学遥感图像智能解译逐渐发展成熟，但缺乏有效的sar、多光谱、高光谱模态遥感图像的解译方法。根据不同模态的特性，本发明设计了适用于处理不同成像模式图像的基础模型，提取了不同模态的稳定特征。

2、近十年来，深度学习促进了单模态遥感图像解译任务的极大发展。但是在遥感领域，面对海量的时空谱异构数据，亟待构建一个多模态基础模型，促进多个模态信息的整合利用。

技术实现思路

1、鉴于上述问题，本发明提供了一种遥感单模态到多模态基础模型轻量化组合迁移方法、装置。

2、根据本发明的第一个方面，提供了一种遥感单模态到多模态基础模型轻量化组合迁移方法，包括：

3、针对遥感领域具有的每个模态，训练基于swin transformer的单模态遥感自监督模型，所述单模态遥感自监督模型用于处理单个模态的遥感图像；

4、根据每个模态的单模态遥感自监督模型，构建多模态遥感自监督模型，所述多模态遥感自监督模型用于处理所有模态的遥感图像；

5、对初始化完成的多模态遥感自监督模型进行训练，计算重建损失、对比损失和蒸馏损失；

6、通过所述重建损失、对比损失和蒸馏损失，更新所述初始化完成的多模态遥感自监督模型的参数，得到训练完成的多模态遥感自监督模型；

7、利用所述训练完成的多模态遥感自监督模型，处理遥感图像。

8、根据本发明实施例，所述单模态遥感自监督模型包括单模态编码器和单模态解码器；

9、所述单模态编码器用于将输入的遥感图像转换为一组特征向量，所述特征向量用于所述解码器对遥感图像进行分类或回归；

10、所述单模态解码器用于根据所述特征向量，生成目标类别的遥感图像。

11、根据本发明实施例，所述对初始化完成的多模态遥感自监督模型进行训练，计算重建损失、对比损失和蒸馏损之前，包括：

12、通过加载每个模态的单模态遥感自监督模型的单模态编码器和单模态解码器的权重，对所述多模态遥感自监督模型进行初始化，得到初始化完成的多模态遥感自监督模型；

13、对于未加载到的每个模态的单模态遥感自监督模型的单模态编码器和单模态解码器的权重，使用kaiming方式进行初始化，以防止层激活输出在深度神经网络的正向传递过程中爆炸或消失。

14、根据本发明实施例，所述多模态遥感自监督模型包括多模态编码器、跨模态对齐融合模块和多模态解码器；

15、所述多模态编码器包括多个异构分支，每个异构分至对应一个模态的单模态遥感自监督模型的单模态编码器，所述多模态编码器用于提取每个模态的模态特征；

16、所述跨模态对齐融合模块用于组合每个模态的模态特征；

17、所述多模态解码器包括每个模态的单模态遥感自监督模型的单模态解码器，所述多模态解码器用于解码每个模态的模态特征。

18、根据本发明实施例，所述跨模态对齐融合模块用于基于自注意力学习机制，对来自不同传感器的遥感图像之间的特征进行检索和匹配，通过交叉注意机制，组合每个模态间的模态特征。

19、根据本发明实施例，所述对所述初始化完成的多模态遥感自监督模型进行训练，计算蒸馏损失包括：

20、将每个模态的单模态遥感自监督模型作为教师模型，所述多模态遥感自监督模型作为学生模型，在多模态的遥感图像经过所述学生模型的编码器后，与对应模态的教师模型输入单模态的遥感图像得到的特征图进行蒸馏，计算蒸馏损失。

21、根据本发明实施例，所述模态包括光学模态、红外模态、sar模态、多光谱模态以及高光谱模态中的至少之一。

22、本发明的第二方面提供了一种遥感单模态到多模态基础模型轻量化组合迁移装置，包括：

23、单模态模型训练模块，用于针对遥感领域具有的每个模态，训练基于swintransformer的单模态遥感自监督模型，所述单模态遥感自监督模型用于处理单个模态的遥感图像；

24、多模态模型构建模块，用于根据每个模态的单模态遥感自监督模型，构建多模态遥感自监督模型，所述多模态遥感自监督模型用于处理所有模态的遥感图像；

25、多模态模型训练模块，用于对所述初始化完成的多模态遥感自监督模型进行训练，计算重建损失、对比损失和蒸馏损失；

26、参数更新模块，用于通过所述重建损失、对比损失和蒸馏损失，更新所述初始化完成的多模态遥感自监督模型的参数，得到训练完成的多模态遥感自监督模型；

27、图像处理模块，用于利用所述训练完成的多模态遥感自监督模型，处理遥感图像。

28、本发明的第三方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得一个或多个处理器执行上述方法。

29、本发明的第四方面还提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述方法。

30、根据本发明提供的遥感单模态到多模态基础模型轻量化组合迁移方法、装置、设备和介质，设计针对于单个不同模态的单模态遥感自监督模型，学习策略相同，但采用不同的网络实现；设计多模态遥感自监督模型，该模型将包含多个单模态遥感自监督模型的结构，并设计有跨模态对齐融合模块，从而实现多模态之间特征的相互指导；多模态与单模态遥感自监督模型对应的结构部分直接加载其权重，未对应的结构部分采用kaiming初始化；对多模态遥感自监督模型进行训练，采用蒸馏学习，将多模态遥感自监督模型作为学生模型，多个单模态遥感自监督模型作为多教师模型，在训练过程中计算特征图的蒸馏损失，与自监督学习过程中的对比损失、重建损失共同作为多模态遥感自监督模型整体的损失函数进行反向传播和优化。

技术特征：

1.一种遥感单模态到多模态基础模型轻量化组合迁移方法，其特征在于，包括：

2.根据权利要求1所述的遥感单模态到多模态基础模型轻量化组合迁移方法，其特征在于，所述单模态遥感自监督模型包括单模态编码器和单模态解码器；

3.根据权利要求2所述的遥感单模态到多模态基础模型轻量化组合迁移方法，其特征在于，所述对初始化完成的多模态遥感自监督模型进行训练，计算重建损失、对比损失和蒸馏损之前，包括：

4.根据权利要求1所述的遥感单模态到多模态基础模型轻量化组合迁移方法，其特征在于，所述多模态遥感自监督模型包括多模态编码器、跨模态对齐融合模块和多模态解码器；

5.根据权利要求4所述的遥感单模态到多模态基础模型轻量化组合迁移方法，其特征在于，所述跨模态对齐融合模块用于基于自注意力学习机制，对来自不同传感器的遥感图像之间的特征进行检索和匹配，通过交叉注意机制，组合每个模态间的模态特征。

6.根据权利要求1所述的遥感单模态到多模态基础模型轻量化组合迁移方法，其特征在于，所述对所述初始化完成的多模态遥感自监督模型进行训练，计算蒸馏损失包括：

7.根据权利要求1所述的遥感单模态到多模态基础模型轻量化组合迁移方法，其特征在于，所述模态包括光学模态、红外模态、sar模态、多光谱模态以及高光谱模态中的至少之一。

8.一种遥感单模态到多模态基础模型轻量化组合迁移装置，其特征在于，包括：

9.根据权利要求8所述的遥感单模态到多模态基础模型轻量化组合迁移装置，其特征在于，所述单模态遥感自监督模型包括单模态编码器和单模态解码器；

10.根据权利要求8所述的遥感单模态到多模态基础模型轻量化组合迁移装置，其特征在于，所述对初始化完成的多模态遥感自监督模型进行训练，计算重建损失、对比损失和蒸馏损之前，包括：

技术总结
本发明提供了一种遥感单模态到多模态基础模型轻量化组合迁移方法、装置、设备及存储介质，可以应用于遥感技术领域。该方法包括：针对遥感领域具有的每个模态，训练基于Swin Transformer的单模态遥感自监督模型；根据每个模态的单模态遥感自监督模型，构建多模态遥感自监督模型；对初始化完成的多模态遥感自监督模型进行训练，计算重建损失、对比损失和蒸馏损失；通过所述重建损失、对比损失和蒸馏损失，更新所述初始化完成的多模态遥感自监督模型的参数，得到训练完成的多模态遥感自监督模型；利用所述训练完成的多模态遥感自监督模型，处理遥感图像。可提高遥感图像处理精度。

技术研发人员：付琨,孙显,王佩瑾,胡会扬,王萌雨,闫志远,孙超,申志平
受保护的技术使用者：中国科学院空天信息创新研究院
技术研发日：
技术公布日：2024/4/17