一种基于线性时间序列选择性状态空间模型的多模态遥感数据分类方法

本发明涉及一种多模态遥感数据分类方法，尤其涉及一种基于线性时间序列选择性状态空间模型的多模态遥感数据分类方法，属于图像处理。

背景技术：

1、遥感领域中的多模态通常指的是在不同传感器，如多光谱、高光谱、合成孔径雷达和激光雷达等下获取的场景和目标的成像结果，合理地利用多模态遥感数据，可以通过光谱、时间和空间等方面为地物提供更全面的描述信息，从而提高遥感数据的解译能力，以满足军事侦察、智慧农业等实际应用的需求。

2、为推动多模态遥感数据在上述应用中得到深入和广泛的应用，需要有效的信息处理手段，分类作为遥感数据处理技术的重要环节之一，一直是当前研究的热点问题，近年来，由于其强大的特征提取能力，深度学习已成为多模态遥感数据分类的主流方法，在众多深度学习方法中，基于cnn模型的多模态遥感数据方法备受关注，但缺少长程依赖关系的提取。因此，需要一种具有高效全局特征提取能力的多模态遥感数据分类方法。

技术实现思路

1、在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

2、鉴于此，为解决现有技术中多模态遥感数据分类方法在全局特征提取能力方面的不足，本发明提供一种基于线性时间序列选择性状态空间模型的多模态遥感数据分类方法。

3、技术方案如下：一种基于线性时间序列选择性状态空间模型的多模态遥感数据分类方法，包括以下步骤：

4、s1.获取多模态遥感数据；

5、s2.建立不同模态的基于多层感知机的映射层，输入多模态遥感数据，将多模态遥感数据的输出划分为不同的样本块，将位置编码与样本块进行相加，得到序列的多模态遥感表征向量；

6、s3.构建跨模态空间融合模块，输入序列的多模态遥感表征向量，经不同模态的空间信息交互，得到跨模态空间融合模块的输出；

7、s4.将步骤s3迭代n次，通过对所有跨模态空间融合模块的输出取平均值，并利用多层感知机输出分类结果。

8、进一步地，多模态遥感数据包括高光谱数据dhsi和地面表面模型dlidar，地面表面模型dlidar通过对激光雷达采集的数据进行去噪和栅格化处理后得到，为长度为h、宽度为w、光谱数为l的实数集，为长度为h、宽度为w的实数集。

9、进一步地，多模态遥感数据的输出包括高光谱数据dhsi的输出ohsi和地面表面模型dlidar的输出olidar，序列的多模态遥感表征向量包括最终的高光谱数据dhsi的输出ohsi'和最终的地面表面模型dlidar的输出olidar'。

10、进一步地，构建基于线性时间序列选择性状态空间模型的跨模态空间融合模块，将最终的高光谱数据dhsi的输出ohsi'和最终的地面表面模型dlidar的输出olidar'分别输入跨模态空间融合模块的一维卷积和silu激活函数中，得到第一输出o'hsi和第二输出o'lidar；

11、o'hsi＝σ(conv(mlp(ohsi'))) (1)

12、o'lidar＝σ(conv(mlp(olidar'))) (2)

13、其中，conv为一维卷积操作，mlp为多层感知机，σ表示silu激活函数，zhsi表示最终的高光谱数据dhsi的输出ohsi'的输出，zlidar表示最终的地面表面模型dlidar的输出olidar'的输出；

14、将第一输出o'hsi和第二输出o'lidar分别输入到基于线性时间序列选择性状态空间块中，第一输出o'hsi经过基于线性时间序列选择性状态空间块后输出第一参数bhsi、第二参数chsi和高光谱模态的时间尺度参数δhsi，第二输出o'lidar经过基于线性时间序列选择性状态空间块后输出第三参数blidar、第四参数clidar和激光雷达模态的时间尺度参数δlidar，对第一输出o'hsi和和第二输出o'lidar经基于线性时间序列选择性状态空间块后得到的输出进行不同模态的空间信息交互；

15、不同模态的空间信息交互过程表示为：

16、bhsi,chsi,δhsi＝mlp(o'hsi) (3)

17、blidar,clidar,δlidar＝mlp(o'lidar) (4)

18、

19、

20、

21、y＝(yhsi⊙zhsi)⊙(ylidar⊙σ(mlp(olidar))     (8)

22、其中，是用于提取hsi的状态方程中对应的离散参数，为bhsi对应的离散参数，zoh为零阶保持器，a为连续变量，ylidar为基于线性时间序列选择性状态空间块输出的lidar与hsi的混合特征，是用于提取lidar的状态方程中对应的离散参数，ht-1为t-1时刻的系统状态，为blidar对应的离散参数，yhsi为基于线性时间序列选择性状态空间块输出的hsi与lidar的混合特征，y为跨模态空间融合模块的输出，⊙为哈达玛积，hsi为高光谱图像，lidar为激光雷达数据。

23、本发明的有益效果如下：本发明与基于cnn模型的多模态遥感数据方法相比，通过全局感受野和动态加权，缓解了卷积神经网络的建模约束，提高了多模态遥感数据分类模型的全局建模能力；本发明通过线性时间序列建模方法在状态空间模型的基础上，利用选择性状态空间支持跨长序列更高效、更有效地捕获相关信息，利用共享权重学习信道依赖性实现模态间高效的通道信息交互。

技术特征：

1.一种基于线性时间序列选择性状态空间模型的多模态遥感数据分类方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于线性时间序列选择性状态空间模型的多模态遥感数据分类方法，其特征在于，所述s1中，多模态遥感数据包括高光谱数据dhsi和地面表面模型dlidar，地面表面模型dlidar通过对激光雷达采集的数据进行去噪和栅格化处理后得到，为长度为h、宽度为w、光谱数为l的实数集，为长度为h、宽度为w的实数集。

3.根据权利要求2所述的一种基于线性时间序列选择性状态空间模型的多模态遥感数据分类方法，其特征在于，所述s2中，多模态遥感数据的输出包括高光谱数据dhsi的输出ohsi和地面表面模型slidar的输出olidar，序列的多模态遥感表征向量包括最终的高光谱数据dhsi的输出ohsi′和最终的地面表面模型dlidar的输出olidar'。

4.根据权利要求3所述的一种基于线性时间序列选择性状态空间模型的多模态遥感数据分类方法，其特征在于，所述s3中，构建基于线性时间序列选择性状态空间模型的跨模态空间融合模块，将最终的高光谱数据dhsi的输出ohsi′和最终的地面表面模型dlidar的输出olidar′分别输入跨模态空间融合模块的一维卷积和silu激活函数中，得到第一输出o′hsi和第二输出o′lidar；

技术总结
本发明公开了一种基于线性时间序列选择性状态空间模型的多模态遥感数据分类方法，属于图像处理技术领域。本发明与基于CNN的多模态遥感数据分类方法相比，通过全局感受野和动态加权，缓解了卷积神经网络的建模约束。本发明建立不同模态的基于多层感知机的映射层，将输入的多模态遥感数据划分为样本块并叠加位置编码，得到序列的多模态遥感表征向量；构建跨模态空间融合模块，经空间信息交互，得到跨模态空间融合模块的输出；通过对所有跨模态空间融合模块的输出取平均值，并利用多层感知机输出分类结果。本发明有效提升了多模态遥感数据分类模型的建模能力，可以应用于遥感数据处理。

技术研发人员：何欣,韩晓,陈雨时
受保护的技术使用者：哈尔滨工业大学
技术研发日：
技术公布日：2024/12/19