基于高光谱图像和LiDAR数据的融合分类方法及系统

本发明涉及数据处理，尤其涉及一种基于高光谱图像和lidar数据的融合分类方法、系统、终端及计算机可读存储介质。

背景技术：

1、高光谱图像可以通过各种传感器获取，例如航空、卫星或地面传感器。这些传感器在不同的光谱范围内采集数据，并以数百个波段的形式提供高光谱图像。高光谱的每个像素点包含了一个完整的光谱反射或辐射曲线，因此高光谱图像可以提供丰富的光谱信息，并允许人们对地物进行更准确的分类和识别，在矿产勘探、城市规划、灾害监测等领域发挥着重要作用。

2、仅使用高光谱图像进行分类，存在一些缺点。一方面，高光谱的采集过程容易受到大气等因素的影响，且高光谱图像中的混合像素问题也限制了精细分类的任务的实现，因此研究人员开始使用激光雷达(light detection and ranging，lidar)数据为高光谱图像提供了有用的互补特征，以满足不同应用需求，并通过深度学习的方法将高光谱图像和lidar数据的特征进行融合和分类。

3、但是，目前大多数研究没有考虑到多模态数据(高光谱图像和lidar数据)在不同尺度上可能具有不同的贡献，忽略了高光谱图像和lidar数据在分析地表的空间分布和趋势上具有不同的重要性，没有保留复杂而微小的纹理细节，导致基于高光谱图像和lidar数据的地物分类结果不够精确。

4、因此，现有技术还有待于改进和发展。

技术实现思路

1、本发明的主要目的在于提供一种基于高光谱图像和lidar数据的融合分类方法、系统、终端及计算机可读存储介质，旨在解决现有技术中对于高光谱图像和lidar数据的特征提取和融合不够全面准确，导致基于高光谱图像和lidar数据的地物分类结果不够精确的问题。

2、为实现上述目的，本发明提供一种基于高光谱图像和lidar数据的融合分类方法，所述一种基于高光谱图像和lidar数据的融合分类方法包括如下步骤：

3、获取目标区域的目标高光谱图像和目标lidar数据；

4、构建地物分类模型，对所述地物分类模型进行训练和测试，得到目标模型，其中，所述目标模型包括：特征提取模块、sagc模块、sewc模块和分类模块；

5、将所述目标高光谱图像和所述目标lidar数据输入到所述特征提取模块进行特征提取，得到第一抽象特征和第二抽象特征；

6、将所述第一抽象特征和所述第二抽象特征输入到所述sagc模块进行不同尺度下特征的捕捉和组合，得到多尺度空间特征；

7、将所述多尺度空间特征输入到所述sewc模块进行增强和融合，得到深层融合特征；

8、将所述深层融合特征输入到所述分类模块进行分类，得到地物分类结果。

9、可选地，所述的基于高光谱图像和lidar数据的融合分类方法，其中，所述对所述地物分类模型进行训练和测试，得到目标模型，具体包括：

10、从给定的区域获取高光谱图像和lidar数据，将所述高光谱图像和所述lidar数据中的像素作为中心，根据所述中心选取出固定邻域大小的立方块；

11、将所述立方块以及所述立方块对应的标签作为数据集，将所述数据集按照预设比例划分为训练集、验证集和测试集；

12、使用所述训练集对所述地物分类模型进行训练，使用所述验证集对训练完成后的地物分类模型进行性能验证和策略调整，并使用所述测试集对训练完成后的地物分类模型进行性能评估，得到满足预设要求的所述目标模型。

13、可选地，所述的基于高光谱图像和lidar数据的融合分类方法，其中，所述特征提取模块包括第一特征提取模块和第二特征提取模块；

14、所述第一特征提取模块用于提取所述目标高光谱图像的卷积特征，所述第二特征提取模块用于提取所述目标lidar数据的卷积特征。

15、可选地，所述的基于高光谱图像和lidar数据的融合分类方法，其中，所述sagc模块包括四个分支，四个所述分支分别用于捕捉不同尺度的特征。

16、可选地，所述的基于高光谱图像和lidar数据的融合分类方法，其中，所述将所述第一抽象特征和所述第二抽象特征输入到所述sagc模块进行不同尺度下特征的捕捉和组合，得到多尺度空间特征，具体包括：

17、将所述第一抽象特征和所述第二抽象特征分别输入到四个所述分支进行卷积和滤波，得到四组具有不同感受野的高光谱特征和第一lidar特征；

18、分别对每一组中的lidar特征进行平均池化和最大池化操作，将平均池化的结果和最大池化的结果进行拼接，得到四个拼接结果，将四个所述拼接结果分别进行卷积，将卷积的结果通过激活函数进行激活，得到四个第二lidar特征，将四个所述第二lidar特征分别与对应的所述高光谱特征进行逐元素相乘，得到从不同尺度下捕捉到的四个空间特征；

19、将四个所述空间特征进行拼接，得到所述多尺度空间特征。

20、可选地，所述的基于高光谱图像和lidar数据的融合分类方法，其中，所述将所述多尺度空间特征输入到所述sewc模块进行增强和融合，得到深层融合特征，具体包括：

21、将所述多尺度空间特征输入到所述sewc模块分别进行平均池化和最大池化操作，得到两个通道级全局特征；

22、将两个所述通道级全局特征分别输入到对应的多层感知机，得到两个感知特征，将两个所述感知特征分别通过激活函数进行激活，得到两个加权特征向量；

23、将两个所述加权特征向量进行逐元素求和，得到重新校准通道权重后的最终特征向量，将所述最终特征向量与所述多尺度空间特征进行逐元素相乘，得到多尺度细化特征；

24、将所述多尺度细化特征进行分组卷积和普通卷积操作，得到深层融合特征。

25、可选地，所述的基于高光谱图像和lidar数据的融合分类方法，其中，所述多层感知机为两个相同的感知机，所述感知机由两个共享参数的卷积层组成；

26、所述感知机用于两个分支之间进行共享学习。

27、此外，为实现上述目的，本发明还提供一种基于高光谱图像和lidar数据的融合分类系统，其中，所述基于高光谱图像和lidar数据的融合分类系统包括：

28、数据获取模块，用于获取目标区域的目标高光谱图像和目标lidar数据；

29、模型训练模块，用于构建地物分类模型，对所述地物分类模型进行训练和测试，得到目标模型，其中，所述目标模型包括：特征提取模块、sagc模块、sewc模块和分类模块；

30、抽象特征提取模块，用于将所述目标高光谱图像和所述目标lidar数据输入到所述特征提取模块进行特征提取，得到第一抽象特征和第二抽象特征；

31、多尺度特征提取模块，用于将所述第一抽象特征和所述第二抽象特征输入到所述sagc模块进行不同尺度下特征的捕捉和组合，得到多尺度空间特征；

32、特征深层融合模块，用于将所述多尺度空间特征输入到所述sewc模块进行增强和融合，得到深层融合特征；

33、分类预测模块，用于将所述深层融合特征输入到所述分类模块进行分类，得到地物分类结果。

34、此外，为实现上述目的，本发明还提供一种终端，其中，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于高光谱图像和lidar数据的融合分类程序，所述基于高光谱图像和lidar数据的融合分类程序被所述处理器执行时实现如上所述的基于高光谱图像和lidar数据的融合分类方法的步骤。

35、此外，为实现上述目的，本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有基于高光谱图像和lidar数据的融合分类程序，所述基于高光谱图像和lidar数据的融合分类程序被处理器执行时实现如上所述的基于高光谱图像和lidar数据的融合分类方法的步骤。

36、本发明中，获取目标高光谱图像和目标lidar数据；构建地物分类模型并训练得到目标模型，其中，目标模型包括：特征提取模块、sagc模块、sewc模块和分类模块；将目标高光谱图像和目标lidar数据输入到特征提取模块进行特征提取，得到第一抽象特征和第二抽象特征；将第一抽象特征和第二抽象特征输入到sagc模块进行不同尺度下特征的捕捉和组合，得到多尺度空间特征；将多尺度空间特征输入到sewc模块进行增强和融合，得到深层融合特征；将深层融合特征输入到分类模块进行分类，得到地物分类结果。本发明增强了特征提取过程，并整合了全面的空间、光谱和高程信息，实现更精细的地物分类。