基于可见光与红外卫星图像融合的地物分类方法

本发明涉及图像信息处理，尤其涉及一种基于可见光与红外卫星图像融合的地物分类方法。

背景技术：

1、随着遥感技术的不断发展，卫星图像的空间分辨率不断提高，为研究人员获取地理信息提供了有力支撑，在环境监测、作物覆盖和类型分析、国土观察、城市规划与管理等领域有巨大的应用价值。卫星图像语义分割作为遥感图像解译的核心任务之一，是计算机视觉领域的关键研究课题，它为每个像素分配一个标签，进行像素级分类。传统的语义分割方法包括基于边缘的分割方法、基于聚类的分割方法和基于阈值的分割方法，然而传统的语义分割方法进行卫星图像语义分割时只能提取到卫星图像的低级特征，无法满足实际的地物分类应用要求。

2、随着深度学习技术的不断发展，目前已有研究将卷积神经网络应用于卫星图像地物分类，提出了fcn、segnet、u-net、deeplab等经典网络架构用于卫星图像地物分类。

3、由于卫星图像地物分类是一个像素级分类任务，卫星图像中的每个目标都带有语义信息，需要和相邻目标准确分离，对网络提出了像素级精度要求，并且相较于生活日常目标的语义分割任务，卫星图像地物分类任务还会关注建筑物、水系、植被等“背景”目标，而现有的基于深度学习的地物分类方法均利用单一卫星图像进行地物分类，其相应的地物分类精度和分类效率均较低。

技术实现思路

1、为解决上述现有技术中存在的部分或全部技术问题，本发明提供一种基于可见光与红外卫星图像融合的地物分类方法。

2、本发明的技术方案如下：

3、提供了一种基于可见光与红外卫星图像融合的地物分类方法，所述方法包括：

4、获取多组相互对应且包含地面目标的可见光图像和红外卫星图像；

5、对可见光图像和红外卫星图像中的地面目标进行标注，获取标签，生成地物分类训练数据集，其中，所述地物分类训练数据集中的每个训练数据包括相互对应的一个可见光图像和一个红外卫星图像、及其对应的地面目标标签；

6、构建地面目标分类网络；

7、利用地物分类训练数据集训练地面目标分类网络；

8、利用训练后的地面目标分类网络进行地面目标分类。

9、在一些可能的实现方式中，获取多组相互对应且包含地面目标的可见光图像和红外卫星图像，包括：

10、选取多个包含有地面目标的卫星多光谱图像；

11、将卫星多光谱图像的rgb三通道数据进行融合，获取对应的可见光图像，提取卫星多光谱图像的红外通道数据，获取对应的红外卫星图像。

12、在一些可能的实现方式中，对可见光图像和红外卫星图像中的地面目标进行标注，获取标签，生成地物分类训练数据集，包括：

13、分别对可见光图像和红外卫星图像中的不同地面目标进行矩形框标注，确定矩形框的中心点坐标、矩形框的宽度和高度、以及矩形框中的目标类别，获取包括矩形框中心点坐标、宽度、高度和类别信息的标签；

14、将相互对应的一个可见光图像和一个红外卫星图像、以及图像对应的地面目标标签作为一个训练数据，生成包括多个训练数据的地物分类训练数据集。

15、在一些可能的实现方式中，基于yolov5算法构建地面目标分类网络。

16、在一些可能的实现方式中，所述地面目标分类网络包括：依次连接的输入层、focus模块、主干网络、快速空间金字塔池化模块、颈部网络、解码层和输出层，主干网络采用csp结构，颈部网络采用特征金字塔网络和像素聚合网络的特征融合网络结构，解码层采用多尺度特征融合网络结构。

17、在一些可能的实现方式中，所述快速空间金字塔池化结构包括：

18、两个cbs模块，第一个所述cbs模块的输入为所述快速空间金字塔池化结构的输入，输出分别与第一个最大池化模块的输入和concat层的输入连接，第二个所述csb模块的输入与所述concat层的输出连接，输出为所述快速空间金字塔池化结构的输出，所述cbs模块包括依次连接的卷积层、数据归一化层和激活函数层；

19、三个所述最大池化模块，第一个所述最大池化模块的输出分别与第二个所述最大池化模块的输入和所述concat层的输入连接，第二个所述最大池化模块的输出分别与第三个所述最大池化模块的输入和所述concat层的输入连接，第三个所述最大池化模块的输出与所述concat层的输入连接；

20、所述concat层，用于对输入的特征进行连接。

21、在一些可能的实现方式中，利用地物分类训练数据集训练地面目标分类网络，包括：

22、将地物分类训练数据集中的训练数据中的可见光图像和红外卫星图像作为输入，将训练数据中的地面目标标签作为输出，训练地面目标分类网络。

23、在一些可能的实现方式中，将地物分类训练数据集中的训练数据中的可见光图像和红外卫星图像作为输入，将训练数据中的地面目标标签作为输出，训练地面目标分类网络，进一步包括：

24、步骤s41，将多个训练数据中的可见光图像和红外卫星图像依次输入地面目标分类网络，得到地面目标分类网络输出的预测结果；

25、步骤s42，将地面目标分类网络输出的预测结果与训练数据中的标签进行比较，计算地面目标分类网络的预测准确率；

26、步骤s43，判断连续的至少两次得到的预测准确率是否大于预设准确率阈值，若是，将当前的地面目标分类网络作为训练完成的地面目标分类网络，若否，计算预设分类损失函数，利用预设分类损失函数更新地面目标分类网络的参数，并返回步骤s41。

27、在一些可能的实现方式中，预设分类损失函数为：

28、l＝lloc+lcls+lobj+lseg

29、其中，lloc表示定位损失，lcls表示分类损失，lobj表示置信度损失，lseg表示分割损失；

30、定位损失lloc表示为：

31、

32、分类损失lcls表示为：

33、

34、置信度损失lobj表示为：

35、

36、分割损失lseg表示为：

37、

38、其中，s×s表示目标检测网络对输入图像的划分网格数，m表示每个网格产生的候选目标框数目，表示目标是否位于第i个网格的第j个候选目标框中，若是，若否，表示第i个网格中目标置信度预测值，ci表示第i个网格中目标置信度真实值，c表示目标类别，class表示总类别，表示第i个网格中类c的分类概率预测值，pi(c)表示第i个网格中类c的分类概率真实值，iou表示预测目标框与真实目标框之间的交并比，δ表示距离损失，γ＝2-λ，e表示自然常数，和分别表示真实目标框中心点的横坐标和纵坐标，bcx和bcy分别表示预测目标框中心点的横坐标和纵坐标，cw和ch分别表示预测目标框与真实目标框的外接矩形的宽度和高度，λ表示角度损失，α表示预测目标框与真实目标框的中心连线与x轴的夹角，ω表示形状损失，wgt和hgt分别表示真实目标框的宽度和高度，w和h分别表示预测目标框的宽度和高度，θ表示预设形状成本。

39、在一些可能的实现方式中，采用以下公式对地面目标分类网络的参数进行更新：

40、

41、其中，θ表示地面目标分类网络的参数集合，δ[·]表示优化器，η表示学习率。

42、本发明技术方案的主要优点如下：

43、本发明的基于可见光与红外卫星图像融合的地物分类方法通过构建地面目标分类网络，并将可见光图像与红外卫星图像作为地面目标分类网络的输入，能够同时提取地面目标的空间特征和谱段特征，实现空间信息与光谱信息的联合利用，能够显著提高各种地面目标的同时检测分类精度，实现对各种地面目标的像素级分类。