一种融合遥感图像与点云数据的地理要素识别方法

本发明涉及地理图像信息处理的，更具体地，涉及一种融合遥感图像与点云数据的地理要素识别方法。

背景技术：

1、随着遥感技术、深度学习技术的快速发展，对地理要素的智能识别一般采用图像的语义分割算法，利用图像分割算法提取图像中的语义信息，对不同的地理要素进行标记分类，达到识别的目的。但由于图像数据缺少3d空间信息，基于图像的语义分割算法，在地理要素识别中无法识别地理要素的高度、坡度等空间信息，导致地理要素分割不完整。

2、随着遥感技术、深度学习技术的快速发展，为获得空间距离信息，可采用激光雷达扫描地形地貌，获得3d点云数据，对3d点云数据采用分割算法实现地理要素的识别，常用的点云分割算法有pointnet、pointnet++、pointtransformer等算法。使用点云数据的分割算法能够较好地区分地形高低、坡度，获得丰富的3d空间信息，但3d点云数据是无序的，缺少空间上的联系，使得分割算法收敛困难，分割精度较低。

3、现有技术公开了一种地图要素生成方法，结合了图像数据与视觉三维重建技术，通过图像获得地图要素的形状点的坐标，再通过视觉三维重建得到形状点的初始地理坐标，最后通过激光点拟合函数表达式，确定地图要素的位置点地理坐标。然而，该方案虽然结合了图像数据和三维重建技术，但无法充分融合2d图像信息的有序性以及3d信息的空间性的优势，识别精度较低。

技术实现思路

1、为解决当前地理要素识别方法无法充分利用2d图像信息的有序性以及3d点云数据的空间性，导致地理要素的分割识别精度较低的问题，本发明提供一种融合遥感图像与点云数据的地理要素识别方法，利用二维图像的有序性和三维点云的空间性，训练阶段通过投影方法将三维点云投影到对应的二维图像中，进行知识蒸馏学习，采用了多数据源融合的方式，提高了地理要素的分割识别精度。

2、为了达到上述技术效果，本发明的技术方案如下：

3、一种融合遥感图像与点云数据的地理要素识别方法，包括：

4、s1.采集图像数据和点云数据，对图像数据和点云数据分别进行类别标注，分别作为图像数据和点云数据的真实标签，将带有类别标注的图像数据和点云数据构建为样本数据集，将样本数据集划分为训练集、验证集、测试集；

5、s2.构建融合图像与点云数据的语义分割模型，融合图像与点云数据的语义分割模型包括用于提取图像数据的2d特征的2d分支2d branch、用于提取点云数据的3d特征的3d分支3d branch及融合结构feature fusion，2d分支2d branch的输出端及3d分支3dbranch的输出端均连接融合结构feature fusion，融合结构feature fusion将2d特征和3d特征融合，利用2d特征优化3d特征，得到图像分割预测值和点云分割预测值；

6、s3.利用训练集对融合图像与点云数据的语义分割模型进行训练，训练过程中分别计算图像分割预测值和点云分割预测值与真实标签图之间的损失值，根据损失值调整融合图像与点云数据的语义分割模型的参数，直到融合图像与点云数据的语义分割模型收敛，然后利用验证集对训练过程中的融合图像与点云数据的语义分割模型进行评估，得出训练好的融合图像与点云数据的语义分割模型，并利用测试集测试融合图像与点云数据的语义分割模型的预测准确度；

7、s4.将待识别遥感图像、待识别遥感图像对应的点云数据输入训练好的融合图像与点云数据的语义分割模型，输出图像分割结果和点云分割结果；

8、s5.利用不同的色彩对不同类别的点云分割结果进行标记，展示分割结果，实现地理要素的识别。

9、本技术方案使用多数据源融合的方法，将2d图像分割结果用于辅助3d点云分割，提高了地理要素的分割识别精度。

10、优选地，所述2d分支2d branch包括2d图像分割模块fast scnn，所述2d图像分割模块fastscnn包括依次连接的主干网络特征编码器、双分支全局特征提取器、特征融合器；

11、所述双分支全局特征提取器包括两个分支：第一个分支由bottleneck卷积块、se注意力模块、pyramid pooling池化组成，提取图像数据的全局特征；第二个分支保留图像数据的原始特征信息，两个分支分别与特征融合器连接；特征融合器将全局特征提取器的两个分支的输出特征相加融合并调整通道数量，输出2d语义分割特征。

12、优选地，所述3d分支3d branch包括3d点云数据分割模块pftransformer；所述3d点云数据分割模块pftransformer包括3d点云特征编码器encoding和3d点云特征解码器decoding；

13、所述3d点云特征编码器encoding包括依次连接的非下采样特征编码块和四层下采样特征编码块，输出编码后的点云特征；所述3d点云特征解码器decoding包括依次连接的非上采样特征编码块和四层上采样特征编码块，对点云特征解码后得到3d特征。

14、优选地，所述2d分支2d branch还包括2d分类器2d classfier，用于在融合结构feature fusion对2d特征和3d特征融合后进行分类，输出2d点云的图像语义分割预测值；

15、所述3d分支3d branch还包括3d分类器3d classfier，用于在融合结构featurefusion将2d特征和3d特征融合后进行分类，输出3d点云的点云语义分割预测值。

16、优选地，所述的融合结构feature fusion将2d特征和3d特征融合，其特征在于，过程如下：

17、3d点云数据分割模块pftransformer输出的3d特征利用第一共享感知机shared mlp1输出的3d共享特征，令与2d图像分割模块fastscnn输出的2d特征通过concat函数进行拼接，将拼接后的特征通过第二共享感知机shared mlp2进行特征融合，得到融合特征；

18、将融合特征通过第三共享感知机shared mlp3后进行sigmoid函数计算，得到注意力权重，注意力权重与原融合的特征位置进行hadamard乘积，再以残差的方式与2d特征按位置相加，并通过共享感知机shared mlp组成的2d分类器2d classfier，获得2d特征的图像语义分割预测值；

19、3d点云数据分割模块pftransformer输出的3d特征与经过第一共享感知机shared mlp1的得到的3d共享特征进行融合，再通过3d分支3d branch的3d分类器3dclassfier，获得3d点云的点云语义分割预测值。

20、在此，通过知识蒸馏的方法，令3d点云数据分割模块pftransformer学习2d图像分割模块fastscnn的预测分布，间接使用图像数据的2d特征来优化点云数据的3d特征，让3d点云数据分割模块pftransformer学习到图像中的更多信息。

21、优选地，所述非下采样特征编码块包括共享感知机shared mlp和特征自注意力块pftransformer block，每一层下采样特征编码块包括下采样结构transition down和特征自注意力块pftransformer block；

22、所述非上采样特征解码块包括共享感知机shared mlp和特征自注意力块pftransformer block，每一层上采样特征编码块包括上采样结构transition up和特征自注意力块pftransformer block。

23、优选地，所述特征自注意力块pftransformer block由n组循环结构构成，每组循环结构包含上层shared mlp、位置与特征自注意力层pftransformerlayer和下层sharedmlp。

24、优选地，所述下采样结构transition down基于点云特征的空间位置进行最远点采样，然后通过k近邻算法对采样点进行分组，利用共享感知机shared mlp对每个点的组内特征进行特征提取，通过局部最大池化提取组内最大特征点，得到下采样特征；

25、所述上采样结构transition up利用共享感知机shared mlp对输入的点云特征维度进行降维，然后根据点云特征的空间位置，使用三线性插值的方法对点云特征进行上采样，得到上采样特征。

26、优选地，所述位置与特征自注意力层pftransformerlayer用于提取点云特征，过程如下：

27、基于欧式空间位置的自注意力机制，利用3个共享感知机shared mlp对n个点云特征进行提取并分别记作，基于欧式空间距离对n个点云特征进行提取并分别记作，其中，n是点云的数量，d是点云的特征维度；使用共享感知机sharedmlp对位置特征进行编码后获得特征；最后计算特征，的计算表达公式如下：

28、

29、其中，、表示共享感知机shared mlp，xi表示n个点中以第i个点xi为中心点构成的点云邻域集合，xj表示集合中的第j个点，表示hadamard乘积；

30、基于特征空间的子注意力机制，利用3个共享感知机shared mlp对n个点云特征进行提取并分别记作，基于欧式空间距离对n个点云特征进行提取并分别记作；使用shared mlp对提取的点云特征进行编码后获得特征；最后计算特征，的计算表达公式如下：

31、

32、其中，、表示共享感知机shared mlp，xi表示n个点中以第i个点xi为中心点构成的点云邻域集合，xj表示集合中的第j个点，表示hadamard乘积；

33、使用shared mlp将特征、融合，获得提取后的点云特征，的计算公式如下：

34、

35、其中，表示语义特征空间的特征提取、表示欧式空间的特征提取。

36、优选地，在步骤s4中，对2d图像分割模块fastscnn进行训练，过程如下：

37、将训练集中的图像数据输入2d图像分割模块fastscnn，输出图像语义分割预测值，采用交叉熵损失函数计算预测值与样本图片特征真值之间的损失，计算公式如下：

38、

39、其中，b为输入2d图像分割模块fastscnn的图像的个数，i表示b中的第i个图像，c为类别数，j表示c中的第j个类别，表示对数函数；

40、对3d点云数据分割模块进行训练，过程如下：

41、将训练集中的图像数据输入3d点云数据分割模块，输出点云语义分割预测值，采用交叉熵损失函数计算预测值与点云特征真值之间的损失，计算公式如下：

42、

43、其中，b为输入3d点云数据分割模块的数据的个数，i表示b中的第i个图像，c为类别数，j表示c中的第j个类别，表示对数函数；

44、训练3d点云数据分割模块，令3d点云数据分割模块输出的预测结果分布学习2d图像分割模块fastscnn的预测结果分布，具体过程如下：

45、利用知识蒸馏的方法，采用kl散度计算2d图像分割模块fastscnn的预测结果分布u与3d点云数据分割模块的预测结果分布v的损失，计算公式如下：

46、

47、其中，表示分布中具体某一类别，u表示2d图像分割模块fastscnn的预测结果分布，v表示3d点云数据分割模块的预测结果分布，表示对数函数；

48、构建融合图像与点云数据的语义分割模型的总损失函数，的表达式如下：

49、

50、最后，对总损失函数进行优化，使损失值达到最小。

51、与现有技术相比，本发明技术方案的有益效果是：

52、本发明提供一种融合遥感图像与点云数据的地理要素识别方法，首先采集图像数据和点云数据并进行类别标注，构建为样本数据集，再构建融合图像与点云数据的语义分割模型，提取图像数据的2d特征和点云数据的3d特征，将2d特征和3d特征融合得到图像分割预测值和点云分割预测值，利用样本数据集训练融合图像与点云数据的语义分割模型，最后将待识别遥感图像、待识别遥感图像对应的点云数据输入训练好的融合图像与点云数据的语义分割模型，输出图像分割结果和点云分割结果，利用不同的色彩对不同类别的点云分割结果进行标记，实现地理要素的识别，充分利用了2d图像信息的有序性以及3d点云数据的空间性，提高了地理要素的分割识别精度。