一种倾斜摄影点云语义分割方法、设备及存储设备

本发明涉及遥感科学领域，特别是一种倾斜摄影点云语义分割方法、设备及存储设备。

背景技术：

1、倾斜摄影点云是通过使用倾斜摄影技术获取的三维点云数据，可以提供高分辨率、真实感强的城市环境模型。点云语义分割是指将点云数据中的每个点赋予其语义类别，例如建筑物、道路、树木等。倾斜摄影点云语义分割可以用于城市规划中的土地利用分析。通过识别点云中的建筑物、道路等不同类别，一方面，可以快速获取城市的功能区划信息。这有助于规划师分析城市的空间布局、评估土地利用效率以及预测城市未来的发展趋势。另一方面，规划师和设计师可以快速了解现有建筑物的状态、评估建筑物的结构稳定性，并在规划和设计过程中考虑现有城市环境的约束和潜力。对于点云中的树木和植被，可以为城市的绿化规划提供准确的信息。这有助于规划师评估城市绿地的分布、绿化覆盖率以及植被类型，为城市环境的改善和生态平衡提供支持。

2、目前面向点云的语义分割方法主要分为基于点的方法，基于体素的方法以及基于投影的方法，面对离散且无序的点云数据，这些方法受感受野和单模态的限制，不能很好的区分具有相似几何特征的地物。

3、正射影像图具有规则的数据结构，相比于离散点云，可以更好的识别地物。

技术实现思路

1、为了解决上述问题，本发明以正射影像图提取的特征为指导，将正射影像图的特征和点云特征进行自适应地融合，增强深度模型对复杂地物的提取能力，提出一种倾斜摄影点云语义分割方法、设备及存储设备，方法采用的技术方案如下：

2、s1、从倾斜摄影点云场景中自动获取正射影像图和深度图；

3、s2、对正射影像图和深度图使用unet网络预训练，提取图像特征；

4、s3、使用dgcnn提取倾斜摄影的点云特征；

5、s4、对齐图像特征与点云特征得到对齐正射影像图特征；

6、s5、将对齐正射影像图特征与点云特征进行多模态自适应融合，得到融合特征；

7、s6、对融合特征进行分类，实现倾斜摄影点云的语义分割。

8、进一步地，步骤s1的主要步骤如下：

9、s11、使用plyfile.read()函数循环读取倾斜摄影点云数据集；

10、s12、输入倾斜摄影点云数据集至ransic算法，通过ransic算法迭代出正射影像图的平面参数，确定投影平面的尺寸；

11、s13、根据投影平面的尺寸将倾斜摄影点云场景通过正射投影的方式划分为规则的子区域；

12、s14、每个子区域输出深度图，选取距离投影平面最远点为对应的投影平面的像素赋值获得正射影像图以及原始点云的点与正射影像图像素的对应关系。

13、进一步地，步骤s11所述的倾斜摄影点云数据集包括训练集和测试集；训练集包含训练集的位置和颜色信息以及训练集颜色信息对应的标签数据，赋值取训练集的颜色信息以及训练集颜色信息对应的标签数据；测试集包含测试集的位置和颜色信息，赋值取测试集的颜色信息。

14、进一步地，对正射影像图和深度图使用unet网络预训练，提取图像特征的过程为：

15、f2d＝unet(dom&depth))∈rh*w*d

16、其中，dom表示正射影像图,depth表示深度图，h和w分别表示正射影像图的长度和宽度，d表示特征的维度，f2d表示输出的正射影像图像特征，r表示集合。

17、进一步地，所述使用dgcnn提取倾斜摄影的点云特征，具体过程为：

18、f3d＝dgcnn(xyz&rgb)∈rn*d

19、xyz表示点云的相对位置，rgb表示点云的颜色信息,n表示点云中点的个数，f3d表示输出的点云特征。

20、进一步地，图像特征与点云特征的对齐方式为特征对齐，具体步骤包括：

21、s41、由步骤s1中原始点云的点与正射影像图像素的对应关系，映射正射影像图的像素所对应的点云中的点；

22、s42、映射后的点在原始点云上采样，将正射影像图特征f2d扩散到点云的特征空间。

23、进一步地，上采样的过程中，输出结果与输入点存在距离；对于每个点，距离大于阈值，将点云特征f3d作为对齐正射影像图特征fdom；距离不超过阈值，将正射影像图特征f2d作为对齐正射影像图特征fdom：

24、

25、进一步地，所述将对齐正射影像图特征与点云特征进行多模态自适应融合，具体步骤包括：

26、s51、使用多层感知机对每个点的点云特征f3d与对齐正射影像图特征fdom的回归出权重φdom和φ3d：

27、φdom＝regress(fdom)∈rn

28、φ3d＝regress(f3d)∈rn

29、s52、利用回归出的权重φdom和φ3d，对fdom和f3d进行加权融合，得到融合特征ffuse：

30、

31、进一步地，所述对融合特征进行分类，实现倾斜摄影点云的语义分割，具体过程为：

32、sout＝classs(ffuse)∈rn*k

33、其中，classs()表示分类器，k表示地物的种类，sout表示最终输出的分类结果；分类器由一个全连接层组成，用倾斜摄影点云数据集来测试性能。

34、一种存储设备，所述存储设备存储指令及数据用于实现一种倾斜摄影点云语义分割方法。

35、一种倾斜摄影点云语义分割设备，包括：处理器及所述存储设备；所述处理器加载并执行所述存储设备中的指令及数据用于实现一种倾斜摄影点云语义分割方法。本发明提供的技术方案带来的有益效果是：对比现有方法，本发明能提高区分复杂地类的结果的能力，具有适用性、有效性、稳定性和扩展性。

技术特征：

1.一种倾斜摄影点云语义分割方法，其主要步骤包括：

2.如权利要求1所述的一种倾斜摄影点云语义分割方法，其特征在于，步骤s1的主要步骤包括：

3.如权利要求2一种倾斜摄影点云语义分割方法，其特征在于，步骤s11所述的倾斜摄影点云数据集包括训练集和测试集；训练集包含训练集的位置和颜色信息以及训练集颜色信息对应的标签数据，赋值取训练集的颜色信息以及训练集颜色信息对应的标签数据；测试集包含测试集的位置和颜色信息，赋值取测试集的颜色信息。

4.如权利要求3所述的一种倾斜摄影点云语义分割方法，其特征在于，对正射影像图和深度图使用unet网络预训练，提取图像特征的过程为：

5.如权利要求4所述的一种倾斜摄影点云语义分割方法，其特征在于，所述使用dgcnn提取倾斜摄影的点云特征，具体过程为：

6.如权利要求5所述的一种倾斜摄影点云语义分割方法，其特征在于，图像特征与点云特征的对齐方式为特征对齐，具体步骤包括：

7.如权利要求6所述的一种基于正射影像图指导的倾斜摄影点云语义分割方法，其特征在于，所述将对齐正射影像图特征与点云特征进行多模态自适应融合，具体步骤包括：

8.如权利要求7所述的一种基于正射影像图指导的倾斜摄影点云语义分割方法，其特征在于，所述对融合特征进行分类，实现倾斜摄影点云的语义分割，具体过程为：

9.一种存储设备，所述存储设备存储指令及数据用于实现如权利要求1～8任一项所述的一种倾斜摄影点云语义分割方法。

10.一种倾斜摄影点云语义分割设备，包括：处理器及所述存储设备；所述处理器加载并执行所述存储设备中的指令及数据用于实现如权利要求1～8任一项一种倾斜摄影点云语义分割方法。

技术总结
本发明提供了一种倾斜摄影点云语义分割方法、设备及存储设备，其方法包括：从倾斜摄影点云场景中自动获取正射影像图和深度图、对正射影像图和深度图使用UNet网络预训练，提取图像特征、使用DGCNN提取倾斜摄影的点云特征、对齐图像特征与点云特征得到对齐正射影像图特征、将对齐正射影像图特征与点云特征进行多模态自适应融合，得到融合特征、对融合特征进行分类，实现倾斜摄影点云的语义分割；设备及存储设备用于实现方法；本发明的有益效果是：提高区分复杂地类的结果的能力，具有适用性、有效性、稳定性和扩展性。

技术研发人员：宋振振,吴亮,黄颖,郭明强,崔英姿,徐永洋,陶留锋,王赛
受保护的技术使用者：中国地质大学（武汉）
技术研发日：
技术公布日：2024/1/15