一种基于深度学习的多尺度采样航空零部件3D点云分割方法与流程

本发明属于航空检测，具体涉及一种基于深度学习的多尺度采样航空零部件3d点云分割方法。

背景技术：

1、航空零部件检测是指对飞机及其相关设备中使用的各种零部件进行严格的检验和测试，以确保其符合航空安全标准和性能要求。近年来，随着飞机零部件在快速、高效、高精度等检测指标上的不断提高，传统的检测技术已难以满足其检测需求。飞机的安全性和机动性直接取决于其零部件的质量和可靠性，飞机在飞行过程中承受着极端的环境和压力，因此任何零部件的故障都可能对飞机的安全性造成严重影响。

2、为了确保飞机的安全性和可靠性，保障人民的生命安全，通过对零部件进行全面的检测和测试，可以及早发现潜在问题，确保飞机在运行过程中始终处于最佳状态。对于航空零部件检测技术，目前仍以传统的测量方式为主，如目视检测、磁粉检测、超声检测等，由于航空零部件结构复杂，形状多样，传统的检测技术通常达不到其高精度的检测要求，且检测效率低下。

3、近年来，随着深度传感器的发展，点云处理已经成为研究热点之一。传统的3d点云数据语义分割方法通常是将3d点云数据转换为体积表示，例如体素网格，或者将3d点云数据转换为图像数据，然后采用聚类或深度学习网络等方法进行语义分割，这种数据量、计算复杂度和运行时间将会大大增加，同时也会带来量化误差，分割精度较低。基于深度学习的方法是直接将3d点云数据输入深度学习网络进行语义分割而不需要将3d点云数据转换为其他数据形式，并采用特征转换模块解决点云数据的旋转不变性问题，采用最大池化解决点云数据的无序性问题，与传统方法相比数据量、计算复杂度大大降低，精度也有所提升，但是，由于其忽略局部信息或未考虑点云密度不均匀等外界影响使得点云分割效果较差，而目前针对航空零部件三维点云分割处理仍处于起始阶段，无法满足航空业高效率，高精度的检测要求。

技术实现思路

1、本发明所要解决的技术问题是针对上述现有技术的不足，提供一种基于深度学习的多尺度采样航空零部件3d点云分割方法，对航空零部件三维点云数据进行精准高效分割。

2、为实现上述技术目的，本发明采取的技术方案为：

3、一种基于深度学习的多尺度采样航空零部件3d点云分割方法，包括：

4、s1：按照网络模型训练格式，对所有航空零部件3d点云数据进行分割标注，得到训练集、测试集、验证集；

5、s2：基于pytorch框架搭建基于深度学习的多尺度采样航空零部件3d点云分割网络模型；

6、s3：基于训练集、验证集、测试集对3d点云分割网络模型进行监督训练；

7、s4：基于c++语言的加速推理框架部署s3得到的3d点云分割网络模型；

8、s5：将待检点云数据输入s4部署的3d点云分割网络模型，得到分割结果。

9、为优化上述技术方案，采取的具体措施还包括：

10、上述的步骤s1包括以下步骤：

11、s11：基于cloudcompare软件对所有航空零部件3d点云数据进行分割标注，并将带有标签数据的点云以文件格式存储，得到带有点云信息的数据文件；

12、s12：将带有点云信息的数据文件进行信息排序；

13、s13：从所有经过标定的数据中，将pi比例的3d点云数据作为训练集、pr比例的点云数据作为测试集、(1-pi-pr)比例的3d点云数据作为验证集，并生成对应的数据集说明文件。

14、上述的步骤s2中搭建的基于深度学习的多尺度采样航空零部件3d点云分割网络模型，包括多尺度局部特征聚合网络层、全局特征聚合网络层、特征扩充网络层及分割头部网络层，其中：

15、多尺度局部特征聚合网络层包括三个pointmlc模块，pointmlc模块提取航空零部件局部特征以捕获来自其小邻域的精细几何特征；

16、全局特征聚合网络层包括一个pointgfc模块，pointgfc模块以给定大小的整个输入点云为目标进行特征提取，以捕获来自其全局的更高级别特征；

17、特征扩充网络层包括四个pointfa模块，pointfa模块以适应特征融合为目的，对来自多尺度局部特征聚合网络层的点云数据进行特征扩充；

18、分割头部网络层包括一个poinths模块，poinths模块针对点云数据中的每个点生成与其对应的预测分割标签。

19、上述的pointmlc模块包含一个中心点采样模块、多尺度采样模块及一个pointgfc模块；其中，中心点采样模块将输入数据进行下采样操作，得到分组点云的中心点；多尺度采样模块则基于中心点采样得到的点云数据，以其为中心，进行多尺度半径的点云分组；pointgfc模块则以分组得到的每一组点云数据为输入，对其进行全局特征的提取，并在点云个数通道维进行最大池化得到基于每一个局部点云的全局特征信息，最后，将每一个半径尺度得到的特征信息进行拼接，得到具有多尺度采样空间的信息表征。

20、上述的pointgfc模块包括三个串联的不同大小的c2br模块和一个最大池化模块，c2br模块由conv2d卷积、batchnorm和leaky relu激活函数组成，用以提取航空零部件局部点云信息的全局特征。

21、上述的pointfa模块包括一个基于距离权重的上采样模块和一个c1br模块；c1br模块包括conv1d卷积、batchnorm、leaky relu激活函数，用以提取航空零部件点云数据中每个点的特征信息；

22、所述基于距离权重的上采样模块采用的基于距离权重的上采样计算公式为：

23、

24、式中，f(x)为待求上采样点的特征数据，x为采样中心点，fp为依据最近邻搜索达到的第p个点的数据信息，n为针对每一处插值运算共搜取相距最近的n个点特征信息，ωp(x)为fp对应的距离权重；

25、

26、式中，d代表求解欧氏距离函数，x为当前推理点，xp为距离当前推理点最近的p个加权点。

27、上述的poinths模块包括串联的c1br模块和cs模块，所述cs模块包括一个conv1d卷积与log_softmax函数，conv1d的卷积核大下为1，输出通道数对应每一个点要输出的类别数。

28、上述的步骤s3包括以下步骤：

29、s31：设置监督训练的轮次n1，模型评估间隔轮次n2，其中n1≥120，n2≥5；

30、s32：将训练集输入到基于深度学习的多尺度采样航空零部件3d点云分割网络模型，通过设定的损失函数对该模型进行n1次监督训练，在此过程中，每隔n2次训练通过验证集对当前训练模型进行精度评估，并将到当前此轮次为止精度最高的基于深度学习的多尺度采样航空零部件3d点云分割网络模型作为训练好的网络模型并保存；

31、s33：通过测试集对训练好的网络模型进行验证，并将测试结果与测试集数据中的采样点云进行结果对齐，同时将其保存为新的带有分割结果的点云文件，为检测后续部署的c++端模型分割效果提供可视化参考。

32、上述的步骤s4包括：

33、s41：将基于pytorch框架进行搭建的基于深度学习的多尺度采样航空零部件3d点云分割网络模型转为c++加速推理框架的中间模型结构，再将该中间模型结构转为最终的c++加速推理框架，用于在c++端部署应用。

34、s42：基于步骤s33中保存的新的带有分割结果的点云文件对部署的c++端模型进行分割结果检验，确保模型在不同框架之间进行转换后分割效果的一致性。

35、上述的步骤s5包括以下步骤：

36、s51：基于c++编程语言，将待检点云数据进行去归一化并施加与模型训练阶段相同维度的降采样处理；

37、s52：经过s51处理的待检点云数据输入3d点云分割网络模型，将模型的推理结果标签与s51处理后的点云数据进行对齐，并进行去归一化操作，最终其保存为新的带有分割标签的点云文件。

38、本发明具有以下有益效果：

39、本发明搭建的基于深度学习的多尺度采样航空零部件3d点云分割网络模型，通过pointmlc模块不仅增强了航空零部件点云数据的局部信息的特征表征，同时提高了网络对航空零部件点云密度的鲁棒性，进而提高网络模型的分割精度；通过pointgfc模块使网络模型在获取局部特征基础上拥有了提取整体全局特征的能力，增强了航空零部件点云数据的整体全局信息的特征表征，以更加有效的帮助网络模型提升预测精准度；通过pointfa模块模型能够聚合更多的不同层级的点云精细几何特征，并基于距离权重公式进行自适应精准上采样，同时捕获对应尺度的特征信息，使得网络模型可以更好的感知点云分割界限；poinths模块以航空零部件点云数据中的每个点作为分割目标，并针对每个点生成对应的预测结果，在一定程度上有效提升了点云的分割精度。

40、本发明有效克服了现有航空零部件分割技术中存在的部件分割效率低，识别不精确的难题，实现了航空零部件实测点云数据的精准、高效分割，各项实验指标均验证了本
技术实现要素：
的准确性与可靠性，达到了低概率的误分和漏分，有效提升了3d点云数据中部件分割的精准度与检测效率，更好地满足了工业生产中对航空零部件进行精准、高效的分割需求。