一种基于多尺度学习式邻居选择的点云分类分割方法

本发明涉及机器学习和深度学习领域，具体涉及一种基于多尺度学习式邻居选择的点云分类分割方法。

背景技术：

1、点云数据是通过激光扫描、立体成像、摄影测量等技术获取的三维坐标点集合，广泛应用于自动驾驶、遥感、文化遗产保护等领域。这些应用对点云数据的处理提出了高效准确的需求，尤其是在点云的分类分割任务上，点云分类是指识别点云中每个点所属的类别，而分割是将点云划分为具有不同属性或特征的多个子集，这两个对于深入理解和利用点云数据至关重要。早期的点云处理算法主要基于传统的计算机视觉和图像处理技术，这些方法通常侧重于几何和统计特征的提取和利用。随着计算能力的显著提升、深度学习技术的迅速发展以及大规模数据集的广泛可用性，近年来基于深度学习的点云分类和分割算法迅速发展，特别是基于卷积神经网络(cnn)和图神经网络(gnn)的方法因其在特征提取和模式识别方面的优势而广泛应用。代表性的网络架构如pointnet和pointnet++专为点云数据设计，能够直接处理无序的点集并有效提取特征。点云算法从传统的基于规则和几何驱动的方法转变为更加强大和灵活的基于学习的方法，极大地提高了点云数据的处理效率和准确性。

2、在现有的研究技术中，pointnet的核心思想是直接对点云数据进行处理，它对每个点独立应用多层感知器(mlp)来提取局部特征，利用最大池化来聚合所有点的特征从而实现对点顺序的不变性，确保无论输入点的顺序如何最终得到的全局特征是一致的，通过聚合得到的全局特征来完成分类、分割等下游任务。pointnet++是对pointnet的一种改进，它使用分层神经网络来逐渐提取从局部到全局的特征，它围绕每个采样点根据预设半径大小建立局部区域，并在每个局部区域使用类似pointnet的结构来提取特征，同时引入了多尺度分组机制，允许在不同的尺度上捕捉特征。虽然说通过这些改进使得pointnet++在处理局部特征和细节方面比原始pointnet有更好的性能，但是由于根据半径来建立局部区域使得它在面对不同密度的点云表现不一致，这将导致它在处理点云密度不均匀的任务的时候性能下降，还有尽管它通过分层结构改进了局部特征的提取，但是它在面对复杂的局部结构的时候，特征提取的能力十分有限。pcnn也是能够直接在原始点云上进行操作，通过卷积操作有效的提取局部特征，同时还能灵活地定义领域大小和形状，这使得它可以适应点云的不同密度和分布，但是它需要对卷积操作中的邻域大小和形状等超参数进行细致的调整，同时对噪声以及离群远点敏感，它的性能很大程度上取决于超参数的选择。

3、dgcnn的edgeconv操作(边卷积)通常基于固定的k-近邻(k-nn)图来选择邻居，这个图是根据空间距离构建的。在dgcnn中图的边在每一层网络中都会根据特征空间的距离动态更新，从而更有效的捕获点云的局部结构变化，但是它在处理密度极不均匀的点云时，其性能可能仍有限，很大程度上依赖于领域的选择和构建方式。

4、综上所述，主流的点云分类分割网络在建立点云的局部领域时，通常基于固定半径或依赖于欧式距离来构建，虽然这种方法在许多应用中有效，但也存在一些弊端。当点云密度不均匀时，使用固定半径或仅依赖欧式距离会影响特征提取的均衡性，在处理复杂形状的时候可能无法有效的捕捉到形状的细节和特征，欧式距离也仅考虑了点之间的物理距离可能无法捕捉局部拓扑和几何结构特征。为此，本发明为了解决上述技术缺陷提出了一种基于多尺度学习式邻居选择的点云分类分网络，对于点云分类任务有着更好的效果。

技术实现思路

1、本发明的目的在于提出一种基于多尺度学习式邻居选择的点云分类分割方法，通过注意力模块计算点对之间的相似度分数的方式实现了一个学习式邻居选择模块(multi-scale learnable neighbor selection,mlns)，目的是通过注意力机制来优化邻居选择过程，能够更好地处理复杂数据结构和分布，提高算法的准确性和鲁棒性，避免了仅仅依赖于固定的几何距离或者最近的k个邻居，有助于更好的处理非结构化的点云数据，同时选择不同大小的k值获取不同尺度的局部和全局信息进行特征融合，增强了模型对点云数据的处理能力。

2、在本发明的一个方面，本发明提出了一种基于多尺度学习式邻居选择的点云分类方法，根据本发明的实施例，所述方法包括以下步骤：

3、s1、原始点云数据集：先对原始点云进行最远点采样算法，针对每个采样点通过搜索固定半径范围内的邻居点来实现局部邻域的构建，然后对于每个局部邻域使用pointnet网络提取局部邻域的高级特征，最后将各个局部邻域的高级特征聚合以得到全局特征，用于之后的点云处理任务；

4、s2、动态偏移门控注意力模块：使用动态偏移门控注意力模块根据输入点云的全局特征矩阵动态的计算出点云中每个点对的相似度分数；

5、s3、mlns conv模块：在mlns conv模块中，根据步骤s2计算出的每个点对之间的相似度分数，为每个点动态的选择k1和k2两个尺度的局部邻域；然后使用多层感知机学习中心点和其近邻点之间的边特征，将得到的边特征进行聚合得到每个局部邻域的特征，最后将两个邻域的特征进行融合，更新每个点的特征表示；

6、s4、多尺度特征融合：将各个mlns conv模块前后连接并将每个mlns conv模块的输出特征进行特征融合，采用拼接的方式来融合不同层的输出；

7、s5、分类任务：在步骤s4的特征融合之后通过一个全连接层和一个最大池化操作，得到新的点云特征，最后通过多个全连接网络获取每类点云的预测分数，并根据最高的预测分数来确定输入点云的类别，实现分类任务。

8、另外，根据本发明上述实施例的一种基于多尺度学习式邻居选择的点云分类方法，还可以具有如下附加的技术特征：

9、在本发明的一些实施例中，所述步骤s1具体如下：对于输入原始点云数据集合x＝(x1,x2,...,xn)∈r d，其中，x表示点云集合，xi表示集合中的点，i的取值为1-n，d表示原始特征维度，r d表示d维实数空间；使用前馈神经网络对输入点云x进行处理，包含最远点采样、局部邻域划分、pointnet特征提取操作，得到前馈神经网络的输出x'＝(x'1,x'2,...,x'n')∈rd'，其中，x'表示输出点云集合，x'i表示集合中的点，i的取值为1-n’，d'表示高级特征维度，rd'表示d'维实数空间。

10、在本发明的一些实施例中，所述步骤s2具体如下，利用自注意力机制计算全局特征中每个位置之间的注意力权重，从而得到每个点对之间的相关性，同时计算动态偏移量和引入门控机制，使用控制信号来调节动态偏移量的影响，得到最终的注意力权重矩阵，该注意力矩阵作为相似度分数来进行邻居选择。

11、在本发明的一些实施例中，所述步骤s3具体如下，首先将点云的特征输入到mlnsconv模块中，假设有点云x＝(x1,x2,...,xn)，根据步骤s2计算得到的相似度分数为每个点xi选择选择k1和k2个具有最高相似度分数的点作为邻居点，其中k2>k1，然后构建两个局部有向图描述每个节点和其各个邻居点之间的关系，之后计算每个节点和其邻居点之间的边特征，分别聚合每个邻域的边特征，最后对两个邻域聚合后的边特征进行融合，得到每个点的最终表示。

12、在本发明的一些实施例中，所述步骤s4中，整个网络模型的流程即对于输入的n×d维的点云数据，首先经过点云输入变换，然后再按顺序经过两个卷积大小为64，一个卷积核为128，一个卷积核为256的mlns conv模块进行特征提取，分别得到n×64、n×64、n×128、n×256维的点云特征信息，然后再采用多层特征融合的方式将来自不同mlns conv模块的特征进行拼接，以捕捉点云数据的不同层次的局部结构信息，提升网络在分类任务上的性能。

13、在本发明的一些实施例中，所述步骤s5具体如下，在特征融合之后通过一个全连接层和一个最大池化操作，得到1024维的点云特征，这个特征既包含了点云的全局特征，也包含了局部特征，然后再经过四个全连接层得到最终的分类得分c，并根据最高的预测分数来确定输入点云的类别。

14、与现有技术相比，本发明的有益效果是：

15、(1)提出一种高效的点云分类网络，使得点云的分类任务完成的更加准确。

16、(2)提出了一种多尺度学习式的邻居选择模块，通过动态偏移门控注意力模块分析数据的内在结构和分布，动态的选择每个点的邻居，基于特征相似而不是固定的空间距离，从而能够更好的适应数据的特性。

17、(3)通过结合两种不同尺度的邻居，同时捕获局部细节和更广泛的上下文信息，提高了模型对复杂空间关系的理解。