一种数据表征增强的点云分类方法

1.本发明属于三维视觉领域，具体涉及一种数据表征增强的点云分类方法。


背景技术：

2.促进机器理解3d世界对于许多重要的现实世界应用至关重要，例如自动驾驶、增强现实和机器人技术。点云数据是最重要的三维数据表现形式，通常由lidar或立体/深度相机生成，可提供三维环境的结构感知。随着深度学习技术的发展，计算视觉技术取得了长足发展，深度学习技术在目标检测、行为识别、超分辨率等领域取得巨大成功，通过计算机视觉技术进行三维场景感知获得了学术界和工业界的广泛关注。基于计算机视觉的点云分类方法既能够帮助机器在自动驾驶场景中识别本车传感器所获取的道路场景中行人、车辆、路标等物体，也可以嵌入到室内机器人中帮助机器人识别桌子、床、柜子、椅子等目标，实现带语义地图的机器人导航。
3.现有技术中，提供了很多点云识别的方法，例如，授权公告号cn107992850b的中国专利公开了一种室外点云场景三维彩色点云分类方法，该专利中分别在点云模态和图像模态中分别构建条件随机场分类器，分别在点云模态和图像模态中进行学习训练和分类推断。利用模态之间的交互学习，构建多模态协同学习机制，提升室外点云场景的分类精度。申请号为cn112733885a的中国专利公开了一种点云识别模型的确定方法、点云识别的方法，利用预设聚类算法，对获取的点云样本数据进行聚类，得到点云的类别信息；根据类别信息，确定神经网络的卷积核信息；根据神经网络的卷积核信息，构建初始点云识别模型；利用点云样本数据训练初始点云识别模型，得到目标点云识别模型。授权公告号为cn107316048b的中国专利公开了一种点云分类方法及装置，该专利中根据原始激光点云获取多个目标障碍物块的点云数据，根据目标点云静态概率向量和动态概率向量，确定所述多个目标障碍物块的类别。
4.然而，与存储在规则网格中的rgb图像不同，3d点云的底层语义和结构信息是点坐标之间的空间布局。因此，不规则的点云不能从卷积神经网络中的卷积方法受益。并且点云数据收到传感器性能、遮挡、场景重建精度的影响，会出现稀疏、空洞、上下文信息缺失的问题。而缺乏稳定可靠的点云特征提取方式，一直是限制点云识别精度的重要原因，从而导致现有方法对真实场景的点云数据识别准确率不高。


技术实现要素：

5.为解决上述问题，本发明公开了一种数据表征增强的点云分类方法，能够增强点云数据的表征效果，有效提高点云识别的准确率。
6.为达到上述目的，本发明的技术方案如下：
7.一种数据表征增强的点云分类方法，包括：
8.对通过激光雷达、双目相机等传感器获取的点云数据输入特征提取模型的主干网络，提取点云的全局特征；
9.将得到的全局特征数据输入分类头的前馈网络，得到前馈网络的输出预测结果；通过交叉熵损失计算预测结果和点云数据标注的真实标签的分类损失。
10.将得到的全局特征输入映射头的前馈网络，得到映射到嵌入空间的高维特征；根据点云数据输入空间邻域关系设计正负样本对；通过对比损失计算正负样本对在高维特征空间中的对比损失；
11.将对比损失和分类损失相加形成最终损失，使用优化算法模型进行参数优化。
12.最终将点云数据输入到优化完参数的模型中，通过前馈网络输出预测结果。
13.进一步地，点云数据为室内场景中单个物体可反射激光束的表面所形成的坐标点集将全部坐标点均匀采样后形成的固定数量n的点集以描述物体的形状信息并输入到网络中实现识别。
14.进一步地，特征提取的主干网络的方法均为基于点的点云分类网络，如pointnet、pointnet++、dgcnn、gbnet系列提取全局特征的主干网络。
15.进一步地，主干网络提取的每个点云数据的全局特征维度相同的高维特征。
16.进一步地，所述分类头的前馈网络为带隐层变量的全连接层。全连接层第一层神经元数目为d，最后一层神经元的数目为需要识别的点云数据的类别数量。全连接层的输出经过softmax激活函数输出预测结果与真实类别的onehot编码计算交叉熵分类损失
17.进一步地，所述映射头的前馈网络为带隐层节点的全连接层。全连接层第一层神经元数目为d，最后一层神经元的数目同样为嵌入空间的维度d。
18.进一步地，所述的基于输入空间邻域关系设计的正负样本对特征如下：
19.p为语义标签为的点云数据，正样本p
+
为同属于标签的点云。负样本p-为属于其他语义类别的点云样本。
20.进一步地，所述的计算正负样本对在高维特征空间中的对比损失为infonce对比损失的计算过程如下：
[0021][0022]
其中集合属于p的正样本p
+
的集合；集合属于p的负样本p-的集合；i为锚点样本p的高维嵌入特征；i
+
为正样本的高维嵌入特征；i-为负样本的高维嵌入特征；w
ij
为基于信息熵注意力机制的样本加权；为基于簇距离的负样本相加时的权重。
[0023]
进一步地，所述的基于信息熵注意力机制的样本加权w
ij
的计算过程如下：
[0024][0025]
[0026][0027]
其中e
p
为样本p预测输出类别的信息熵；a
p
为样本的注意力权重；w
ij
为样本对根据样本的注意力权重选择的样本对权重。
[0028]
进一步地，所述的基于簇距离的负样本加权的权重的计算过程如下：
[0029][0030]
其中c(i)为类别i全部样本的形成的高维空间特征的簇中心；dist(c(i)，c(j))为类别i和类别j簇中心的欧氏距离。
[0031]
进一步地，所述对比损失和分类损失相加的计算过程如下：
[0032][0033]
进一步地，所述系数λ为可调参数，0＜λ＜1，例如0.1、0.05。
[0034]
本发明的有益效果是：
[0035]
本发明所述的一种数据表征增强的点云分类方法，通过对点云数据主干网络提取的高维空间的特征进行特征分布优化，根据对比学习拉近同类样本特征的距离，拉远不同类的样本的特征距离，精调点云数据提取到的特征。以实现点云数据更好的表征和更高的识别精度。并且在对比学习的计算过程中通过信息熵感知注意力机制实现不同样本的权重调整。信息熵低并识别错误的离群点样本予以更低的权重，信息熵高的并识别正确的不稳定点样本予以更高的权重，从而实现模型对离群点的忽略和对不稳定点的增强。另外，通过计算不同类别簇中心的距离挖掘易混淆的类别，引导模型关注容易混淆的类别，提升点云识别模型的识别效率和精确性。
附图说明
[0036]
图1为本发明的点云识别方法的一种实施例的流程图；
[0037]
图2为本发明的点云识别方法的一种实施例中神经网络模型的结构图。
具体实施方式
[0038]
下面结合附图和具体实施方式，进一步阐明本发明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。
[0039]
图1为本发明提出的点云识别方法的一种实施例的流程图，该方法包括：
[0040]
s100：获取室内场景的点云数据。
[0041]
例如，可以通过激光雷达采集设备获取点云。并且，在将本方法应用于室内场景的点云识别时，可以借助相应场景的机器人统获取点云数据，比如，当应用与室内导航机器人构建语义地图时，可利用室内移动机器人采集点云数据。如点云数据为室内场景中单个物
体可反射激光束的表面所形成的坐标点集将全部坐标点均匀采样后形成的固定数量n的点集以描述物体的形状信息并输入到网络中实现识别。
[0042]
s101：将点云数据输入点云特征提取的主干网络，提取点云数据的全局特征。
[0043]
在本发明的实施例中，所述特征提取的主干网络的方法均为基于点的点云分类网络，如pointnet、pointnet++、dgcnn、gbnet系列提取全局特征的主干网络。获取的每个点云数据的全局特征是维度相同的高维特征。
[0044]
通过这种方式，可以提取到粗略的用以描述点云数据的全局特征。
[0045]
s102：将全局特征输入映射头的前馈网络，通过根据点云数据输入空间的空间邻域关系设计正负样本对，计算高维空间特征的对比损失。
[0046]
映射头的前馈网络为带隐层节点的全连接层。全连接层第一层神经元数目为d，最后一层神经元的数目同样为嵌入空间的维度d。
[0047]
说明的是，基于输入空间邻域关系设计的正负样本对特征如下：
[0048]
p为语义标签为的点云数据，正样本p
+
为同属于标签的点云。负样本p-为属于其他语义类别的点云样本。
[0049]
进一步地，所述的计算正负样本对在高维特征空间中的对比损失为infonce对比损失的计算过程如下：
[0050][0051]
其中集合属于p的正样本p
+
的集合；集合属于p的负样本p-的集合；i为锚点样本p的高维嵌入特征；i
+
为正样本的高维嵌入特征；i-为负样本的高维嵌入特征；w
ij
为基于信息熵注意力机制的样本加权；为基于簇距离的负样本相加时的权重。
[0052]
s103：根据每个样本分类预测输出计算预测向量概率分布的信息熵，得到每个样本信息熵注意力机制的样本加权系数
[0053]
所述的基于信息熵注意力机制的样本加权w
ij
的计算过程如下：
[0054][0055][0056][0057]
其中e
p
为样本p预测输出类别的信息熵；a
p
为样本的注意力权重；w
ij
为样本对根据样本的注意力权重选择的样本对权重。
[0058]
s104：根据样本类别计算高维空间中簇距离的反相关系数，得到每个样本所属类别基于簇距离的负样本加权系数
[0059]
在计算负样本加权时，基于簇距离的的样本加权的计算过程如下：
[0060][0061]
其中c(i)为类别i全部样本的形成的高维空间特征的簇中心；dist(c(i)，c(j))为类别i和类别j簇中心的欧氏距离。
[0062]
s105：将对比损失和分类损失相加，使用优化算法模型进行参数优化。
[0063]
其中，所述对比损失和分类损失相加的计算过程如下：
[0064][0065]
进一步地，所述系数λ为可调参数，0＜λ＜1，例如0.1、0.05。
[0066]
s106：将点云数据输入到优化完参数的模型，输出最终分类预测结果。
[0067]
并结合图2，所示神经网络结构，对点云数据使用主干网络提取全局特征之后，使用分类头计算分类损失，使用映射头映射到高维空间，并在高维空间计算对比损失。
[0068]
需要说明的是，以上内容仅仅说明了本发明的技术思想，不能以此限定本发明的保护范围，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰均落入本发明权利要求书的保护范围之内。