基于自适应特征融合的点云图神经网络的点云分类方法与流程

本发明属于图像处理技术领域，特别设计点云特征学习技术领域的一种基于自适应特征融合的点云图神经网络的点云分类方法。

背景技术：

点云是在同一空间参考系下表达空间目标分步和目标表面特性的点的集合，一般由rgbd设备抓取信息，在获取物体表面每个采样点的空间坐标后，得到的点的集合称为点云。点云是三维图像的一种表现形式，由于获得点设备的特性决定点云数据比rgb图像更有鲁棒性，受外界的影响更低。点云是直接测量未经过其他手段处理得到的信息，包含了最大化的原始信息，同时点云模型在处理海量数据的时候极具优势

点云分类的目标是将输入的数据准确区分为不同的类别。与图像分类类似，点云分类也是先提取特征，然后设计模型通过训练参数优化模型，最后利用学习得到的模型对输入进行分类。

目前，三维数据处理是计算机视觉领域的关键问题之一，点云分类是三维数据处理的关键环节。对于三维点云，数据正在迅速增长，获得点云数据的设备种类繁多，然而现在的设备仅仅是获取三维点云数据而不是拍摄图像并进行处理，庞大的点云数据没有充分得到学习利用。点云分类在三维重建,数字化建模,文物保护等方面具有广泛的应用价值。应用各种传统的计算机视觉和机器学习方法，已经对点云分类问题有了初步的解决方案。由于深度学习对当今时代各领域展现的强大作用使得计算机视觉领域的诸多问题包括三维点云分类也开始用深度学习结构来解决问题。

在点云上直接利用深度学习的开拓方法是对输入的每个点上分别训练一个多层感知器多层感知器mlp用于在点之间分享权重，再利用对称函数解决点云的无序性问题，应用t-net解决点云的旋转问题，相比于传统的点云学习方法复杂度没有增加的同时大大优化了点云分类准确度。

然而，现有的三维点云分类仍存在以下问题：

(1)点云的无结构性。点云是一种无网格、非结构化的数据，二维图像应用的cnn需要结构化的网格帮助。同时图像中的像素的数量通常由相机决定是一个给定的常数，然而点云的数量取决于各种传感器，可能会有较大的变化。

(2)点云的不变性排列。点云的本质是一系列点的集合，在集合上点的顺序不影响它在矩阵结构中的表达方式，相同的点云可以由两个完全不同的矩阵表示。

(3)点云中的旋转操作不应该改变物体本身，需要一个模块解决旋转带来的影响。

技术实现要素：

发明目的：为了克服现有技术中存在的不足，本发明提供一种基于自适应特征融合的点云图神经网络的点云分类方法，应用了变换矩阵消除点云的结构性影响。提出了一种融合全局特征与局部特征的点云分类网络，提取不同尺度特征，自适应融合全局特征和局部特征，从而优化网络的分类性能。同时我们设计了一种新的用于点云多分类任务的焦点损失函数focalloss，主要针对于样本的类别不均衡，目的是减少易分类样本的权重从而使得模型在训练时更专注于难分类的样本。

技术方案：为实现上述目的，本发明采用的技术方案为：

一种基于自适应特征融合的点云图神经网络的点云分类方法，包括以下步骤：

步骤1，搭建点云网络。

步骤11，搭建连接点云网络特征提取器。

步骤111，获取训练样本图片点云信息作为输入数据，将输入数据记为原始特征p0，对原始特征p0做输入变换得到特征一p1。

步骤112，特征一p1经过多层感知器mlp(64)得到特征二p2。

步骤113，将原始特征p0和提取到的特征二p2由concat(p0，p2)得到的特征经过多层感知器mlp(64)得到特征三p3。

concat(p0,p2)是将原始特征p0和特征二p2在维度上拼接。

步骤114，对特征三p3做输入变换操作得到特征四p4。

步骤115，将原始特征p0、特征二p2、特征四p4由concat(p0,p2,p4)得到的特征经过多层感知器mlp(128)得到全局特征p5。

concat(p0,p2,p4)是将原始特征p0、特征二p2、特征四p4在维度上拼接。

步骤12，搭建图神经点云网络特征提取器。

步骤121，对步骤111得到的特征一p1提取边缘特征再进行多层感知器mlp64得到第一特征d1。

步骤122，对第一特征d1提取边缘特征再经过多层感知器mlp64得到第二特征d2。

步骤123，对第二特征d2提取边缘特征再经过多层感知器mlp128得到第三特征d3。

步骤124，对第三特征d3提取边缘特征再经过多层感知器mlp256得到第四特征d4。

步骤13，引入权重自适应机制。

步骤131，对步骤121得到的第一特征d1升维得到128维特征，记为第一局部特征d10。

步骤132，第二特征d2、第三特征d3、第四特征d4依次经过线性层分别得到128维特征，分别记为第二局部特征d20、第三局部特征d30、第四局部特征d40。

步骤133，对全局特征p5与第一局部特征d10、第二局部特征d20、第三局部特征d30、第四局部特征d40赋予一个初始化权重参数数组并利用softmax函数将参数映射到区间(0，1)中得到参数[x0,x1,x2,x3,x4]。

步骤134，自适应学习权重参数数组得到最优特征p：

p＝x0*p5+x1*d10+x2*d20+x3*d30+x4*d40

步骤2，训练点云网络：

步骤21，最优特征p经过多层感知器mlp1024和最大值池化层得到第五特征pm。

步骤22，第五特征pm经过多层感知器mlp(512,256,40)得到一个40维的特征，记为预测特征pk，预测特征pk对应于40类的分数值。

步骤23，使用损失函数来计算预测特征pk与真实值的误差。

损失函数为：

其中

其中，lfl表示损失，表示第t个物体的预测值，γ表示焦点参数，代表平滑调整调整简单样本被加权的速率，t表示总的类别数，ak表示第个k个输入值

步骤24，使用整体精度oa作为评价指标来判断模型性能，取整体精度oa最高的为最后模型，得到最终训练好的点云网络。

步骤3，运行点云网络。将待分类的三维图像的点云信息输入到训练好的点云网络进行分类。

优选的：步骤24中整体精度oa计算公式如下：

其中，θ表示整体精度，ni表示被正确分为类别i的物体数目，n表示总的物体数目，k表示总的类别数。

本发明相比现有技术，具有以下有益效果：

本发明提供一种基于自适应特征融合的点云图神经网络的点云分类方法，可以有效利用点云数据，将全局特征与局部特征融合，利用全局特征来弥补局部特征的整体性，自适应的调整全局特征与局部特征的权重，使得全局特征的丰富信息与局部特征中关键信息相结合，可以更有效的提取点云数据特征从而优化点云分类精度。同时我们设计了一种新的用于点云多分类任务的焦点损失函数focalloss，主要针对于样本的类别不均衡，目的是减少易分类样本的权重从而使得模型在训练时更专注于难分类的样本。

附图说明

图1为本发明的网络结构图。

图2为本发明的步骤图。

具体实施方式

下面结合附图和具体实施例，进一步阐明本发明，应理解这些实例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

如图1所示为一种基于自适应特征融合的点云图神经网络的点云分类方法，具体步骤如下：

步骤一、搭建点云网络

(11)搭建链接点云网络特征提取器。

(111)获取训练样本图片点云信息作为输入数据，将输入数据记为原始特征p0，对输入特征p0做输入变换得到特征一p1。

(112)特征一p1经过多层感知器mlp(64)得到特征二p2。

(113)原始特征p0和提取到的特征二p2由concat(p0，p2)得到的特征经过多层感知器mlp(64)得到特征三p3。concat(p0,p2)是将原始特征p0和特征二p2在维度上拼接。

(114)对特征三p3做输入变换操作得到特征四p4。

(115)将原始特征p0、特征二p2、特征四p4由concat(p0,p2,p4)得到的特征经过多层感知器mlp(128)得到全局特征p5。concat(p0,p2,p4)是将原始特征p0、特征二p2、特征四p4在维度上拼接。

(12)搭建图神经点云网络特征提取器。

(121)对步骤(111)得到的特征一p1提取边缘特征再经过多层感知器mlp(64)得到第一特征d1。

(122)对第一特征d1提取边缘特征再经过多层感知器mlp(64)得到第二特征d2。

(123)对第二特征d2提取边缘特征再经过多层感知器mlp(128)得到第三特征d3。

(124)对第三特征d3提取边缘特征再经过多层感知器mlp(256)得到第四特征d4。

(13)引入权重自适应机制。

(131)将(121)中得到的第一特征d1升维得到128维第一局部特征d10。

(132)第二特征d2、第三特征d3、第四特征d4依次经过线性层分别得到128维特征，分别记为第二局部特征d20、第三局部特征d30、第四局部特征d40。

(133)对全局特征p5与第一局部特征d10、第二局部特征d20、第三局部特征d30、第四局部特征d40赋予一个初始化权重参数数组并利用softmax函数将参数映射到(0，1)中得到参数[x0,x1,x2,x3,x4]。

(134)自适应学习权重参数数组得到最优特征p：

p＝x0*p5+x1*d10+x2*d20+x3*d30+x4*d40

步骤二、点云网络训练

(21)训练网络。

(211)最优特征p经过最大值池化层得到第五特征pm。

(212)第五特征pm经过多层感知器mlp(512,256,40)得到一个40维的预测特征pk对应于40类的分数值。

(213)使用focalloss损失函数来计算模型预测特征pk实值的误差。

损失函数为：

其中：

其中，lfl表示损失，表示第t个物体的预测值，γ表示焦点参数，代表平滑调整调整简单样本被加权的速率，t表示总的类别数，ak表示第个k个输入值。

使用整体精度oa作为评价指标来判断模型性能，取整体精度oa最高的为最后模型，得到最终训练好的点云网络。oa整体精度，其计算正确分类的样本数目与样本总数之比，在用于点云分类问题的modlenet40数据集中，即是正确分类的点云样本数目与与样本总数之比。

其中，θ表示整体精度，ni表示被正确分为类别i的物体数目，n表示总的物体数目，k表示总的类别数。

步骤三、运行点云网络。

将待分类的三维图像的点云信息输入到训练好的点云网络进行分类。

表1不同分类方法的精度比较

如表1所示，采用不同的点云分类方法与本发明的方法的精度比较，本发明的分类精度明显的高于其他方法。

本发明使用一种残差结构缓解全局特征提取网络的梯度消失问题，使用全局特征与局部特征相融合，利用全局特征的丰富信息与局部特征的关键信息互补提升网络性能，使用权重自适应机制为局部特征与全局特征分配最适合的权重而不是直接融合全局特征与局部特征，本发明利用图神经网络关注局部特征，点云网络提取全局特征的同时加入残差块，将提取的全局特征与局部特征融合，在特征融合的时候对于不同的特征加入了权重自适应机制，从而优化模型性能。同时我们设计了一种新的用于点云多分类任务的焦点损失函数focalloss，主要针对于样本的类别不均衡，目的是减少易分类样本的权重从而使得模型在训练时更专注于难分类的样本。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。