一种基于点全局上下文关系推理的点云语义分割方法与流程

本发明涉及计算机
技术领域：
，尤指一种基于点全局上下文关系推理的点云语义分割方法。
背景技术：
：近年来，随着深度相机和激光雷达的广泛应用，大量的3d点云数据变得越来越容易获得，基于深度学习的3d视觉任务引起了很多关注。3d点云数据是三维空间中散乱分布的个点的向量表示的集合。向量可以由三维坐标xyz，颜色信息rgb，光强r等信息组成。这些点是非规则分布的，具有无序性，非结构化，旋转不变性等特点，因此将现有的图像分割方法直接扩展到3d点云是不切实际的。点云数据上应用深度学习方法面临着很多问题。3d点云语义分割的任务是预测给定场景的每个点的类别。先前的研究工作中，研究者们使用不同的表示方法来解决点云的非结构化问题。首先将点云转换为规则的体素网格或多视图图像，然后在这些规则的表示上应用卷积神经网络提取特征。但是，此类方法的性能会受到信息丢失和计算复杂的限制。因此，用深度学习的方法直接处理无序点云数据渐渐成为点云分割方法的主流。pointnet是使用深度学习方法直接处理不规则点云的一项开创性工作。它采用变换矩阵来保持点云旋转不变，并使用多个多层感知机(mlp)学习每个点的特征，最后使用max-pooling对称函数来获得顺序不变的点的全局性特征。pointnet提供了一种将神经网络应用于点云的有效方法，解决了点云无序性和旋转不变性问题。但是，它最终提取的是每个点的全局特征，无法捕获局部结构信息和特征之间的空间关系。随后pointnet++被提出，针对丢失局部信息问题在pointnet基础上做了改进。pointnet++使用局部依赖和分层特征学习来捕获多尺度局部结构信息。它迁移了图像分割的编码-解码的特征提取方法，将pointnet改进为类似于cnn的分层架构。它包括四层特征提取层和四层特征返回层。提取层的每层对点云进行点采样、分组、特征提取；返回层的每层对点特征插值为原来点云大小。采样模块和分组模块与pointnet结合在一起以学习局部表示。它将采样层和分组层与pointnet结合在一起以学习局部表示。精度相比较pointnet有一定提升。尽管pointnet++可以捕获局部的细粒度和全局上下文信息，但由于是用堆叠的mlp层学习点云的特征，它仍然无法捕获点与点之间长距离的上下文依赖关系。分割结果中，某些特定类别容易与其他类别混淆，比如窗户和木板的物体，门和墙壁的区域，其分割精度很低。为了学习更具类分类判别性的特征表示，我们需要融合更多信息，pointnet++在类别上下文关系信息方面考虑不够。其分割效果仍有可提升空间。技术实现要素：本发明的目的在于解决点云分割所面临的上述问题。我们主要研究点云中的全局长期上下文依赖关系，提出一个基于通道注意力和图卷积网络的点全局上下文推理(pointgcr)模块，用来捕获全局上下文相关性，并提高点云分割性能。为了实现上述目的，本发明采用如下技术方案：基于点全局上下文关系推理的点云语义分割方法，所述方法包括：步骤1)获取训练集t和测试集v：步骤2)构建深度学习与全局上下文推理的3d点云数据语义分割网络：步骤3)使用多分类的交叉熵损失函数，作为3d点云语义分割网络的损失函数；步骤4)使用训练集t，对3d点云数据语义分割网络进行p轮有监督的训练，p≥50；步骤5)将测试集v输入到训练好的网络模型中进行语义分割，得到每一个点的分割结果。优选地，所述步骤1)包括：1a)获取3d点云数据，其中，包含271个不同房间的6个区域的3d点云数据；选择第5区作为测试集v，其余5个区作为训练集t。1b)从点云训练集t中随机下采样l个点，其中，点云表示为它包含具有c0通道的l点(包括位置特征{x,y,z}和颜色特征{r,g,b})优选地，所述步骤2)包括构建特征提取网络、回传网络的深度学习和全局上下文推理的3d点云数据语义分割网络，其中：2a)特征提取网络所述特征提取网络，包括m个级联的特征提取模块pointsa，所述pointsa模块包括依次级联的采样模块、分组模块、点集特征提取模块，m≥2；2b)特征回传网络所述特征回传网络，包括m个级联的fp模块，每个fp模块包括依次级联的特征插值层和特征整合层。其中，m≥2；2c)点全局上下文推理模块所述点全局上下文推理模块，模块内部由节点注意模块与图卷积模块实现；首先使用节点注意模块建模全局特征依赖关系，然后用图卷积模块对该图进行全局推理；所述点全局上下文推理模块用于计算各个特征通道间所代表的类别依赖性，得到通道注意力加强后的特征e：计算自身输入数据x的各个特征通道之间关系的深层特征并输出v。2d)分割网络所述分割网络，包括依次层叠的第一全卷积层、dropout层和第二全卷积层的分割网络。优选地，所述步骤3)中使用多分类的交叉熵损失函数，作为3d点云语义分割网络的损失函数loss：其中，k表示标签值的个数，yi,k表示第i样本，pi,k表示第i个样本预测为第k个标签值的概率，一共有n个样本。本实施例中采用的s3dis数据集的类别标签有13个，即k＝13。优选地，所述步骤4)中使用训练集t，对3d点云数据语义分割网络进行p轮有监督的训练，p≥100；4a)将训练集t输入到定义好的网络中，并通过使用loss损失函数对该网络进行p轮有监督训练；其中，每隔10轮用6折交叉验证评估一次该轮模型的效果，将精度较高的模型进行保存。4b)p轮训练结束后，将精度最高的网络模型作为训练得到的最佳网络模型。优选地，所述步骤5)中将测试集v输入到上一步训练好的网络模型中进行语义分割，得到每一个点的分割结果。本发明的有益效果在于，利用一种基于深度学习和全局上下文推理的方法来解决3d点云语义分割的全局信息提取不足问题。在深度学习的基础上，加入的全局上下文推理模块通过使用通道注意力机制建模各个特征通道之间的关系，通过图卷积进一步传递和聚合通道间关系的全局信息，能够获取全局信息从而精化点云语义分割的结果。附图说明图1为本发明的模块实施原理的示意图；图2为本发明中节点注意的过程和图卷积的内部细节示意图；图3本发明的图卷积模块的示意图。具体实施方式以下将结合附图对本发明作进一步的描述，需要说明的是，以下实施例以本技术方案为前提，给出了详细的实施方式和具体的操作过程，但本发明的保护范围并不限于本实施例。本发明为一种基于点全局上下文关系推理的点云语义分割方法，所述方法包括：步骤1)获取训练集t和测试集v：1a)从s3dis官网下载3d点云数据，包含271个不同房间的6个区域的3d点云数据。我们选择第5区作为测试集v，其余5个区作为训练集t。1b)从点云训练集t中随机下采样l个点。其中，点云表示为它包含具有c0通道的l点(包括位置特征{x,y,z}和颜色特征{r,g,b})步骤2)构建深度学习与全局上下文推理的3d点云数据语义分割网络：构建特征提取网络、回传网络的深度学习和全局上下文推理的3d点云数据语义分割网络，其中：2a)特征提取网络所述特征提取网络，包括m个级联的特征提取模块pointsa，所述pointsa模块包括依次级联的采样模块、分组模块、点集特征提取模块，m≥2。本实施例中该参数设置为m＝4。4个级联的pointsa模块前一个pointsa模块的输出作为后一个pointsa模块的输入，每一个pointsa模块内部的采样模块、分组模块、点集特征提取模块也依次级联，对于第m个pointsa模块的质心采样以及分组层，m＝1,2,...,n。首先采用迭代最远点采样法从输入点集中采样n1个点作为质心点；其次，以n个采样的质心点为中心，使用球形搜索算法，在其特定半径rm的范围内搜索n2个点，组成一个分组；最后，在分组上提取每个点的特征。点集特征提取模块的输出作为该pointsa模块的输出，将被输入下一个pointsa模块的采样模块。对于第m个pointsa模块的点云特征提取层，包括3个依次级联的2d卷积层，用于提取质心采样及分组层输出数据的特征，并使用最大池化策略对提取到的区域特征进行池化。本实施例中第1个pointsa模块的点云特征提取层的3个2d卷积层的卷积核大小均为1×1，步长均为1，输出通道数分别是32、32、64；第2个pointsa模块的点云特征提取层的3个2d卷积层的卷积核大小均为1×1，步长均为1，输出通道数分别是64、64、128；第3个pointsa模块的点云特征提取层的3个2d卷积层的卷积核大小均为1×1，步长均为1，输出通道数分别是128、128、256；第4个pointsa模块的点云特征提取层的3个2d卷积层的卷积核大小均为1×1，步长均为1，输出通道数分别是256、256、512。2b)特征回传网络所述特征回传网络，包括m个级联的fp模块，每个fp模块包括依次级联的特征插值层和特征整合层。其中，m≥2。本实施例中该参数设置为m＝4。特征插值模块根据第n-1个pointsa模块的输出on-1,对第n个pointsa模块的输出on进行插值操作，特征整合模块有依次级联的卷积层、relu激活层、批归一化层完成，本实施例中4个特征整合模块的卷积层，其参数设置为：卷积核大小为都1，步长都为1，输出特征通道数依次为256，128，128；2c)点全局上下文推理(pointgcr)模块所述点全局上下文推理(pointgcr)模块，模块内部由节点注意模块与图卷积模块实现。首先使用节点注意模块建模全局特征依赖关系，然后用图卷积模块对该图进行全局推理。pointgcr用于计算各个特征通道间所代表的类别依赖性，得到通道注意力加强后的特征e：计算自身输入数据x的各个特征通道之间关系的深层特征并输出v。参照图1所示，该模块工作原理如下，且节点注意的过程和图卷积的内部细节参照图2所示：①节点注意力模块：该模块输入特征图x，使用通道自注意力机制，计算通道之间的相似度。将特征通道xi嵌入到图节点，生成通道注意图v。每个节点向量vi表示一个通道的特征图xi。计算第i个通道与第j个通道之间的相似度公式为：其中θ和φ是两个嵌入。我们有θ(xi)＝wθxi和其中参数矩阵wθ和的大小为c×c，需要在反向传播过程中学习。使用与wθxi的转置之间的点乘法，可以生成尺寸为c×c的通道注意图v。第一步，输入数据x分别经过两个一维卷积层(conv1d)分别获得两个新的特征图和卷积核大小为1，步长为1。第二步，矩阵和的转置之间进行点积运算，得到节点注意特征通过上述变换操作，嵌入了channelgraph的图节点。其中第i个节点向量为vi＝{vij|i,j＝1,2,...c}，vi∈rc×c其中vij代表vi中的第j个节点特征。节点注意的过程如图所示。②图卷积模块：该模块使用图卷积gc在上一个模块得到的完全连接图上执行节点间信息融合。捕获每个节点特征vij中通道之间的关系以及不同实体节点之间的相互依赖性。图卷积运算可以表示为：g＝avwe其中，v和g分别是c×c维的输入和输出图。a∈rc×c表示一个邻接图，该邻接图用于在图节点上沿节点维进行推理时在图节点之间传递信息。we表示维度为c×c的边权重矩阵，该矩阵用于更新channelgraph上沿通道尺寸的节点状态。矩阵a和we被随机初始化并在训练过程中学习。图卷积模块如图3所示，该模块实现细节如下：分别沿节点维度和通道维度使用两个一维卷积(conv1d)层来实现图卷积。第一步，通过沿节点维度应用conv1d在channelgraph上传播节点信息来学习邻接权重矩阵a。第二步，通过沿通道维度应用conv1d来学习边缘权重we，以了解图节点内通道之间的交互信息。第三步，使用一个批处理归一化层和一个relu激活函数提高训练性能。2d)分割网络所述分割网络，包括依次层叠的第一全卷积层、dropout层和第二全卷积层的分割网络，本实例中第一全卷积层输出特征通道数设置为128，第二全卷积层输出特征通道数设置为分割类别总数；步骤3)使用多分类的交叉熵损失函数，作为3d点云语义分割网络的损失函数loss：其中，k表示标签值的个数，yi,k表示第i样本，pi,k表示第i个样本预测为第k个标签值的概率，一共有n个样本。本实施例中采用的s3dis数据集的类别标签有13个，即k＝13；步骤4)使用训练集t，对3d点云数据语义分割网络进行p轮有监督的训练，p≥100；4a)将训练集t输入到定义好的网络中，并通过使用loss损失函数对该网络进行p轮有监督训练。每隔10轮用6折交叉验证评估一次该轮模型的效果，将精度较高的模型进行保存。4b)p轮训练结束后，将精度最高的网络模型作为训练得到的最佳网络模型。步骤5)将测试集v输入到上一步训练好的网络模型中进行语义分割，得到每一个点的分割结果。以下结合仿真实验，对本发明的技术效果作以说明：1.仿真条件和内容：本发明在s3dis数据集上进行了仿真实验：s3dis数据集包含具有271个不同房间的6个区域的3d点，包括走廊，会议室和休息室。该数据集是通过matterport扫描仪获得的3d点云数据集。每个点都带有13个语义类标签之一。利用本发明和现有的pointnet++算法在s3dis数据集上进行了3d点云数据分割的实验仿真，仿真平台为：主频为2.40ghz的intelxeoncpue5-2630v3cpu，64gb的运行内存，ubuntu16.04操作系统，tensorflow深度学习平台，python3.6开发平台。显卡：nvidiagtx1080tigpu；利用本发明方法和现有技术在上述仿真条件下进行实验，即运用本发明和现有技术pointnet++在s3dis数据集上进行了3d点云数据分割的训练和测试，得到了如表1所示的仿真精度对比:2.仿真结果分析：表1.本发明和现有技术在s3dis数据集上分割结果对比表。方法平均交并比本发明54.38现有技术50.04表1中，精度表示测试结果的分割准确率。方法一栏中，现有技术表示现有的pointnet++技术。从表1中可以看出，本发明在s3dis数据集上的分割精度超过了现有技术pointnet++，提升了4.34％，表明本发明对3d点云的语义分割效果强于pointnet++。在本发明利用一种基于深度学习和全局上下文推理的方法来解决3d点云语义分割的全局信息提取不足问题。在深度学习的基础上，加入的全局上下文推理模块通过使用通道注意力机制建模各个特征通道之间的关系，通过图卷积进一步传递和聚合通道间关系的全局信息，能够获取全局信息从而精化点云语义分割的结果。对于本领域的技术人员来说，可以根据以上的技术方案和构思，给出各种相应的改变和变形，而所有的这些改变和变形，都应该包括在本发明权利要求的保护范围之内。当前第1页12