本发明涉及点云数据处理，尤其是一种基于深度学习和不确定性估计的三维点云全景分割方法、计算机装置及存储介质。
背景技术：
：：1、三维点云全景分割(panoptic segmentation of 3d point clouds)作为三维场景理解中的关键，其目标是给定单帧的点云场景，要求获取每个点的语义标签类别，以及属于感兴趣类别的可数物体的点需要提供相应的实例编号。点云全景分割统一了点云语义分割和点云实例分割任务，能够提供精细且完整的点云场景理解内容，目前在自动驾驶、智慧城市等领域具有广泛应用。2、目前的三维点云全景分割技术中，主要存在以下问题：3、基于分组的方法通过网络输出的嵌入和相应原型的距离作为嵌入学习的约束，以得到有分辨力的嵌入特征，并对表达嵌入特征的对应点云进行分割。嵌入学习的损失函数主要采用的是距离相关的l1范数和l2范数，对于l1范数而言，其对于距离并不敏感，网络难以收敛；对于l2范数而言，其受物体固有的不确定性影响，对于大型物体和存在噪声的物体会产生过大的梯度。现有的嵌入学习损失函数并不能有效地对网络进行优化，得到具有分辨能力的嵌入特征输出。4、由于嵌入学习固有存在的不确定性，很难学习到精确的嵌入特征，因此现有方法设计了聚类算法对嵌入进行聚类以进行分割。聚类算法并没有被考虑在网络学习过程中，即嵌入学习和聚类算法是解耦的，无法通过深度学习过程保证网络输出适合于聚类算法。5、术语解释：6、深度学习：源于人工神经网络的研究。通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。7、不确定性估计：深度学习框架中的不确定性根据定义可以划分为偶然不确定性和认知不确定性。偶然不确定性源于数据本身的不确定性，例如数据固有噪声、标注误差等；认知不确定性源于神经网络在学习过程中产生的不确定性，例如参数初始化的随机性，优化过程中的随机性等。而不确定性估计则是通过某种手段，对偶然不确定性或者认知不确定性进行测量。8、三维点云：源自三维视觉中，对场景中的物体进行扫描和测量得到的目标表面特性的点，将这类海量点的集合称作为点云。9、全景分割：是语义分割和实例分割的综合，旨在同时分割实例层面的目标和语义层面的背景内容，将输入图像中的每个像素点赋予类别标签和实例id，生成全局的，统一的分割图像。10、语义分割：语义分割是计算机视觉中的基础任务，在语义分割中我们需要将视觉输入分为不同的语义可解释类别。11、实例分割：实例分割是计算机视觉中的基础任务，在实例分割中我们需要将特定可数物体的视觉输入分配其所属的实例编号。12、区域提案：源自计算机视觉。在计算机视觉中，常用的框架是先通过神经网络或者其他非学习的方法得到一系列区域提案，再通过非极大值抑制等手段从中筛选出需要的提案以完成视觉任务。13、非极大值抑制：指两个提案的交并比若高于某个人为设定的超参数，即阈值，则将得分更低的区域提案给删除。14、超参数：源自于深度学习术语，指在模型运行前就设定好的参数。超参数并不是通过算法和公式得到，而是通过经验设定的参数。15、交并比：指两个集合的交集和并集的比值，在计算机视觉中，也指两个区域的交集和并集的比值。16、目标检测：目标检测是计算机视觉中的基础任务，在目标检测中我们需要输出视觉输入中特定物体的检测框和每个检测框代表的物体的所属语义可解释类别。17、嵌入：源自于深度学习术语，指将高维的特征进行降维，得到低维度但具有分辨力的特征向量。18、原型：源自于深度学习术语，指象征着某种事物的表达，可以是某种特征向量，也可以具体是事物的某个属性。19、俯视图投影：指将三维空间的数据，沿着高度方向投影至水平面。20、卷积神经网络：是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。21、预测中心偏置：对于每个结构化数据，它的预测中心是其所属实例的中心，而预测中心偏置指结构化数据在结构中的位置中心减去预测中心的偏移值。22、热力图：一张二维图片，其中每个点的位置均有一个通道代表热力值。在中心点预测任务中，预测热力图由神经网络生成，其通过l2范数约束于真实热力图。真实热力图以实例中心为高斯分布中心峰值，而在固定半径中的其他位置按照预设好的方差在高斯分布采样得到，其中真实热力图的峰值中心就代表了实例的中心。23、峰值搜索：指在热力图中搜索其固定区域中的最大值，其中固定区域的大小是人为设定好的超参数。输入是一张热力图，输出是热力图中的峰值坐标。24、聚类：将物理或抽象对象的集合分成由类似的对象组成的多个类的过程被称为聚类。由聚类所生成的簇是一组数据对象的集合，这些对象与同一个簇中的对象彼此相似，与其他簇中的对象相异。25、反向传播：源自于深度学习术语，是前馈神经网络的一种重要的优化方式。26、梯度：梯度的本意是一个向量(矢量)，表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向(此梯度的方向)变化最快，变化率最大(为该梯度的模)。在神经网络中，梯度也用于反向传播和网络优化，其通过损失函数对网络输出求导，得到关于输出的梯度信息，将梯度从最后一层向前计算，传导到需要优化的每一层网络。27、掩膜：指在选定的区域中用一组矩阵或者向量表示是否被选中，继而接下来的操作只影响选定的区域。28、过采样：一种数据增强方式，指对较少出现的类别的数据进行多次采样以平衡对不同类别进行训练的频次。29、交叉熵：是shannon信息论中一个重要概念，主要用于度量两个概率分布间的差异性信息。30、lovasz-softmax：一种用于语义分割的损失函数，源自于会议论文the lov′asz-softmax loss:a tractable surrogate for the optimization of the intersection-over-union measure in neural networks。31、全连接层：源自于深度学习术语，指每一个结点都与上一层的所有结点相连，用来把前边提取到的特征综合起来的网络结构。32、卷积：是指通过两个函数f和g生成第三个函数的一种数学运算，其本质是一种特殊的积分变换，表征函数f与g经过翻转和平移的重叠部分函数值乘积对重叠长度的积分。33、三维卷积：在三维结构下进行的卷积操作。34、稀疏卷积：一种和卷积运算结果一样，但用于稀疏矩阵时可以减少推理开销的卷积方式。35、子流形卷积：只在稀疏矩阵中有值的位置上进行卷积操作，在进行完子流行卷积后，输出矩阵和输入矩阵的稀疏性保持不变。技术实现思路1、针对目前嵌入学习固有存在的不确定性等技术问题，本发明的目的在于提供一种基于深度学习和不确定性估计的三维点云全景分割方法、计算机装置及存储介质。2、一方面，本发明实施例包括一种基于深度学习和不确定性估计的三维点云全景分割方法，包括：3、获取点云数据；4、对所述点云数据进行数据规范化处理，获得原型点；5、从所述点云数据提取出结构化特征；6、根据所述结构化特征进行语义分割，获得点云语义标签；根据所述结构化特征进行嵌入预测，获得嵌入特征；根据所述原型点进行原型预测，获得原型预测点；7、根据所述原型预测点和所述嵌入特征进行不确定性估计，获得原型修正点和协方差矩阵；所述协方差矩阵表示以所述原型修正点作为所述点云数据的高斯分布中心时，对应的高斯分布协方差矩阵；8、根据所述原型修正点和所述协方差矩阵进行概率建模，获得平均概率矩阵；9、根据所述平均概率矩阵，向所述点云数据的点分配相应的一种实例标签；10、根据所述点云数据中的点所属的高斯分布，向所述点云数据中的点分配相应的点云语义标签。11、进一步地，所述获取点云数据，包括：12、使用激光雷达对场景进行扫描，获得当前场景下的所述点云数据。13、进一步地，所述对所述点云数据进行数据规范化处理，获得原型点，包括：14、获取所述点云数据中每一帧点云场景各自对应的实例标签；15、对每一帧点云场景各自对应的实例标签进行统计，获得不重合的标签集合；16、根据所述标签集合，计算所述点云数据中每个实例的中心作为所述原型点。17、进一步地，所述根据所述原型预测点和所述嵌入特征进行不确定性估计，获得原型修正点和协方差矩阵，包括：18、将所述原型预测点与所述结构化特征合并后，通过两层全连接层进行处理，获得第一特征向量；19、将所述第一特征向量与所述嵌入特征合并后，通过两层全连接层进行处理，获得第二特征向量；20、将距离每个所述原型点最近的所述第二特征向量进行均值池化，获得实例级特征信息；21、通过三层全连接层对所述实例级特征信息进行处理，获得所述原型修正点和所述协方差矩阵。22、进一步地，所述协方差矩阵的公式为其中，ci为第i个高斯分布对应的所述协方差矩阵，θi为旋转角，σi为短轴方差，ki为长轴和短轴的方差比例。23、进一步地，所述根据所述原型修正点和所述协方差矩阵进行概率建模，获得平均概率矩阵，包括：24、对于所述点云数据的第m种高斯分布，对应的平均概率矩阵为25、26、其中，pnm为所述平均概率矩阵，所述平均概率矩阵pnm表示第m种高斯分布中嵌入了所述嵌入特征ip的平均概率，mn为所述点云数据中第n个实例对应的掩模，cm为第m种高斯分布对应的所述协方差矩阵，为第m种高斯分布对应的原型修正点，为第j个所述嵌入特征，t表示矩阵转置运算。27、进一步地，所述根据所述平均概率矩阵，向所述点云数据的点分配相应的一种实例标签，包括：28、根据所述平均概率矩阵，确定所述点云数据的点表示的所述嵌入特征最可能属于的高斯分布；29、将所述最可能属于的高斯分布对应的所述实例标签，分配给相应所述点云数据的点。30、进一步地，所述根据所述点云数据中的点所属的高斯分布，向所述点云数据中的点分配相应的点云语义标签，包括：31、对于对应同一种所述实例标签的全部所述高斯分布，确定每一所述高斯分布各自对应的点云语义标签，将其中数量最多的点云语义标签，分配给对应该种所述实例标签的全部所述高斯分布。32、另一方面，本发明实施例还包括一种计算机装置，包括存储器和处理器，所述存储器用于存储至少一个程序，所述处理器用于加载所述至少一个程序以执行实施例中的基于深度学习和不确定性估计的三维点云全景分割方法。33、另一方面，本发明实施例还包括一种存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行实施例中的基于深度学习和不确定性估计的三维点云全景分割方法。34、本发明的有益效果是：实施例中的基于深度学习和不确定性估计的三维点云全景分割方法，通过一个独特的不确定性估计过程，对网络学习中产生的认知不确定性和数据固有的偶然不确定性进行捕捉；在不确定性估计过程中，将不确定性融入损失函数计算过程，能够减少不确定性对网络优化的影响，得到具有分辨能力的嵌入特征输出；通过不确定性对网络输出进行概率建模，得到原型和嵌入之间匹配的概率，并用于计算网络预测结果和真实结果的匹配程度，能够避免聚类算法和嵌入学习的解耦，同时也避免了原型学习和嵌入学习的不匹配现象；通过不确定性构建概率建模，得到原型和嵌入之间匹配的概率。在推理阶段，直接将表达每个嵌入特征的相关点云，分配给与其匹配概率最高的原型，实现高效、精确的聚类方式。当前第1页12当前第1页12