一种三维点云语义分割标注方法与流程

本发明涉及三维点云语义标注领域，特别是一种三维点云语义分割标注方法。

背景技术：

随着无人驾驶成为研究的热门课题，国内外大批高校、学者甚至公司的核心技术人员将他们的关注重心转移到无人驾驶当中来。无人驾驶是人工智能技术的一种具体表现形式，具体是指机器人可以在无人干预且无需对环境做任何规定和改变的条件下，有目的且高效的实现其本身的自主移动，同时完成相应任务。

无人驾驶系统主要由环境感知、决策与规划及控制与执行三部分组成，环境感知主要是通过激光雷达、摄像头等传感器来对环境信息进行采集，通过分割分类等算法来对传感器得到的点云数据进行分割分类后实现机器人对周围环境的理解，进而实现无人机的自主导航、语义地图构建、路径规划及决策操作等功能。常用的点云分割方法主要有基于边缘的、基于区域增长的、基于属性的、基于模型的、基于图的分割算法，但由于上述算法存在算法分割精度低、受点云分布密度影响比较大且算法复杂度往往较高等问题，目前主流的算法是基于神经网络来对点云数据进行处理，得到周围环境的信息。

众所周知，对于神经网络，其训练过程中往往需要大量的标记数据进行训练，而点云数据的语义分割的标注工作费时费力，标注效率特别低，且人工对点云数据进行标注时，由于点云数据本身存在的无序性、稀疏性和分布不均匀性，在人工标注时，难免会产生漏标、错标等情况，会给神经网络的学习带来较大的误差和低精确度。基于此，本发明主要是设计一款融合神经网络及传统算法在内的点云智能标注工具，可以实现人工标注的智能化，及自动标注点云等功能，提升点云打标的效率。

技术实现要素：

本发明的目的在于提供一种三维点云语义分割标注方法，以解决针对现阶段无人驾驶中激光雷达得到的点云数据存在的无序性、稀疏性和分布不均匀性，在人工标注时产生的漏标、错标、标注效率低的问题。

为实现上述技术目的，达到上述技术效果，本发明公开了一种三维点云语义分割标注方法，包括了如下步骤：

s1：将多线束激光雷达采集到的点云数据进行球面映射的预处理，将稀疏的不均匀分布的点云数据转换为均匀密集分布的球面图；

s2：设计神经网络结构，对点云数据进行分割，并基于kitti数据集中的标签文件和点云数据文件对网络模型进行预训练，直到网络模型的输出值与目标值差异达到某一精度时，结束网络的预训练，得到网络模型及网络模型参数；

s3：加载网络模型及网络模型参数，将s1通过预处理得到的球面点云数据放到s2训练得到的神经网络算法中进行点云中每个数据点的分类，得到点云场景的语义分割结果；

s4：基于qt设计点云可视化界面和标注界面，并将神经网络预测得到的标签文件与点云数据一一对应并在界面中可视化；

s5：将点云数据及标签数据转换为神经网络训练时所需的训练数据集的格式，重复进行s2、s4，进一步提升网络的性能，进而提升点云自动标注时的准确度，从而形成一个闭环的不断优化的点云标注工具。

优选的，s1中多线束激光雷达为2.5d激光雷达或3d激光雷达，多线束激光雷达额垂直视野的范围为10°-40°。

其中，s1中球面映射的预处理为：

经过数据配准，由三维激光雷达扫描得到的点云数据的原始坐标转换到统一的空间坐标系下(xi,yi,zi)，再通过公式(1)和公式(2)对其进行球面映射将点云(xi,yi,zi)投影到球面上，得到对应的二维空间的坐标

其中，s2中预训练具体为：

s21、对kitti数据集中的分类框的坐标信息进行记录，并判断点云中的每个点坐标是否满足分类框的位置信息；

s22、依次遍历所有的点，将满足分类框位置信息的点，赋上相应类别。

进一步的，s22中的类别具体为：所述的类别包括了汽车、货车、行人、骑自行车的人及地面。

优选的，还包括有s6人工修正，所述的s6人工修正具体为：

s61、将预测偏差的标签数据手动框选类别，为其赋予对应的类别信息；

s62、结合形态学滤波算法和/或最小割算法去除人工标注点云数据时的错选点和漏选点。

进一步的，s62中形态学滤波算法为通过膨胀运算和腐蚀运算找到点云数据中相连的元素，并结合点的高度值来对地面点进行提取的过程。

进一步的，s62中最小割算法为采用点与点之间的拓补关系及其连线的权值来进行类别的分割。

本发明具有以下有益效果：

1.本发明通过设计点云可视化及标注工具界面，并结合传统的分割算法及神经网络算法来实现点云标注的智能化、高效化及自动标注点云等功能，提升点云打标的效率。

2.对于神经网络中未正确识别的点云数据，在人工标注时可以基于该类别中的种子点进行区域生长和最小割，将属于该类别的点学习出来为其分类，同时将不属于该类中的点去除掉，实现了人工标注时的智能化和精确化。

3.本发明设计的神经网络模型结构进行了有效的压缩，可以提高网络模型的效率，网络自主标注速度可以达到每秒15帧。最小割算法和基于形态学滤波的地面分割算法可以有效提升人工标注的效率，人工标注速度可以达到每分钟15-20帧。此外，标注工具交互界面友好，使用者可以轻松上手，标注工具推广所需的学习成本较小。

附图说明

图1为本发明的神经网络结构图。

图2为本发明的点云数据预处理前后对比图，其中图2(a)为预处理前，图2(b)为预处理后。

图3为本发明的点云标注工具界面设计的效果图。

图4为本发明的点云标注工具流程图

图5为本发明的最小割算法流程图。

图6为本发明的形态学滤波算法流程图。

图7为本发明实施例2的点云球面映射示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。

实施例1

如图1-6所示，本发明公开了一种三维点云语义分割标注方法，其具体实施方式主要是基于软件的操作及算法的应用等步骤展开的：

本发明公开了一种三维点云语义分割标注方法，包括了如下步骤：

s1：将多线束激光雷达采集到的点云数据进行球面映射的预处理，将稀疏的不均匀分布的点云数据转换为均匀密集分布的球面图；

其中，s1中多线束激光雷达为2.5d激光雷达或3d激光雷达，多线束激光雷达额垂直视野的范围为10°-40°。

其中，s1中球面映射的预处理为：

经过数据配准，由三维激光雷达扫描得到的点云数据的原始坐标转换到统一的空间坐标系下(xi,yi,zi)，再通过公式(1)和公式(2)对其进行球面映射将点云(xi,yi,zi)投影到球面上，得到对应的二维空间的坐标

s2：设计神经网络结构，对点云数据进行分割，并基于kitti数据集中的标签文件和点云数据文件对网络模型进行预训练，直到网络模型的输出值与目标值差异达到某一精度时，结束网络的预训练，得到网络模型及网络模型参数；

其中，s2中预训练具体为：

s21、对kitti数据集中的分类框的坐标信息进行记录，并判断点云中的每个点坐标是否满足分类框的位置信息；

s22、依次遍历所有的点，将满足分类框位置信息的点，赋上相应类别，类别具体为：所述的类别包括了汽车、货车、行人、骑自行车的人及地面。

s3：加载网络模型及网络模型参数，将s1通过预处理得到的球面点云数据放到s2训练得到的神经网络算法中进行点云中每个数据点的分类，得到点云场景的语义分割结果；

s4：基于qt设计点云可视化界面和标注界面，并将神经网络预测得到的标签文件与点云数据一一对应并在界面中可视化；

s5：将点云数据及标签数据转换为神经网络训练时所需的训练数据集的格式，重复进行s2、s4，进一步提升网络的性能，进而提升点云自动标注时的准确度，从而形成一个闭环的不断优化的点云标注工具。

s6：将预测偏差的标签数据手动框选类别，为其赋予对应的类别信息；结合形态学滤波算法和/或最小割算法去除人工标注点云数据时的错选点和漏选点。

其中，形态学滤波算法为通过膨胀运算和腐蚀运算找到点云数据中相连的元素，并结合点的高度值来对地面点进行提取的过程，具体步骤为：

s6211、将点云数据二维栅格化，并寻找出格栅内最低点lps；

s6212、从点坐标i＝0，j＝0的坐标信息开始，对格子进行开运算；

s6213、把开运算的结果设置为以该格子为中心的窗口内最低点的高度值；

s6214、若当前格子的lps与窗口内最低点的高度差距值超过阈值，则该格子内的所有点都是非地面点，且该窗口内最低点变为新的格子的lps；

s6215、依次遍历坐标，判断i、j的值是否大于最大宽度值，如否则返回步骤s6212，如果是则结束，输出结果。

其中，最小割算法为采用点与点之间的拓补关系及其连线的权值来进行类别的分割，具体步骤为：

s6221、假定初始min值，并随机赋予一点顶点p，用n表示进行最小割算法处理的点的总个数；

s6222、基于p点利用prim算法得到最大的生成树，记录最后扩展的点和边，并计算与点p相连的所有边的权值和v；

s6223、判断min值与v值的大小，如果v值小于min值，则输出min等于v，合并最后一条扩展边的两个点为一个顶点；如果v值大于min值，则合并最后一条扩展边的两个点为一个顶点，并判断合并次数与n-1的大小关系，如果合并次数大于n-1则输出min等于v，反之则返回步骤s6222。

实施例2

本实施例在实施例1的基础上，利用点云的实际采集场景进行该工具的测试。

步骤一、通过车载激光雷达的点云数据采集平台将周围环境信息进行采集并通过雷达本身将其转换为点云数据，用于环境信息的表征。

步骤二、利用图7标识的球面映射图将采集到的点云数据进行球面映射，将其转换为球面图，便于后续对点云进行语义标注。

步骤三、通过设计的图像语义分割网络模型对转换得到的点云球面图进行语义分割，得到含有语义信息的球面图。

步骤四、将球面图及保留的点云空间位置信息和深度信息通过反向映射变换为点云数据，并将球面图中的语义信息进行同样的反向映射操作，使映射得到的点云数据也包含对应的语义信息。

步骤五、将点云信息和点云标注信息在设计界面中可视化，对于标注存在偏差的数据点可进行人工修正，保证其标注的准确性。

步骤六、对于标注存在偏差的数据点数量较大的情况，可结合传统的算法如最小割算法和基于形态学滤波的地面分割算法来提升点云语义标注的效率，实现点云标注的智能化。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。