融合车载三维激光点云与影像的道路交通杆状物分类方法与流程

本发明属于图像识别与测绘领域，具体涉及融合车载三维激光点云与影像的道路交通杆状物分类方法。

背景技术：

近年来随着城镇化进程的快速推进以及个人汽车的广泛普及，城市交通拥堵问题愈发严重，给城市居民的日常生活造成极大困扰，城市交通拥堵问题已经成为城市管理中的重要议题，为解决该问题，欧美等发达国家研发智能交通系统并投入使用，该系统使城市交通拥堵问题得到极大缓解。道路交通杆状物作为智能交通系统的重要组成部分，其精细分类对构建智能交通系统起到重要作用。除此之外，道路交通杆状物作为5g基站的重要挂靠对象，其自动识别对5g基站布局也具有重要意义。车载三维激光扫描系统因其机动性良好和采集数据精度高被广泛应用于城市道路场景的三维数据采集，车载三维激光扫描系统采集的高精度三维点云与车载影像为道路交通杆状物的自动识别提供有力的支持，而城市道路场景复杂、物体类别较多，存在严重的遮挡、噪音与粘连现象，这些问题严重影像道路交通杆状物的自动识别精度。现阶段的道路交通杆状物的精细分类严重依赖人工翻译，因此，在大范围城市场景的车载激光点云和车载影像中对道路交通杆状物进行精细自动分类对于构建智能交通系统和5g基站布局具有重要意义。

目前对于道路交通杆状物的识别研究主要分为以下三类方法，基于知识推理的方法、基于传统机器学习的算法和基于深度学习神经网络的方法。基于知识推理的方法是首先对点云或影像进行高阶特征提取，然后根据观察经验中目标的特性人工构建一系列的特征约束规则，最后根据提取的特征与规则对点云或者影像进行识别。brenner等人根据杆状物的特性最早提出同心圆柱模型用于交通杆状物的检测，lehtomäki等人通过使用扫描线分割预处理对同心圆柱模型检测方法进行了改进，cabo等人构建体素对该方法进行了扩展并对该检测方法进行了加速。bremer等人提出了基于特征值向量的方法来提取交通杆状物。pu等人提出了基于杆状物上端切片的方法来提取交通杆状物并利用附件的形状信息来进行分类。yang等人基于超体素来提取特征并制定语义规则来识别道路交通杆状物。基于规则的方法的缺点是当目标种类很多时我们需要设计很多的规则，该方法的可移植性太差，优点是不需要很多训练样本。基于传统机器学习算子的方法是首先提取点云或者影像的低阶或高阶特征，然后将提取的点云特征或影像特征与对应的标签输入到传统的机器学习算子中进行训练，例如支持向量机和随机森林等机器学习算子，最后利用训练好的机器学习算子模型对带有提取特征的点云或影像进行自动识别。基于深度学习的方法是将点云输入预先设计好的深度神经网络进行训练并对物体进行分类。其中具有代表性的网络有基于体素的卷积神经网络、基于多视角投射图像的卷积神经网络和pointnet，第一种神经网络是通过预先生成的体素输入到三维卷积神经网络来进行训练，第二种神经网络通过点云在不同视角生成的影像输入到卷积神经网络进行训练，与前两种网络不同的是，pointnet直接通过输入点云并构造了对称函数来将点云特征归一化到同种空间中进行训练。基于深度学习方法的优点是无需进行设计高级特征，缺点是需要很大的训练样本数和很冗杂的训练样本标定工作。

鉴于此，目前亟待提出融合车载三维激光点云与影像的道路交通杆状物分类方法。

技术实现要素：

为此，本发明所要解决的技术问题是提供融合车载三维激光点云与影像的道路交通杆状物。

本发明的融合车载三维激光点云与影像的道路交通杆状物，包括如下步骤：

s1、获取点云和与所述点云对应的影像数据；

s2、剔除点云中的地面点得到预分割体，然后按照预设高度沿竖直方向对预分割体进行水平切片得到连续切片集合，通过切片的二维特征和同心圆柱特征对连续切片集合进行特征约束，将符合特征约束的连续切片集合作为杆状物原始种子点；

s3、通过生长算法对杆状物原始种子点进行生长，得到完整的杆状物点云，以获得杆状物点云的精确位置信息；

s4、根据点云与全景影像的对应关系，将杆状物点云投射到全景影像上得到杆状物点云相应的影像范围；

s5、利用训练后的maskrcnn对影像进行实例分割，得到杆状物的实例分割信息，利用步骤s4中得到的杆状物点云在全景影像中的范围对其进行精细分类。

进一步的，步骤s2具体包括如下步骤，

s201、通过如下公式筛选点云中的地面点：

其中：

代指点是地面的条件；

指点的轨迹点高度与三维激光扫描仪的安装高度相差的绝对值小于一定阈值，该阈值范围为0.25m；

代指点的邻域点的局部变化高程小于0.15m；

是从点云中随机选取的一个点；

是点的轨迹点高度，通过获取点云时的该点轨迹信息与时间标签匹配得到；

是车载三维激光扫描仪距离地面的高度；

是点的点云局部高程变化值，通过如下公式计算：

：

其中：

是点云中点个最邻近点的点集；

是点集中的任意两个点；

是点的高程值；

s202、遍历点云中的所有点，从中剔除所有地面点，得到预分割体集；

s203、沿竖直方向以0.25m的高度对预分割体集中的每个预分割体进行水平切片；

s204、提取切片中各点之间的二维最大距离、以及切片之间于二维平面方向的偏移量，同时构建包括内圆柱和外圆柱的同心圆柱模型，然后，通过基于二维特征和同心圆柱特征的过滤公式对切片进行过滤，过滤公式如下：

其中：

指分割体是杆状物的条件；

指分割体中连续切片集的数量大于5；

指预分割体中连续切片集在二维平面方向的最大偏移量小于0.25m；

指预分割体中连续切片集中的点至少存在85%落入内圆柱中；

是一个预分割体中二维最大距离小于距离阈值的竖直方向连续切片集的数目，距离阈值为0.2-0.5m；

是连续切片集在二维平面方向的最大偏移量；

c1与c2是基于连续切片集拟合的内外圆柱，是落在内圆柱c1内的点，是落在外圆柱c2内的点，且，＜1，为同心圆柱模型比例阈值，r1为内圆柱半径，r2为外圆柱半径；

s205、遍历预分割体集中每个预分割体的所有切片，过滤后的连续切片集为杆状物分割体的原始种子点。

进一步的，步骤s3中的生长算法包括如下步骤：

s301、以杆状物分割体的连续切片集为原始种子点集合，将种子点集合添加到杆状物分割体中；

s302、从中随机取出一个点作为种子点，从种子点集合中删除种子，并在点云中搜索种子点的k个最近邻点；

s303、从点的k个最近邻点向杆状物点云的周围扩散，若在k个最近邻点的点域中存在与种子点的强度差值小于种子点强度20%的点，则将这些点添加至种子点集合和杆状物分割体之中，并在点云中删除种子点和这些扩散种子点；

s304、循环执行s302、s303，直至集合为空；

s305、最终得到的杆状物分割体为完整的杆状物点云，由此可获取每个杆状物的精准位置信息。

进一步的，步骤s4具体包括如下步骤；

s401、通过imu/gnss将杆状物点云对应的车载三维激光点云坐标系映射至全景影像坐标系中，得到杆状物点云的全景影像数据；

s402、计算杆状物点云的外包围盒中各顶点的坐标，并映射至模拟单位球坐标系内，通过如下公式进行转换：

：

其中：

是相机中心点在车载三维激光点云坐标系中的坐标；

是模拟单位球坐标系到车载三维激光点云坐标系转换的旋转矩阵，该旋转矩阵通过imu记录的俯仰角、旋转角和偏航角求得；

是车载三维激光点云中的点到相机中心点的距离；

是车载三维激光点云坐标系中的点投影到模拟单位球球面在模拟单位球坐标系中的点，通过步骤s402中的公式进行计算。

s403、将上一步模拟单位球坐标系中杆状物点云的外包围盒中各顶点的坐标映射至全景影像坐标系中，通过如下公式进行转换：

：

其中：

为全景影像坐标系中的像素点坐标；

与分别为全景影像的长和宽；

与分别对应模拟单位球的纬向角与经向角，模拟单位球的半径为1；

是模拟单位球坐标；

s403、利用步骤s402中的转换关系将杆状物点云的外包围盒坐标映射至全景影像中，并计算其外接矩形在全景影像中的范围。

进一步的，步骤s5的具体过程为：

步骤s5的具体过程为：

s501、在全景影像中标定包括杆状物类型和实例信息的影像数据，并通过maskrcnn神经网络对影像数据进行训练得到神经网络模型；

s502、利用训练后的maskrcnn神经网络对全景影像数据进行自动实例分割，可得杆状物的类别与实例信息。

s503、将步骤s4中计算的全景影像范围与步骤s502中计算的类别和实例信息进行叠加分析，可得到杆状物的精细类别与实例信息；

s504、建立步骤s503中杆状物的精细类别与实例信息和步骤s3中的杆状物精确位置信息的对应关系，完成分类。

本发明的上述技术方案，相比现有技术具有以下优点：

本发明所述的方法，本发明首先利用点云处理领域中的特征提取算法提取点云高阶特征集，通过高阶特征与知识推理中的语法规则对道路交通杆状物进行自动提取，进而获取道路交通杆状物的位置信息，随后将自动提取的道路交通杆状物点云投射到车载影像截取相应的影像块，然后利用影像识别领域中的深度学习模型对道路交通杆状物进行精细识别，最终输出道路交通杆状物的位置和精细类别信息，进而实现大范围城市道路场景点云和影像中的道路交通杆状进行自动精细分类，提升复杂城市道路场景中交通杆状物精细分类过程的效率及自动化程度。

附图说明

图1是本发明实施例提供的方法的流程示意图；

图2是本发明实施例提供的方法中的同心圆柱模型的示意图；

图3是本发明实施例提供的方法中的生长算法示意图；

图4是本发明实施例提供的方法中通过生长算法检测到的杆状物点云示意图；

图5是本发明实施例提供的方法中杆状物点云坐标与全景坐标、模拟单位球坐标的转换关系示意图；

图6是本发明实施例提供的方法中将点云投射到全景影像的示意图；

图7是本发明实施例提供的方法中通过实例分割的示意图；

图8是本发明实施例提供的方法中完成实例分割的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本实施例的融合车载三维激光点云与影响的道路交通杆状物分类方法，如图1所示，包括以下步骤。

s1、获取点云和与所述点云对应的影像数据。具体地，点云由车载三维激光扫描仪采集，影像数据通过车载相机采集，在采集上述两种数据的同时，还通过imu/gnss采集对应的imu/gnss数据。

s2、剔除点云中的地面点得到预分割体，然后按照预设高度沿竖直方向对预分割体进行水平切片得到连续切片集合，通过切片的二维特征和同心圆柱特征对连续切片集合进行特征约束，将符合特征约束的连续切片集合作为杆状物原始种子点。由于车载三维激光扫描仪的安装位置相对固定，因此车载三维激光扫描仪的中心点即车载轨迹点距离地面的高度接近固定值，城市的地面一般是平坦的，在小范围内无较大的高程变化，因此地面点的局部高程变化率平坦。

因此，步骤s2包括如下步骤。

201、首先通过如下公式筛选点云中的地面点：

其中，代指点是地面的条件；指点的轨迹点高度与三维激光扫描仪的安装高度相差的绝对值小于一定阈值，该阈值范围为0.25m；代指点的邻域点的局部变化高程小于0.15m；是从点云中随机选取的一个点；是点的轨迹点高度，通过获取点云时该点轨迹信息与时间标签匹配得到；是车载三维激光扫描仪距离地面的高度；是点的点云局部高程变化值，点云局部高程变化特征用于描述每个点局部邻域的平坦程度，该特征的计算过程是首先通过构建的树快速搜索点云中每个点的近邻点，然后对每个点的个临近点的高程进行分析，最大高程值与最小高程值之差极为点的局部点云高程变化特征，通过如下公式计算：

：

其中：是点云中该点的个最邻近点的点集；是点集中的任意两个点；是点的高程值。

s202、遍历点云中的所有点，从中剔除所有地面点，对点云中的其他点进行三维连通，之后得到预分割体集。

s203、沿竖直方向以0.25m的高度对预分割体集中的每个预分割体进行水平切片。

s204、提取切片中各点之间的二维最大距离、以及切片之间于二维平面方向的偏移量，同时构建包括内圆柱和外圆柱的同心圆柱模型、所述同心模型如图2所示。由于杆状物的形态特征，导致其在连续切片集中所呈现的偏移量较小，同时基于同心圆柱模型，杆状物的点落在内圆柱中的数量将大于外圆柱中的数量。

然后，通过基于二维特征和同心圆柱特征的过滤公式对切片进行过滤，过滤公式如下：

其中：指分割体是杆状物的条件；指分割体中连续切片集的数量大于5；指预分割体中连续切片集在二维平面方向的最大偏移量小于0.25m；指预分割体中连续切片集中的点至少存在85%落入内圆柱中；是一个预分割体中二维最大距离小于距离阈值的连续切片集的数目，连续切片集指在竖直方向的相邻的切片所形成的集合，距离阈值为0.2-0.5m，该距离阈值通过实际检测的杆状物点云的数据决定；是切片集在二维平面方向的最大偏移量；c1与c2是基于连续切片集拟合的内外圆柱，是落在内圆柱c1内的点，是落在外圆柱c2内的点，且，＜1，为同心圆柱模型比例阈值，r1为内圆柱半径，r2为外圆柱半径。

s205、遍历预分割体集中每个预分割体的所有切片，过滤后的连续切片集为杆状物分割体的原始种子点。

s3、通过生长算法对杆状物原始种子点进行生长，得到完整的杆状物点云，以获得杆状物点云的精确位置信息，该生长算法通过点云中各点的反射强度进行生长。

具体地，如图3所示，步骤s3中的生长算法包括如下步骤。

s301、以杆状物分割体的连续切片集为原始种子点集合，将种子点集合添加到杆状物分割体中。

s302、从中随机取出一个点作为种子点，从种子点集合中删除种子，并在点云中搜索种子点的k个最近邻点。

s303、从点的k个最近邻点向杆状物点云的周围扩散，若在k个最近邻点的点域中存在与种子点的强度差值小于种子点强度20%的点，则将这些点添加至种子点集合和杆状物分割体之中，并在点云中删除种子点和这些扩散种子点。

s304、循环执行s302、s303，直至集合为空。

s305、如图4所示，最终得到的杆状物分割体为完整的杆状物点云，由此可获取每个杆状物的精准位置信息，如图4所示。

s4、根据点云与全景影像的对应关系，将杆状物点云投射到全景影像上得到杆状物点云相应的影像范围。

步骤s4具体包括如下步骤；

s401、如图5所示，通过imu/gnss将杆状物点云对应的车载三维激光点云坐标系映射至全景影像坐标系中，得到杆状物点云的全景影像数据。

s402、如图5所示，计算杆状物点云的外包围盒中各顶点的坐标，并映射至模拟单位球坐标系内，通过如下公式进行转换：

：

其中：是车载相机中心点在车载三维激光点云坐标系中的坐标；是模拟单位球坐标系到车载三维激光点云坐标系转换的旋转矩阵，该旋转矩阵通过imu记录的俯仰角、旋转角和偏航角求得；是车载三维激光点云中的点到相机中心点的距离；是车载三维激光点云坐标系中的点投影到模拟单位球球面在模拟单位球坐标系中的点，通过步骤s402中的公式进行计算。

s403、如图6所示，将上一步模拟单位球坐标系中杆状物点云的外包围盒中各顶点的坐标映射至全景影像坐标系中，通过如下公式进行转换：

：

其中：为全景影像坐标系中的像素点坐标；与分别为全景影像的长和宽；与分别对应模拟单位球的纬向角与经向角，模拟单位球的半径为1；是模拟单位球坐标。

s403、利用步骤s402中的转换关系将杆状物点云的外包围盒坐标映射至全景影像中，并计算其外接矩形在全景影像中的范围。

s5、如图7所示，利用训练后的maskrcnn对影像进行实例分割，得到杆状物的实例分割信息，利用步骤s4中得到的杆状物点云在全景影像中的范围对其进行精细分类。

步骤s5的具体过程为：

s501、在全景影像中标定包括杆状物类型和实例信息的影像数据，并通过maskrcnn神经网络对影像数据进行训练得到神经网络模型。

s502、利用训练后的maskrcnn神经网络对全景影像数据进行自动实例分割，可得杆状物的类别与实例信息。

s503、将步骤s4中计算的全景影像范围与步骤s502中计算的类别和实例信息进行叠加分析，可得到杆状物的精细类别与实例信息。

s504、建立步骤s503中杆状物的精细类别与实例信息和步骤s3中的杆状物精确位置信息的对应关系，完成分类。

如图8所示，通过影像的实例分割，得到全景影像道路交通杆状物中部件的实例信息，其中包括部件对应的类别与数量，将步骤s403中的道路交通杆状物投射的影像范围与全景实例分割的信息进行叠加可过滤掉一些误分割结果，进而得到道路交通杆状物的精确范围与实例信息，结合步骤s305中得到道路交通杆状物的位置信息，我们可获取感兴趣杆状物精细的实例信息与位置信息,最后将两者呈现在影像当中，完成对杆状物的精细分类。

本实施例首先利用点云处理领域中的特征提取算法提取点云高阶特征集，通过高阶特征与知识推理中的语法规则对道路交通杆状物进行自动提取，进而获取道路交通杆状物的位置信息，随后将自动提取的道路交通杆状物点云投射到车载影像截取相应的影像块，然后利用影像识别领域中的深度学习模型对道路交通杆状物进行精细识别，最终输出道路交通杆状物的位置和精细类别信息，进而实现大范围城市道路场景点云和影像中的道路交通杆状进行自动精细分类，提升复杂城市道路场景中交通杆状物精细分类过程的效率及自动化程度。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。