一种车道线数据的处理方法及处理装置与流程

本发明涉及一种地图绘制领域或自动驾驶领域中的地图数据处理技术，尤其涉及一种车道线的处理方法及处理装置。

背景技术：

近年来,电子地图给居民的生活带来了极大的便利,大到汽车导航,小到居民在陌生环境中到达目的地的导航都有电子地图的身影。这两年，ai技术的突破以及风靡给汽车自动驾驶等方案的实现带了希望，而自动驾驶要求至少能够达到车道级导航，相对而言，传统的电子地图精度只能达到道路级导航，高精度地图是下一代电子地图的发展方向，可以预见，它将为居民提供更加便利的生活。

高精度地图生产的关键就是路面车道信息的采集，就目前而言，高精度地图采集中车道线的检测和生成主要有两种方式：第一种是人工生产方式：根据采集车采集回的点云信息，利用道路图像，对拼接后的点云着色，在着色后的点云上依赖人工手工绘制标出车道线等路面车道信息；第二种方式是通过自动识别的方式从采集车采集到的视频识别出车道线，接着依赖与传统的图像处理算法以及先验知识得到车道线。

对于第一种人工绘制车道线的方法而言，该方式不仅生产效率较低，而且人工手工绘制的线会因采集的点云出现较低分辨率时绘制错误的车道线。

对于第二种车道线处理方法，公开号为cn108229354a的专利提出了一种“车道线检测的方法”中提到了使用基于hough变换的车道线检测方法，专利中提到在hough空间中使用长度约束、平行约束、成对约束和等间距约束直接筛选出车道线的方法，虽然该方法能够在常规的平行道路中奏效，但是其在不平行的车道线，车道宽度不同的道路中则会出现差错。公开号为cn105260699a的专利中提出了“一种车道线数据的处理方法及装置”的方法对道路中的车道线进行采集的方法，该专利采用深度神经网络的方法提取出置信度较高的车道线，并且根据车道线的长度，与采集车行进放的夹角，车道线的宽度等作为限制条件筛选出最终的可信的车道线，虽然该方法能够通够提高车道线的采集效率以及准确率但是仅能采集到视频中看到的车道线，对于道路的完整性采集需要多次采集，一条道路需要多次的采集会增加其采集成本。

综上而言，现有的技术在实线高精度地图的车道线采集时不能根据复杂多变的道路场景中均奏效并且采集成本较高，不能通过较少次数采集获取完整的车道线信息。

技术实现要素：

有鉴于此，本发明提供一种车道线数据的处理方法及处理装置，以实现车道线数据的高效、精确、便捷、快速处理。

第一方面，提供一种车道线数据的处理方法，该方法包括：

获取道路原始图像和定位信息；

采用深度神经网络模型处理原始图像，提取道路的基础元素并分类；

由车道线元素获取候选车道线；

筛选已检测出的车道线；

推理未检测出的车道线；

输出完整车道线。

进一步地，深度神经网络模型的建模方法为：

首先对vgg16训练得到的预训练模型进行训练，输出训练后的fcn-32s模型；

以fcn-32s模型为预训练模型，以新的样本进行训练，输出训练后的fcn-16s模型；

以fcn-16s模型为预训练模型，以新的样本进行训练，输出训练后的fcn-8s模型。

以fcn-8s的模型为预训练模型，以新的样本进行训练，输出训练后的fcn-4s模型为目标模型。

进一步地，所述的候选车道线的获取方法为:

对提取出的车道线图像findcontours处理，得到每个车道线图像对应外的所有外接四边形；

以每个外接四边形作为候选车道线边界，搜索中点；

以搜索到的中点生成线，得到车道线的候选线。

优选地，所述的筛选已检测出的车道线，是通过设置车道线可信度阈值进行筛选；可信度计算方式为：

其中，confidence代表该候选车道线的可信度，line_length代表该候选车道线的长度，img_height代表对应图像的高度，n指的是候选车道线数目，xi指的是该候选车道线与第i条候选车道线的宽度差，μ指的是车道宽度统计平均值，σ指的是车道宽度的统计方差。

优选地，所述的车道线可信度阈值：0.5≤阈值≤1.0。

优选地，所述的车道线可信度阈值为0.6。

进一步地，筛选已检测出的车道线，还包括根据道路基础元素的拓扑关系筛选车道线，所述的根据拓扑关系对车道线进行筛选包括：

将拓扑关系符合下述至少一项的候选车道线进行筛选剔除：

所述候选车道线超出护栏，马路牙，护栏的位置边界；

所述候选车道线与箭头的距离小于设定的距离阈值；

所述候选车道线的图像长度小于设定的长度阈值。

进一步地，推理未检测出的车道线至少通过如下步骤：

获取已检测出的车道线数量及其位置；

获取对应道路的宽度以及车道的平均宽度；

根据前两步骤得到的信息，计算未检测出的车道线数量及其位置。

第二方面，本发明提供了一种车道线的生成方法，可至少通过如下步骤生成未检测出的车道线：

获取已检测出的车道线数量及其位置；

获取当前道路的宽度以及车道的平均宽度；

根据前两步骤得到的信息，计算未检测出的车道线数量及其位置。

生成并输出车道线。

第三方面，本发明提供了一种车道数据的处理装置，包括：

原始图像获取模块，用于获取车道线的原始图像和定位信息；

道路基础元素提取模块，用于采用深度神经网络模型处理原始图像，提取道路的基础元素并分类；

候选车道线生成模块，用于处理车道线图像，生成候选车道线；

候选车道线筛选模块，用于计算候选车道线置信度，对所述候选车道线进行筛选。

未检测出的车道线生成模块，用于根据图像现有信息，计算生成未检测出的车道线；

车道线输出模块，用于根据车道线的属性信息，整合检测出的车道线和计算出的车道线，输出完整车道线。

附图说明

图1是一种车道线数据的处理方法流程示意图

图2是一种车道线的生成方法流程示意图

图3是一种车道线数据的处理装置结构示意图

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明，应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例一

图1为本发明实施例一提供的一种车道线数据的处理方法流程示意图，本实施例可适用于大规模生产高精度的作业场景。该方法可以由基于车道线数据的处理装置来执行，该装置可以采用硬件和/或软件的形式实现。

该方法具体如下：

步骤1，获取车道线的原始图像和定位信息。

具体地，通过在车辆上或飞行器上设置摄相装置，采集目标路段的整体图像作为原始图像。还可以通过全球定位系统gps进行车辆或飞行器定位，所述的车辆高度或飞行器飞行高度，以及摄像装置在车辆或飞行器上的安装高度、拍摄视角和拍摄姿态等内参数据是已知的，因此可以获取车辆或飞行器的定位数据，计算出所述原始图像的定位数据，以及道路宽度、车辆或飞行器距离两侧路基的距离等数据信息。

步骤2，采用深度神经网络模型处理原始图像，提取道路的基础元素并分类。

具体地，采用预先确定深度神经网络模型，所述深度神经网络模型是通过大量的样本数据训练得到的，预先获取各种路况和光线和天气条件下的道路的基础元素图像样本，对道路的基础元素图像进行标注得到学习样本，让深度神经网络进行学习，确定深度神经网络模型。此时，再用深度神经网络模型处理原始图像，并提取相关道路的基础并分类输出数据。这一步骤中，没有直接的计算原始图像中的每个图像的车道线置信度值来进行车道线筛选，其优点之一：可以减少大量的不必要的运算，从而减少处理器的运行压力和提高效率。

需要说明的是实施例中将道路基础元素分为14类，其中包括背景、道路面、车、黄色车道线、白色车道线、减速线、箭头、停止线、斑马线、交通指示灯、交通指示牌、马路牙、护栏、塑料护栏。所述的道路相关基础元素除了实施例中已经选用的，还可以是其它道路相关基础元素。原始图像经深度神经网络模型处理后，即可得到车道线元素图像。

优选地，所述的深度神经网络模型的建模方法为：

首先对vgg16训练得到的预训练模型进行训练，输出训练后的fcn-32s模型；

以fcn-32s模型为预训练模型，以新的样本进行训练，输出训练后的fcn-16s模型；

以fcn-16s模型为预训练模型，以新的样本进行训练，输出训练后的fcn-8s模型，

以fcn-8s的模型为预训练模型，以新的样本进行训练，输出训练后的fcn-4s模型为目标模型。

这里，fcn，即全卷积神机网络(fullyconvolutionalnetworks)。vgg即visualgeometrygroup。

需要说明的是，还可以采用googlenet等其余深度神经网络训练得到的所需的模型。

步骤3，由车道线元素获取候选车道线。

具体地，通过对提取出的车道线图像findcontours处理，得到每个车道线图像对应外的所有外接四边形；以每个外接四边形作为候选车道线边界，搜索中点；以搜索到的中点生成线，得到车道线的候选线。

所述的搜索中点，是以每个外接四边形的边界线作为候选车道线的四条边界，以四边形的底边为起始线，逐行向上搜索，搜索出每一行的白色的点的中心点，直至四边形的最上面一条边，搜索到的点集合作为该车道线的中点。

目前就图像处理而言，一条车道线有时会出现n个外接四边形，但是最终findcontours处理后输出的是面积最大的外接四边形对应的候选车道线。

步骤4，筛选已检测出的车道线。

具体地，筛选已检测出的车道线，是通过设置车道线可信度阈值进行筛选；可信度计算方式为：

其中，confidence代表该候选车道线的可信度，line_length代表该候选车道线的长度，img_height代表对应图像的高度，n指的是候选车道线数目，xi指的是该候选车道线与第i条候选车道线的宽度差，μ指的是车道宽度统计平均值，σ指的是车道宽度的统计方差。

需要说明的是，先运用深度神经网络模型进行道路基础元素切割和分类，生成候选车道线后，再进行每条候选车道线的置信度计算，可以减少处理器运行压力，提高处理效率。

优选地，所述的车道线可信度阈值：0.5≤阈值≤1.0。

优选地，所述的车道线可信度阈值为0.6。

优选地，对于筛选已检测出的车道线，还包括根据道路基础元素的拓扑关系筛选车道线；所述的道路的其它基础元素包括背景，道路面，车，黄色车道线，白色车道线，减速线，箭头，停止线，斑马线，交通指示灯，交通指示牌，马路牙，护栏，塑料护栏；所述的根据拓扑关系对车道线进行筛选包括：

将拓扑关系符合下述至少一项的候选车道线进行筛选剔除：

所述候选车道线超出护栏，马路牙，护栏的位置边界；

所述候选车道线与箭头的距离小于设定的距离阈值；

所述候选车道线的图像长度小于设定的长度阈值。

步骤5，推理未检测出的车道线。

具体地，在实际地图绘制等行业场景中，常由于物理遮挡或摄相装置限制等诸多原因导致不能一次性的拍摄获取车道线；一个目标路段常常需要来回测绘多次，才能得到完整的车道线。本步骤通过数据处理，推理计算出未检出出的数据线，至少通过如下步骤：

获取已检测出的车道线数量及其位置；

获取对应道路的宽度以及车道的平均宽度；

根据前两步骤得到的信息，计算未检测出的车道线数量及其位置。

例如，在摄相设备的工作直径内，获取车前方图像中对应的像素的位置，以该像素点在图像中的纵坐标画一条垂直于纵轴(道路前进方向)的线，该线即为数车道数的基线；依据当前的检测出的车道线的数量计算出检测到的车道数量；依据检测出的车道计算出其当前车道的宽度，并计算出当前路段的车道的平均宽度；依据当前的车道宽度以及路的边缘的位置，推理出由于遮挡未被检测出的车道线，并计算出车道数量与采集车所在的位置。

步骤6，输出完整车道线。

具体，根据上面步骤中检测出的车道线和推测得到的车道线，并根据车道线的位置、长度等属性，整合生成并输出完整的车道线。

需要说明的是，得到完整车道线和具体定位信息，还可以比照道路现有地图，对地图进行融合更新。

实施例二

图2所示为本发明实施例二提供的一种车道线的生成方法，尤其是一种未检测出的车道线推测生成方法，至少通过如下步骤生成未检测出的车道线：

获取已检测出的车道线数量及其位置；

获取当前道路的宽度以及车道的平均宽度；

根据前两步骤得到的信息，计算未检测出的车道线数量及其位置。

生成并输出车道线。

例如，在摄相设备的工作直径内，获取车前方图像中对应的像素的位置，以该像素点在图像中的纵坐标画一条垂直于纵轴(道路前进方向)的线，该线即为数车道数的基线；依据当前的检测出的车道线的数量计算出检测到的车道数量；依据检测出的车道计算出其当前车道的宽度，并计算出当前路段的车道的平均宽度；依据当前的车道宽度以及路的边缘的位置，推理出由于遮挡未被检测出的车道线，并计算出车道数量与采集车所在的位置。

实时例三

图3为本发明实施例三提供的一种车道线数据的处理装置的结构示意图。如图3所示，该装置包括原始图像获取模块、道路基础元素提取模块、候选车道线生成模块、候选车道线筛选模块、未检测出的车道线生成模块、车道线输出模块。

原始图像获取模块，用于获取车道线的原始图像和定位信息；

道路基础元素提取模块，用于采用深度神经网络模型处理原始图像，提取道路的基础元素并分类；

候选车道线生成模块，用于处理车道线图像，生成候选车道线；

候选车道线筛选模块，用于计算候选车道线置信度，对所述候选车道线进行筛选。

未检测出的车道线生成模块，用于根据图像现有信息，计算生成未检测出的车道线；

车道线输出模块，用于根据车道线的属性信息，整合检测出的车道线和计算出的车道线，输出完整车道线。