一种基于消失点估计与语义分割的车道线检测方法与流程

本发明涉及图像处理技术领域，尤其涉及一种基于消失点估计和语义分割的车道线检测方法。

背景技术：

随着汽车的普及，利用传感器提高对路面对象的辨识能力，给驾驶人更多的安全警示及辅助，从而提高车辆的主动安全性，已成为智能交通系统领域发展的重要方向，而车道线检测任务则是其中重要的一环。在实际应用场景中下，由于天气变化、光照变化以及不同的地形、路况等原因，车道线的高精度检测非常具有挑战性。通常车道线检测算法需要在车载端运行，因此该算法不仅对准确性有一定要求，也需要保证实时性。好的车道线检测算法能够有效地对车辆进行定位，保证车辆的安全行驶，降低交通事故的发生率。

目前车道线检测仍具有一定局限性：车道线随距离增加会导致检测准确率降低的问题、车道线检测耗时长等问题。

技术实现要素：

本发明的目的在于提供一种基于消失点估计和语义分割的车道线检测方法，能够实现在多种路况条件下对车道线的快速准确的检测。

本发明目的至少通过以下技术方案之一实现。

一种基于消失点估计与语义分割的车道线检测方法，包括：

s1、收集不同场景下包含车道线的图像，并对图像的车道线和道路消失点进行标注，

s2、设计用于估计消失点坐标位置的分类卷积神经网络，将已标注的图像送入分类卷积神经网络训练，得到训练模型，通过训练模型得到消失点坐标，通过消失点坐标计算俯仰角与偏航角，根据俯仰角和偏航角的大小进行逆透视变换得到相应的俯视图；

s3、设计车道线二值语义分割网络并通过二值语义分割网络对俯视图进行预测，得到车道线概率图；

s4、对车道线概率图进行后处理操作，采集到关键点后通过拟合关键点得到车道线拟合曲线，最后将拟合的车道线映射回原图，在原图中显示检测出的车道线。

进一步地，步骤s2中所述设计用于估计消失点坐标位置的分类卷积神经网络，将已标注的图像送入分类卷积神经网络训练，得到训练模型，通过训练模型得到消失点坐标，包括：

原始alexnet模型包括五个卷积层组合以及三个全连接层共八层结构，对原始alexnet模型进行改进，将第一层的11*11卷积改为3*3卷积，并增加第一层特征图层数，获得所述用于估计消失点坐标位置的分类卷积神经网络，

将已标注的图像输入分类卷积神经网络，输出一维向量分类标签，

将一维向量分类标签投影回二维图像坐标中，得到消失点在二维空间的位置，即可得到消失点坐标。

通过对alexnet模型进行改进，在减少参数与计算量的同时，提高分类准确率。

考虑到消失点检测的目的是为后续的逆透视变换提供信息，从而将正视图图像更准确的还原到俯视图上，所以对于消失点检测的准确性并没有相当严格的要求，而是更关注消失点检测的计算耗时。通过将消失点离散的坐标点转为一维标签，即转换为一个简单的多分类问题，以此来减小预处理步骤时间。

进一步地，所述分类卷积神经网络的输入为降采样到224*224大小的图像，输出为625长的一维向量分类标签，将一维向量分类标签投回到25*25的网格图中，得到消失点的位置。分类卷积神经网络输出625长的一维向量分类结果，通过分类网络预测消失点属于625分类中的哪个类别，随后投回到25*25的网格图中，即可得到消失点的位置。

进一步地，步骤s2中所述通过消失点坐标计算俯仰角与偏航角，根据俯仰角和偏航角的大小进行逆透视变换得到相应的俯视图，包括：

通过式(1)与式(2)反映消失点坐标与相机俯仰角θ、偏航角γ之间的关系，式(1)与式(2)如下：

式中，(xpos,ypos)是消失点在图像中的坐标，(m,n)是图像的尺寸，(αu,αv)为固定参数，表示相机在竖直方向与水平方向的光学角度；

根据式(1)和式(2)计算出俯仰角与偏航角，然后通过这两个角度进行逆透视变换，得到俯视图。

随着车辆的行驶，以及道路坡度的变化，俯仰角以及偏航角会产生波动。这种波动，在相机参数固定的情况下，会引进更多的逆透视变换错误。俯仰角以及偏航角的波动是误差的主要来源，它们与消失点坐标存在一定关系。消失点，反映了图像的透视结构。利用消失点，可以对影响了逆透视变换的俯仰角以及偏航角进行计算，得到鲁棒的逆透视变换结果。通过计算出每帧图像中由于路面坡度的变化，以及相机镜头与当前行驶道路间的方向变化而随之变化的俯仰角与偏航角。然后通过这两个角度进行逆透视变换，得到俯视图。

进一步地，步骤s3中所述二值语义分割网络包括：

编码器—解码器结构，对图像先编码后解码，通过编码器对经过逆透视变换得到的俯视图进行编码，提取不同层级特征，再由解码器结合层级特征进行分辨率的提升，输出与原图同等大小的车道线概率图；

多尺度信息聚合模块，在编码器的最后一步加入多尺度信息聚合模块，多尺度信息聚合模块包含了三个不同采样率的空洞卷积并行分支，不同采样率的空洞卷积并联可以整合不同大小的感受野，提取不同尺度的特征；以及

特征恢复模块，位于编码器层与解码器的层间连接中，采用了竖直方向的空洞卷积，增加了网络在竖直方向上的一维感受野长度，用于学习车道线竖直方向上的相关性以及光滑连续的先验特征。

由于在俯视图中竖直方向的车道线可能会面临车辆遮挡、模糊不清、阴影等干扰，通常的分割网络预测出来的掩码结果在竖直方向上不总是连续的，同一条车道线预测出来的概率图在一些困难情况样本中往往可以观察到断开不连续的现象，因此，本方案加入特征恢复模块用于学习车道线竖直方向上的相关性，以及光滑连续的先验特征，增加了网络在竖直方向上的一维感受野长度，使得网络可以将竖直方向一定长度距离内的信息考虑进来。

进一步的，步骤s4中所述对车道线概率图进行后处理操作，具体包括：

(1)将车道线概率图按照阈值score_threshold二值化，得到二值图；

(2)对二值图计算连通域，面积大于阈值connect_area_threshold的连通域记为待定车道线区域，对于每一个待定车道线区域，分别通过滑动窗口算法对每一个连通域从下到上进行遍历获得一系列关键点并加入关键点集，若关键点集中关键点个数大于阈值dot_num，则使用最小二乘法进行车道线拟合操作得到一条与所有关键点距离之和最小的线，即为车道线拟合曲线；

(3)对所有拟合曲线进行基于方向的优化，去除方向模式与其他拟合曲线不一致的拟合曲线；

(4)将拟合的车道线映射回原图，在原图中显示检测出的车道线。

进一步地，所述阈值score_threshold取值0.4，所述于阈值connect_area_threshold取值5，所述阈值dot_num取值10。

进一步地，所述滑动窗口算法具体包括：

(1)找到待定车道线区域中最下方的像素点，以该像素点为中心，进行大小为设定参数w*h的滑窗，其中w、h分别表示滑窗的长宽大小；

(2)取当前滑窗中车道线概率图最大的点记为当前车道关键点，并加入关键点集；

(3)以当前关键点的横坐标，以及当前关键点的纵坐标加上滑动窗口高度差阈值为纵坐标，来确定下一个滑窗的位置，继续在下一个滑窗中得到关键点位置并将获得的关键点加入关键点集，重复滑窗直到滑窗内二值图为1的像素点个数小于(w*h)/10时，结束滑窗操作，至此获得最终的关键点集。

进一步地，所述w、h均取值30。

与现有技术相比，本发明实现的有益效果至少如下：

(1)针对车道线随距离增加而导致检测准确率降低的问题，本方法采取了基于消失点估计的逆透视变换预处理方法，将图片逆透视变换得到的俯视图用以语义分割，有效提高了算法速度。

(2)本方法设计了一种多尺度、实时的二值语义分割网络结构，该模型采用空洞卷积与多尺度特征融合，在多尺度语义特征的指导下结合底层特征得到精确分割结果。

(3)本发明能有效检测模糊车道线边缘并抑制噪声，对消失点和车道线的检测耗时少且准确性高，在车道线模糊、雨天、大雾和大区率等环境下均具有较好的适应性，在交通应用场景中具有实际意义。

附图说明

图1为本发明的整体流程示意图；

图2为改进后的alexnet网络结构示意图；

图3为二值语义分割网络模型结构图；

图4为本发明的特征恢复模块结构图；

图5为本发明的后处理模块流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

本发明实施例提供一种基于消失点估计和语义分割的车道线检测方法，整体流程图如图1所示，具体步骤如下：

步骤1、收集不同场景下包含车道线的图像，并对图像的车道线和道路消失点进行标注，构成数据集，将数据集按一定比例划分为训练集、验证集以及测试集，其中，训练集用于对深度卷积网络的训练，验证集用于选择最佳的训练模型，测试集用于后期测试设计模型的性能。

步骤2、设计分类卷积神经网络用于估计消失点坐标位置，并将已标注的图像送入分类卷积神经网络得到最佳的训练模型，通过训练模型得到消失点坐标；通过消失点坐标计算俯仰角与偏航角，根据俯仰角和偏航角的大小进行逆透视变换得到相应的俯视图。

考虑到消失点检测的目的是为后续的逆透视变换提供信息，从而将正视图图像更准确的还原到俯视图上，所以对于消失点检测的准确性并没有相当严格的要求，而是更关注消失点检测的计算耗时。

通过将消失点离散的坐标点转为一维向量标签，即转换为一个简单的多分类问题，以此来减小预处理步骤时间。在分类卷积神经网络输出一维向量标签后，将一维向量标签再投影回二维图像坐标中，得到消失点在二维空间的位置。

原本的alexnet模型包括五个卷积层(conv)组合以及三个全连接层(fc)，总共8层结构，本实施例的分类卷积神经网络为改进后alexnet模型，改进后alexnet模型的网络结构图如图2所示，图2中每个方框中的conv表示卷积层，conv前面的数字表示卷积核的大小，max_pooling表示最大池化层操作，max_pooling前面的数字表示最大池化层的大小，stride表示池化操作，每个传输箭头上的数值表示当前图片的尺寸大小，fc表示全连接层操作，softmax表示使用softmax函数进行归一化操作。

在原来的alexnet模型基础上将第一层的11*11卷积改为3*3卷积，并在原本的特征图层数5的基础上增加到特征图层数为8，使用最大池化层(图中的max_pooling)来减少参数与计算量，最后使用softmax函数对得到的概率值进行归一化处理，提高分类准确率。

分类卷积神经网络的输入为降采样到224*224大小的图像，输出为625长的一维向量分类结果。通过分类网络预测消失点属于625分类中的哪个类别，随后投回到25*25的网格图中，得到消失点的位置坐标。

随着车辆的行驶，以及道路坡度的变化，俯仰角以及偏航角会产生波动。这种波动，在相机参数固定的情况下，会引进更多的逆透视变换错误。俯仰角以及偏航角的波动是误差的主要来源，它们与消失点坐标存在一定关系。消失点，反映了图像的透视结构。利用消失点，可以对影响了逆透视变换的俯仰角以及偏航角进行计算，得到鲁棒的逆透视变换结果。

通过式(1)与式(2)反映消失点坐标与相机俯仰角θ、偏航角γ之间的关系，式(1)与式(2)如下：

其中，(xpos,ypos)是消失点在图像中的坐标，(m,n)是图像的尺寸，(αu,αv)为固定参数，表示相机在竖直方向与水平方向的光学角度。

根据式(1)和式(2)计算出每帧图像中由于路面坡度的变化，以及相机镜头与当前行驶道路间的方向变化而随之变化的俯仰角θ和偏航角γ。然后通过这两个角度进行逆透视变换，得到俯视图。

步骤3、设计车道线二值语义分割网络并通过二值语义分割卷积神经网络对步骤2中得到的俯视图进行预测，得到车道线概率图。针对车道线检测的条形状形态与感受野的需求，在二值语义分割网络中引进了多尺度信息聚合模块以及针对车道线形态的特征恢复模块，保证了车道线分割的连续性。

如图3所示，输入的俯视图经过resnet主干网络提取相关特征后，将图片分辨率降低为原来的1/16，之后通过多尺度聚合模块将不同尺度的感受野信息进行按通道合并，然后通过反卷积方法进行上采样特征图的分辨率恢复到原始大小，从而得到车道线概率图。同样从图3可以看出，车道线二值语义分割网络的主要结构包括：

(1)车道线二值语义分割模型采取了编码器—解码器结构，本实施例的编码器中采用resnet作为主干网络，经过图像的先编码后解码，可以通过提取到的高层语义特征指导底层特征逐层复原信息，得到同等分辨率的掩码预测结果。另外，纯编码器—解码器结构由于下采样操作更多，计算量更少以及模型更小。通过编码器对经过逆透视变换后的图像进行编码，提取不同层级特征，再由解码器结合编码器的层级特征进行分辨率的提升，输出与原图同等大小的概率图。

(2)为了在保持低计算量的同时提高网络感受野，在编码器的最后一步加入多尺度信息聚合模块，多尺度信息聚合模块包含了三个不同采样率(6、12、18)的空洞卷积并行分支，不同采样率的空洞卷积并联可以整合不同大小的感受野，提取不同尺度的特征。

(3)特征恢复模块。由于在俯视图中竖直方向的车道线可能会面临车辆遮挡、模糊不清、阴影等干扰，通常的分割网络预测出来的掩码结果在竖直方向上不总是连续的，同一条车道线预测出来的概率图在一些困难情况样本中往往可以观察到断开不连续的现象，因此，加入特征恢复模块用于学习车道线竖直方向上的相关性，以及光滑连续的先验特征。

特征恢复模块具体结构由图4所示，特征恢复模块位于编码器层与解码器的层间连接中，首先采用了3*3卷积对特征图进行特征细化，然后分三路分支，其中两路采用了竖直方向的5*5和7*7两种空洞卷积，采样率分别为5和7，这样做增加了网络在竖直方向上的一维感受野长度，使得网络可以将竖直方向一定长度距离内的信息考虑进来。最后将各个分支的特征图按通道合并，得到合并后的特征图后采用1*1卷积减少输出的通道数。

步骤4、对车道线概率图下进行一系列后处理操作，采集到关键点后通过拟合关键点得到车道线拟合曲线，最后将拟合的车道线映射回原图，在原图中显示检测出的车道线。

在s4中，车道线后处理的输入为二值语义分割网络概率图，输出为本侧行驶方向的所有预测车道线，具体的后处理流程图如图5所示：

s4-1、首先将车道线概率图按照阈值score_threshold(一般设为0.4)二值化，得到二值图；

s4-2、对二值图计算连通域，面积大于阈值connect_area_threshold(一般设为5)的连通域记为待定车道线区域。对于每一个待定车道线区域，分别通过滑动窗口算法对每一个连通域从下到上进行遍历获得一系列关键点并加入关键点集，若关键点集中关键点个数大于阈值dot_num(一般设为10)，则使用最小二乘法进行车道线拟合操作得到一条与所有关键点距离之和最小的线，即为车道线拟合曲线；

s4-3、对所有拟合曲线进行基于方向的优化，去除方向模式与其他拟合曲线不一致的拟合曲线。

s4-4、将拟合的车道线映射回原图，在原图中显示检测出的车道线。

步骤s4-2中滑动窗口算法具体包括：

(1)找到待定车道线区域中最下方的像素点，以该像素点为中心，进行大小为设定参数w*h的滑窗，其中w、h分别表示滑窗的长宽大小，一般设为30；

(2)取当前滑窗中车道线概率图最大的点记为当前车道关键点，并加入关键点集；

(3)以当前关键点的横坐标，以及当前关键点的纵坐标加上滑动窗口高度差阈值为纵坐标，来确定下一个滑窗的位置，继续在下一个滑窗中得到关键点位置并将获得的关键点加入关键点集，重复滑窗直到滑窗内二值图为1的像素点个数小于(w*h)/10时，结束滑窗操作，至此获得最终的关键点集。

本实施例，提供一种基于消失点估计辅助的车道线检测方法，首先通过自参数学习的逆透视变换，将图像投影到易于网络学习的俯视视角中，在俯视图上通过二值语义分割网络进行二值分割，随后进行后处理实例化，得到最终的拟合好的车道线。本发明技术方案能有效检测模糊车道线边缘并抑制噪声，对消失点和直线的检测耗时少且准确性高，在车道线模糊、雨天、大雾和大区率等环境下均具有较好的适应性。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。