基于感兴趣区域特征聚集的车道线检测方法与流程

1.本发明涉及计算机视觉领域的一种车道线图像处理方法，具体涉及一种基于感兴趣区域特征聚集的车道线检测方法。


背景技术：

2.车道线检测是计算机视觉领域的重要任务。它是与深度学习相互促进和发展的领域，可以应用到自动驾驶或者辅助驾驶中，为其提供道路车道线的信息，进而帮助智能车辆更好的定位车辆位置。
3.车道线检测是计算机视觉中一个非常具有挑战性的任务。在真实的场景中，车道线很容易受到车辆的遮挡，并且受光照的影响，图片中的车道线也可能变得模糊而难以辨认。人对车道线的感知是可以通过环境信息来推测的，因此很多方法也开始建模图像中全局的信息来辅助检测车道线。最近xingang pan等人在2018年人工智能顶级会议aaai提出的《spatial as deep:spatial cnn for traffic scene understanding》，通过一个稀疏的卷积神经网络结构，在图像的行与列之间传递信息，从而识别有较强先验信息的车道线。但是这种方法计算量非常大，很难应用到一些需要实时计算的任务中，比如自动驾驶。
4.在2021年国际顶级会议cvpr上提出的《keep your eyes on the lane:real-time attention-guided lane detection》通过建模不同车道线之间的关系来获取全局的信息。但是这种方法仅仅考虑的车道线之间的关系，没有考虑全局的环境信息，因此检测的精度不高。


技术实现要素：

5.为了解决背景技术中存在的问题，本发明提供了一种基于感兴趣区域特征聚集的车道线检测方法。
6.方法建模了车道线的特征信息以及聚集了全局的特征信息，可以更好的感知环境信息来检测车道线，大幅提升了车道线检测的效果。
7.本发明所采用的技术方案是：
8.(1)输入道路图片并利用卷积神经网络提取全局图片特征，再将预定义好的车道线投影到图片特征上提取获得车道线特征；
9.(2)对于每个车道线特征，在车道线特征上进行信息传递得到表达能力更强的初步车道线特征；
10.(3)对于初步车道线特征，进一步建模车道线特征和图片全局特征之间的关系，再利用该关系进行感兴趣区域特征聚集得到更多全局信息的强化车道线特征；
11.(4)利用(3)中的强化车道线特征预测道路图片中的车道线位置和分类；
12.(5)训练由(1)-(4)构成的车道线检测模型，重复步骤(1)-(4)并利用损失函数进行车道线检测模型优化，直到车道线检测模型收敛；
13.(6)车道线检测模型训练完毕后，将训练后的车道线检测模型用于车道线检测的
任务，对实时待测的道路图片得到道路图片中的车道线位置。
14.本发明对车道线上的特征进行信息传递，并且通过建模车道线关系和全局特征直接的关系，大大加强了车道线特征的表达能力，从而增强车道线算法的检测能力和鲁棒性，使得该算法在复杂的环境中仍有全局感知能力，大大提升检测精度。
15.所述步骤(1)中，卷积神经网络具体是由多层卷积层依次连接构成。
16.所述步骤(1)中，预定义好的车道线是在道路图片中按照规则均匀分布的、并且利用roialign方法从图片特征中预先得到车道线图像区域。
17.所述步骤(2)中，采用卷积操作和全连接操作在车道线特征上进行信息传递，即车道线特征中的每个特征点聚集到相邻特征点的特征，获得初步车道线特征。
18.所述的矩阵变换具体是将二维变成一维矩阵。
19.所述步骤(3)中，将全局图片特征进行缩放和矩阵变换的处理后获得初步全局特征，再将初步全局特征和初步车道线特征进行两次的交叉矩阵相乘获得强化车道线特征，车道线特征和图片全局特征之间的关系建模具体表示如下：
20.首先计算初步车道线特征和全局图片特征之间的未归一化相似矩阵w：
[0021][0022]
其中，x
p
表示初步车道线特征，xf表示缩放和矩阵变换后的全局图片特征，t表示矩阵转置；
[0023]
接着，利用softmax函数对未归一化相似矩阵w进行归一化处理得到相似矩阵wn：
[0024]
wn＝softmax(w)
[0025]
然后，将相似矩阵wn再和初步全局特征按照以下公式进行相乘处理得到特征矩阵g：
[0026][0027]
最后，对特征矩阵g进行dropout操作，再和初步车道线特征相加得到输出特征o：
[0028]
o＝x
p
+dropout(g)
[0029]
由输出特征o经过全连接层的处理预测获得车道线位置和分类。
[0030]
所述步骤(5)中，对于车道线分类采用损失函数为focal loss，对车道线位置回归采用损失函数为smooth-l1 loss。
[0031]
本发明方法具有以下有益效果：
[0032]
本发明提出基于感兴趣区域特征聚集的车道线检测方法，该方法可以有效的捕捉局部特征以及聚集全局的信息，大大提升车道线的特征提取能力。
[0033]
本发明可以很好地运用到各种车道线检测网络中，在主流车道线检测数据集culane上有很大的精度提升，展示了算法的优越性。
附图说明
[0034]
图1为本发明框架和流程图。
[0035]
图2为本发明中感兴趣区域特征聚集的结构示意图。
具体实施方式
[0036]
下面结合附图和具体实施方式对本发明做进一步阐述和说明。
[0037]
如图1所示，本发明的实施例具体包括如下步骤：
[0038]
(1)输入道路图片并利用卷积神经网络提取全局图片特征，再将预定义好的车道线投影到图片特征上提取获得道路图片中每个车道线的车道线特征；
[0039]
如图1所示，步骤(1)中，卷积神经网络具体是由三层卷积层依次连接构成。三层卷积处理后再输入到roigather模块中进行车道线特征提取
[0040]
步骤(1)中，预定义好的车道线是在道路图片中按照规则均匀分布的、并且利用roialign方法从图片特征中预先得到车道线图像区域，即图2中的roi。利用预定义好的车道线对图片特征进行分割提取获得车道线特征。
[0041]
(2)对于每个车道线特征，对全局图片特征上的车道线特征进行信息传递得到表达能力更强的初步车道线特征；
[0042]
如图2下部所示，步骤(2)中，采用卷积操作和全连接操作在车道线特征上进行信息传递，即车道线特征中的每个特征点聚集到相邻特征点的特征，获得初步车道线特征。
[0043]
(3)对于初步车道线特征，进一步建模车道线特征和图片全局特征之间的关系，再利用该关系进行感兴趣区域特征聚集得到更多全局信息的强化全局特征；
[0044]
如图2上部所示，将全局图片特征进行缩放和矩阵变换的处理后获得初步全局特征，再将初步全局特征和初步车道线特征进行两次的交叉矩阵相乘获得强化车道线特征。
[0045]
步骤(3)中，车道线特征和全局图片特征之间的关系建模采用注意力机制方式，具体表示如下：
[0046]
首先计算初步车道线特征和全局图片特征之间的未归一化相似矩阵w：
[0047][0048]
其中，x
p
表示初步车道线特征，xf表示缩放和矩阵变换后的全局图片特征，t表示矩阵转置；
[0049]
接着，利用softmax函数对未归一化相似矩阵w进行归一化处理得到相似矩阵wn：
[0050]
wn＝softmax(w)
[0051]
然后，将相似矩阵wn再和初步全局特征按照以下公式进行相乘处理得到特征矩阵g：
[0052][0053]
其中，g表示车道线从全局特征进行挑选聚集后的特征。
[0054]
最后，对特征矩阵g进行dropout操作，再和由车道线特征处理获得的初步车道线特征相加得到输出特征o：
[0055]
o＝x
p
+dropout(g)
[0056]
由输出特征o经过全连接层的处理预测获得车道线位置和分类。
[0057]
(4)利用(3)中的图片全局特征预测道路图片中的车道线位置和分类；针对车道线类别进行分类，车道线位置进行回归。
[0058]
(5)由上述(1)-(4)构成的车道线检测模型，利用预先已知采集获得的道路图片及其中的车道线位置和分类输入训练由(1)-(4)构成的车道线检测模型，重复步骤(1)-(4)并
利用损失函数进行车道线检测模型优化，直到车道线检测模型收敛；
[0059]
步骤(5)中，对于车道线分类采用损失函数为focal loss，对车道线位置回归采用损失函数为smooth-l1 loss。
[0060]
具体实施中，focal loss损失函数中的参数分别设定为α＝0.5，γ＝2.0。smooth-l1 loss损失函数中的参数设定为β＝1.0。
[0061]
(6)车道线检测模型训练完毕后，将训练后的车道线检测模型用于车道线检测的任务，对实时待测的道路图片得到道路图片中的车道线位置。
[0062]
本实施例在culane数据集上进行了实验，并且采用了laneatt和本发明提出的结构clrnet来进行实验。结果如下表所示：
[0063]
下表中，method表示不同的车道线检测方法，gather module表示强化模块，none表示没有强化模块，self-attention是laneatt提出的方法，roigather是本技术提出的方法。mf1,f1@50,f1@75,f1@90分别表示不同的评估指标。
[0064]
表1
[0065][0066]
表中可见，本发明方法在laneatt上提升了接近4个点，远高于self-attention方法，在clrnet上也取得了一致性的提升。这说明了本发明方法的有效性。