一种基于行嵌入聚类与特征交叉融合的车道线检测方法

本发明属于计算机视觉，具体涉及一种基于行嵌入聚类与特征交叉融合的车道线检测方法。

背景技术：

1、车道线的感知检测作为目前自动驾驶领域的重要研究方向，其在约束车辆行驶范围、保证车辆驾驶安全等方面起到了重要作用。在目前的自动驾驶系统中，对于车道线的检测主要通过计算机视觉技术实现。基于计算机视觉的传统车道线检测技术主要依赖人工先验信息对模型结构与参数进行设计，如边缘检测、颜色分割等，这些方法在复杂道路环境下容易受到光照和路面状况的影响，限制了其在复杂道路环境中的鲁棒性与准确性，因此，这些传统方法逐渐被基于深度学习的方法所取代。深度神经网络能够自主学习和适应各类道路场景，从而实现对车道线的精确识别和定位。但现有的基于深度学习的车道线检测方法在面对多道路场景和极端光照、严重遮挡等复杂道路场景时仍存在局限性，难以满足自动驾驶系统在复杂场景下对车道线检测的要求。

技术实现思路

1、本发明充分考虑了现有方法存在的缺点，其目的在于提供一种基于行嵌入聚类与特征交叉融合的车道线检测方法，通过在行检测的基础上结合嵌入聚类策略，实现对多道路场景的车道线检测；通过特征交叉融合模块，实现跨层特征之间的相互引导与增强，并通过辅助分割分支补充因行检测网格化所造成的信息丢失，从而提升在复杂环境中车道线检测的准确性和鲁棒性。

2、一、 技术原理

3、目前基于行检测的车道线检测算法大多采用bonenet、neck、header三部分完成对于图像中车道线的检测，车道线检测算法通过bonenet对输入图像进行特征提取，并由neck结构实现多尺度特征融合，最后由header基于多分类实例判别策略完成车道线检测。在自动驾驶技术应用中，精确检测多车道场景与复杂道路场景中的车道线是目前的两大难点，传统的行检测方法存在车道线检测数量受限问题，并且在复杂场景中难以实现对于车道线的准确检测。为了实现任意数量的车道线检测，本发明在行检测方法的基础上设计了嵌入聚类模块，通过特征嵌入与无监督聚类，解决了行检测方法中因多分类实例判别策略导致的车道线检测数量受限问题。针对复杂场景下车道线检测难的问题，本发明设计了辅助分割分支与特征交叉融合模块（fcm），辅助分割分支通过在网络中添加语义分割分支，补充因行检测网格化损失的细节信息。而特征交叉融合模块fcm则作为neck的一部分，通过利用高级与低级特征之间的不同特性，对跨层特征进行相互引导与增强，从而实现更加高效的跨层特征融合，提高在复杂场景下的车道线检测精度。

4、二、 根据上述原理，本发明通过以下方案实现：

5、一种基于行嵌入聚类与特征交叉融合的车道线检测方法，包括以下步骤：

6、（1）获取数据集与检测标签：

7、获取车道线数据集及对应的检测标签；

8、（2）构建车道线检测模型：该模型由主干网络bonenet、颈部网络neck、辅助分割分支、检测头header、无监督聚类后处理构成，具体构建过程包括以下步骤：

9、（2-a）构建主干网络bonenet：以resnet-18作为主干网络，输入图像经过主干网络处理，得到尺度大小依次递减的四个特征图、、和；

10、（2-b）构建颈部网络neck：该网络由四个卷积模块和三个特征交叉融合模块fcm构成，其中每个卷积模块由两个卷积层与一个relu激活函数构成；将步骤（2-a）获取的特征图、和分别作为四个卷积模块的输入，得到、、和；将与一起输入到第一个特征交叉融合模块fcm1，得到输出结果；将与一起输入到第二个特征交叉融合模块fcm2，得到输出结果；将与一起输入到第三个特征交叉融合模块fcm3，得到颈部网络neck的输出结果；

11、所述特征交叉融合模块fcm构建如下：

12、特征交叉融合模块fcm的输入包括一个浅层特征图和一个深层特征图；深层特征图经过线性插值处理后，得到与浅层特征图尺寸相同的特征图；将与分别经过3×3卷积处理后，所得结果进行逐像素相乘得到中间特征，再对依次进行3×3卷积操作和sigmod激活函数处理后，得到权重特征图；将与通过逐像素相乘，得到浅层特征输出结果；对浅层特征图进行两次1×1卷积处理，再经relu激活函数处理后，得到细节特征图；将与进行拼接后再经1×1卷积处理，得到深层特征输出结果；将与进行逐像素相加得到特征交叉融合模块fcm的输出。

13、（2-c）构建辅助分割分支：该分支由一个特征金字塔模块fpn和一个卷积模块构成；将步骤（2-a）获得的特征图、和一起输入特征金字塔模块fpn，得到多尺度特征图；将经过卷积模块处理得到分割特征图；卷积模块由两个卷积层与一个relu激活函数构成。

14、（2-d）构建检测头header：检测头由三个并行的卷积模块构成，三个卷积模块拥有相同的结构，每个卷积模块由两个卷积层与一个relu激活函数构成；将步骤（2-b）中得到的分别经过每一个卷积模块处理后，得到置信度特征图、偏移量特征图和嵌入特征图；

15、（2-e）无监督聚类后处理：将步骤（2-d）获得的、和通过无监督聚类得到由车道线上的点组成的列表 l list，再通过多项式拟合得到车道线检测结果；

16、（3）构建损失函数：

17、构建如下混合损失函数：

18、

19、其中为行嵌入聚类损失函数，为分割损失函数；

20、具体构建过程包括以下步骤：

21、（3-a）构建行嵌入聚类损失函数：

22、

23、其中为置信度损失，表示置信度预测结果与置信度标签之间的损失；为偏移量损失，表示偏移量预测结果与偏移量标签之间的损失；为嵌入损失，表示嵌入预测结果与嵌入标签之间的损失；

24、置信度损失构建如下：

25、

26、其中表示置信度特征图上点处的值，表示置信度标签上点处的值；表示置信度特征图的高，表示置信度特征图的宽； α和 β表示可调整的超参数；表示取自然对数；

27、偏移量损失构建如下：

28、

29、其中表示偏移量特征图上点处的值，表示偏移量标签上点处的值，表示取绝对值；

30、嵌入损失构建如下：

31、

32、其中为方差损失，为距离损失，分别定义为：

33、

34、

35、其中表示车道线的总条数，表示第条车道线上点的总数，表示车道线上每一个点在嵌入特征图中对应的向量表示，表示l2范数，和分别表示不同的车道线，和分别表示方差阈值与距离阈值，，、和分别表示第、和条车道线上所有点的平均向量表示；

36、 （3-b）构建分割损失函数：

37、

38、其中表示分割特征图上点处的值，表示分割标签上点处的值；表示置信度特征图的高，表示置信度特征图的宽； α和 β表示可调整的超参数；表示取自然对数；

39、（4）训练车道线检测模型：

40、利用步骤（1）得到的数据集训练步骤（2）构建的车道线检测模型；使用步骤（3）构建的混合损失函数计算模型输出的预测结果与标签之间的误差；训练过程中使用adam算法更新模型参数，并使用l-2正则化作为约束，直到损失不再下降，得到训练好的车道线检测模型；

41、（5）车道线检测：

42、将测试图像经过归一化处理后，输入至训练好的车道线检测模型，模型输出结果即为最终的车道线检测结果。

43、步骤（2-e）中无监督聚类方法优选k-means算法；

44、步骤（3-a）与（3-b）中， α与 β分别优选2与4；

45、步骤（3-a）中，和分别优选1与5；

46、本发明与现有技术相比，有以下优点：

47、（1）本发明在行检测方法的基础上结合了嵌入聚类策略，有效解决了传统行检测方法因多分类实例判别策略所导致的车道线检测数量受限问题，实现了在多车道场景下任意数量的车道线检测。

48、（2）本发明构建的特征交叉融合模块fcm通过逐像素乘法利用跨层特征的共同显著部分，使浅层特征的目标部分更加突出；通过拼接的方式将浅层特征的细节信息补充到深层特征，实现了跨层特征的高效融合，从而使算法在复杂场景下也能够实现对车道线的精确检测。

49、（3）本发明构建了辅助分割分支，通过在行检测方法的基础上引入语义分割分支，补充因行检测网格化所损失的细节信息。