一种基于贝塞尔曲线和车道对称性的车道线检测方法

一种基于贝塞尔曲线和车道对称性的车道线检测方法
1.技术领域
2.本发明涉及车道线检测技术领域，尤其是一种基于贝塞尔曲线和车道对称性的车道线检测方法。


背景技术：

3.车道线检测指的是对于自动驾驶车辆前置摄像头拍摄的图片，检测可见或可预测的车道线。车道线的位置信息能帮助自动驾驶车辆进行自主保持当前车道，自主巡航等基础任务，也是路线规划等高层任务的基本底层感知输入。
4.随着深度学习的不断发展，基于深度学习的相关技术被应用于基于摄像头的车道线检测。基于深度学习的车道线检测技术在之后的几年时间里快速发展。
5.现有的基于深度学习的车道线检测方法大多采用分割或点序列检测的间接方式建模车道线，导致了对低效后处理的依赖，与自动驾驶场景实时性的要求产生了矛盾。已有的不需要后处理，直接预测车道线曲线函数的方法，使用系数抽象的三次函数，不能达到足够好的检测性能。


技术实现要素：

6.本发明的目的是提供一种能够对自动驾驶场景的车道线进行检测的方法，该方法利用贝塞尔曲线建模车道线，同时融合翻转前后的特征图，使得在保持高精度的同时具有高效性，不需要后处理就能获得车道线的函数表达式。
7.实现本发明目的的具体技术方案是：一种基于贝塞尔曲线和车道对称性的车道线检测方法，该方法包括：步骤1：特征提取1.1）对于输入的rgb图片，首先调整到输入大小，然后使用resnet18或resnet34进行特征提取，得到相比于原图下采样16倍的基础特征图f0；步骤2：全局特征增强2.1）将特征图f0水平翻转得到翻转后特征图f0_t1，将翻转前后的特征图按channel维度连接起来，输入到一个3x3卷积层，给每个特征点预测出一个二维偏移量p，代表了翻转后特征点与最相关的翻转前特征点的距离，使用这些偏移量p改变另一个3x3卷积的卷积核位置，将改变过卷积核位置的卷积层作用到翻转后的特征图（该过程称为可变形卷积），得到对齐的翻转后特征图f0_t2；2.2）将对齐的翻转后的特征图f0_t2和翻转前的特征图f0各自经过一次1x1卷积映射后，通过叠加的方式融合到一起，得到增强的特征图f1；步骤3：车道线检测3.1）对于增强后的二维图像特征f1，通过核高度与特征图f1高度相同的一维平均
池化层将特征图压缩为一维特征图f2；3.2）将一维特征图f2上的每个点看作一个车道线的候选，利用共享的两层1x3卷积进行特征变换，让候选线特征在映射到可分类特征同时，在f2的特征之间进行相互作用；3.3）使用一层共享的1x1卷积层预测每个候选车道线的存在概率，再使用另一层共享的1x1卷积层预测回归每个候选车道线的四个三阶贝塞尔曲线控制点坐标，从而得到了用三阶贝塞尔曲线表示的车道线预测结果。
8.本发明所述的车道线检测方法使用轻量级的resnet全卷积神经网络。
9.本发明融合翻转前后的特征图，并且使用可变形卷积对它们进行特征语义对齐。
10.本发明通过分类和回归子网络，预测车道线的三次贝塞尔曲线拟合结果作为车道线的几何表达。
11.本发明的有益效果：本发明解决了车道线检测方法为了获得高准确率产生的速度慢、需要复杂后处理的问题，从而提高了自动驾驶中高精度车道线检测算法的效率。使用了参数曲线三阶贝塞尔曲线来表示车道线的几何形态，不同于常规的非参三次函数，三阶贝塞尔曲线表示的车道线可以用四个图像空间附近的控制点表示，系数不抽象，且可以应对逼近无穷大斜率的线。并且整个网络全部使用卷积操作，利于优化部署。
附图说明
12.图1为本发明流程图；图2为特征增强流程图；图3为车道线检测流程图。
具体实施方式
13.为了便于理解本发明，以下结合附图及实施例对本发明进行详细说明。
14.参阅图1，本发明的全部流程，包括图2和图3子流程。
15.s100：本发明步骤1中的对于输入的rgb图片，首先调整到输入大小，然后使用resnet18或resnet34卷积主干网络进行特征提取，此时图像已经被下采样16倍,得到基础特征图f0；s110：将特征图水平翻转后对齐并融合增强。详见图2。
16.s120：使用核高度与特征图高度相同的平均池化层，将特征图f1从c x h x w 降维到cx w （其中c为channel数，h,w分别为特征图高度核宽度）的一维特征图f2。
17.s130：使用全卷积的检测网络获得最终的车道线输出，包括一个贝塞尔曲线控制点坐标回归子网络和一个贝塞尔曲线对应车道线存在性判别子网络。详见图3 s300。
18.参阅图2，本发明步骤2中的将特征图f0水平翻转得到翻转后特征图f0_t1，将翻转前后的特征图按channel维度连接起来，输入到一个3x3卷积层，给每个特征点预测出一个二维偏移量p，代表了翻转后特征点与最相关的翻转前特征点的距离，使用这些偏移量p改变另一个3x3卷积的卷积核位置，将改变过卷积核位置的卷积层作用到翻转后的特征图（该过程称为可变形卷积），得到对齐的翻转后特征图f0_t2；将对齐的翻转后的特征图f0_t2和翻转前的特征图f0各自经过一次1x1卷积映射后，通过叠加的方式融合到一起，得到增强的
特征图f1。
19.s200：以基础特征图f0的垂直中线为轴，翻转特征图得到翻转后的f0_t1；s210：根据翻转前后的f0和f0_t1作为参照，由一个可学习的卷积层预测出从f0_t1到实际场景中车道对称位置的位移；s220：根据f0_t1到实际场景中车道对称位置的位移作为可变形卷积层的变形场输入，通过可变形卷积层对f0_t1做一次特征映射得到f0_t2；s230：对翻转前后的f0和f0_t2特征图分别做过由一层卷积层实现的特征映射后，叠加它们的特征实现融合，获得增强的特征图f1。
20.参阅图3，本发明步骤3中的将增强后的二维图像特征f1，通过核高度与特征图f1高度相同的一维平均池化层将特征图压缩为一维特征图f2；将一维特征图f2上的每个点看作一个车道线的候选，利用共享的两层1x3卷积进行特征变换，让候选线特征在映射到可分类特征同时，在f2的特征之间进行相互作用；使用一层共享的1x1卷积层预测每个候选车道线的存在概率，再使用另一层共享的1x1卷积层预测回归每个候选车道线的四个三阶贝塞尔曲线控制点坐标，从而得到了用三阶贝塞尔曲线表示的车道线预测结果。
21.s300：根据图1 s120的降维结果，总共有“特征图宽度”个候选特征点(f2)，每个特征点channel数为c。利用共享的两层核大小为1x3的一维卷积进行特征变换，让候选线特征在映射到可分类特征同时，在临近的候选特征点之间进行相互作用；s310：使用共享的1x1卷积子网络预测每个候选车道线的存在概率，再使用另一个共享的1x1卷积子网络预测回归每个候选车道线的四个贝塞尔曲线控制点坐标，选择预测存在概率大于0.95的结果，即得到用贝塞尔曲线表示的车道线预测结果。


技术特征：
1.一种基于贝塞尔曲线和车道对称性的车道线检测方法，其特征在于，该方法包括：步骤1：特征提取1.1）对于输入的rgb图片，首先调整到输入大小，然后使用resnet18或resnet34进行特征提取，得到相比于原图下采样16倍的基础特征图f0；步骤2：全局特征增强2.1）将特征图f0水平翻转得到翻转后特征图f0_t1，将翻转前后的特征图按channel维度连接起来，输入到一个3x3卷积层，给每个特征点预测出一个二维偏移量p，代表了翻转后特征点与语义最相关的翻转前特征点的距离，使用这些偏移量p改变另一个3x3卷积的卷积核位置，将改变过卷积核位置的卷积层作用到翻转后的特征图，得到对齐的翻转后特征图f0_t2；2.2）将对齐的翻转后的特征图f0_t2和翻转前的特征图f0各自经过一次1x1卷积映射后，通过叠加的方式融合到一起，得到增强的特征图f1；步骤3：车道线检测3.1）对于增强后的二维图像特征f1，通过核高度与特征图f1高度相同的一维平均池化层将特征图压缩为一维特征图f2；3.2）将一维特征图f2上的每个点看作一个车道线的候选，利用共享的两层1x3卷积进行特征变换，让候选线特征在映射到可分类特征同时，在一维特征图f2的特征之间进行相互作用；3.3）使用一层共享的1x1卷积层预测每个候选车道线的存在概率，再使用另一层共享的1x1卷积层预测回归每个候选车道线的四个三阶贝塞尔曲线控制点坐标，从而得到了用三阶贝塞尔曲线表示的车道线预测结果。2.根据权利要求1所述的一种基于贝塞尔曲线和车道对称性的车道线检测方法，其特征在于所述的车道线检测使用轻量级的resnet全卷积神经网络。3.根据权利要求1所述的一种基于贝塞尔曲线和车道对称性的车道线检测方法，其特征在于融合翻转前后的特征图，并且使用可变形卷积对它们进行特征语义对齐。4.根据权利要求1所述的一种基于贝塞尔曲线和车道对称性的车道线检测方法，其特征在于通过分类和回归子网络，预测车道线的三次贝塞尔曲线拟合结果作为车道线的几何表达。

技术总结
本发明公开了一种基于贝塞尔曲线和车道对称性的车道线检测方法，其方法包括三个步骤，首先使用端到端的轻量级卷积主干网络，输入图片提取特征；接着融合翻转前后的特征图，增强全局特征；最后在增强的特征图上用池化层和卷积层直接预测拟合车道线的贝塞尔曲线控制点，从而得到最后的车道线预测结果。本发明解决了车道线检测方法为了获得高准确率产生的速度慢、需要复杂后处理的问题，从而提高了自动驾驶中高精度车道线检测算法的效率。自动驾驶中高精度车道线检测算法的效率。自动驾驶中高精度车道线检测算法的效率。


技术研发人员：冯正阳 郭绍华 谭鑫 许可 汪旻 马利庄
受保护的技术使用者：华东师范大学
技术研发日：2022.07.19
技术公布日：2022/11/25