一种基于斜卷积的弯曲车道线快速检测方法

本技术涉及智能驾驶，尤其是涉及一种基于斜卷积的弯曲车道线快速检测方法。

背景技术：

1、在车道线的检测中，由于车道线在图像中的分布一般会倾斜一定角度并且跨越多个区域，而不是完全竖直的，因此普通卷积的卷积核平移操作并不能很好的适应图像中的细长车道线，导致不容易捕获车道线信息。

技术实现思路

1、有鉴于此，本技术提供了一种基于斜卷积的弯曲车道线快速检测方法，以解决上述技术问题。

2、第一方面，本技术实施例提供了一种基于斜卷积的弯曲车道线快速检测方法，所述方法包括：

3、获取当前时刻的目标区域的rgb图像；

4、利用预先训练完成的斜卷积车道线检测模型对rgb图像进行处理，得到行锚上的车道线的坐标信息；所述斜卷积车道线检测模型通过空间注意力的可变形卷积网络提取旋转后rgb图像的整条车道线信息。

5、进一步地，所述斜卷积车道线检测模型包括：旋转处理模块、特征提取模块和检测模块；

6、利用预先训练完成的斜卷积车道线检测模型对rgb图像进行处理，得到行锚上的车道线的坐标信息；包括：

7、利用所述旋转处理模块对rgb图像的原始特征图进行填充和旋转处理，得到旋转后的特征图；

8、利用所述特征提取模块对旋转后的特征图进行下采样和可变形卷积操作，得到包含车道线位置特征的下采样特征图；

9、利用所述检测模块对下采样特征图去除旋转和去除填充，对恢复后的下采样特征图提取上下文信息，得到行锚上的车道线的坐标信息。

10、进一步地，所述旋转处理模块包括：第一卷积层、扩充单元和旋转单元；

11、利用所述旋转处理模块对rgb图像的原始特征图进行填充和旋转处理，得到旋转后的特征图；包括：

12、利用所述第一卷积层对rgb图像进行处理，得到64通道的原始特征图，大小为h×w；

13、利用所述扩充单元计算大小为h/8×w/8的特征图的外接圆的直径r，沿原始特征图的高度方向上下各增加长度为的区域，再沿原始特征图的宽度方向左右各增加的区域，将原始特征图的大小扩大为r×r，其中r＝8r；

14、利用所述旋转单元根据预先确定的4个倾斜角度对填充后的原始特征图进行旋转，得到64通道的旋转后的特征图；所述4个倾斜角度通过下述步骤获得：

15、获取多张标注车道线的rgb图像样本；

16、计算每张rgb图像样本中车道线的倾斜角度；

17、利用k-means聚类算法对所有rgb图像样本的车道线的倾斜角度进行聚类，得到四个聚类中心对应的四个倾斜角度：θ1、θ2、θ3和θ4。

18、进一步地，利用所述旋转单元根据预先确定的4个倾斜角度对填充后的原始特征图进行旋转，得到64通道的旋转后的特征图，包括：

19、获取第一个倾斜角度值θ1，将填充后的原始特征图逆时针旋转θ1，获取0-7通道序号的通道值；将填充后的原始特征图顺时针旋转θ1，获取8-15通道序号的通道值；

20、获取第二个倾斜角度值θ2，将填充后的原始特征图逆时针旋转θ2，获取16-23通道序号的通道值；将填充后的原始特征图顺时针旋转θ2，获取24-31通道序号的通道值；

21、获取第三个倾斜角度值θ3，将填充后的原始特征图逆时针旋转θ3，获取32-39通道序号的通道值；将填充后的原始特征图顺时针旋转θ3，获取40-47通道序号的通道值；

22、获取第四个倾斜角度值θ4，将填充后的原始特征图逆时针旋转θ4，获取48-55通道序号的通道值；将填充后的原始特征图顺时针旋转θ4，获取56-63通道序号的通道值；

23、将0-7通道序号的通道值、8-15通道序号的通道值、16-23通道序号的通道值、24-31通道序号的通道值、32-39通道序号的通道值、40-47通道序号的通道值、48-55通道序号的通道值和56-63通道序号的通道值进行通道拼接，得到64通道的旋转后的特征图。

24、进一步地，所述特征提取模块包括：带有残差模块的卷积层、第二下采样单元、空间注意力的可变形卷积单元、第三下采样单元和第四下采样单元；

25、利用特征提取模块对旋转后的特征图进行下采样和可变形卷积操作，得到包含车道线位置特征的下采样特征图；包括：

26、利用所述带有残差模块的卷积层对64通道的旋转后的特征图进行处理，得到第一特征图f1；

27、利用所述第二下采样单元对第一特征图f1进行下采样，得到第二特征图f2，其通道数为128，大小为

28、利用所述空间注意力的可变形卷积单元对第二特征图f2进行可变形卷积操作，得到含有车道线位置特征的特征图；

29、利用所述第三下采样单元对包含车道线位置特征的特征图进行下采样，得到第三特征图f3，其通道数为256，大小为

30、利用所述第四下采样单元对第三特征图f3进行下采样，得到第四特征图f4，其通道数为512，大小为

31、进一步地，利用所述空间注意力的可变形卷积单元对第二特征图f2进行可变形卷积操作，得到含有车道线位置特征的特征图；包括：

32、对第二特征图f2的每个像素在通道方向进行最大池化处理，得到大小为的单通道特征图；

33、将单通道特征图的上下边缘各增加的区域，得到大小为的特征图f2′；

34、利用卷积核大小为的可变形卷积网络(dcn)从特征图f2′提取长条形车道线特征，得到大小为的特征图f2″；

35、将特征图f2″与第二特征图f2进行像素相乘，得到包含车道线位置特征的特征图f2″′。

36、进一步地，所述检测模块包括：第一去除旋转单元、第一去除扩充单元、第一cca单元、第二cca单元和两个全连接层；

37、利用所述检测模块对下采样特征图去除旋转和去除填充，对恢复后的下采样特征图提取上下文信息，得到行锚上的车道线的坐标信息；包括：

38、利用所述第一去旋转单元对第四特征图f4进行去除旋转处理，得到第五特征图f5；

39、利用所述第一去除扩充单元对第五特征图f5进行去除扩充处理，得到大小为的第六特征图f6；

40、利用所述第一cca单元对第六特征图f6进行处理，获得包含垂直方向和水平方向长连接的上下文信息的第七特征图f7；

41、利用所述第二cca单元对第七特征图f7进行处理，获得包含垂直方向和水平方向长连接的密集上下文信息的第八特征图f8；

42、利用所述两个全连接层对第八特征图f8进行处理，得到行锚上的车道线的坐标信息。

43、进一步地，所述第一cca单元包括：三个并行的1*1卷积层、affinity操作单元、softmax层、aggregation操作单元和加法器；

44、利用所述第一cca单元对第六特征图f6进行处理，获得包含垂直方向和水平方向长连接的上下文信息的第七特征图f7；包括：

45、利用三个并行的1*1卷积层分别对第六特征图f6进行处理，得到特征图q、特征图k以及特征图v，其中，特征图q、特征图k和特征图v的大小与特征图f6相同；特征图q和特征图k的通道数为c′，c′小于特征图f4的通道数512，特征图v的通道数为512；

46、利用affinity操作单元对特征图q和特征图k进行处理，得到特征图d；

47、利用softmax层对特征图d的在通道维度上进行归一化处理，得到特征图a；

48、利用aggregation操作单元对特征图a与特征图v进行上下文位置关系加权处理，得到第七特征图f7。

49、进一步地，所述方法还包括：对车道线检测模型进行训练的步骤：

50、构建一个语义分割模块，所述语义分割模块分别与车道线检测模型的空间注意力的可变形卷积单元、第三下采样单元和第四下采样单元连接；所述语义分割模块用于对dcn-sa单元输出的特征图、第三下采样单元输出的特征图和第四下采样单元输出的特征图进行处理，得到像素级的车道线分割预测图像；

51、获取训练数据集，所述训练数据集包括多张含有行锚上的车道线的真实坐标信息的rgb图像样本，以及对应的像素级车道线分割标注图像；

52、利用连接语义分割模块的车道线检测模型对rgb图像样本进行处理，分别得到rgb图像样本的行锚上的车道线的预测坐标信息，以及像素级车道线分割预测图像；

53、计算第一损失函数lcls：

54、

55、其中，a是车道线数，b是行锚数，pa,b表示第a条车道在第b个行锚上的d+1个网格单元的概率向量；ta,b表示第a条车道在第b个行锚上d+1个网格单元上的标签；lce(·,·)表示交叉熵损失函数；

56、计算约束车道线在相邻行上是连续的第二损失函数lsim：

57、

58、其中，‖‖1表示l1范数；pa,b+1表示第a条车道在第b+1个行锚上的d+1个网格单元的概率向量；

59、计算语义分割模块的第三损失函数lseg：

60、

61、其中，th,w为像素(h,w)的车道线检测的预测结果，t′h,w为车道线检测的标注结果，取值为0,1,2,3,4；0代表像素(h,w)不在车道线上，1代表像素(h,w)在第一条车道线上，2代表像素(h,w)在第二条车道线上，3代表像素(h,w)在第三条车道线上，4代表像素(h,w)在第四条车道线上；

62、计算总损失函数loss：

63、loss＝lcls+lsim+lseg

64、利用总损失函数loss，更新连接语义分割模块的车道线检测模型的模型参数；

65、当连接语义分割模块的车道线检测模型的模型参数训练完成后，得到训练完成车道线检测模型。

66、进一步地，所述语义分割模块包括：第二去除旋转单元、第二去除扩充单元、拼接单元和第二卷积层；

67、所述第二去除旋转单元，用于分别对空间注意力的可变形卷积单元单元输出的特征图、第三下采样单元输出的特征图和第四下采样单元输出的特征图进行去除旋转处理，得到三个去除旋转后的特征图；

68、所述第二去除扩充单元，用于分别对三个去除旋转后的特征图进行去除扩充处理，得到大小为的特征图大小为的特征图和大小为的特征图

69、所述拼接单元，用于分别对特征图和特征图进行线性插值，得到两个大小为的特征图，将这两个特征图与特征图在通道上进行拼接，得到拼接后的特征图；

70、所述第二卷积层，用于对拼接后的特征图进行处理，得到像素级的车道线分割预测图像。

71、第二方面，本技术实施例提供了一种电子设备，包括：存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本技术实施例的方法。

72、第三方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令被处理器执行时实现本技术实施例的方法。

73、本技术提高了弯曲车道线的检测速度和精度。