一种路面标记检测方法、装置、设备和存储介质与流程

1.本技术涉及图像处理技术领域，尤其涉及一种路面标记检测方法、装置、设备和存储介质。


背景技术：

2.路面标记检测是自动驾驶领域的一个重要任务。现有的路面标记检测方法大都是基于分割的方法获取像素级别的连通域表示，然后通过连通域聚类，来提取路面标记实例，再将点集拟合成曲线方程形式，该方法在获取到分割结果后有较复杂的后处理过程，存在检测过程复杂、检测速度慢的问题。


技术实现要素：

3.本技术提供了一种路面标记检测方法、装置、设备和存储介质，用于改善现有技术有较复杂的后处理过程，存在检测过程复杂、检测速度慢的技术问题。
4.有鉴于此，本技术第一方面提供了一种路面标记检测方法，包括：
5.获取待检测道路图像；
6.将所述待检测道路图像输入到预置检测模型中进行路面标记检测，得到路面标记检测结果；
7.根据所述路面标记检测结果从所述预置检测模型输出的最终特征图中提取路面标记实例，并将所述路面标记实例中各点在最终特征图尺度上的像素坐标转换为在待检测道路图像尺度上的像素坐标以得到路面标记序列。
8.可选的，所述预置检测模型的配置过程为：
9.获取路面标记图像和所述路面标记图像对应的预设采样点数量的有序点集；
10.通过所述路面标记图像和所述有序点集计算各路面标记的目标偏移和路面标记长度；
11.以所述路面标记图像为输入数据，以路面标记类别、目标偏移和路面标记长度为学习目标对预置卷积神经网络进行训练，得到预置检测模型。
12.可选的，通过所述路面标记图像和所述有序点集计算各路面标记的目标偏移，包括：
13.以所述有序点集中各路面标记累计长度的一半的点为目标点，根据所述路面标记图像的大小和所述预置卷积神经网络输出的最终特征图的大小计算采样倍数；
14.通过各路面标记的所述目标点的坐标和所述采样倍数计算各路面标记的目标点偏移；
15.计算所述有序点集中各路面标记中除目标点以外的采样点与对应的目标点的偏移，得到采样点偏移；
16.将各路面标记的所述目标点偏移和所述采样点偏移作为目标偏移，或，对各路面标记的所述采样点偏移进行归一化，将各路面标记的所述目标点偏移和归一化后的采样点
偏移作为目标偏移。
17.可选的，所述通过各路面标记的所述目标点的坐标和所述采样倍数计算各路面标记的目标点偏移，包括：
18.将各路面标记的所述目标点的两个坐标值分别除以所述采样倍数，得到各路面标记的所述目标点的两个坐标中间值；
19.对所述目标点的两个坐标中间值进行取整，得到所述目标点的两个坐标索引值；
20.计算各路面标记的所述目标点的两个坐标中间值与对应的两个坐标索引值的差值，得到各路面标记的目标点偏移。
21.可选的，所述对各路面标记的所述采样点偏移进行归一化，包括：
22.通过所述路面标记图像的宽度对各路面标记的所述采样点偏移的横坐标值进行归一化，通过所述路面标记图像的高度对各路面标记的所述采样点偏移的纵坐标值进行归一化；
23.或，通过路面标记长度对各路面标记的所述采样点偏移的两个坐标值进行归一化。
24.可选的，获取所述路面标记图像对应的预设采样点数量的有序点集，包括：
25.获取所述路面标记图像对应的已标注路面标记有序点集，根据所述路面标记有序点集依次连接路面标记上相邻的两个标注点，得到线段向量组；
26.计算所述线段向量组中相邻的两个线段向量对应的圆弧的曲率半径；
27.当所述路面标记的标注点数量不等于预设采样点数量时，根据所述曲率半径对所述路面标记进行处理，使得所述路面标记的最终标注点数量等于所述预设采样点数量，从而得到所述路面标记图像对应的预设采样点数量的有序点集。
28.可选的，所述路面标记检测结果包括所述预置检测模型输出的最终特征图中各个像素点的路面标记存在性概率和路面标记类别概率；
29.所述根据所述路面标记检测结果从所述预置检测模型输出的最终特征图中提取路面标记实例，包括：
30.从所述预置检测模型输出的最终特征图中提取所述路面标记存在性概率高于存在性概率阈值的目标像素点；
31.根据所述目标像素点的所述路面标记类别概率确定所述目标像素点的路面标记类别，并从所述目标像素点中提取所述路面标记类别概率高于类别概率阈值的路面标记实例。
32.可选的，所述路面标记检测结果还包括目标偏移预测值，所述目标偏移预测值包括目标点偏移预测值和采样点偏移预测值；
33.所述将所述路面标记实例中各点在最终特征图尺度上的像素坐标转换为在待检测道路图像尺度上的像素坐标以得到路面标记序列，包括：
34.根据所述目标点偏移获取所述路面标记实例的目标点在最终特征图尺度上的像素坐标；
35.根据所述待检测道路图像的大小和所述最终特征图的大小上将所述路面标记实例的目标点在最终特征图尺度上的像素坐标转换为在待检测道路图像尺度上的像素坐标；
36.根据所述采样点偏移预测值和所述路面标记实例的目标点在最终特征图尺度上
的像素坐标计算所述路面标记实例中除目标点以外的采样点在待检测道路图像尺度上的像素坐标，得到路面标记序列。
37.可选的，所述方法还包括：
38.计算所述路面标记序列中各路面标记之间的距离；
39.当两个路面标记之间的距离小于预置距离阈值时，剔除所述路面标记类别概率较小的路面标记对应的路面标记序列，得到最终路面标记序列。
40.可选的，所述计算所述路面标记序列中各路面标记之间的距离，包括：
41.根据所述路面标记序列中各点坐标计算各路面标记之间的水平距离；
42.将各路面标记之间的水平距离作为各路面标记之间的距离；
43.或，根据所述路面标记序列拟合各路面标记与水平线的夹角，并通过各路面标记与水平线的夹角计算各路面标记之间的距离权重系数；
44.通过各路面标记之间的所述距离权重系数对各路面标记之间的所述水平距离进行加权，得到各路面标记之间的距离。
45.本技术第二方面提供了一种路面标记检测装置，包括：
46.获取单元，用于获取待检测道路图像；
47.检测单元，用于将所述待检测道路图像输入到预置检测模型中进行路面标记检测，得到路面标记检测结果；
48.解析单元，用于根据所述路面标记检测结果从所述预置检测模型输出的最终特征图中提取路面标记实例，并将所述路面标记实例中各点在最终特征图尺度上的像素坐标转换为在待检测道路图像尺度上的像素坐标以得到路面标记序列。
49.本技术第三方面提供了一种路面标记检测设备，所述设备包括处理器以及存储器；
50.所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
51.所述处理器用于根据所述程序代码中的指令执行第一方面任一种所述的路面标记检测方法。
52.本技术第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码被处理器执行时实现第一方面任一种所述的路面标记检测方法。
53.从以上技术方案可以看出，本技术具有以下优点：
54.本技术提供了一种路面标记检测方法，包括：获取待检测道路图像；将待检测道路图像输入到预置检测模型中进行路面标记检测，得到路面标记检测结果；根据路面标记检测结果从预置检测模型输出的最终特征图中提取路面标记实例，并将路面标记实例中各点在最终特征图尺度上的像素坐标转换为在待检测道路图像尺度上的像素坐标以得到路面标记序列。
55.本技术中，通过预置检测模型对待检测道路图像进行端到端的路面标记检测，检测过程简单，检测速度快；在得到路面标记检测结果后，对路面标记检测结果进行简单的解析，可以快速的恢复出实例级的路面标记表示，不需要复杂的后处理过程，耗时少，改善了现有技术有较复杂的后处理过程，存在检测过程复杂、检测速度慢的技术问题。
附图说明
56.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
57.图1为本技术实施例提供的一种路面标记检测方法的一个流程示意图；
58.图2为本技术实施例提供的一种路面标记检测方法的另一个流程示意图；
59.图3为本技术实施例提供的一种路面标记检测装置的一个结构示意图；
60.图4为本技术实施例提供的一种路面标记检测设备的一个结构示意图。
具体实施方式
61.本技术提供了一种路面标记检测方法、装置、设备和存储介质，用于改善现有技术有较复杂的后处理过程，存在检测过程复杂、检测速度慢的技术问题。
62.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
63.为了便于理解，请参阅图1，本技术实施例提供了一种路面标记检测方法，包括：
64.步骤101、获取待检测道路图像。
65.可以通过车端传感器采集道路图像，考虑到采集的原始道路图像的大小一般比较大，可以对原始道路图像进行裁剪、缩放等，以得到预置大小的道路图像，然后可以进一步对其进行归一化操作以得到待检测道路图像。
66.步骤102、将待检测道路图像输入到预置检测模型中进行路面标记检测，得到路面标记检测结果。
67.将待检测道路图像输入到预置检测模型中进行路面标记检测，进而得到待检测道路图像的路面标记检测结果，其中，预置检测模型为训练好的卷积神经网络模型。本技术实施例中的路面标记为线状目标，具体可以为车道线、道路边沿、其他的道路标志线或杆状物等。
68.进一步，本技术中的预置检测模型的配置过程为：
69.s1、获取路面标记图像和路面标记图像对应的预设采样点数量的有序点集；
70.路面标记图像中包括至少一个路面标记，可以从公共数据库中获取大量的路面标记图像和对应的路面标记有序点集，各路面标记图像均为预置大小的图像。考虑到在训练模型时，根据实际情况设置的预设采样点数可能会与数据库中预先标注好的路面标记有序点集中的标注点数量不同，当标注点数量与预设采样点数不相同时，可以对已标注路面标记有序点集进行预处理，以获取预设采样点数量的有序点集。
71.在一种实施例中，当路面标记有序点集的标注点数量小于预设采样点数量时，可以直接根据标注点数量与预设采样点数量的绝对差值f，在路面标记有序点集中随机插值f个采样点，使得路面标记有序点集的最终标注点数量等于预设采样点数量。当路面标记有序点集的标注点数量大于预设采样点数量时，可以直接根据标注点数量与预设采样点数量
的绝对差值f，在路面标记有序点集中随机删除f个标注点，一般保留路面标记有序点集中的起点和终点，使得路面标记有序点集的最终标注点数量等于预设采样点数量。
72.在另一种实施例中，可以通过曲率半径来对有序点集进行插值或删除部分点，以最少的精度损失来获取预设采样点数量的有序点集。具体的，获取路面标记图像对应的预设采样点数量的有序点集的过程可以为：
73.s10、获取路面标记图像对应的已标注路面标记有序点集，根据路面标记有序点集依次连接路面标记上相邻的两个标注点，得到线段向量组；
74.获取到已经标注好的路面标记有序点集后，对路面标记有序点集中相邻的两个标注点构成的线段进行矢量化处理。具体的，考虑到车辆采集的道路图像中，靠近车辆的路面标记(如靠近图像底部的车道线)更清晰，标注的可靠性、统一性更好。因此，本技术实施例优选图像中最靠近下边缘的标注点作为路面标记有序点集的起点，以相邻的两个标注点为端点，依次连接相邻的两个标注点生成线段向量组，线段向量组中各个线段向量按顺序可以表示为l1、l2、...、ln，其中，n为线段向量的数量。假设有a(x1,y1)、b(x2,y2)、c(x3,y3)三个标注点，其中，a点为起点，c点为终点，按顺序连接相邻的两个标注点，得到的线段向量组包括线段向量和线段向量线段向量可以表示为l1(x
2-x1,y
2-y1)和线段向量可以表示为l2(x
3-x2,y
3-y2)。
75.s11、计算线段向量组中相邻的两个线段向量对应的圆弧的曲率半径；
76.在获取到线段向量组之后，计算线段向量组中相邻的两个线段向量的夹角。在一种实施例中，可以根据线段向量组中相邻的两个线段向量的内积和模长计算相邻的两个线段向量的夹角余弦值，如线段向量l
n-1
与线段向量ln的夹角余弦值为cosθ
n-1
＝(l
n-1
·
ln)/(|l
n-1
||ln|)；通过相邻的两个线段向量的夹角余弦值计算相邻的两个线段向量的夹角，如线段向量l
n-1
与线段向量ln的夹角为θ
n-1
＝arccos((l
n-1
·
ln)/(|l
n-1
||ln|))，其中，n》2。
77.在另一种实施例中，可以根据线段向量组中相邻的两个线段向量的叉积和模长计算相邻的两个线段向量的夹角正弦值，如线段向量l
n-1
与线段向量ln的夹角正弦值为sinθ
n-1
＝|l
n-1
×
ln|/(|l
n-1
||ln|)；通过相邻的两个线段向量的夹角正弦值计算相邻的两个线段向量的夹角，如线段向量l
n-1
与线段向量ln的夹角θ
n-1
为：
[0078][0079]
在另一种实施例中，还可以根据线段向量组中相邻的两个线段向量的内积和模长计算相邻的两个线段向量的夹角余弦值，如线段向量l
n-1
与线段向量ln的夹角余弦值为cosθ
n-1
＝(l
n-1
·
ln)/(|l
n-1
||ln|)；根据相邻的两个线段向量的叉积和模长计算相邻的两个线段向量的夹角正弦值，如线段向量l
n-1
与线段向量ln的夹角正弦值为sinθ
n-1
＝|l
n-1
×
ln|/(|l
n-1
||ln|)；通过相邻的两个线段向量的夹角余弦值和夹角正弦值计算相邻的两个线段向量的夹角正切值，如线段向量l
n-1
与线段向量ln的夹角正切值为tanθ
n-1
＝sinθ
n-1
/cosθ
n-1
；通过相邻的两个线段向量的夹角正切值计算相邻的两个线段向量的夹角，如线段向量l
n-1
与线段向量ln的夹角为θ
n-1
＝arctan(sinθ
n-1
/cosθ
n-1
)。当然，也可以直接计算线段向量组中相邻的两个线段向量的叉积和内积，然后通过公式θ
n-1
＝arctan(|l
n-1
×
ln|/l
n-1
·
ln)计算得到相邻两个线段向量的夹角。
[0080]
通过上述过程计算得到的夹角取值范围为[0,180
°
]，在计算得到相邻的两个线段向量的夹角后，以相邻的两个线段向量对应的线段为圆弧起点和圆弧终点的切线确定相邻的两个线段向量对应的圆弧，可以根据相邻的两个线段向量的模长和夹角计算相邻的两个线段向量对应的圆弧的曲率半径。具体的，从相邻的两个线段向量中的前一个线段向量的起点到后一个线段向量的终点构建光滑圆弧，以相邻的两个线段向量对应的线段为圆弧起点的切线和圆弧终点的切线可以确定相邻的两个线段向量对应的唯一一个圆弧，已知圆弧的曲率半径r等于该圆弧的弧长与该圆弧对应的圆心角(即该圆弧对应的相邻的两个线段向量的夹角θ)的比值，本技术实施例采用相邻的两个线段向量的模长之和来近似相邻的两个线段向量的夹角对应的圆弧的弧长，进而计算相邻的两个线段向量对应的圆弧的曲率半径，即相邻的两个线段向量l
n-1
与ln对应的圆弧的曲率半径为r
n-1
＝(|l
n-1
|+|ln|)/θ
n-1
。在计算得到线段向量组中相邻的两个线段向量对应的圆弧的曲率半径后，可以关联各个曲率半径与相邻的两个线段向量的对应关系。假设线段向量组中有3个线段向量l1、l2、l3，相邻的线段向量l1和l2可以确定唯一的圆弧l1l2，根据线段向量l1和l2的模长和夹角可以计算得到对应的圆弧l1l2的曲率半径r1，即曲率半径r1与圆弧l1l2存在对应关系，圆弧l1l2与相邻的线段向量l1和l2存在对应关系，从而可以关联曲率半径r1与相邻的线段向量l1和l2，即曲率半径r1对应的相邻的线段向量为线段向量l1和l2；同理，相邻的线段向量l2和l3可以确定唯一的圆弧l2l3，根据线段向量l2和l3的模长和夹角可以计算得到对应的圆弧l2l3的曲率半径r2，即曲率半径r2与圆弧l2l3存在对应关系，圆弧l2l3与相邻的线段向量l2和l3存在对应关系，从而可以关联曲率半径r2与相邻的线段向量l2和l3，即曲率半径r2对应的相邻的线段向量为线段向量l2和l3。
[0081]
s12、当路面标记的标注点数量不等于预设采样点数量时，根据曲率半径对路面标记进行处理，使得路面标记的最终标注点数量等于预设采样点数量，从而得到路面标记图像对应的预设采样点数量的有序点集。
[0082]
当路面标记有序点集的标注点数量等于预设采样点数量时，保留路面标记有序点集的所有标注点，其中，预设采样点数量可以是根据实际经验或实验情况配置得到的数据。当路面标记有序点集的标注点数量与实际需要的预设采样点数量不相等时，可以根据曲率半径对路面标记有序点集进行处理，使得路面标记有序点集的最终标注点数量等于预设采样点数量。
[0083]
当路面标记有序点集的标注点数量小于预设采样点数量时，根据曲率半径对路面标记有序点集进行插值，使得路面标记有序点集的最终标注点数量等于预设采样点数量，最终标注点包括原始的标注点和新增的采样点。
[0084]
具体的，当路面标记有序点集的标注点数量n小于预设采样点数量m时，可以根据预设采样点数量和路面标记有序点集的标注点数量的差值m-n以及线段向量的数量n计算第一数量m＝(m-n)/n和第二数量k＝(m-n)％n，其中，m为m-n除以n的商，k为m-n除以n的余数，n＝n-1；对第一数量个最小曲率半径对应的相邻的两个线段向量中的前一个线段向量插值第二数量加一个采样点，对剩余的线段向量(即未插值的线段向量)中各线段向量插值第二数量个采样点，使得路面标记有序点集的最终标注点数量等于预设采样点数量。可以对所有曲率半径按照大小进行升序排序(也可以降序排序)，然后可以对升序排序后的前k个最小曲率半径对应的相邻的两个线段向量中的前一个线段向量均匀插值m+1个点，对剩
余的n-k个线段向量中各线段向量均匀插值m个点。曲率半径越小，说明该曲率半径对应的线段的弯曲程度越大，当路面标记有序点集的标注点数量小于预设采样点数量时，说明需要更多的标注点，本技术实施例在保留原始的标注点的基础上，优先在弯曲的这部分线段中进行插值，补齐到预设采样点数量的标注点，对原始有序点集没有精度损失。
[0085]
当路面标记有序点集的标注点数量大于预设采样点数量时，可以根据曲率半径删除路面标记有序点集的部分标注点，使得路面标记有序点集的最终标注点数量等于预设采样点数量。具体的，当路面标记有序点集的标注点数量n大于预设采样点数量m时，计算路面标记有序点集的标注点数量与预设采样点数量的差值n-m，得到第三数量n-m；删除第三数量n-m个最大曲率半径对应的相邻的两个线段向量中的前一个线段向量的线段终点，使得路面标记有序点集的最终标注点数量等于预设采样点数量。当路面标记有序点集的标注点数量n大于预设采样点数量m时，说明需要删除路面标记有序点集中的n-m个标注点，可以对所有曲率半径按照大小进行降序排序(也可以升序排序)，然后删除降序排序后的前n-m个最大曲率半径对应的相邻的两个线段向量中的前一个线段向量的线段终点，此时路面标记有序点集的起点和终点始终会保留，即删除的标注点是线段的中间点。曲率半径越大，说明其对应的线段越接近直线，当需要减少标注点数量时，可以优先删除最接近直线的线段的中间点，以较小的误差尽可能保持路面标记的原始形状；删除路面标记有序点集的部分标注点，虽然相对原始标注点会存在精度损失，但本技术实施例中的这部分损失产生在最接近直线的线段部分，对点集精度的影响很有限。
[0086]
在确定好采样点数量后，不同形态的路面标记通过上述处理方式都可以得到统一的有序点集表示，且点数通常不会太多，相比于上述采用无差别的方式对路面标记有序点集进行插值或删除标注点，基于曲率半径对路面标记进行处理的方法可以利用相对较少的点数对各种位置、形状的路面标记进行更精确的表示，相对原始有序点集的精度损失更小。
[0087]
本技术实施例中，通过对路面标记有序点集中相邻的两个标注点进行连接，以生成线段向量组，以便计算各线段向量组中相邻的两个线段向量对应的圆弧的曲率半径，进而可以通过曲率半径对路面标记有序点集进行处理，使得路面标记有序点集的最终标注点数量与预设采样点数量统一，实现了不同标记路面有序点集的统一表示，更好地满足了实际需要。
[0088]
s2、通过路面标记图像和有序点集计算各路面标记的目标偏移和路面标记长度；
[0089]
本技术实施例中，在训练预置卷积神经网络时，以路面标记实例为单位构建预置卷积神经网络的网络学习目标，路面标记实例具体表示可以为：以有序点集中各路面标记累计长度的一半的点为对应路面标记实例的目标点，按照实际需求生成每个路面标记实例的路面标记类别。其中，一个路面标记对应一个路面标记实例。
[0090]
本技术实施例中，优选以有序点集中各路面标记累计长度的一半的点(xc,yc)为目标点，根据路面标记图像的大小img_width*img_length和预置卷积神经网络输出的最终特征图的大小f_width*f_length计算采样倍数，采样倍数包括横坐标采样倍数s
x
＝img_width/f_width和纵坐标采样倍数sy＝img_length/f_length；通过各路面标记的目标点的坐标(xc,yc)和采样倍数计算各路面标记的目标点偏移。具体的，将各路面标记的目标点的两个坐标值分别除以采样倍数，得到各路面标记的目标点的两个坐标中间值(xg,yg)，从而将原始路面标记图像中的目标点投影到最终特征图的网格中，即xg＝xc/s
x
，yg＝yc/sy；对目
标点的两个坐标中间值进行取整，得到目标点的两个坐标索引值(g
x
,gy)，即g
x
＝floor(xg)，gy＝floor(yg)，floor()为向下取整函数；计算各路面标记的目标点的两个坐标中间值与对应的两个坐标索引值的差值，得到各路面标记的目标点偏移(c
x
,cy)，即c
x
＝x
g-g
x
，cy＝y
g-gy，目标点偏移的两个坐标值在范围0～1之间。
[0091]
在计算得到各路面标记的目标点偏移后，首先，将各路面标记除目标点以外的采样点的横坐标值除以横坐标采样倍数，纵坐标值除以纵坐标采样倍数，得到除目标点以外的采样点投影到预置卷积神经网络输出的最终特征图上的坐标(xi,yi)，然后根据有序点集中各路面标记中除目标点以外的采样点在最终特征图上的像素坐标(xi,yi)和对应目标点在最终特征图上的像素坐标计算采样点与对应的目标点在最终特征图上的偏移，得到采样点偏移(o
xi
,o
yi
)，即o
xi
＝x
i-xg，o
yi
＝y
i-yg。
[0092]
在一种实施例中，可以直接将各路面标记的目标点偏移和采样点偏移作为目标偏移。直接将各路面标记的采样点偏移作为目标偏移输入到预置卷积神经网络中进行学习，数值范围跨度比较大，使得预置卷积神经网络的学习难度比较大。
[0093]
在另一种实施例中，可以对各路面标记的采样点偏移进行归一化，将目标点偏移和归一化后的采样点偏移作为目标偏移。考虑到直接将各路面标记的采样点偏移作为网络学习目标，数值范围跨度较大，学习难度大。因此，可以对各路面标记的采样点偏移进行归一化。
[0094]
可以通过路面标记图像的宽度img_width对各路面标记的采样点偏移的横坐标值进行归一化，通过路面标记图像的高度img_length对各路面标记的采样点偏移的纵坐标值进行归一化，数值范围被压缩到[0,1]，但该方法对于偏移值较小的点(即较短的路面标记)会增加相对误差。
[0095]
或者，可以通过路面标记长度对各路面标记的采样点偏移的两个坐标值进行归一化，对不同长度的路面标记可以得到相同分布的目标，可以降低学习难度。
[0096]
其中，路面标记长度可以是绝对长度，也可以是用路面标记图像的宽度、高度或对角线长度归一化后的相对长度。
[0097]
s3、以路面标记图像为输入数据，以路面标记类别、目标偏移和路面标记长度为学习目标对预置卷积神经网络进行训练，得到预置检测模型。
[0098]
本技术实施例中的预置卷积神经网络包括特征提取模块和预测模块，可以采用现有的特征提取网络(如残差网络等)作为特征提取模块，特征提取模块用于提取输入的路面标记图像的特征图，预测模块用于对特征提取模块提取的特征图进行路面标记检测，其中，预测模块可以由多个检测头构成，检测头可以连接在特征提取模块的任意特征图上，也可以同时连接在多个不同尺度、不同特征图上，检测头最终连接的特征图即为前述指出的最终特征图。检测头具体可以包括路面标记存在性检测头、路面标记类别检测头、目标点偏移检测头、采样点偏移检测头和路面标记长度检测头。路面标记存在性检测头用于检测输入的最终特征图中是否存在路面标记，输出最终特征图上每个像素点的路面标记存在性概率。若最终特征图跟输入的路面标记图像的大小一样，则最终特征图中的一个像素点对应原输入的路面标记图像中的一个像素点，若最终特征图为原输入的路面标记图像的s倍下采样后的大小，则最终特征图中的一个像素点对应原图像中的s*s范围的像素点，路面标记存在性检测头最终输出的每个像素点的数值包含有路面标记存在性概率。路面标记类别检
测头用于检测输入的最终特征图中路面标记的类别，输出的是路面标记类别概率，每个路面标记实例用多分类的概率表示，每个像素点包含输出的最大路面标记数的多个分类，当最大路面标记数设定为1时，一个像素点对应一个路面标记实例，一个路面标记实例对应一个路面标记。目标点偏移检测头用于预测各路面标记的目标点在最终特征图上的偏移，输出目标点偏移预测值。采样点偏移检测头用于预测路面标记中除目标点以外的采样点与目标点在最终特征图上的偏移，输出采样点偏移预测值。路面标记长度检测头用于预测各路面标记的长度，输出路面标记长度预测值，可以是绝对长度，也可以是采用图像的宽度、高度或对角线长度归一化后的相对长度。可以理解的是，本技术实施例中的预测模块也可以采用视觉转换器(visual transformer)替换检测头，采用visual transformer直接预测指定数量的路面标记实例。
[0099]
本技术实施例以路面标记图像为输入数据，以路面标记类别、目标偏移和路面标记长度为学习目标对预置卷积神经网络进行训练，直到预置卷积神经网络收敛，得到训练好的预置卷积神经网络模型，将训练好的预置卷积神经网络模型作为预置检测模型。
[0100]
现有技术在进行车道线等路面标记检测时，通常采用沿图像高度均匀采样点的坐标回归的方式来进行车道线检测，该方法基本都是基于车辆直行与车道基本平行的前提，无法处理与车辆成较大角度的车道线，也不能谱适的扩展到道路边沿等形态各异的路面标记类型；现有技术也有采用直接回归车道线的方程参数来进行车道线检测，由于真值本身拟合的误差，导致无法得到较高精度的检测结果。而本技术实施例中的预置检测模型以路面标记实例为单位构建的训练目标，通过两个分类检测头可以分别实现路面标记存在性预测和类别预测，通过偏移检测头可以实现路面标记位置和形状的预测，可以预测各种形状的路面标记，检测精度高；并且，本技术实施例以路面标记的长度累计的一半的点为路面标记实例的目标点，可以处理任意多的路面标记数目，且存在性预测与图像实际表现一致相关，更灵活后续各线段之间的关联和合并等。
[0101]
步骤103、根据路面标记检测结果从预置检测模型输出的最终特征图中提取路面标记实例，并将路面标记实例中各点在最终特征图尺度上的像素坐标转换为在待检测道路图像尺度上的像素坐标以得到路面标记序列。
[0102]
本技术实施例中的路面标记检测结果包括预置检测模型输出的最终特征图中各个像素点的路面标记存在性概率、路面标记类别概率、目标偏移预测值和路面标记长度预测值，其中，目标偏移预测值包括目标点偏移预测值和采样点偏移预测值。
[0103]
在解析路面标记检测结果时，首先，根据路面标记存在性概率从预置检测模型输出的最终特征图中提取路面标记存在性概率高于存在性概率阈值的目标像素点，最终特征图中路面标记存在性概率高于存在性概率阈值的目标像素点即为属于路面标记的点；然后，根据目标像素点的路面标记类别概率确定目标像素点的路面标记类别，并从目标像素点中提取路面标记类别概率高于类别概率阈值的路面标记实例，根据最终特征图上每个目标像素点中每个路面标记实例的路面标记类别概率确定该目标像素点所属的路面标记类别，当存在多个路面标记类别时，路面标记类别检测头会预测每个标记类别实例在各个路面标记类别下的路面标记类别概率，各类别下的路面标记类别概率之和为1，其中，路面标记类别概率值最大的类别即为路面标记实例所属类别，然后从目标像素点中提取路面标记类别概率高于类别概率阈值的路面标记实例。通过路面标记长度预测值可以获取各路面标
记实例的路面标记长度。
[0104]
对于提取的每个路面标记实例，首先，根据目标点偏移获取路面标记实例的目标点在最终特征图尺度上的像素坐标。具体的，在训练预置卷积神经网络时，是直接采用计算得到的目标点偏移作为网络学习目标，因此直接对目标点偏移检测头输出的目标点偏移预测值(c
′
x
,c
′y)进行反向计算，得到各路面标记实例的目标点在预测的最终特征图尺度上的像素坐标(x
′g,y
′g)，其中，x
′g＝c
′
x
+g
x
，y
′g＝c
′y+gy，g
x
为各路面标记实例对应的目标像素点在预测的最终特征图上的横向索引值，gy为各路面标记实例对应的目标像素点在预测的最终特征图上的纵向索引值。
[0105]
然后，根据待检测道路图像的大小和最终特征图的大小上将路面标记实例的目标点在最终特征图尺度上的像素坐标转换为在待检测道路图像尺度上的像素坐标。具体的，通过待检测道路图像的大小和最终特征图的大小可以确定横坐标采样倍数s
x
和纵坐标采样倍数sy；将各路面标记实例的目标点在最终特征图尺度上的像素坐标(x
′g,y
′g)中的横坐标值x
′g乘以横坐标采样倍数s
x
、各路面标记实例的目标点在最终特征图尺度上的像素坐标(x
′g,y
′g)中的纵坐标值y
′g乘以纵坐标采样倍数sy，从而得到各路面标记实例的目标点在待检测道路图像尺度上的像素坐标(x
′c,y
′c)。可以理解的是，训练时输入到预置卷积神经网络中的路面标记图像的大小和预测时输入到预置检测模型中的待检测道路图像的大小是一致的。
[0106]
最后，根据采样点偏移预测值和路面标记实例的目标点在最终特征图尺度上的像素坐标计算路面标记实例中除目标点以外的采样点在待检测道路图像尺度上的像素坐标，得到路面标记序列。具体的，对于每一个路面标记实例，若在训练预置卷积神经网络时，是直接采用计算得到的采样点偏移作为网络学习目标时，则直接对采样点偏移检测头输出的采样点偏移预测值(o
′
xi
,o
′
yi
)和对应目标点在最终特征图尺度上的像素坐标(x
′g,y
′g)进行求和，得到各路面标记实例中除目标点以外的采样点在最终特征图尺度上的像素坐标(x
′i,y
′i)，即x
′i＝o
′
xi
+x
′g，y
′i＝o
′
yi
+y
′g。若在训练预置卷积神经网络时，是采用归一化后的采样点偏移作为网络学习目标时，则先对采样点偏移检测头输出的采样点偏移预测值(o
′
xi
,o
′
yi
)进行归一化逆操作，得到归一化前的采样点偏移预测值，然后对归一化前的采样点偏移预测值和对应目标点在最终特征图尺度上的像素坐标(x
′g,y
′g)进行求和，得到各路面标记实例中除目标点以外的采样点在最终特征图尺度上的像素坐标(x
′i,y
′i)。其中，若训练时，是采用输入图像的宽度和高度来对采样点偏移进行归一化，预测时，则基于输入图像的宽度和高度对采样点偏移预测值进行归一化逆操作；若训练时，是采用路面标记长度来对采样点偏移进行归一化，预测时，则基于路面标记长度预测值获取的路面标记长度对采样点偏移预测值进行归一化逆操作。
[0107]
将各路面标记实例中除目标点以外的采样点在最终特征图尺度上的像素坐标(x
′i,y
′i)中的横坐标值x
′i乘以横坐标采样倍数s
x
、将各路面标记实例中除目标点以外的采样点在最终特征图尺度上的像素坐标(x
′i,y
′i)中的纵坐标值y
′i乘以纵坐标采样倍数sy，从而得到各路面标记实例中除目标点以外的采样点在输入的待检测道路图像尺度上的像素坐标，从而得到路面标记序列。在对路面标记序列进行可视化时，则按顺序连接各路面标记序列中的各点，得到各路面标记序列对应的线条表示。
[0108]
本技术实施例中，通过预置检测模型对待检测道路图像进行端到端的路面标记检
测，检测过程简单，检测速度快；在得到路面标记检测结果后，对路面标记检测结果进行简单的解析，可以快速的恢复出实例级的路面标记表示，不需要复杂的后处理过程，耗时少，改善了现有技术有较复杂的后处理过程，存在检测过程复杂、检测速度慢的技术问题。
[0109]
以上为本技术提供的一种路面标记检测方法的一个实施例，以下为本技术提供的一种路面标记检测方法的另一个实施例。
[0110]
请参考图2，本技术实施例提供的一种路面标记检测方法，包括：
[0111]
步骤201、获取待检测道路图像；
[0112]
步骤202、将待检测道路图像输入到预置检测模型中进行路面标记检测，得到路面标记检测结果；
[0113]
步骤203、根据路面标记检测结果从预置检测模型输出的最终特征图中提取路面标记实例，并将路面标记实例中各点在最终特征图尺度上的像素坐标转换为在待检测道路图像尺度上的像素坐标以得到路面标记序列。
[0114]
步骤201至步骤203的具体内容与前述步骤101至步骤103的具体内容一致，在此不再进行赘述。
[0115]
步骤204、对路面标记序列进行筛选，得到最终路面标记序列。
[0116]
本技术实施例中，优选基于两路面标记之间的距离来对路面标记序列进行筛选。首先，计算路面标记序列中各路面标记之间的距离。
[0117]
在一种实施例中，根据路面标记序列中各点坐标计算各路面标记之间的水平距离，将各路面标记之间的水平距离作为各路面标记之间的距离。假设路面标记a对应的路面标记序列为路面标记b对应的路面标记序列为其中，为路面标记序列ia中的第i个采样点，为路面标记序列ib中的第i个采样点，ae为路面标记序列ia的终点索引，be为路面标记序列ib的终点索引，as为路面标记序列ia的起点索引，bs为路面标记序列ib的起点索引，路面标记a与路面标记b之间的水平距离d可以采用如下公式计算：
[0118][0119]
式中，e＝min(ae,be)，s＝max(as,bs)，min()为取最小值函数，max()为取最大值函数。
[0120]
在另一种实施例中，根据路面标记序列拟合各路面标记与水平线的夹角；并通过各路面标记与水平线的夹角计算各路面标记之间的距离权重系数，假设，拟合路面标记a对应的路面标记序列ia与水平线的夹角为θa，拟合路面标记b对应的路面标记序列ib与水平线的夹角为θb，路面标记a与路面标记b之间的距离权重系数w
a,b
＝sin(max(θa,θb))/cos(|θ
a-θb|/2)。通过各路面标记之间的距离权重系数对各路面标记之间的水平距离进行加权，得到各路面标记之间的距离。可以理解的是，也可以拟合各路面标记序列中各点与水平线的夹角，通过两路面标记序列中两点与水平线的夹角计算这两点的距离权重系数，通过这两点的距离权重系数对这两点之间的水平距离(即这两点的横坐标差值)进行加权，得到水平
加权距离，最后对这两路面标记序列中所有点的水平加权距离求平均值，得到这两路面标记序列之间的距离。
[0121]
本技术实施例中，通过拟合各路面标记序列与水平线的夹角，进而通过两路面标记序列与水平线的夹角计算得到距离权重系数，通过距离权重系数对两路面标记序列之间的水平距离进行加权，使得计算路面标记序列之间的距离与两路面标记序列之间的角度无关，从而避免因为角度关系影响路面标记之间的距离度量结果。
[0122]
当两个路面标记之间的距离小于预置距离阈值时，剔除路面标记类别概率较小的路面标记对应的路面标记序列，被剔除的路面标记序列视为低质量的路面标记序列；当两个路面标记之间的距离大于或等于预置距离阈值时，这两个路面标记对应的路面标记序列均被保留，从而得到最终路面标记序列。其中，预置距离阈值可以根据实际情况进行具体设置，在此不作具体限定。
[0123]
在获取到最终路面标记序列后，需要对最终路面标记序列进行可视化时，则按顺序连接各最终路面标记序列中的各点，得到各最终路面标记序列对应的线条表示。另外，在自动驾驶实际应用场景中，需要将最终路面标记序列中各点坐标从二维转换到三维，从而得到物理坐标系下的路面标记序列。将最终路面标记序列中各点坐标从二维转换到三维属于现有技术，在此不再进行赘述。
[0124]
本技术实施例中，通过预置检测模型对待检测道路图像进行端到端的路面标记检测，检测过程简单，检测速度快；在得到路面标记检测结果后，对路面标记检测结果进行简单的解析，可以快速的恢复出实例级的路面标记表示，不需要复杂的后处理过程，耗时少，改善了现有技术有较复杂的后处理过程，存在检测过程复杂、检测速度慢的技术问题；
[0125]
进一步，本技术实施例通过计算各路面标记序列之间的距离来筛选掉低质量的路面标记序列，得到最终路面标记序列，进一步提高路面标记检测结果的准确性。
[0126]
以上为本技术提供的一种路面标记检测方法的另一个实施例，以下为本技术提供的一种路面标记检测装置的一个实施例。
[0127]
请参考图3，本技术实施例提供的一种路面标记检测装置，包括：
[0128]
获取单元，用于获取待检测道路图像；
[0129]
检测单元，用于将待检测道路图像输入到预置检测模型中进行路面标记检测，得到路面标记检测结果；
[0130]
解析单元，用于根据路面标记检测结果从预置检测模型输出的最终特征图中提取路面标记实例，并将路面标记实例中各点在最终特征图尺度上的像素坐标转换为在待检测道路图像尺度上的像素坐标以得到路面标记序列。
[0131]
作为进一步地改进，预置检测模型的配置过程为：
[0132]
获取路面标记图像和路面标记图像对应的预设采样点数量的有序点集；
[0133]
通过路面标记图像和有序点集计算各路面标记的目标偏移和路面标记长度；
[0134]
以路面标记图像为输入数据，以路面标记类别、目标偏移和路面标记长度为学习目标对预置卷积神经网络进行训练，得到预置检测模型。
[0135]
作为进一步地改进，本技术实施例中的路面标记检测装置还包括：筛选单元，具体用于：
[0136]
计算路面标记序列中各路面标记之间的距离；
[0137]
当两个路面标记之间的距离小于预置距离阈值时，剔除路面标记类别概率较小的路面标记对应的路面标记序列，得到最终路面标记序列。
[0138]
作为进一步地改进，计算路面标记序列中各路面标记之间的距离，包括：
[0139]
根据路面标记序列中各点坐标计算各路面标记之间的水平距离；
[0140]
将各路面标记之间的水平距离作为各路面标记之间的距离；
[0141]
或，根据路面标记序列拟合各路面标记与水平线的夹角，并通过各路面标记与水平线的夹角计算各路面标记之间的距离权重系数；
[0142]
通过各路面标记之间的距离权重系数对各路面标记之间的水平距离进行加权，得到各路面标记之间的距离。
[0143]
本技术实施例中，通过预置检测模型对待检测道路图像进行端到端的路面标记检测，检测过程简单，检测速度快；在得到路面标记检测结果后，对路面标记检测结果进行简单的解析，可以快速的恢复出实例级的路面标记表示，不需要复杂的后处理过程，耗时少，改善了现有技术有较复杂的后处理过程，存在检测过程复杂、检测速度慢的技术问题；
[0144]
进一步，本技术实施例通过计算各路面标记序列之间的距离来筛选掉低质量的路面标记序列，得到最终路面标记序列，进一步提高路面标记检测结果的准确性。
[0145]
请参考图4，本技术实施例还提供了一种路面标记检测设备，设备包括处理器以及存储器；
[0146]
存储器用于存储程序代码，并将程序代码传输给处理器；
[0147]
处理器用于根据程序代码中的指令执行前述方法实施例中的路面标记检测方法。
[0148]
本技术实施例还提供了一种计算机可读存储介质，计算机可读存储介质用于存储程序代码，程序代码被处理器执行时实现前述方法实施例中的路面标记检测方法。
[0149]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0150]
本技术的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0151]
应当理解，在本技术中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：只存在a，只存在b以及同时存在a和b三种情况，其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
[0152]
在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅
仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0153]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0154]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0155]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以通过一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(英文全称：read-only memory，英文缩写：rom)、随机存取存储器(英文全称：randomaccess memory，英文缩写：ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0156]
以上所述，以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。