车道线分析方法、装置、电子设备及存储介质与流程

1.本公开涉及图像识别技术领域，尤其涉及一种车道线分析方法、装置、电子设备及存储介质。


背景技术：

2.随着导航、监控、自动驾驶的持续发展，车辆行驶中对车道线信息的实时获取的需求越来越大。基于对监控视频中的车道线信息的及时获取，能够满足辅助驾驶的信息提醒、自动驾驶的车辆控制、导航路线的制定等多方面的需要。这对于车道线的准确快速识别提出了越来越高的要求。


技术实现要素：

3.本公开提供一种车道线分析方法、装置、电子设备及存储介质，以至少解决相关技术中对车道线的及时准确快速识别的技术问题。
4.本公开的技术方案是这样实现的：一种车道线分析方法，包括：获取待分析图片，其中，所述待分析图片中包含车辆行驶途中所拍摄的车道线；对所述待分析图片进行透视投影变换，获得逆透视变换ipm图；在所述ipm图中划分出多个车道线区域，每个所述车道线区域包括多个采样区域，从所述多个采样区域的每个采样区域中分别采样出所述车道线的中心点，其中，每一个所述车道线区域中仅包含一条车道线，每一个所述车道线区域中的所述多个采样区域沿所述车道线区域中所包含的车道线的延伸方向排列；对从同一个所述车道线区域的所述多个采样区域中分别采样出的所述中心点进行拟合获得同一个所述车道线区域中的车道线曲线；将同一条所述车道线曲线中的所有所述中心点所对应的各个所述采样区域输入车道线分类网络模型，获得所述车道线的类型；将所述车道线曲线从所述ipm图映射回所述待分析图片，获得所述车道线在所述待分析图片中的位置。
5.进一步，所述待分析图片是从车辆行驶方向拍摄的视频中截取的视频帧。
6.进一步，所述从所述多个采样区域的每个采样区域中分别采样出所述车道线的中心点，包括在任意一个所述车道线区域中执行的以下步骤：在每一个所述采样区域中，在垂直于车道线方向的所述采样区域的中心线上检测出符合车道线中心点特征的至少一个点集；采用多数投票原则，将从所述至少一个点集中筛选出点的数量最多的点集确定为所述车道线的中心点集；将所述中心点集中的中心位置的点确定为所述车道线的中心点。
7.进一步，所述在垂直于车道线方向的所述采样区域的中心线上检测出符合车道线
中心点特征的至少一个点集，采用检测网络yolox实现。
8.进一步，所述车道线中心点特征通过如下方法获得：提供含有车道线的ipm样本图；在所述ipm样本图中标注车道线的中心点；采用深度学习或者点回归方法，通过深度特征或者平均模型回归出车道线中心线上点的位置，进而构造出样本点集；利用所述样本点集对检测网络yolox进行训练得到所述车道线中心点特征。
9.进一步，在所述ipm样本图中标注车道线的中心点时，对每条实线车道线标注出5至7个中心点，对每条虚线车道线标注3至5个中心点。
10.进一步，所述ipm图沿垂直于所述车道线的方向均分为4个所述车道线区域；所述多个采样区域为所述车道线区域沿所述车道线的延伸方向均分的16个采样区域。
11.进一步，所述对从同一个所述车道线区域的所述多个采样区域中分别采样出的所述中心点进行拟合获得同一个所述车道线区域中的车道线曲线，包括：对采样出的所述中心点从所述ipm图中对应于待分析图片的车道线的近处开始拟合至所述ipm图的预设位置，并将拟合出曲线在所述预设位置的端点以所述曲线的切线方向做延长线，由所述曲线和所述延长线构成所述车道线曲线。
12.进一步，所述车道线分类网络模型为多任务卷积神经网络模型。
13.进一步，所述多任务卷积神经网络模型采用mobilenet v2和多分类器构成的神经网络模型。
14.进一步，所述车道线的类型包括线型和颜色的至少其中之一；所述线型包括单实线、单虚线、双实线、双虚线、左实右虚、右实左虚的至少其中之一；所述颜色包括黄色、白色的至少其中之一。
15.一种车道线分析装置，包括：获取模块，被配置为执行获取待分析图片，其中，所述待分析图片中包含车辆行驶途中所拍摄的车道线；投影模块，被配置为执行对所述待分析图片进行透视投影变换，获得逆透视变换ipm图；中心点采样模块，被配置为执行在所述ipm图中划分出多个车道线区域，每个所述车道线区域包括多个采样区域，从所述多个采样区域的每个采样区域中分别采样出所述车道线的中心点，其中，每一个所述车道线区域中仅包含一条车道线，每一个所述车道线区域中的所述多个采样区域沿所述车道线区域中所包含的车道线的延伸方向排列；曲线拟合模块，被配置为执行对从同一个所述车道线区域的所述多个采样区域中分别采样出的所述中心点进行拟合获得同一个所述车道线区域中的车道线曲线；分类模块，被配置为执行将同一条所述车道线曲线中的所有所述中心点所对应的各个所述采样区域输入车道线分类网络模型，获得所述车道线的类型；位置确定模块，被配置为执行将所述车道线曲线从所述ipm图映射回所述待分析图片，获得所述车道线在所述待分析图片中的位置。
16.一种电子设备，包括：处理器；用于存储所述处理器的可执行指令的存储器；其中，所述处理器被配置为执行所述可执行指令，以实现如上任一项所述的车道线分析方法。
17.一种计算机可读存储介质，当所述计算机可读存储介质中的至少一条指令被电子设备的处理器执行时，使得所述电子设备能够实现如上任一项所述的车道线分析方法。
18.本公开实施例的车道线分析方法、装置、电子设备及存储介质，采用了简单的车道线中点检测手段，通过后处理的采样来拟合出完整车道线，同时在采样时进行分类，将车道线的线型、颜色加以区分，从而得到车道线的位置和类型，提高了车道线的预测速度，解决了远处车道线漏检以及采样不均衡的问题。
19.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
20.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
21.图1是根据一示例性实施例示出的车道线分析方法流程图；图2是根据一示例性实施例示出的待分析图片示意图；图3是根据一示例性实施例示出的ipm图的示意图；图4是根据一示例性实施例示出的ipm图的车道线区域的示意图；图5是根据一示例性实施例示出的车道线区域中的采样区域示意图；图6是根据一示例性实施例示出的一个采样区域的局部示意图；图7是根据一示例性实施例示出的车道线的类型分类流程示意图；图8是根据一示例性实施例示出的获得车道线中心点特征的流程示意图；图9是根据一示例性实施例示出的车道线分析方法的应用场景流程图；图10是根据一示例性实施例示出的车道线分析装置组成示意图；图11是本公开实施例提供的电子设备的结构示意图。
具体实施方式
22.为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
23.当前，人工智能技术已经逐渐由学术界向工业界过渡，机器学习、深度学习等技术手段在视觉上的应用已经逐步成熟，在驾驶、安防领域都需要对路上的行人、车辆等障碍物进行检测识别，除此之外，车道线也是道路交通十分关键的标识符之一。车道线的趋势和路面提示，能够反馈出前方路况以及限速要求，给驾驶员或者车辆提前做好准备的时间。
24.本公开实施例针对车道线检测中，远处车道线较难检测，并与此相关的获得较稳定车道线检测和分类结果成本较高的问题，提出了一种基于透视投影图的车道线分析方法、装置、电子设备及存储介质，不采用使用分割的较为消耗计算量的网络，而是采用简单
的车道线中点检测手段，通过后处理的采样来拟合出完整车道线，进一步，在采样时进行分类，将车道线的线型、颜色加以区分，从而得到车道线的位置和类型，提高了车道线的预测速度，解决了远处车道线漏检以及采样不均衡的问题。
25.图1是根据一示例性实施例示出的车道线分析方法流程图，如图1所示，本公开实施例的车道线分析方法包括以下步骤。
26.步骤1、获取待分析图片，其中，待分析图片中包含车辆行驶途中所拍摄的车道线；步骤2、对待分析图片进行透视投影变换，获得ipm（逆透视变换）图；步骤3、在ipm图中划分出多个车道线区域，每个车道线区域包括多个采样区域中，从多个采样区域的每个采样区域中分别采样出车道线的中心点，其中，每一个车道线区域中仅包含一条车道线，每一个车道线区域中的多个采样区域沿车道线区域中所包含的车道线的延伸方向排列；这里所说的中心点是指，与车道线的延伸方向（也称y轴方向）垂直的方向（也称x轴方向）的车道线的中点，即车道线宽度方向的中点，在车道线的延伸方向上没有要求；步骤4、对从同一个车道线区域的多个采样区域中分别采样出的中心点进行拟合获得同一个车道线区域中的车道线曲线；步骤5、将同一条车道线曲线中的所有中心点所对应的各个采样区域输入车道线分类网络模型，获得车道线的类型；步骤6、将车道线曲线从ipm图映射回待分析图片，获得车道线在待分析图片中的位置。
27.在一些实施例中，步骤1中获取的待分析图片是从车辆行驶方向拍摄的视频中截取的视频帧。图2是根据一示例性实施例示出的待分析图片示意图。如图2所示，在一些实施例中，车辆行驶时拍摄的路面201位于图像的下半部分，车辆行驶方向（图2中的箭头方向）即车辆的前方，车辆在路面201上正常行驶时，从车辆行驶方向拍摄的视频中通常包括4条车道线202，4条车道线202在拍摄的视频中也就是待分析图片中呈近大远小分布。
28.为了获得仅包括路面201和车道线202的ipm图，以利于进行后续的车道线的分析，在一些实施例中，步骤2可包括：从待分析图片中截取下半部分图片内容；将下半部分图片内容进行透视投影变换，获得ipm图。
29.采用该方式，所获得的ipm图中包含了路面201和车道线202，并去除了待分析图片中上半部分绝大多数的不属于路面部分内容的画面，进而有利于后续的车道线的分析。
30.在一些实施例中，ipm图的像素尺寸为512
×
512。而车辆行驶时拍摄的视频帧的尺寸一般都是1080p，所以待分析图片的尺寸一般均为1080p。可以看出，本公开实施例中，将高尺寸的待分析图片透视投影变换成为低尺寸的ipm图，再通过后续的步骤进行车道线的分析能够降低分析所消耗的计算量，能够配合实时的视频图像的变化而实时分析得到车道线的位置和类型，能够确保分析得到的车道线的位置和类型的实时性和准确性。
31.图3是根据一示例性实施例示出的ipm图的示意图，如图3所示，该ipm图中包括了路面201和路面201上的4条平行的车道线202，在实际应用当中，可能还存在因为拍摄角度的偏移，而在ipm图的边缘出现路面201外的内容，或者在ipm图中出现前方车辆等障碍物的内容，但这并不影响本公开实施例的车道线分析方法中后续步骤对车道线的采样、拟合和
分类。以下是在图3所示的理想情况下的ipm图的内容进行说明，在ipm图的边缘存在路面201外的内容或者ipm图中存在车辆等障碍物时，同样可以通过以下说明实现对ipm图中出现的车道线的分析。
32.在一些实施例中，步骤3具体包括在任意一个车道线区域中执行的如下步骤301至步骤303。
33.步骤301、在每一个采样区域中，在垂直于车道线方向的采样区域的中心线上检测出符合车道线中心点特征的至少一个点集。
34.图4是根据一示例性实施例示出的ipm图的车道线区域的示意图，如图4所示，ipm图中车道线202的延伸方向为竖直方向，在ipm图中可定义为y轴方向，垂直于y轴方向定义为x轴方向。车辆前方图像采集设备所采集的视频图像中最多包含4条车道线，这样，待分析图片中也包含4条车道线，经过步骤2之后所获得ipm图中最多也包含4条车道线。并且在ipm图中，4条车道线各自所在的区域为沿x轴方向均等分的4个区域中。基于此，如图4所示，ipm图沿垂直车道线的方向（沿x轴方向）均分为4个车道线区域203，在图4中，各个车道线区域203之间由虚线相隔，每个车道线区域203中均含有一条车道线202。在一些实施例中，在ipm图的像素尺寸为512
×
512的情况下，每个车道线区域203的宽度为128像素。
35.图5是根据一示例性实施例示出的车道线区域中的采样区域示意图，如图5所示，车道线区域203沿车道线202的延伸方向（y轴方向）均分为多个采样区域204。在一些实施例中，采样区域204的数量例如16个，即多个采样区域为车道线区域沿车道线的延伸方向均分的16个采样区域。在一些实施例中，在ipm图的像素尺寸为512
×
512并且每个车道线区域203的宽度为128像素的情况下，每个采样区域204的像素尺寸为32
×
128。
36.采用上述分割方式，对于每一条车道线202可以在每个采样区域204中进行采样，对各个采样区域204的中心点的采样是一种离散的采样形式，可提升计算效率，实际的计算效率提升与所划分的采样区域204的数量成负相关的关系。采样区域204的数量越多，则在ipm图中需要采样的区域越多，导致计算量越大，得到的关于车道线202的信息的实时性越低，得到的关于车道线202的信息越精确；反之，采样区域204的数量越少，则在ipm图中需要采样的区域越少，导致计算量越小，得到的关于车道线202的信息的实时性越高，得到的关于车道线202的信息越粗糙。所以，采样区域204的划分数量直接影响到实时性和精确性之间的平衡，在本公开的优选实施例中，将采样区域204的数量划分为16个，能够得到实时性和精确性之间的较优的平衡点，既能保证结果的实时性也能保证结果的精确性，当然，采用其他数量的采样区域204划分也是可以的。
37.图6是根据一示例性实施例示出的一个采样区域的局部示意图，如图6所示，其中采样区域204中心沿x方向延伸的虚线为中心线205，步骤301中，是在该中心线205上检测出符合车道线的中心点特征的至少一个点集206，所检测出来的中心点所组成的点集206位于该中心线205上。
38.在一些实施例中，步骤301中的在垂直于车道线方向的采样区域的中心线上检测出符合车道线的中心点特征的至少一个点集，采用检测网络yolox实现。
39.在多数情况下，在一条车道线内的x轴方向（垂直于车道线的延伸方向）上可能检测出多个中心点，本公开实施例中，不依靠车道线外轮廓的点来确定车道线位置，而是通过识别车道线中心线上的点（即车道线中心点）来确定车道线的位置，所以本公开实施例中预
先根据ipm图中车道线数量和分布的特点，对ipm图进行关于车道线的区域划分，即进行车道线区域203划分。
40.对摄像头的成像进行分析能够看出，车辆行驶时的摄像头拍摄到的车辆前方最多会有四条车道线出现在摄像头拍摄的视频图像中，即车辆行驶时所在车道两侧的两条车道线以及与车辆行驶车道两侧相邻的两条外侧车道线，在生成的ipm图中，这四条车道线分别位于垂直于车道线延伸方向等分的4个区域中，因此在本公开实施例中，将ipm图沿垂直车道线的方向（即沿x轴方向）均分为4个车道线区域203，这样能够确保每一个车道线区域203中最多仅能包含一条车道线，有利于对车道线的识别和分类。
41.本公开实施例中，将车道线区域203沿y轴方向等分为若干个采样区域204，并在每一个采样区域204中的指定位置（采样区域204的x轴方向的中心线上）检测车道线的中心点，从而对于同一个车道线区域203中的同一条车道线202沿该车道线202的延伸方向均匀地采样出离散的多个中心点集，有利于降低计算量和提升车道线分析结果的实时性。
42.步骤302、采用多数投票原则，将从至少一个点集中筛选出点的数量最多的点集确定为车道线的中心点集。
43.如图6所示，多数情况下，在一条车道线内的x轴方向（垂直于车道线的延伸方向）上可能检测出多个中心点，多个中心点之间相互聚合形成多个点集206，例如图6中的两个点集206。在这种情况下，需要确定其中的一个点集206作为该位置的车道线的中心点集，以确保在该位置最终得到一个中心点的结果。
44.在本公开实施例的步骤302中，采用多数投票原则，将从步骤301所检测到的多个点集206中筛选出检测到的点的数量最多的点集206确定为车道线202在该处的中心点集。其中，多数投票原则，例如统计出各个点集206中所包含点的数量，将点的数量最多的点集206确定为车道线202的中心点集。在本公开实施例中，将检测出的两个点之间像素差大于设定阈值视为异常值，在每一个点集206中，相邻的点之间的像素差均不大于设定阈值，点集206之间的像素差大于设定阈值，在一个可选实施例中，设定阈值为3个像素。
45.如图6所示，由于是在中心线205上检测出的点集206，所以点集206的分布特征是在x轴上（即垂直于车道线202延伸方向）呈横向分布，相邻的点集206之间的最小距离为3个像素。
46.步骤303、将中心点集中的中心位置的点确定为车道线的中心点。
47.至此便完成在每一个采样区域204中的车道线中心点的采样。
48.经过步骤3后，便完成了对ipm图中的各个车道线的中心点的采样。
49.在一些实施例中，步骤4可具体包括：对采样出的中心点从ipm图中对应于待分析图片的车道线的近处开始拟合至ipm图的预设位置，并将拟合出曲线在预设位置的端点以曲线的切线方向做延长线，由曲线和延长线构成车道线曲线。
50.其中，待分析图片的车道线的近处是指摄像头拍摄的图像中靠近车辆一侧的部分，如图2所示，在一些实施例中，待分析图片的车道线的近处位于待分析图片的底部。
51.由于摄像头拍摄的视频图像中位于远处的车道线存在不清晰的情况，导致待分析图片中远处的车道线不清晰，所以经过透视投影变换所得到的ipm图中对应于待分析图片的车道线的远处位置的车道线也存在不清晰的情况，所以ipm图中对远处位置的车道线所
采样的中心点可能并不准确，进而会导致拟合后的车道线曲线在远处位置出现交叉或者曲率过大的情况，造成远处车道线曲线偏离摄像头拍摄的视频图像中的实际车道线过大的问题。为避免这种情况，在本公开实施例中，采用对车道线的近处采样的中心点进行拟合，车道线的远处采用拟合曲线切线方向做延长线的方式，能够避免车道线曲线在远处位置的交叉或者曲率过大的问题。
52.在一些实施例中，预设位置可以设置在ipm图的底部开始在y轴方向（车道线的延伸方向）的5/6处，即从预设位置到ipm图的底部之间的距离占ipm图的y轴的长度的5/6。在这种情况下，步骤4可具体包括：对采样出的中心点从ipm图中对应于待分析图片的车道线的近处开始拟合至ipm图的5/6处，并将拟合出曲线在ipm图的5/6处的端点以曲线的切线方向在ipm图的余下的1/6部分做延长线，由曲线和延长线构成车道线曲线。
53.在一些实施例中，步骤5中所使用的车道线分类网络模型可以采用多任务卷积神经网络模型，进一步地，多任务卷积神经网络模型可以具体采用mobilenet v2和多分类器构成的神经网络模型。
54.图7是根据一示例性实施例示出的车道线的类型分类流程示意图，该车道线的类型分类流程是步骤5的一种具体实现步骤，如图7所示，该车道线的类型分类流程包括以下步骤。
55.步骤501、将同一条车道线曲线中的所有中心点所对应的各个采样区域输入多任务卷积神经网络模型。
56.在一些实施例中，可以是以采样出的每一个中心点为参考点，只要确保每一个在车道线内的x轴方向（即垂直于车道线的延伸方向）上检测出的中心点分别位于每一个采样区域中即可。
57.在一些实施例中，结合上述16个采样区域204的实施例，在每个采样区域204中采样一个中心点，则在一条车道线上最多可采样出16个采样点，在经过步骤501后，则在一条车道线上能够得到16个采样区域。在一些实施例中，每个采样区域的像素尺寸为32
×
128。
58.步骤502、多任务卷积神经网络模型分别按照车道线线型和车道线颜色两种类别进行分类。
59.步骤503、对车道线线型采用多数投票方式确定出最终的车道线线型。
60.步骤504、对车道线颜色采用多数投票方式确定出最终的车道线颜色。
61.步骤505、输出车道线的线型和颜色。
62.在一些实施例中，车道线的类型包括线型和颜色的至少其中之一；线型包括单实线、单虚线、双实线、双虚线、左实右虚、右实左虚的至少其中之一；颜色包括黄色、白色的至少其中之一。
63.本公开实施例中，多任务卷积神经网络模型可以是级联分类网络，在对于车道线线型和颜色的分类采用级联分类网络实现，级联分类网络的架构例如cnn网络。
64.在步骤6中，将车道线曲线从ipm图映射回待分析图片可采用逆透视变换公式实现。
65.在步骤3中，特别是步骤301中，检测网络yolox需要事先利用车道线的样本进行训练获得。其中，车道线的中心点特征可通过对检测网络yolox的训练而获得。图8是根据一示例性实施例示出的获得车道线中心点特征的流程示意图，如图8所示，获得车道线中心点特
征的流程包括以下步骤。
66.步骤801、提供含有车道线的ipm样本图；步骤802、在ipm样本图中标注车道线的中心点；步骤803、采用深度学习或者点回归方法，通过深度特征或者平均模型回归出车道线中心线上点的位置，进而构造出样本点集；步骤804、利用样本点集对检测网络yolox进行训练得到车道线中心点特征。
67.在一些实施例中，步骤802的车道线中心点的标注是采用人工手段在ipm样本图中进行标注，在步骤802的ipm样本图中标注车道线的中心点时，需要标注可见车道线的中心点位置，且不需要十分密集，在一些实施例中，对每条实线车道线标注出5至7个中心点，对每条虚线车道线标注3至5个中心点。
68.本公开实施例的车道线分析方法，采用了简单的车道线中心点检测手段，通过后处理的采样来拟合出完整车道线，同时在采样时进行分类，将车道线的线型、颜色加以区分，从而得到车道线的位置和类型，提高了车道线的预测速度，解决了远处车道线漏检以及采样不均衡的问题。
69.上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。
70.图9是根据一示例性实施例示出的车道线分析方法的应用场景流程图，如图9所示，该应用场景流程主要包括以下步骤。
71.步骤901、获取待分析图片。
72.在一些实施例中，待分析图片是从车辆行驶监控设备拍摄到的车辆前方的视频图像中获取的。
73.步骤902、将待分析图片进行透视投影变换，得到ipm图。
74.在所得到的ipm图中包含了车道线的图像内容。
75.其中，透视投影变换是采用逆透视变换的方式，对待分析图片中所选中的固定区域（包含车道线的区域），进行空间变换，由主视图视角转换为俯视图视角。逆透视变换主要依据以下公式实现：其中，表示相机的投影和畸变方程，表示反投影方程。和 表示相机外参， 代表旋转矩阵，代表平移矩阵，这两个矩阵都是依靠相机内参和外参生成的。相机外参包括相机安装的高度、监控摄像头镜头中心与车辆后轴中心距离，如果在车上还要计算车轴长度，是图像坐标系中的像素坐标，是ipm中心坐标，也是要得到的图的中心坐标。是一个标量，通常为相机光心到图像平面的距离。表示取前一步矩阵计算结果的第1、2、4列，前一步矩阵计算结果就是 的逆矩阵。
76.上述公式为图像变换的已有公式，关于该公式以及相关的逆透视变换的具体实现，可采用现有技术实现，此处不再赘述。
77.透视投影变换后的得到的ipm图，在一定程度上可以将待分析图片中远处的车道
线信息平行的投影到俯视图形式的ipm图中，在确保远处车道线的召回上有一定的提升。且对于后处理中拟合曲线时，避免了远处两线相交的情况。
78.步骤903、对ipm图进行车道线的中心点检测。
79.可采用深度学习或者传统的点回归方法，通过深度特征或者mean shape（平均形状）回归出车道线中心线上点的位置。应注意，在此使用的是车道线的中心点，而不是轮廓线，所以在人工标注时，只需要标注可见车道线的中心点位置，且不需要十分密集，每条实线标注5至7个中心点，每条虚线标注3至5个中心点即可。在数据预处理中，可以加大点和点之间的采样，以此构造出点集。本公开实施例使用检测网络yolox来进行车道线中心点的检测，对每个采样点生成8
×
8的小块，将其作为正样本送入网络中进行学习，得到车道线中心点的位置和类型。
80.步骤904、对检测到的车道线的中心点进行采样、去噪，并拟合出平滑的车道线曲线。
81.步骤904主要是针对步骤903中检测到的点进行处理。以道路方向为y轴，以垂直道路方向为x轴，由于网络或者特征原因，大部分情况下在一条车道线内的x轴方向上可能检测出多个点，与深度学习分割的方法不同，本公开实施例不是依靠外轮廓的点来确定车道线位置，而是通过中心线上的点，所以在此先对车道线进行划分，根据摄像头成像，前方最多出现四条车道线，沿着x轴将图像进行四等分，再对每一等分沿着y轴进十六等分，只在十六等分的区域中进行中心点采样，采样需要先确定最右点和最左点，同时过滤掉异常值，本公开实施例将两点之间像素差大于3个pixel的视为异常值，所以，在x轴上会聚类出多个点集，呈横向排布，之后，以多数投票原则，将选择出数量最多的点集确定为最终车道线的中心点集，并取出中心点。依此规则完成剩下区域的采样。
82.之后对每一条y轴上的点进行拟合，考虑到弯道以及上下匝道的曲率，本公开实施例选用三次样条曲线拟合采样到的点，拟合过程即完成对16个点的去噪，将噪点近似拟合到车道线曲线上来。
83.由于远处的车道线不够清晰，所以按上述步骤经常会遇到拟合后的车道线曲线在远处出现交叉或者曲率过大的情况，在此，本公开实施例选择拟合到整个y轴的5/6处，剩下的1/6，使用端点切线进行延长。
84.步骤905、对ipm图中的车道线曲线进行采样，得到车道线在后续检测时用于采样的采样区域。
85.该步骤的采样方式，是直接取步骤904中得到的中心点，以此为中心抠取32
×
128像素尺寸的采样区域，那么每条车道线会出现16个采样区域。
86.步骤906、将采样得到的车道线相关的采样区域作为输入，依次进入分类网络中进行分类获得分类结果。
87.在可选实施例中，分类结果包括线型和颜色，根据多数投票的方式来确定最后的线型和颜色，其中，线型可以分为：单实线、单虚线、双实线、双虚线、左实右虚、右实左虚，颜色可以分为：黄色、白色。
88.在可选实施例中，关于神经网络的选取，不限于multitask的cnn网络（多任务卷积神经网络模型），本公开实施例以mobilenet v2结合多分类器的方式构建车道线分类网络。其中，mobilenet v2是一种轻量级的卷积神经网络。
89.步骤907、将步骤904得到的车道线曲线映射回待分析图片，基于映射回待分析图片的车道线曲线在待分析图片中的位置，获得待分析图片中准确的车道线位置。
90.步骤908、输出待分析图片中的车道线位置和分类结果。
91.本公开实施例的车道线分析方法中，投影到ipm图上进行车道线检测、分割，输入从分辨率为1080p及以上的原图（即待分析图片）降低到分辨率为512
×
512甚至更小的ipm图，降低了计算量，同时使用检测点的方式拟合出车道线中心点，对于前期标注和后续的检测在耗时和成本上都有所下降，在ipm图中对检测到的车道线进行采样和拟合，利用一定的先验知识，配合传统的样条曲线拟合，速度上较快，同时在此采样到的点依然可以作为分类任务的采样点进行复用，在车道线分类上基于前面步骤获得的区域进行分类，本公开实施例采用的多数投票机制保证了分类结果的鲁棒性。
92.本公开实施例中，在车道线拟合部分，理论上还存在使用二值化方式进行采样，通过邻域搜索来判断车道线所在区域，采样该方式获得的车道线可能更为准确。在二值化方式中，可以将检测到车道线的位置的像素设置为1，将没有检测到车道线的位置的像素设置为0，使得整张ipm图像变为二值图，在二值图中采用四邻域搜索的方法判断像素为1的连通域，进而实现判断车道线的目的。
93.本公开实施例的车道线分析方法，将车道线投影至ipm图进行检测和分类，可根据先验知识在投影时就选取感兴趣区域进行映射，依靠相机内外参获得ipm系数，投影结果较为准确，将传统道路上全景与车道线分割转换为ipm图上点检测问题，大幅提高了预测速度，解决了远处车道线漏检或是采样不均衡的问题，通过级联分类网络使用多数投票的方式进行判别，提高了车道线类型的准确度。
94.图10是根据一示例性实施例示出的车道线分析装置组成示意图，如图10所示，该车道线分析装置包括获取模块1001、投影模块1002、中心点采样模块1003、曲线拟合模块1004、分类模块1005和位置确定模块1006。
95.获取模块1001，被配置为执行获取待分析图片，其中，待分析图片中包含车辆行驶途中所拍摄的车道线。
96.投影模块1002，被配置为执行对待分析图片进行透视投影变换，获得逆透视变换ipm图。
97.中心点采样模块1003，被配置为执行在ipm图中划分出多个车道线区域，每个车道线区域包括多个采样区域，从多个采样区域的每个采样区域中分别采样出车道线的中心点，其中，每一个车道线区域中仅包含一条车道线，每一个车道线区域中的多个采样区域沿车道线区域中所包含的车道线的延伸方向排列。
98.曲线拟合模块1004，被配置为执行对从同一个车道线区域的多个采样区域中分别采样出的中心点进行拟合获得同一个车道线区域中的车道线曲线。
99.分类模块1005，被配置为执行将同一条车道线曲线中的所有中心点所对应的各个采样区域输入车道线分类网络模型，获得车道线的类型。
100.位置确定模块1006，被配置为执行将车道线曲线从ipm图映射回待分析图片，获得车道线在待分析图片中的位置。
101.关于上述实施例中的车道线分析装置，其中各个单元执行操作的具体方式已经在有关该车道线分析方法的实施例中进行了详细描述，此处将不作详细阐述说明。
102.需要说明的是：上述实施例仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
103.图11是本公开实施例提供的一种电子设备的结构示意图。在一些实施例中，该电子设备为服务器。该电子设备1100可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器（central processing units，cpu）1101和一个或一个以上的存储器1102，其中，该存储器1102中存储有至少一条程序代码，该至少一条程序代码由该处理器1101加载并执行以实现上述各个实施例提供的车道线分析方法。当然，该电子设备1100还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该电子设备1100还可以包括其他用于实现设备功能的部件，在此不做赘述。
104.在示例性实施例中，还提供了一种包括至少一条指令的计算机可读存储介质，例如包括至少一条指令的存储器，上述至少一条指令可由计算机设备中的处理器执行以完成上述实施例中的车道线分析方法。
105.可选地，上述计算机可读存储介质可以是非临时性计算机可读存储介质，例如，该非临时性计算机可读存储介质可以包括rom（read-only memory，只读存储器）、ram（random-access memory，随机存取存储器）、cd-rom（compact disc read-only memory，只读光盘）、磁带、软盘和光数据存储设备等。
106.在示例性实施例中，还提供了一种计算机程序产品，包括一条或多条指令，该一条或多条指令可以由计算机设备的处理器执行，以完成上述各个实施例提供的车道线分析方法。
107.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由本公开的权利要求书指出。
108.应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。