基于深度学习的车道线检测方法、装置、设备及存储介质与流程

1.本发明涉及图像识别技术领域，尤其涉及到一种基于深度学习的车道线检测方法、装置、设备及存储介质。


背景技术：

2.车道线检测是自动驾驶的一个重要领域。它是指对图像中各种车道线的检测以及识别。车道线检测的应用非常广泛，比较典型的应用例如是自动驾驶和辅助驾驶。
3.现有车道线检测技术通常有以下几种：1.首先使用图像分割技术得到分割结果，然后对于分割后的结果再做直线拟合。2.图像检测，对于图像按固定间隔进行采样得到很多线的候选anchor点，同时判断车道线的有无和具体位置。但是线的回归经常使用l1损失函数，降低了点与点之间的关联导致整体效果降低。因此，如何提高车道线检测的准确性，是一个亟需解决的技术问题。
4.上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。


技术实现要素：

5.本发明的主要目的在于提供一种基于深度学习的车道线检测方法、装置、设备及存储介质，旨在解决目前车道线检测的准确性不高的技术问题。
6.为实现上述目的，本发明提供一种基于深度学习的车道线检测方法，所述方法包括以下步骤：
7.获取车道线的原始图像数据集，并对所述原始图像数据集中的车道线进行标记，获得训练图像数据集；其中，所述训练图像数据集中的图像包含有对应的车道线真实框；
8.将所述训练图像数据集输入车道线检测模型，获得车道线检测框，并根据所述车道线检测框与所述车道线真实框的损失值，完成对车道线检测模型的训练；
9.在接收到待检测图像数据时，将所述待检测图像数据输入车道线检测模型，获得待检测图像中的目标车道线。
10.可选的，所述对所述原始图像数据集中的车道线进行标记，获得训练图像数据集步骤，具体包括：
11.为原始图像数据集中的车道线生成外接矩形框；
12.根据所述外接矩形框，为所述原始图像数据集中的车道线生成车道线真实框。
13.可选的，所述车道线真实框的尺寸表达式为：
14.h＝max(h0,w0/2)；
15.w＝max(w0,h0/2)；
16.其中，h0为外接矩形框的高，h0为外接矩形框的宽，h为车道线真实框的高，w为车道线真实框的宽。
17.可选的，所述将所述训练图像数据集输入车道线检测模型，获得车道线检测框步
骤，具体包括：
18.将所述训练图像数据集输入车道线检测模型；
19.调整训练图像数据集中每张训练图像对应锚框的位置，以输出该训练图像的车道线预测框。
20.可选的，所述调整训练图像数据集中每张训练图像对应锚框的位置步骤，具体包括：
21.获取车道线检测模型预先确定的锚框的预测类别和偏移量；
22.在接收到训练图像时，基于所述车道线检测模型，调整所述训练图像对应锚框的位置。
23.可选的，所述将所述训练图像数据集输入车道线检测模型步骤之前，所述方法还包括：
24.对训练图像数据集中的车道线真实框中的车道线进行采样，生成车道线采样点；
25.为所述车道线采样点生成扩展框；其中，所述扩展框中所述车道线左侧与所述车道线右侧的面积相等；
26.根据所述扩展框，将所述车道线真实框的形状调整为多边形。
27.可选的，所述将所述车道线真实框的形状调整为多边形步骤，具体包括：
28.判断扩展框右下角的点是否在车道线采样点之后，若是，利用该点与车道线采样点调整所述车道线真实框的形状。
29.此外，为了实现上述目的，本发明还提供了一种基于深度学习的车道线检测装置，所述基于深度学习的车道线检测装置包括：
30.获取模块，用于获取车道线的原始图像数据集，并对所述原始图像数据集中的车道线进行标记，获得训练图像数据集；其中，所述训练图像数据集中的图像包含有对应的车道线真实框；
31.训练模块，用于将所述训练图像数据集输入车道线检测模型，获得车道线检测框，并根据所述车道线检测框与所述车道线真实框的损失值，完成对车道线检测模型的训练；
32.检测模块，用于在接收到待检测图像数据时，将所述待检测图像数据输入车道线检测模型，获得待检测图像中的目标车道线。
33.此外，为了实现上述目的，本发明还提供了一种基于深度学习的车道线检测设备，所述基于深度学习的车道线检测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于深度学习的车道线检测程序，所述基于深度学习的车道线检测程序被所述处理器执行时实现如上所述的基于深度学习的车道线检测方法的步骤。
34.此外，为了实现上述目的，本发明还提供了一种存储介质，所述存储介质上存储有基于深度学习的车道线检测程序，所述基于深度学习的车道线检测程序被处理器执行时实现如上所述的基于深度学习的车道线检测方法的步骤。
35.本发明实施例提出的一种基于深度学习的车道线检测方法、装置、设备及存储介质，该方法包括获取车道线的原始图像数据集，并对所述原始图像数据集中的车道线进行标记，获得训练图像数据集；其中，所述训练图像数据集中的图像包含有对应的车道线真实框；将所述训练图像数据集输入车道线检测模型，获得车道线检测框，并根据所述车道线检测框与所述车道线真实框的损失值，完成对车道线检测模型的训练；在接收到待检测图像
数据时，将所述待检测图像数据输入车道线检测模型，获得待检测图像中的目标车道线。本发明通过对图像的车道线真实框和车道线检测框进行损失值的计算，以训练车道线检测模型，提升了车道线采样点之间的关联性，提升了检测的准确性。
附图说明
36.图1为本发明实施例中基于深度学习的车道线检测设备的结构示意图；
37.图2为本发明基于深度学习的车道线检测方法的实施例的流程示意图；
38.图3为本发明实施例中基于深度学习的车道线检测装置的结构框图。
39.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
40.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
41.车道线检测是自动驾驶的一个重要领域。它是指对图像中各种车道线的检测以及识别。车道线检测的应用非常广泛，比较典型的应用例如是自动驾驶和辅助驾驶。
42.现有车道线检测技术通常有以下几种：1.首先使用图像分割技术得到分割结果，然后对于分割后的结果再做直线拟合。2.图像检测，对于图像按固定间隔进行采样得到很多线的候选anchor点，同时判断车道线的有无和具体位置。但是线的回归经常使用l1损失函数，降低了点与点之间的关联导致整体效果降低。因此，如何提高车道线检测的准确性，是一个亟需解决的技术问题。
43.为了解决这一问题，提出本发明的基于深度学习的车道线检测方法的各个实施例。本发明提供的一种基于深度学习的车道线检测方法、装置、设备及存储介质，该方法包括获取车道线的原始图像数据集，并对所述原始图像数据集中的车道线进行标记，获得训练图像数据集；其中，所述训练图像数据集中的图像包含有对应的车道线真实框；将所述训练图像数据集输入车道线检测模型，获得车道线检测框，并根据所述车道线检测框与所述车道线真实框的损失值，完成对车道线检测模型的训练；在接收到待检测图像数据时，将所述待检测图像数据输入车道线检测模型，获得待检测图像中的目标车道线。本发明通过对图像的车道线真实框和车道线检测框进行损失值的计算，以训练车道线检测模型，提升了车道线采样点之间的关联性，提升了检测的准确性。
44.参照图1，图1为本发明实施例方案涉及的基于深度学习的车道线检测设备的结构示意图。
45.设备可以是移动电话、智能电话、笔记本电脑、数字广播接收器、个人数字助理(pda)、平板电脑(pad)等用户设备(user equipment，ue)、手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其它处理设备、移动台(mobile station，ms)等。设备可能被称为用户终端、便携式终端、台式终端等。
46.通常，设备包括：至少一个处理器301、存储器302以及存储在所述存储器上并可在所述处理器上运行的基于深度学习的车道线检测程序，所述基于深度学习的车道线检测程序配置为实现如前所述的基于深度学习的车道线检测方法的步骤。
47.处理器301可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器301可以采用dsp(digital signal processing，数字信号处理)、fpga(field－
programmable gate array，现场可编程门阵列)、pla(programmable logic array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器301也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称cpu(central processingunit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器301可以在集成有gpu(graphics processing unit，图像处理器)，gpu用于负责显示屏所需要显示的内容的渲染和绘制。处理器301还可以包括ai(artificial intelligence，人工智能)处理器，该ai处理器用于处理有关基于深度学习的车道线检测操作，使得基于深度学习的车道线检测模型可以自主训练学习，提高效率和准确度。
48.存储器302可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器302还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器302中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器801所执行以实现本技术中方法实施例提供的基于深度学习的车道线检测方法。
49.在一些实施例中，终端还可选包括有：通信接口303和至少一个外围设备。处理器301、存储器302和通信接口303之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与通信接口303相连。具体地，外围设备包括：射频电路304、显示屏305和电源306中的至少一种。
50.通信接口303可被用于将i/o(input/output，输入/输出)相关的至少一个外围设备连接到处理器301和存储器302。通信接口303通过外围设备用于接收用户上传的多个移动终端的移动轨迹以及其他数据。在一些实施例中，处理器301、存储器302和通信接口303被集成在同一芯片或电路板上；在一些其他实施例中，处理器301、存储器302和通信接口303中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
51.射频电路304用于接收和发射rf(radio frequency，射频)信号，也称电磁信号。射频电路304通过电磁信号与通信网络以及其他通信设备进行通信，从而可获取多个移动终端的移动轨迹以及其他数据。射频电路304将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路304包括：天线系统、rf收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路304可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2g、3g、4g及5g)、无线局域网和/或wifi(wireless fidelity，无线保真)网络。在一些实施例中，射频电路304还可以包括nfc(near field communication，近距离无线通信)有关的电路，本技术对此不加以限定。
52.显示屏305用于显示ui(user interface，用户界面)。该ui可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏305是触摸显示屏时，显示屏305还具有采集在显示屏305的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器301进行处理。此时，显示屏305还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏305可以为一个，电子设备的前面板；在另一些实施例中，显示屏305可以为至少两个，分别设置在电子设备的不同表面或呈折叠设计；在再一些实施例中，显示屏305可以是柔性显示屏，设置在电子设备的弯曲表面上或折叠面上。甚至，显示
屏305还可以设置成非矩形的不规则图形，也即异形屏。显示屏305可以采用lcd(liquidcrystal display，液晶显示屏)、oled(organic light-emitting diode,有机发光二极管)等材质制备。
53.电源306用于为电子设备中的各个组件进行供电。电源306可以是交流电、直流电、一次性电池或可充电电池。当电源306包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
54.本领域技术人员可以理解，图1中示出的结构并不构成对基于深度学习的车道线检测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
55.本发明实施例提供了一种基于深度学习的车道线检测方法，参照图2，图2为本发明基于深度学习的车道线检测方法的第一实施例的流程示意图。
56.本实施例中，所述基于深度学习的车道线检测方法包括以下步骤：
57.步骤s100，获取车道线的原始图像数据集，并对所述原始图像数据集中的车道线进行标记，获得训练图像数据集；其中，所述训练图像数据集中的图像包含有对应的车道线真实框。
58.具体而言，在获取到车道线的原始图像数据后，对原始图像数据中的车道线进行标记，以获得具有车道线真实框的训练图像数据。
59.需要说明的是，在本实施例中，对所述原始图像数据集中的车道线进行标记，获得训练图像数据集通过为原始图像数据集中的车道线生成外接矩形框，根据外接矩形框，为原始图像数据集中的车道线生成车道线真实框，进而可根据真实框和后续的检测框进行车道线检测模型的训练。
60.容易理解的，车道线真实框的尺寸表达式为：
61.h＝max(h0,w0/2)；
62.w＝max(w0,h0/2)；
63.其中，h0为外接矩形框的高，h0为外接矩形框的宽，h为车道线真实框的高，w为车道线真实框的宽。
64.进一步的，在生成具有车道线真实框的训练图像数据后，可对对训练图像数据集中的车道线真实框中的车道线进行采样，生成车道线采样点；为所述车道线采样点生成扩展框；其中，所述扩展框中所述车道线左侧与所述车道线右侧的面积相等；根据所述扩展框，将所述车道线真实框的形状调整为多边形。
65.容易理解的，扩展框为宽和高皆为车道线长度的正方形，该扩展框将垂直采样的车道线点包含。因此，将车道线真实框的形状调整为多边形可通过判断扩展框右下角的点是否在采样点之后，若在，将右下角的点包含到车道线真实框内，从而多点联结形成一个多边形。
66.步骤s200，将所述训练图像数据集输入车道线检测模型，获得车道线检测框，并根据所述车道线检测框与所述车道线真实框的损失值，完成对车道线检测模型的训练。
67.具体而言，在获得训练图像数据集后，将训练图像数据集输入车道线检测模型。在此之前，需要先获取车道线检测模型预先确定的锚框的预测类别和偏移量，进而，在接收到训练图像时，基于车道线检测模型，调整训练图像对应的锚框的位置。
68.进一步的，在车道线检测模型接收到训练图像数据集后，调整训练图像数据集中没张训练图像对应锚框的位置，以输出该训练图像的车道线预测框。
69.最后，利用每张训练图像的车道线真实框和车道线预测框的损失值，对车道线检测模型进行训练，直至模型收敛，完成训练过程。
70.步骤s300，在接收到待检测图像数据时，将所述待检测图像数据输入车道线检测模型，获得待检测图像中的目标车道线。
71.具体而言，在获得训练完成的车道线检测模型后，等待待检测图像数据的输入，若接收到待检测图像数据，则将待检测图像数据输入训练完成的车道线检测模型，获得输出的目标车道线。
72.在本实施例中，提供一种基于深度学习的车道线检测方法，通过获取车道线的原始图像数据集，并对所述原始图像数据集中的车道线进行标记，获得训练图像数据集；其中，所述训练图像数据集中的图像包含有对应的车道线真实框；将所述训练图像数据集输入车道线检测模型，获得车道线检测框，并根据所述车道线检测框与所述车道线真实框的损失值，完成对车道线检测模型的训练；在接收到待检测图像数据时，将所述待检测图像数据输入车道线检测模型，获得待检测图像中的目标车道线。本发明通过对图像的车道线真实框和车道线检测框进行损失值的计算，以训练车道线检测模型，提升了车道线采样点之间的关联性，提升了检测的准确性。
73.参照图3，图3为本发明基于深度学习的车道线检测装置实施例的结构框图。
74.如图3所示，本发明实施例提出的基于深度学习的车道线检测装置包括：
75.获取模块10，用于获取车道线的原始图像数据集，并对所述原始图像数据集中的车道线进行标记，获得训练图像数据集；其中，所述训练图像数据集中的图像包含有对应的车道线真实框；
76.训练模块20，用于将所述训练图像数据集输入车道线检测模型，获得车道线检测框，并根据所述车道线检测框与所述车道线真实框的损失值，完成对车道线检测模型的训练；
77.检测模块30，用于在接收到待检测图像数据时，将所述待检测图像数据输入车道线检测模型，获得待检测图像中的目标车道线。
78.作为一种实施方式，获取模块10还用于为原始图像数据集中的车道线生成外接矩形框；根据所述外接矩形框，为所述原始图像数据集中的车道线生成车道线真实框。
79.作为一种实施方式，获取模块10中车道线真实框的尺寸表达式为：
80.h＝max(h0,w0/2)；
81.w＝max(w0,h0/2)；
82.其中，h0为外接矩形框的高，h0为外接矩形框的宽，h为车道线真实框的高，w为车道线真实框的宽。
83.作为一种实施方式，训练模块20还用于将所述训练图像数据集输入车道线检测模型；调整训练图像数据集中每张训练图像对应锚框的位置，以输出该训练图像的车道线预测框。
84.作为一种实施方式，训练模块20还用于获取车道线检测模型预先确定的锚框的预测类别和偏移量；在接收到训练图像时，基于所述车道线检测模型，调整所述训练图像对应
锚框的位置。
85.作为一种实施方式，基于深度学习的车道线检测装置还包括扩展模块40，扩展模块40还用于对训练图像数据集中的车道线真实框中的车道线进行采样，生成车道线采样点；为所述车道线采样点生成扩展框；其中，所述扩展框中所述车道线左侧与所述车道线右侧的面积相等；根据所述扩展框，将所述车道线真实框的形状调整为多边形。
86.作为一种实施方式，扩展模块40还用于在接收到测试图像数据集时，判断所述测试图像数据集中目标车辆的停止移动时间是否超过预设值，若是，确定目标车身框图像；利用所述底盘检测模型检测所述目标车身框图像中的底盘位置，获得所述目标车身框图像中底盘的顶点位置信息。
87.本实施例提供的基于深度学习的车道线检测装置，通过获取车道线的原始图像数据集，并对所述原始图像数据集中的车道线进行标记，获得训练图像数据集；其中，所述训练图像数据集中的图像包含有对应的车道线真实框；将所述训练图像数据集输入车道线检测模型，获得车道线检测框，并根据所述车道线检测框与所述车道线真实框的损失值，完成对车道线检测模型的训练；在接收到待检测图像数据时，将所述待检测图像数据输入车道线检测模型，获得待检测图像中的目标车道线。本发明通过对图像的车道线真实框和车道线检测框进行损失值的计算，以训练车道线检测模型，提升了车道线采样点之间的关联性，提升了检测的准确性。
88.本发明基于深度学习的车道线检测装置的其他实施例或具体实现方式可参照上述各方法实施例，此处不再赘述。
89.此外，本发明实施例还提出一种存储介质，所述存储介质上存储有基于深度学习的车道线检测程序，所述基于深度学习的车道线检测程序被处理器执行时实现如上文所述的基于深度学习的车道线检测方法的步骤。因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本技术所涉及的计算机可读存储介质实施例中未披露的技术细节，请参照本技术方法实施例的描述。确定为示例，程序指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
90.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，上述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，上述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)或随机存储记忆体(random accessmemory，ram)等。
91.另外需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
92.通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可借
助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用cpu、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本发明而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘、u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。