用于识别车道的方法和装置、驾驶员辅助系统以及车辆与流程

本发明涉及一种用于识别车道的方法、一种用于识别车道的装置、一种驾驶员辅助系统以及一种车辆。

背景技术：

驾驶员辅助系统基于大量传感器数据生成车辆周围环境的模型。除了检测障碍物和其他交通参与者外，识别车道也特别重要。通过确定车辆在车道中的运动，可在车辆意外离开车道时提前对驾驶员提出警告。此外，驾驶员辅助系统还可辅助驾驶员保持车道及控制车辆自主沿车道行驶。

通常通过确定车道界限来识别车道，车道界限尤其是指车道标记和路边石边缘(bordsteinkanten)。专利文献de102015209467a1公布了一种使用特征矢量估计车道的方法，所述特征矢量是基于不同的传感器彼此独立地确定的。

由于大多数白色或黄色车道标记与较暗的车道形成鲜明对照，因此可使用检测较亮区域和较暗区域之间的过渡的边缘检测方法来确定车道标记。广泛使用的是索贝尔(sobel)滤波器，其中，主要计算的是两个相邻区域亮度值的差值。在亮度恒定情况下，该差值的平均值为零，而边缘上得出不同于零的数值。

用于目标识别，尤其是用于车道标记识别的神经网络越来越普遍。这类方法的优点是，相对于静态索贝尔滤波器的使用，所述方法可更好地考虑不同的周围环境条件，例如由于一天中时间或天气条件的变化而导致的亮度变化。

但是，由于借助神经网络识别图像的分析评估典型情况下是以像素进行的，因此计算量相对较高，这会导致能耗增加以及分析评估速度下降。

技术实现要素：

因此，本发明的一项任务是能快速、精确地实现车道识别。

该任务通过具有权利要求1所述特征的用于识别车道的方法、通过具有权利要求10所述特征的用于识别车道的装置、通过具有权利要求14所述特征的驾驶员辅助系统以及通过具有权利要求15所述特征的车辆来解决。

其他优选的实施方式是从属权利要求的主题。

根据第一方面，本发明因此提供了一种用于识别车道的方法，其中，借助车辆的摄像装置捕获该车辆周围环境的摄像机图像。测定与可能的车道界限的区域相对应的特征点。围绕各相应特征点生成捕获到的摄像机图像的图像剪裁部分(图像区，bildausschnitt)。使用神经网络对图像剪裁部分进行分析以对特征点分类。最后，在考虑经分类的特征点情况下识别车辆周围环境中的车道。

根据第二方面，本发明因此提供了一种用于识别车道的装置，该装置具有一接口，它用于接收借助车辆的摄像装置捕获的车辆周围环境的摄像机图像。所述装置还包括一计算装置，它在借助所述接口接收到的摄像机图像中测定对应于可能的车道界限区域的特征点。所述计算装置围绕一特征点生成捕获到的摄像机图像的图像剪裁部分，使用神经网络对所述图像剪裁部分进行分析，以用于特征点的分类，并考虑经分类的特征点测定车辆周围环境中的车道。

根据第三方面，本发明涉及一种用于车辆的驾驶员辅助系统，该系统包括捕获车辆周围环境的摄像机图像的摄像装置，并包括根据所述摄像装置捕获到的摄像机图像识别车道的装置。

根据第四方面，本发明涉及带有驾驶员辅助系统的车辆。

本发明提供两阶段的车道识别。在第一阶段中，优选使用经典特征识别方法对摄像机图像进行分析，并测定对应于可能的车道界限区域的特征点。在此第一步骤中，在一粗略分析评估中已分选出不太相关的区域，即有极大可能不会出现车道界限的区域。这减少了在数据进一步处理中的计算量。

在随后的第二阶段中，将对找到的特征点进行更详细的分析。为此，借助神经网络对特征点周围的图像剪裁部分进行分析评估。由此，可对特征点进行分类，即将特征点归类为是否对应于车道界限。根据已被分类为对应于车道界限的特征点对车道进行测定。

神经网络相对于索贝尔滤波器的另一优点是考虑了较大的图像剪裁部分。即索贝尔滤波器通常具有约3x3像素的检测区域，而神经网络的图像剪裁部分例如可具有128x128像素的检测区域。通过该较大的图像剪裁部分使神经网络可检测周围环境的相互关系/背景，以便对特征点进行分类。例如，图像剪裁部分内的灌木丛可表示一护栏，并由此表示一错误的标识或一异常值。由此，能以有益的方式对图像剪裁部分的周围环境区域一起分析评估。

因此，本发明优选将经典方法与神经网络的使用相结合。但是，由于进行了预过滤，因此仅须借助神经网络对摄像机图像的特定区域进行分析，并可省略所有像素的总体分析评估。由此可快速、有效地进行车道识别。同时，充分利用了神经网络的高识别精度。

为防止车道界限不被识别，优选将使一像素被检测为特征点而必须超越的阈值设置得相当低。随后，借助神经网络再次滤除由此产生的错误标识。如果仅使用索贝尔滤波器，典型情况下阈值被选择成使得尽可能少地产生错误标识。但是，由此无法识别对比度小的车道界限。通过根据本发明所述的两阶段方法，不必做出这类折衷，并且识别准确度较高。

根据所述方法优选的一其他结构形式，使用边缘检测算法测定特征点。由此，借助经典方法，并优选借助索贝尔滤波器的使用进行边缘检测。

根据所述方法优选的一其他结构形式，可能的车道界限包括车道标记。尤其是，仅车道标记可被识别为可能的车道界限。车道标记或道路标记应理解为车道表面上的彩色标记，这些彩色标记划分或界定了各单一车道。然而，根据其他实施方式，尤其是在缺少车道标记的情况下，车道界限还可包括路边石边缘、护栏或植被。

根据所述方法优选的一其他结构形式，神经网络是卷积神经网络。

根据所述方法优选的一其他结构形式，神经网络借助数据库中预先规定的训练数据进行学习。

根据一其他结构形式，训练数据包括车道界限的图像。训练数据还可包括不表示车道标记的其他结构图像。这些图像优选的选择方式是，它们能反映典型情况下借助经典边缘检测被错误识别为车道标记的结构或目标。这些结构或目标例如可能是不表示车道界限的车辆或护栏图像。经此方法学习的神经网络能将车道界限图像与不表示车道界限的图像区分开。

用于借助神经网络进行分析的图像剪裁部分优选具有预先规定数量的像素或预先规定的大小。被选作训练数据的图像优选对应于借助车辆摄像装置捕获到的具有所述预先规定像素数量或大小的车辆周围环境图像的典型图像。

所述图像优选至少部分在不同亮度情况下生成。例如，图像可在一天的不同时间生成。还可在不同的照明条件下生成图像，例如在光线不足或光线充足的街道上生成图像。此外，还可在例如阳光明媚、有雾、下雨或下雪等不同天气条件下捕获图像。

根据所述方法优选的一其他结构形式，通过对被归类为属于车道界限的相邻特征点进行插值来测定车道界限的走向。根据车道界限的走向确定车辆可行驶车道。

根据所述装置优选的一其他结构形式，计算装置使用边缘检测算法测定特征点。

根据所述装置优选的一其他结构形式，计算装置使用索贝尔滤波器进行边缘检测。

根据优选的一其他结构形式，所述装置的计算装置设置用于，通过对被归类为与车道界限相对应的相邻特征点进行插值来确定车道界限的走向。计算装置根据车道界限的走向确定车辆可行驶车道。

附图说明

下面，根据示意图中所给出的实施例对本发明进行进一步的解释。其中：

图1是根据本发明一实施方式的用于识别车道的装置的方框示意图；

图2是由摄像装置捕获到的摄像机图像示意图；

图3是作为神经网络用训练数据的图像；

图4是在摄像机图像中识别到的车道界限；

图5是驾驶员辅助系统的方框示意图；

图6是车辆的方框示意图；以及

图7是用于车道识别方法的流程图。

具体实施方式

本发明其他的可能实施方式、其他结构形式和实施例也包括之前或之后相关实施例所述的本发明特征的未明确说明的组合。

附图可帮助进一步理解本发明的实施方式。它们直观地阐明实施方式，并有利于结合说明阐述本发明的原理和方案。在图中还有其他实施方式和许多列举的优势。在此，相同的附图标记指代作用相同或类似的组件。

图1展示了用于识别车道的装置1的方框示意图。

装置1包括接口11，该接口设置成用于无线地或通过有线连接装置接收和发送数据。所述接口11尤其用于接收摄像机数据，并将该数据传输给装置1的计算装置12。摄像机数据包括由车辆的摄像装置2生成的至少一个摄像机图像。摄像机图像也可由摄像装置2的车载摄像机的多个单一图像或由摄像装置2的多个车载摄像机的多个图像组合而成。

计算装置12借助图像识别方法对摄像机图像进行分析，以提取与车辆周围环境中的具有车道界限的区域相对应的特征点。计算装置12包括至少一个微处理器，用于执行计算步骤。

计算装置12围绕每个特征点分别生成相应的图像剪裁部分。该图像剪裁部分用作分析该图像剪裁部分的神经网络的输入参数。所述神经网络优选为卷积神经网络。借助所述神经网络对反映车道界限的图像剪裁部分的概率进行计算。如果所述概率超过一预先规定的阈值，则计算装置12识别出图像剪裁部分的特征点对应于车道界限。

以此方式分类的特征点由计算装置12进一步分析评估，以确定车辆周围环境中的车道。由此，计算装置12可通过对与车道界限相对应的彼此相邻的特征点进行插值来测定摄像机图像中车道界限的走向。车道界限之间的区域可被识别为车道，并且计算装置12可生成周围环境模型。

下面根据图2到图4更准确地图示装置1的各个方面。

图2展示由摄像装置2捕获到的摄像机图像k。图中所描绘的目标包括右车道标记51，中间车道标记52，处于右车道边缘的护栏53以及在平行车道上行驶的车辆54。

计算装置12借助边缘识别的经典方法对摄像机图像k的像素进行分析。计算装置12尤其可在每个像素上应用索贝尔滤波器，以识别像素周围环境旁或周围环境的一个边缘。所述索贝尔滤波器可考虑要检查的像素周围环境的3x3像素，但也可计算像素的更大的周围环境区域。

计算装置12可为每个像素确定，像素是否处于一边缘附近或一边缘中。计算装置12尤其可将借助索贝尔滤波器计算的数值与一预先规定的阈值加以比较。如果超越阈值，则计算装置12确定，像素是与一可能的车道界限相对应的特征点。

在图2所示的摄像机图像k中，计算装置12测定从p1到p15总共15个特征点。这只是示例。通常，将生成更大数量的特征点。

对p1到p15的每个特征点，计算装置12生成图像剪裁部分b1到b3，在图2中为清楚起见，仅展示前三个特征点p1到p3。图像剪裁部分b1到b3可有一预先规定的大小，例如128x128像素。特征点p1到p15分别优选设置在各相应图像剪裁部分b1到b3的中心。

在图3中更准确地解释进一步分析图像剪裁部分b1到b3所用的神经网络的生成。据此，首先生成具有训练数据的数据库db。训练数据包括借助车载摄像机捕获到的图像。这些图像优选被手动分类为两组。ta1到ta4的第一组包括展示车道界限的图像。这些图像只能包括车道标记的图像。然而，根据其他实施方式，这些图像也可反映路边石边缘或其他车道界限。为此，这些图像可在不同亮度或天气条件下生成。第二组包括图形tb1到tb4，这些图形显示具有边缘、但不是车道界限的目标。它们可能是车辆tb1、tb3、护栏tb2或桥梁tb4的图像。

神经网络的训练方式是，使第一组ta1到ta4的图像被分类为车道界限的图像，而第二组tb1到tb4的图像被分类为不展示车道界限的图像。在训练阶段后，计算装置12可借助神经网络对b1到b3的任意图像剪裁部分进行分类。为此，首先可借助神经网络给出图像剪裁部分b1到b3是一车道界限图像的概率。如果计算得到的概率超越一预先规定的阈值，例如0.5，则计算装置12将图像剪裁部分b1到b3分类为对应于一车道界限。

针对摄像机图像k的特征点p1到p15，计算装置12例如识别出，中间车道标记52的特征点p2、p5到p8以及右车道标记51的特征点p1、p9到p13是与车道界限相对应的特征点。相反，护栏53和车辆54的测量点p4、p3、p14和p15被作为错误的标识而丢弃，因为所描绘的目标不是车道界限。

为测定车道，计算装置12优选仅包括被识别为与车道界限相对应的特征点p1到p15。

现在，计算装置12可通过对相邻的剩余特征点p1到p15或像素进行插值来测定相应的车道界限。

如图4中所示，计算装置12例如针对图2中所描绘的摄像机图像k识别第一车道界限m1和第二车道界限m2。与此相应，计算装置12测定，在车道界限m1和m2之间有一车道f。

所描述的车道识别优选以迭代方式进行，其中，已识别的车道界限和车道被加以更新。

在图5中图示了根据本发明一实施方式的用于车辆的驾驶员辅助系统4的方框图。驾驶员辅助系统4包括摄像装置2，该摄像装置具有一个或多个车载摄像机，它们设置或可设置在车辆上。

驾驶员辅助系统4还包括上面所述的用于识别车道的装置1。该装置包括上面所述的接口12，它接收由摄像装置2捕获到的摄像机图像，该装置还包括计算装置12，它根据摄像机图像测定车道f。

驾驶员辅助系统4可包括控制装置3，它可控制车辆的特定驾驶功能。控制装置3因此可根据所识别的车道以如下方式控制车辆，即使车辆加速、制动或转向。驾驶员辅助系统4可由此实现车辆的半自主或自主控制。控制装置3也可设置成用于，在车辆离开所识别的车道f时，输出一警告信号，以警告驾驶员不要意外偏离车道f。

图6图示了根据本发明一实施方式的车辆5的方框图。车辆5可例如为轿车、货车或摩托车。车辆5包括上面所述的驾驶员辅助系统4，该系统具有用于识别车辆5车辆周围环境中的车道f的装置1。

图7展示根据本发明一实施方式的用于识别车道f的方法的流程图。

在方法步骤s1中，借助摄像装置2捕获车辆周围环境的摄像机图像。在此，也可将多个单一图像加以组合。

在进一步的方法步骤s2中，借助边缘检测方法对摄像机图像的单一像素进行分析评估，以测定特征点p1到p15。为此，例如可使用索贝尔滤波器以用于边缘检测。如果借助索贝尔滤波器计算得到的数值超越一预先规定的阈值，则将像素标识为可与车道界限相对应的特征点p1到p15。

在方法步骤s3中，围绕每个特征点p1到p15生成一图像剪裁部分b1到b3。特征点p1到p15可优选处于一正方形图像剪裁部分b1到b3的中心。图像剪裁部分的大小可为例如128x128像素。然而，本发明不限于此。图像剪裁部分不必一定是正方形或矩形的。例如可根据摄像装置2的透视描绘选择图像剪裁部分的形状。

在方法步骤s4中，使用神经网络对图像剪裁部分进行分析。为此，根据数据库中的训练数据生成神经网络或使神经网络进行学习。所述训练数据包括结合图3中所述的车道界限图像或不含车道界限的车道周围环境图像。在训练阶段后，神经网络设置成用于，对任意图像剪裁部分进行分析和分类。针对各图像剪裁部分识别，所描述的车辆周围环境区域是否反映一车道界限。对特征点进行相应分类。对借助神经网络被分类为与车道界限相对应的那些特征点进行进一步的分析评估，而其余特征点则被丢弃。

根据剩下的特征点，在方法步骤s5中测定车道界限m1和m2的走向。根据车道界限m1和m2的走向，识别出可供车辆5行驶的车道f。

根据所识别的车道f，还可输出警告信号，或执行对车辆5的半自主或自主控制。

附图标记列表

1用于识别车道的装置

2摄像装置

3控制装置

4驾驶员辅助系统

5车辆

11接口

12计算装置

51右车道标记

52中间车道标记

53护栏

54车辆

f车道

m1、m2车道界限

p1到p15特征点

b1到b3图像剪裁部分

ta1到ta4车道界限图像

tb1到tb4非车道界限的目标图像