用于检测车道和道路的方法与流程

本发明涉及一种用于检测车道和道路的方法。

背景技术：

从现有技术中已知例如识别车道标记或道路界限并由其导向的方法。在已知方法中，所有驾驶员辅助功能也以车道标记和/或道路边界为指南。

已知方法中的缺点是，它们仅使用标记和/或界限作为车道走向或道路走向的参考，其中，这常在缺失标记或标记不可见时出现问题。例如，没有正确识别的标记就无法运行车道保持辅助系统。

此外，从现有技术中已知诸如语义分割法以及回归法等特定方法。

语义分割法，即按像素分类，是一种具有较高分类性能的常用方法。然而，即使从正确分类的图像区域中提取车道/道路界限等相关信息，也不一定方便或明确，因为这类系统通常会成像一条道路等的可见区域，但不会成像诸如道路边缘等界限。

尤其在有诸如车辆等遮掩/遮挡车道界限或道路界限的动态目标时，道路边缘等界限在成像中被忽略，这使得随后从像素标记的图像材料中提取相应界限变得更加困难。

回归方法的使用提供了直接以参数表示形式输出界限的可能性。在界限被遮掩或不确定的情况下，这种方法能从图像上下文中内插中间值。

然而，在此却很难识别网络在哪些区域提供正确的检测以及在哪些区域已实施网络内插。

技术实现要素：

因此，本发明的任务是提供一种用于检测车道和道路的方法，该方法即使在困难情况下也能可靠检测车道和道路。

该任务通过独立权利要求1的主题解决。

本发明其他有益的设计方案和实施方式是从属权利要求的主题。

首先要考虑的是使用深度神经网络(dnn)可靠地检测车道、本身所在车道和相邻车道以及可行驶的道路区域，即使在困难情况下，该深度神经网络也能实现较高的识别率。这也包括对检测置信度的分析评估。

根据本发明所述，提出了一种用于检测车道和道路的方法，其中，使用包括至少一个编码器以及至少一个第一解码器和一个第二解码器的多任务dnn(深度神经网络)架构进行检测，所述方法包括以下步骤：

-借助光学检测装置提供输入图像，

-借助编码器过滤输入图像，

-通过编码器生成第一表征，

-将第一表征转发到第一解码器和第二解码器，

-在第一解码器和第二解码器中处理第一表征，

-输出第一解码器和第二解码器的其他两个不同表征，

-合并第一解码器和第二解码器的两个表征，

-输出识别到的车道、车道界限和/或道路。

编码器优选是卷积神经网络(cnn)。第一解码器和第二解码器也同样可以是卷积神经网络(cnn)。输入图像可以是三原色光模式(rgb)或yuv格式的图像，或也可以是灰度图像。所识别的车道或所识别的道路以及相应的相关界限例如可被输出到诸如车道保持辅助系统等驾驶员辅助系统。也可考虑将输出数据用于自主驾驶。

在一优选实施方式中，编码器的表征以卷积滤波器的形式提供学习到的特征。这些卷积滤波器尤其与车道的检测相关。通过卷积滤波器可识别边缘。

在一特别优选的实施方式中，第一解码器执行语义分割法，而第二解码器执行关键点回归法。车道和/或道路未占用面积借助语义分割法测定。附加的关键点回归法可直接检测车道和/或道路清晰可见的界限，并可对不确定或被遮掩的界限进行内插。

第一解码器表征优选提供可行驶区域输入图像的精确到像素的分类。可行驶区域优选是道路和/或车道。由此可分类为例如本车所在车道、相邻左车道、相邻右车道、相邻第二左车道等不同类别，以及对整个可行驶道路进行分类。当前，针对该输出，每个类别输出包括分类结果的二进制图像。

在一优选设计方案中，第二解码器表征提供车道和/或道路的可见界限作为图像坐标中的连续值对。车道和/或道路界限相应借助数量为k的所谓关键点(xi、yi)在图像坐标中作为连续值对输出，其中1<＝i<＝k。与第一解码器的卷积神经网络(cnn)相反，由于第二解码器的卷积神经网络(cnn)以浮点值形式提供连续输出，在此可获得精确到子像素的输出。

分别包含图像中x和y位置两个值的k个关键点在此分为左道路界限和右道路界限的近似值，即每侧k/2个关键点。

在此，关键点以2d(二维平面)图像坐标给出。但是，该方法也可转换为3d(三维立体)世界坐标系。

作为整个深度神经网络(dnn)的结果，车道和/或道路相应具有两种不同表征。

根据第一解码器和第二解码器的不同表征，优选估计相应车道和/或道路界限的识别置信度。

根据这两种不同表征，深度神经网络(dnn)本身提供一定数量的冗余。该冗余可用于估计相应车道界限的深度神经网络(dnn)识别置信度。

通过第二解码器的关键点输出提供的、模拟车道/道路的第一解码器按像素方式分类的边缘区域的相应车道/道路界限越精确，深度神经网络(dnn)的输出越可靠，识别置信度越高，并且可能存在的例如行车路径控制等后续功能都可在此基础上做出相应反应。

通过用于车道和/或道路的不同表征的两个单独解码器的公共编码器，训练时能在编码器中学习对两个表征都有益的特征。

因此，表征在找到这些特征时互相支持，并还允许所提出的深度神经网络(dnn)具有增强的可推广性，因为找到的特征必须提供两个不同表征。

附图说明

从附图中得出其他有益的设计方案和实施方式。其中：

图1：这是通过语义分割法识别的道路的示例性图示；

图2：这是本发明一实施方式的示例性示意图；

图3：这是本发明另一实施方式的另一示例性示意图；

图4：这是带有根据本发明一实施方式识别到的车道的道路图示；

图5：这是根据本发明所述方法的流程示意图。

具体实施方式

图1展示通过语义分割法识别到的道路1的示例性图示。在此可清楚地看到，道路界限不可被明确识别，只能识别界限之间的面积。尤其当存在例如车辆等遮掩车道或道路界限的动态目标2时，道路边缘等界限在成像中被忽略，这使得随后从像素标记的图像材料中提取相应界限变得更加困难。不能从按像素的分割中明确提取图1中的道路右边缘。

图2展示本发明一实施方式的示例性示意图。在此，展示了示例性的多任务深度神经网络(dnn)架构结构，它由卷积神经网络(cnn)编码器、语义分割法解码器和用于关键点回归法的解码器组成。语义分割法解码器提供像素分类作为输出，关键点回归法提供关键点作为输出。这两种输出相互合并，并进行置信度评估。通过两种表征的合并，可估计网络输出在哪些区域是可靠的，以及在哪些区域进行了内插和/或在检测中存在不确定性。

图3展示本发明另一实施方式的另一示例性示意图。此处显示了深度神经网络(dnn)的通用结构，它可用于可靠检测车道、相邻车道以及车道和/或道路界限。相应部分对应于图2的结构。

图4展示带有根据本发明一实施方式识别到的车道s1-s3的道路1的图示。在此，通过按像素分类将道路1分为本车所在车道s2、相邻左车道s3和相邻右车道s1。此外，对本车所在车道s2的左和右车道标记，图示了从关键点回归解码器提供的关键点kpl、kpr，它们已连成一条线并由此表示车道标记。在此，参考标号kpl描述位于行驶方向左侧的关键点，参考标号kpr描述位于行驶方向右侧的关键点。

图5展示根据本发明所述方法的流程示意图。在方法步骤vs1中，借助光学检测装置提供输入图像。该输入图像在随后的方法步骤vs2中借助编码器过滤。在另一步骤vs3中，由编码器生成车道和/或道路的第一表征。在步骤vs4中，第一表征被转发到第一解码器和第二解码器。在步骤vs5中，在第一解码器和第二解码器中处理该第一表征。

在步骤vs6中，输出第一解码器和第二解码器的另外两个不同表征。在步骤vs7中，合并第一解码器和第二解码器的两个表征。在最后步骤vs8中，输出识别到的车道和车道界限以及道路。

参考标记列表

1道路

2目标

s1-s3车道

kpl左关键点

kpr右关键点

vs1-vs8方法步骤