用于识别车辆在车道上的位置的方法和设备的制造方法
【技术领域】
[0001] 本发明涉及一种用于识别车辆在车道上的位置的方法、一种相应的设备、一种车 道识别系统以及一种相应的计算机程序产品。
【背景技术】
[0002] 当今，用于探测行车道标记（白色/黄色）的系统基于单目摄像机或立体摄像机。 驾驶员的基于此的转向支持（车道保持系统）同样如此。通过方向盘上的转矩可以使车辆 保持在所探测的车道内。串行系统的特征在于高的可用性，但在困难的情形中（如对向灯 光、夜晚、潮湿、雪或建筑工地）在其可用方面可能降低。在立体摄像机中，也可能由于光学 路径的干扰以及在道路上的反射出现可用性降低，因为存在大的重叠的图像区域并且在两 个摄像机图像中出现所述效果。另一方面在于，当车道不通过标记而是例如通过绿化带或 护栏限界时，几乎不能实施行车道边缘的稳健识别。
[0003] 当今的系统可能导致，使在"良好情况"中（例如德国的高速公路）已对所述系统 习惯了的驾驶员在可用性降低的情形中、在特殊情况中或在差的道路上变得不安并且因此 丧失对系统的信任并且降低可接受度。现在，对于当前的系统的挑战是：从良好标记的道路 变换到差地标记的州属公路。
[0004] 存在以下公开文献：它们在车辆中使用前方摄像机和/或向后行驶摄像机，以便 在对向灯光情况中也能够实现稳健的车道识别系统。
[0005] 例如，公开文献US 20070091135c A1描述了一种方案，其中基于车道识别系统也 能够实现车道保持系统。在对向灯光情况中，仅仅根据来自向后行驶摄像机的图像的识别 结果保持车道可能是有问题的，因为对此需要车道识别的前瞻，所述前瞻在对向灯光情况 中不能由前方摄像机保证并且不能由向后行驶摄像机保证。
[0006] 在DE-102006021177 A1中示出一种系统，其利用雷达传感器以及侧面摄像机和向 后行驶摄像机，以便能够识别前方行驶的车辆的车道变换。没有对车道识别进行描述。
【发明内容】
[0007] 在所述背景下，借助本发明提出根据主权利要求的一种用于识别车辆在车道上的 位置的方法、一种使用所述方法的设备以及一种相应的计算机程序产品。由相应的从属权 利要求和随后的描述得到有利的构型。
[0008] 本发明基于以下认识：在成像方法中摄像机中的光学轴线的取向可以是很多干扰 参量的直接影响。此外，系统的稳健性通过冗余和多个光学检测系统的彼此偏差的光学轴 线提高。借助多个摄像机系统的内在校准和外在校准能够将图像变换到一个共同的世界坐 标系中，其中其他计算可以基于变换成世界坐标的图像。
[0009] 本发明实现一种用于识别车辆在车道上的位置的方法，其中所述方法具有以下步 骤：
[0010] 读取具有第一光学轴线的第一摄像机的第一图像和具有第二光学轴线的至少第 二摄像机的至少一个第二图像，其中第一和第二摄像机如此取向，使得第一光学轴线和第 二光学轴线在第一摄像机和/或第二摄像机的检测角的外部相交，其中所述第一图像和所 述至少一个第二图像包含各一个视角，所述各一个视角与车辆的行驶方向最大偏差90度 角。
[0011] 在第一图像中确定至少一个相关联的（verkettet)图像梯度并且在至少一个第 二图像中确定至少一个另外的相关联的图像梯度；
[0012] 将所述至少一个相关联的图像梯度分配给一个行车道边界对象并且将所述至少 一个另外的相关联的图像梯度分配给所述行车道边界对象和/或另一个行车道边界对象；
[0013] 求取车辆相对于所述行车道边界对象和/或所述另一个行车道边界对象的相对 位置，以便识别车辆在车道上的位置。
[0014] 车辆可以涉及载客车辆、商用车辆或摩托车。车辆可以在具有至少一个车道的行 车道上运动。车道可供车辆用于一个方向上的行驶。车道可以通过道路标记一一如行车道 边界和行车带边界或引导线表征。不同的车道也可以是不特征化的。行车道边界对象可以 具有可与车道不同的表面、颜色和/或结构。道路设施的引导柱和/或其他装置一一例如 交通标牌或护栏可以是行车道边界对象。车辆在车道上的位置可以表示车辆与车道的侧边 缘的侧向间距和/或车辆的行驶方向与车道边缘或行车道边缘的角度。可以在车辆中设置 至少两个摄像机。摄像机可以分别具有一个光学轴线和一个检测角。光学轴线可以延伸经 过所拍摄的图像的中点。第一摄像机的光学轴线可以在一个公差范围内在车辆的行驶方向 上取向。在时间变化过程中，可以由至少第二摄像机检测由第一摄像机所检测的对象。检 测角可以称作像角和/或水平像角。检测角可以理解为表征图像的边缘的视角和表征图像 的相对置的边缘的视角之间的角。视角可以表示观察对象的视角或者表示在观察对象时得 出的方向。视角可以参考光学轴线和/或参考车辆的行驶方向。在一个像点处，图像梯度 可以代表直接相邻像点的最大强度增大的方向。相关联的图像梯度可以理解为相邻图像梯 度的关联或汇总，其中汇总的图像梯度可以在一个公差范围内具有所述图像梯度的相应的 方向和大小。相关联的图像梯度可以称作"链（string)"。在此，像点可以称作像素。相邻 像点可以理解为直接相邻的像点，即两个彼此接触的像点和/或也可以将最近的和/或次 近的像点称作相邻像点。设置多个摄像机尤其可以是有利的，使得在光学路径由迎面驶来 的车辆干扰的情形中仅仅一个摄像机受此负面影响。
[0015] 本发明提供以下优点：现在通过以不同光学轴线取向的第一和第二摄像机的图像 的使用在一个摄像机的光学轴线的干扰（例如炫目）时也可以实现图像的非常好的且稳健 的分析处理。由此可以非常简单地确保在暂时不利的情况中当摄像机在所述不利的情况中 炫目时也可以识别车辆在车道上的位置。在此，不从应借助两个摄像机检测和/或监视尽 可能大的图像区域的立体摄像机读取图像，而从以能够在摄像机中的一个的光学路径的干 扰时实现所读取的图像的处理的稳健性的光学轴线取向的摄像机系统读取图像。
[0016] 也有利的是，在另一种实施方式中本方法具有在使用沿着相关联的图像梯度的图 像区域的情况下分类至少一个相关联的图像梯度和至少一个另外的相关联的图像梯度的 步骤并且具有选择至少一个所分类的相关联的图像梯度的步骤，其中所分类的相关联的图 像梯度代表可用于车道的线走向估计的那些相关联的图像梯度。分类的步骤和选择的步骤 可以设置在分配的步骤之后并且在求取的步骤之前。线走向估计可以产生用于车道的边界 线。在相互间隔开的行车道边界对象中，线走向估计可以产生两个彼此间隔开设置的行车 道边界对象之间的车道的走向。因为在此根据成像特性更多的像素或者更大的图像区域可 以用于纹理分析和/或颜色分析，所以借助纹理分析或颜色分类可以在侧面摄像机的图像 中实现比在现有技术中能够实现的好得多的颜色分类。
[0017] 此外，在一种实施方式中，在分类的步骤中也可以给至少一个相关联的图像梯度 和至少一个另外的相关联的图像梯度分别分配一个质量值，其中所述质量值代表至少一个 相关联的图像梯度的精确度和/或所期望的方差作为车道的边界。在本方法内，可以通过 将质量值分配给相关联的图像梯度来确定用于车辆在车道内的位置确定的概率。由此，可 以进一步提高本方法的稳健性。
[0018] 除线的好得多的分类以外，用于相关联的图像梯度的质量值或者扩展特征也能够 实现相关联的图像梯度的时间稳健的跟踪或者追踪，这引起可以将空间时间特征用于线走 向估计，这使算法更稳健地、更准确地且更高地可供使用。因为也可以在侧面摄像机的图像 中再次发现并且分析借助前方摄像机已经"看到"并且分配地追踪了的特征，所以具有所属 特征的空间时间的相关联的图像梯度允许整体行车道走向估计。
[0019] 此外，在读取的步骤中也可以内在地和/或外在地校准所述图像和至少第二图 像。通过内在的和/或外在的校准，可以使第一图像和/或第二图像的任何像点可靠地分 配参考车辆的位置。这种校准例如可以理解为图像坐标到例如参考车辆上的固定点的真实 坐标系的变换。在本发明的另一种实施方式中，在读取的步骤中第一图像和至少第二图像 具有重叠的部分区域。在重叠的部分区域中，对象可以由第一摄像机而且由第二摄像机识 另IJ。第一图像和第二图像的重叠的部分区域可以简化外在校准和/或简化相关联的图像梯 度到行车道边界对象的分配。如果在重叠的部分区域中成像相关联的图像梯度，则可以在 第一图像中并且在第二图像中更容易地实施分配。当第一摄像机的第一光学轴线和第二摄 像机的第二光学轴线具有小于90度的角时，尤其可能存在第一图像和第二图像的重叠的 部分区域。在一种实施方