预测道路车道几何形状的方法和系统与流程

1.本发明涉及一种预测道路车道几何形状的方法、一种预测道路车道几何形状的系统以及一种包含预测道路车道几何形状系统的车辆。


背景技术：

2.对于车辆在道路上的半自主驾驶和自主驾驶，了解前方道路车道的几何形状是一个重要方面。如果前方有急转弯，则例如必须降低本车速度。另一示例是，如果本车同一车道前方有一较慢的车辆，则本车必须减速，如果较慢的车辆在与本车不同的车道上，则本车可保持现有速度。
3.已知的预测道路车道几何形状的方法和系统使用摄像机和雷达来检测道路标记，并从检测到的道路标记推断出道路车道的几何形状。然而，摄像机可覆盖的道路标记范围通常被限制在最多100米，这对半自主和自主驾驶的许多要求而言可能太短。另一方面，雷达只能检测到例如路缘石、导柱或护栏等突起的道路标记，但无法检测到车道标记。因此，雷达可探测前方整个道路的几何形状，但不能探测单一车道的几何形状。


技术实现要素：

4.因此，本发明的任务是提供一种改进的预测道路车道几何形状的方法和系统，尤其是一种覆盖范围更广的预测道路车道几何形状的方法和系统。
5.本发明的任务通过独立权利要求的主题解决，其中，在从属权利要求中包含了其他实施方式。
6.根据本发明的第一观点，提供一种预测道路车道几何形状的方法。所述方法尤其是一种预测一本车前方道路车道几何形状的方法。在本文中，几何形状是指道路车道的二维表征，尤其是它们的路径。
7.根据所述方法，提供摄像机的车道预测。所述摄像机车道预测是以摄像机检测到的道路标记为基础的。与此相关，“摄像机”指的是本车中的一个或多个摄像机，其中，摄像机可在可见光和/或近红外光谱中工作，即光的波长分别在380纳米和750纳米之间或750纳米和3微米之间。所述摄像机车道预测包括至少一个摄像机预测的车道段。
8.此外，还提供一前方行驶车辆的车道预测。所述前方行驶车辆的车道预测是以至少一前方行驶车辆的轨迹，即至少一本车前方行驶车辆的轨迹为基础的。前方行驶车辆的车道预测假设是，大多数其他车辆，尤其是本车前方行驶的车辆，在道路车道上移动，这样前方行驶车辆的轨迹就表明了道路的车道。前方行驶车辆的车道预测包括至少一前方行驶车辆预测的车道段。
9.根据所述方法，至少一摄像机预测的车道段和至少一前方行驶车辆预测的车道段被拼接，以获取所预测的道路车道几何形状。由此，通过摄像机车道预测给出的道路车道几何形状的范围通过前方行驶车辆的车道预测给出的道路车道几何形状加以扩展。为半自主驾驶和自主驾驶输入具有扩展范围的道路车道几何形状作是有益的。
10.根据一实施方式，至少一摄像机预测的车道段和至少一前方行驶车辆预测的车道段分别由其左边缘和右边缘给出。在本文中，左边缘和右边缘是指车道上车辆行驶方向的车道段边缘。如果几个车道相邻排列，一车道的左边缘可与相邻车道的右边缘重合。左边缘和右边缘尤其作为二维点的一列表给出。这些二维点可在与本车相连接的一坐标系中给出，其中，y方向可对应于本车的驾驶方向，x方向可对应与驾驶方向垂直的方向。二维点列表的排列方法可是，第一个二维点最接近本车，列表中最后一个二维点离本车最远。通过连接列表中的二维点，可获得车道的边缘。
11.根据一实施方式，至少一摄像机预测的车道段是通过对至少一摄像机提供图像上的道路标记的图像检测获取的。所述至少一摄像机可是可见光或近红外光摄像机。道路标记可是车道标记、路缘石、导柱和/或护栏。所述道路标记通过图像检测加以识别，其中，图像检测可以例如神经网络或决策树等人工智能为基础。
12.根据一实施方式，至少一前方行驶车辆预测的车道段是通过跟踪至少一前方行驶车辆测定的。所述前方行驶车辆可借助摄像机、激光雷达和/或雷达进行跟踪。然后，可通过人工智能对摄像机、激光雷达和/或雷达的输出进行分析，尤其是为了获取例如二维点等至少一前方行驶车辆的位置信息。此外，也可通过人工智能在摄像机输出、激光雷达输出和/或雷达输出的基础上对至少一前方行驶车辆进行跟踪。然后存储至少一前方行驶车辆的时间位置信息，以获取至少一前方行驶车辆的轨迹。换句话说，可获取至少一前方行驶车辆位置的一时间序列。所述时间序列可是位置的有序列表。如果这些位置被记录在一与本车相关联的坐标系中，那么在计算至少一前方行驶车辆轨迹时，必须考虑到所述坐标系已移动的事实。然后，以车道宽度围绕至少一前方行驶车辆的轨迹生成至少一前方行驶车辆预测的车道段。如果至少一前方行驶的车辆处于一车道中心，则所产生的前方行驶车辆预测车道段与实际道路的一车道段相对应。也就是说，至少一前方行驶车辆的各位置可与至少一前方行驶车辆左边缘和右边缘相对应，在距离至少一前方行驶车辆位置二分之一车道宽度处，在垂直于至少一前方行驶车辆行驶方向的各方向建立二维点。所述车道宽度可有一预定值，也可从摄像机预测的车道段的车道宽度推断得出。对至少一前方行驶车辆的跟踪可在距离本车至少150米、优选200米，尤其优选300米的范围内进行。位置的时间序列可包括距至少一前方行驶车辆至少2秒、优选至少3秒、尤其优选至少5秒的位置。
13.根据一实施方式，对至少一摄像机预测的车道段和/或至少一前方行驶车辆预测的车道段进行平滑处理。这可通过对二维点列表进行多项式、尤其是三次多项式拟合，然后将拟合的数据取样反馈到二维点列表中加以实现。通过所述平滑消除车道段中的随机误差，并对进一步的加工处理进行了改善。对前方行驶车辆预测的车道段，取代对前方行驶车辆的轨迹进行平滑处理，可将平滑处理用于确定前方行驶车辆所预测的车道段。
14.根据一实施方式，对至少一摄像机预测的车道段和/或至少一前方行驶车辆预测的车道段进行外推。外推可以整个车道段、以实施外推的车道段末端的车道段曲率、或以整个车道段为基础，其中，为实施外推的车道段末端点分配较高的权重以及为与外推相反的车道段末端点分配较低的权重。此外，还可用例如卡尔曼平滑对车道段实施进一步的平滑处理。所述外推法可执行到相邻车道段相互接触和/或相邻车道段相互重叠的位置。在此，相邻车道段是指沿行驶方向彼此相邻的车道段。
15.根据一实施方式，如果相邻车道段在垂直于车道行驶方向的重叠部分大于50％，
优选大于65％，尤其优选大于80％，则相邻车道段被拼接在一起。只有在相邻车道段之间有一明显重叠时，才会进行拼接。如果重叠部分较小，可认为所述车道段不属于同一车道。这可能发生在例如前方行驶车辆改变车道的情况下，因此前方行驶车辆预测的车道段并不与道路的实际车道相符合。
16.根据一实施方式，为相邻车道段的每个拼接处分配一拼接质量度量。所述拼接质量度量可以相邻车道段与车道行驶方向垂直方向上的重叠为基础。然后，拼接质量度量例如可用于卡尔曼滤波中对所预测道路车道几何形状不确定性的描述。
17.根据一实施方式，如果一前方行驶车辆预测的车道段与其他车道段在垂直于车道行驶方向上的重叠率小于15％，优选小于5％，尤其优选0％，则添加一附加道路车道。换句话说，由于与其他车道段只有很小的重叠或几乎没有重叠，所以所述前方行驶车辆预测的车道段在已知车道之外，并被添加为附加车道。这类附加车道尤其可与一出口车道、一转弯车道或一由于道路拓宽而形成的附加车道相对应。
18.根据一实施方式，所述方法还包括基于对道路边界的雷达检测提供一道路边界的预测。这类道路边界可是由本车一雷达系统检测到的路缘石、导柱和/或护栏，并可由一人工智能进行分析。如上所述，例如可通过拟合和重新取样对道路边界的预测进行平滑处理。前方行驶车辆预测的车道段如果超过所预测道路边界外25％，优选超过15％，尤其优选超过5％，则被拒绝，并不再被进一步使用，例如不与其他车道段拼接。作为附加措施或替代选择，道路边界的预测可作为至少一摄像机预测的车道段和/或至少一前方行驶车辆预测的车道段的包络。
19.根据一实施方式，所述方法还包括传送/广播所预测的道路车道几何形状。传送可通过一有线连接或一无线连接进行。传送也可指将所预测道路车道几何形状复制到同一计算装置中的不同进程，或指可由同一计算装置在不同进程访问的存储器中对所预测道路车道几何形状的共享。所预测道路车道几何形状尤其被传送给高级驾驶员辅助系统。高级驾驶员辅助系统可是或可包括例如一自动巡航控制和/或一紧急制动辅助。所述高级驾驶员辅助系统也可是一用于半自主或自主驾驶的系统。所述高级驾驶员辅助系统极大地受益于所预测道路车道几何形状的扩展作用范围。
20.根据本发明一第二观点，提供预测道路车道几何形状的一系统。所述系统包括至少一摄像机和一计算单元。至少一摄像机可是一可见光摄像机和/或一近红外光摄像机。计算单元配置用于，基于摄像机拍摄的道路标记图像生成摄像机车道预测，并基于前方行驶车辆的轨迹生成前方行驶车辆的车道预测。此外，所述计算单元还配置用于，实施摄像机车道预测的车道段和前方行驶车辆的车道预测的车道段的拼接。与基于道路标记图像的摄像机车道预测相比，由此生成的道路车道几何预测提供一更大的作用范围，这对例如高级驾驶员辅助系统等是有益的。
21.所述系统尤其可设置用于实施如上所述预测道路车道几何形状的方法。
22.根据本发明另一观点，提供包括一如上所述预测道路车道几何形状系统的车辆。车辆尤其还可包括一高级驾驶员辅助系统，该系统受益于由预测道路车道几何形状的系统提供的预测道路车道几何形状的扩展范围。
附图说明
23.本发明的这些方面和其他方面将在下面描述中，以示例性的实施方式和参照附图更明确、更详细地加以解释，其中
24.图1展示的是具有预测道路车道几何形状的系统的一车辆实施方式；
25.图2展示的是具有预测道路车道几何形状的系统的另一车辆实施方式；
26.图3a—3d展示的是预测道路车道几何形状的一方法示例；
27.图4展示的是预测道路车道几何形状的另一方法示例；
28.图5a—5b展示的是预测道路车道几何形状的又一方法示例；以及
29.图6a—6b展示的是预测道路车道几何形状的又一方法示例。
30.应注意的是，这些图是纯粹的示意图，并没按比例绘制。在图中，与已描述部分相对应的部分可具有相同的附图标记。示例、实施方式或作为选项的特征，无论是否标明为非限制性的，都不应理解为是对发明所要求的限制。
具体实施方式
31.图1展示的是带有预测道路车道几何形状系统2的车辆1的一实施方式。系统2包括一摄像机3和一计算单元4，其中，摄像机3与计算单元4相连接。在本实施方式中，摄像机3与计算单元4的连接是有线连接，但也可是无线连接。
32.摄像机3配置用于，拍摄车辆1前方区域的图像，尤其是道路标记和前方行驶车辆的图像。这些图像被传送到计算单元4，并由计算单元4进行分析。所述分析可由例如神经网络或决策树等人工智能执行。作为分析的结果，道路标记和前方行驶的车辆被识别，它们的位置例如作为二维点被确定。
33.基于所检测的道路标记，生成包括至少一个摄像机预测车道段的摄像机车道预测。基于前方行驶车辆轨迹，生成包括至少一个前方行驶车辆预测车道段的车辆车道预测。最后，计算单元4将至少一个摄像机预测车道段和至少一个前方行驶车辆预测车道段进行拼接。作为结果，获得所预测的道路车道几何形状，其作用范围大于摄像机车道预测的作用范围。该所预测的道路车道几何形状可由车辆1的高级驾驶员辅助系统使用，并从经扩展的作用范围中受益匪浅。
34.图2展示的是具有预测道路车道几何形状的系统2的车辆1的另一实施方式。该系统还包括与计算单元4相连接的雷达5。借助雷达，可进一步实施道路边界和前方行驶车辆的检测。这类检测可对由摄像机3检测的道路标记和前方行驶车辆的结果加以改进，并检测附加的道路边界。检测到的道路边界被计算单元4用于生成道路边界预测，该预测可对所预测的道路车道几何形状加以改进。
35.图3a至3d展示的是预测道路车道几何形状的方法示例。图3a中展示的是本车1以及三个摄像机预测的车道段6.1至6.3。摄像机预测的车道段6是从道路标记中获取的，例如在摄像机3拍摄图像中检测到的车道标记、路缘石、导柱和/或护栏。车道段6分别由其左边缘7.1至7.3或其右边缘8.1至8.3给出，其中，左边缘7.2与右边缘8.1一致，左边缘7.3与右边缘8.2一致。还展示的是本车1的驾驶方向d。
36.此外，还展示的是一前方行驶车辆9.1以及前方行驶车辆9.1的轨迹10.1。轨迹10.1是通过借助摄像机3和/或雷达5跟踪前方行驶车辆9.1并对前方行驶车辆9.1的时间位
置信息加以存储获取的。此外，还展示了前方行驶车辆9.1的行驶方向d'。
37.作为下一步骤，由前方行驶车辆9.1的轨迹10.1生成前方行驶车辆预测车道段11.1。前方行驶车辆预测车道段11.1也同样由左边缘12.1和右边缘13.1给出。前方行驶车辆所预测的车道段11.1是通过在车道10.1与前方行驶车辆9.1的行驶方向d'垂直的任一方向上，在二分之一车道宽度的距离上设置一左边缘12.1和一右边缘13.1生成的。
38.然后，对摄像机预测的车道段6和前方行驶车辆预测的车道段11.1进行外推，直至彼此触及，如图3c所示。在该示例中，外推的前方行驶车辆所预测车道段11.1和摄像机所预测车道段6.2完全匹配，即前方行驶车辆所预测车道段11.1和摄像机所预测车道段6.2在与行驶方向d，d’垂直的方向上重叠率为100％。
39.因此，摄像机所预测车道段6.2和前方行驶车辆所预测车道段11.1被拼接在一起，以便如图3d所示，获取所预测的道路车道几何形状14。
40.图4中展示的是一示例，在垂直于行驶方向d，d'的一方向上，前方行驶车辆所预测车道段11.1和摄像机所预测车道段6.2和6.3的重叠率各为约50％。这可是例如前方行驶车辆9.1改变车道的结果。在此情况下，前方行驶车辆所预测车道段11.1不会被拼接到摄像机所预测车道段6.2或摄像机所预测车道段6.3，而是被丢弃。
41.在图5a和5b中展示的是一示例，其中，前方行驶车辆所预测车道段11.1和某一摄像机所预测车道段6之间没有重叠。这可表明例如一出口车道或一转弯车道。因此，与前方行驶车辆所预测车道段11.1相对应的附加道路车道被添加并被纳入到道路车道几何形状14中。所述附加道路车道的起点被设置为最接近本车1的轨迹10.1的点，因为这是附加道路车道存在的第一个确认位置。
42.图6a和6b中展示的是一示例，其中，通过雷达检测诸如路缘石、导柱和护栏等道路边界获取左右道路边界15.1和15.2。超过所预测道路边界15之外预定部分的前方行驶车辆，诸如前方行驶车辆9.2所预测车道段11.2也会被拒绝，不用于生成道路车道几何形状14，如图6b所示。
43.所公布实施方式的其他变型可由本领域技术人员在实施要求保护的发明时，通过研究附图、公布内容和所附权利要求加以理解并予以实施。在权利要求中，“包括”一词不排除其他部分或步骤，不定冠词“一”不排除多个。事实上，在相互不同的从属权利要求中所引用的特定措施并不表示不能以有益的方式应用这些措施的组合。权利要求中的所有附图标记不应被解释为对权利要求范围的限制。