用于通过机动车辆的相机系统跟踪接近机动车辆的目标车辆的方法、相机系统以及机动车辆与流程

本发明涉及一种用于通过机动车辆的相机系统跟踪接近机动车辆的目标车辆的方法。通过所述相机系统的至少一个相机提供所述机动车辆的环境区域的图像的时间序列。基于所述目标车辆的前部或后部的特征而通过所述相机系统的图像处理设备在所述序列的图像中检测所述目标车辆，并且然后基于所检测的特征而遍及所述序列的随后图像来跟踪所述目标车辆。此外，本发明涉及一种形成为执行所述方法的用于机动车辆的相机系统以及具有所述相机系统的机动车辆。

背景技术：

用于检测并且跟踪接近机动车辆的目标车辆的相机系统从现有技术是已知的。因此，使用例如具有相机和图像处理设备的机动车辆的相机系统，其中，目标车辆在相机通过图像处理设备所捕获的图像的序列中被检测，并且因此遍及图像的序列被跟踪。所述方法基于通过检测目标车辆的前部或后部的特征进行跟踪，并且使用例如通过AdaBoost算法受训练的检测器。

此外，从US 8 004 425 B2的印刷品，相机安装在车辆上的前部和后部以检测机动车辆的盲点区块中的目标车辆的系统是已知的。借助于光流实现目标车辆的检测。光流检测遍及图像的序列的改动过的像素。

另一系统从印刷品US 6 424 272 B1是已知的。在此情况下，相机附连到机动车辆的侧部，并且对象识别方法应用于检测盲点区块中的目标车辆。用于检测盲点区块中的目标车辆的系统从印刷品US 2003/0085806 A1也是已知的。该系统使用两个立体相机以计算盲点区块的立体视图并且在其中通过光流来检测目标车辆的风险。

在所提及的现有技术中不利的是，一般，需要多个相机以关于目标车辆监控盲点区块。这样产生增加的制造和服务成本。此外，因此，监控盲点区块的系统在没有很多努力的情况下无法改型。另一缺点是使用光流，其提供关于图像的序列的变化的信息，但仅可以不精确地对特定对象进行分类。此外，在机动车辆的行驶期间，图像中的背景也移动，必须例如基于其它传感器的传感器数据而将其从图像移除。在此，通过AdaBoost算法的检测器检测目标车辆的前部或后部的特征的方法提供补救。然而，如果目标车辆接近相机，则该方法也展现出缺陷，并且由此在另一视角中描述目标车辆的前部或后部。因此，目标车辆的当前图像不同于训练图像，其在AdaBoost算法之下，并且检测器已经通过其被训练。目标车辆的进一步接近因此导致检测器的降低的置信度值，其表示检测的可靠性的测度。在当前图像与训练图像之间的过大差异的情况下，检测不再是可能的。该情况具体地说如果目标车辆进入赶超中的机动车辆的盲点区块则完全导致目标车辆仅能够由图像处理设备在有限时间段上被跟踪并且非常快速地丢失。

技术实现要素：

本发明的目的是提供一种方法、一种相机系统以及一种机动车辆，其中，采取措施，其确保可以特别可靠地并且具体地说在更长的时间段上、优选地还在机动车辆的盲点区块中、甚至在因接近而导致的视角的变化的情况下跟踪目标车辆。

根据本发明，通过具有根据各个独立权利要求的特征的方法、相机系统以及机动车辆来解决该目的。本发明的有利实现方式是从属权利要求、说明书和附图的主题内容。

根据本发明的方法服务于通过机动车辆的相机系统跟踪接近机动车辆(具体地说，经过机动车辆)的目标车辆。在机动车辆的赶超操纵期间或在机动车辆自身被目标车辆赶超的同时优选地实现跟踪。优选地，还在机动车辆的盲点区块中跟踪目标车辆。通过所述相机系统的至少一个相机提供所述机动车辆的环境区域的图像的时间序列。基于目标车辆的前部或后部的特征而通过相机系统的电子图像处理设备(例如DSP)在序列的图像中检测目标车辆，并且然后基于所检测的特征遍及序列的随后图像跟踪目标车辆。根据本发明，提供：基于前部或后部的特征而在序列的随后图像之一中——并且因此在跟踪目标车辆期间由图像处理设备至少检测目标车辆的侧向侧翼的预定特征。在检测侧向侧翼的特征之后，然后基于侧向侧翼的特征而遍及序列中的其它图像跟踪目标车辆，从而其实际上一旦图像处理设备可以容易地检测侧向侧翼的特征就从基于前部或后部而跟踪目标车辆转变为基于侧向侧翼的特征而跟踪目标车辆。

通过根据本发明的方法，虽然视角持续改变，但进一步跟踪接近机动车辆的目标车辆变为可能的。换言之，通过侧向侧翼的新的所跟踪的特征来替代或支持前部或后部的所跟踪的特征。这样具有优点：总体上可以在相对长的时间段上跟踪目标车辆，因此，具体地说，即使目标车辆经过机动车辆并且独占地，也在相机的图像中描述目标车辆的侧向侧翼。

优选地，相机是前部相机，其具体地部署在机动车辆的风挡后面，例如，直接在机动车辆的内部的风挡上。前部相机于是在机动车辆的前部在行驶的方向上或在车辆纵向方向上捕获环境。然而，也可以采用后视相机作为在机动车辆后面在行驶的方向上或在车辆纵向方向上捕获环境的相机。通常，可以提供：与图像传感器的平面垂直地延伸的相机定向得与车辆纵轴平行。

优选地，相机是视频相机，其能够提供每秒多个图像(帧)。相机可以是CCD相机或CMOS相机。

在实施例中，提供：目标车辆的轮罩拱(即轮外壳)检测为侧向侧翼的特征。这是有利的，因为轮罩拱是出现在很多目标车辆中的可靠并且独特的特征。此外，轮罩拱在很多目标车辆中是具有非常相似的形状的特征。关于此的原因是，轮罩拱总是环绕圆形轮，并且因此自身具有特定半径。此外，轮罩拱已经是非常早地清楚地可识别的，因此针对目标车辆远离和/或陡峭视角，即，比目标车辆自身的轮远更早。

附加地或替代地，目标车辆的轮可以检测为侧向侧翼的特征。轮是非常鲁棒的特征，因为其总是出现在目标车辆上，并且因此允许对其进行可靠的检测。可以偶尔看作目标车辆的其它对象鲜有圆形组件或特征，从而减少混淆的风险。

具体地说，提供：以霍夫(Hough)变换(具体地说，霍夫圆形变换)来描述侧向侧翼的特征。霍夫变换具有由此可以在参数空间中表示圆形对象的优点。通过参数空间，因为轮可以抽象地表示为例如圆形，所以一方面增加的鲁棒性以及另一方面更高的普遍性起作用。

在另一开发中，提供：由图像处理设备确定第一置信度值，其在跟踪目标车辆中指示检测目标车辆的前部或后部的特征的可靠性。如果第一置信度值落入预设第一阈值之下，则可以仅实现检测侧向侧翼的特征。有利的是，在计算侧向侧翼的特征中避免不必要的计算努力，并且如果不能再可靠地确保基于前部或后部而跟踪目标车辆，则仅搜索侧向侧翼的特征。此外，通过计算第一置信度值，可以非常良好地监控从何时基于前部或后部的目标车辆的跟踪终止的风险增加。

进一步提供：由所述图像处理设备确定第一置信度值，其指示检测所述目标车辆的所述前部或所述后部的特征的可靠性，并且由所述图像处理设备确定第二置信度值，其指示检测所述侧向侧翼的特征的可靠性，并且如果预设第二阈值落入第二置信度值之下，则实现至少通过所述目标车辆的所述前部或所述后部的特征跟踪所述目标车辆，并且如果预设第一阈值落入第一置信度值之下，则实现至少通过所述目标车辆的所述侧向侧翼的特征跟踪所述目标车辆。优点在于，因此，在每种情况下，可以选择最可靠的特征和/或具有最高置信度值的特征。还有可能的是，使用于是由各个置信度值加权的多个特征。

优选地，如果所述机动车辆与所述目标车辆之间的预定距离落入预设阈值之下，则通过所述侧向侧翼的特征跟踪所述目标车辆。因为可以例如附加地或替代地通过机动车辆的另一传感器来确定距离，所以这是有利的。这样可以带来所确定的距离的更高的可靠性和/或归因于距离的冗余确定带来的增加的安全性。例如，目标车辆上的特定位置可以选择为目标车辆相对于机动车辆的位置的基准点。无论所检测的特征是前部的特征还是后部的特征还是侧向侧翼的特征，该情况都可以发生。可以例如通过距机动车辆的中心或机动车辆的后轴的中心的预定“偏移”来确定该点。

在特定开发中，提供：取决于在车辆纵向方向上目标车辆相对于机动车辆的相对位置，前轮罩拱或后轮罩拱和/或前轮或后轮检测为侧向侧翼的特征。例如，如果基于前部而跟踪目标车辆，因此，首先——如果目标车辆仍距机动车辆相对远离——则前轮罩拱和/或前轮可以检测为特征，因为该特征于是更靠近相机，并且因此允许更可靠的检测。类似地，如果目标车辆以其后部面对机动车辆，则该情况应用于后轮罩拱和/或后轮。如果目标车辆然后更靠近机动车辆，则其可以对应地从前部(或后部)特征改变为后部(或前部)特征。如果目标车辆的一个部分处于相机的区域中，则特征的改变也可能产生，这样归因于相机的特殊透镜而导致严重的失真。

优选地，通过泛化算法来泛化侧向侧翼的特征。这意味着，以简化或泛化的方式提出特征，并且仅包含用于标识特征的主要信息的特征部分用于检测特征。泛化算法产生描述多个不同形状的轮罩拱或轮的特征。因此，也可以检测不同构造或产品系列的目标车辆。此外，因为泛化的特征具有更低的数据范围，所以检测进行得更快。具体地说，道格拉斯-普克算法(道格拉斯-普克算法)用作泛化算法。道格拉斯-普克算法是用于曲线处理的算法，其目的是通过省略个别点从而保留粗略形状来简化序列所给出的测线(traverse line)。该测线是来自图像中的梯度图像的轮罩拱的边沿。道格拉斯-普克算法提供简单并且快速的泛化特征的可能性。

此外，优选地提供：检测前部或后部包括：由图像处理设备确定边界框，其中，描述前部或后部，并且独占地，兴趣区域取作用于检测取决于边界框而确定的侧向侧翼的特征的基础。在通过前部或后部的特征检测接近目标车辆首先产生之后，已经通过边界框预先选择图像的特定区块。该边界框现在用于确定用于检测侧向侧翼的特征的兴趣区域。因此，不再必须关于侧向侧翼的特征搜索整个图像，并且计算功率和计算时间得以节省。此外，检测的错误概率降低。

在配置中，提供：至少在从基于前部或后部的跟踪到基于侧向侧翼的跟踪的转变中，通过预测算法(具体地说，卡尔曼滤波(卡尔曼滤波))支持目标车辆的跟踪。预测算法尝试在图像中外插目标车辆的下一位置。卡尔曼滤波对此提供非常快速并且计算方面不密集的方法。在更复杂的情况(例如具有若干目标车辆的曲线)下，也可以使用压缩算法，其看作计算方面更密集的，但进而是更鲁棒的。预测算法的优点在于，在特征的改变时，针对新的特征的跟踪的快速初始化是可能的。

还提供：通过相机提供所述图像的序列，所述相机的视场具有大于150°(具体地说，大于160°，仍更优选地，大于180°)的张开角度。优点在于，部署在车辆后部上或车辆前部上的单个相机因此足以除了监控机动车辆的盲点区块之外还监控其左边和右边。由此，在没有很多努力的情况下改型用于已经存在的相机系统的方法的可能性出现。

在另一配置模式下，在检测所述侧向侧翼的特征中，取决于所述相机的外部定向和/或所述相机的位置和/或所述相机的失真参数的校准数据而考虑该特征的几何形状。外部定向描述在与捕获的对象自身(在此，目标车辆)有关的图像捕获期间相机的姿态和位置。通过校准数据，对于图像中的每个位置可以预期特征的特定形状。例如，目标车辆的轮的轮廓根据目标车辆相对于相机处于哪个位置而变化。因此，例如，如果目标车辆更远离机动车辆，则图像中的轮的轮廓在一定程度上为椭圆形状。如果目标车辆靠近机动车辆(例如，处于其盲点区块中)，则圆形形状仅是可识别的。该情况类似于轮罩拱。

在实施例中，在机动车辆的盲点区块中跟踪目标车辆。机动车辆的盲点区块是机动车辆的驾驶者通过侧视镜和/或后视镜不能或仅几乎不能看见的区块。如果驾驶者意图变道或转向操作，则这样可能变得危险，但如果机动车辆旁边的盲点区块是自由的，则无法评估确定性。通过该方法，可以在该盲点区块中检测风险或另一交通参与者或目标车辆，并且可选地，告警可以输出给驾驶者。可以例如通过声学方式和/或视觉方式和/或触觉方式实现告警。

用于机动车辆的根据本发明的相机系统至少包括：相机，用于提供机动车辆的环境区域的图像的序列；以及图像处理设备，适用于执行根据本发明的方法。

根据本发明的机动车辆(具体地说，客车)包括根据本发明的相机系统。

关于根据本发明的方法所提出的优选实施例及其优点对应地应用于根据本发明的相机系统以及根据本发明的机动车辆。

本发明的其它特征从权利要求、附图以及附图的描述是清楚的。说明书中的上述所有特征和特征组合以及以下在附图的描述中提及和/或在附图中单独示出的特征和特征组合不仅可用在分别所指定的组合中，而且也可用在其它组合中或另外单独使用。

附图说明

现在，基于优选实施例并且参照附图更详细地解释本发明。

在此示出：

图1在示意性平面图中示出目标车辆从后面接近具有相机系统的机动车辆；

图2在示意性说明中示出目标车辆的图像，其中，通过附连到机动车辆的后部的相机系统的相机提供图像，并且在图像中检测目标车辆的前部；

图3在示意性说明中示出具有目标车辆的边沿的梯度图像；

图4在示意性说明中示出目标车辆的另一图像，其中，确定兴趣区域并且通过线段指示所泛化的边沿；

图5在示意性说明中示出根据图4的图像，其中，检测目标车辆的侧向侧翼的特征(具体地说，轮罩拱和/或轮)；

图6在示意性平面图中示出类似于图1的说明，其中，目标车辆已经接近跟踪侧向侧翼的特征的点；

图7在示意性说明中示出又一图像，其中，在根据图6的位置中描述目标车辆；

图8在示意性平面图中示出类似于图1的说明，其中，目标车辆已经接近检测侧向侧翼的后部特征的点；以及

图9在示意性说明中示出又一图像，其中，在根据图8的位置中描述目标车辆。

具体实施方式

在图1中，示意性示出根据本发明实施例的具有相机系统2的机动车辆1的平面图。相机系统2包括具有视场4的相机3和可以例如集成在相机3中的图像处理设备5。然而，该图像处理设备5也可以是可以部署在机动车辆1中的任何位置中的与相机3分离的组件。在实施例中，相机3部署在机动车辆1的后部，并且捕获机动车辆1后面的环境区域。然而，具有前部相机的应用也是可能的。

视场4在机动车辆1之后遍及180°(具体地说，相对于机动车辆1的中心纵轴对称地)有角度地延伸。机动车辆1处于双车道道路6中的左车道7上，而另一车辆(目标车辆9)处于右车道8上。目标车辆9从后面接近机动车辆1，并且推测将赶超它。

相机3具有可以例如处于从120°到200°的值的范围中的水平捕获角度α以及例如在机动车辆1后面直接从道路6的表面延伸上至水平以及之上的垂直捕获角度(未示出)。在鱼眼透镜的情况下，这些特性例如是被允许的。

相机3可以是CMOS相机或另外是CCD相机或任何图像捕获设备，据此可以检测目标车辆9。

在实施例中，根据图1，相机3部署在机动车辆1的后部区域中，并且捕获机动车辆1后面的环境区域。然而，本发明不限于相机3的这种布置。根据实施例，相机3的布置可以是不同的。例如，相机3也可以部署在机动车辆1的前部区域中，并且在机动车辆1的前部中捕获环境区域。也可以采用若干这些相机3，其均形成为检测对象或目标车辆9。

如果相机3的视场4在行驶的方向上导向向前或采用前部相机，则图1和图2所示的情况也可以类似地产生。例如，如果机动车辆1赶超目标车辆9，则情况如此。

相机3是连续地捕获图像的序列的视频相机。图像处理设备5然后实时处理图像的序列，并且可以基于该图像的序列而识别而且跟踪目标车辆9。这意味着，图像处理设备5可以确定目标车辆9相对于机动车辆1的分别当前位置和移动。

相机系统2是盲点告警系统，其监控盲点区块13并且能够通过对应告警信号的输出来对机动车辆1的驾驶者告警检测到的与目标车辆9的碰撞的风险。盲点区块是机动车辆的驾驶者借助侧视镜和/或后视镜不能或仅几乎不能看见的机动车辆1的环境区域。根据盲点区块的定义，其从机动车辆1的后部延伸达相邻车道上向后的多于两个车辆长度。

图2示出在根据图1的情况下的相机3所提供的示例性图像10。通过图像处理设备5基于目标车辆9的前部11的特征而在图像10中检测目标车辆9。通过图2中的矩形框或边界框12来标识这种检测。通过由图像处理设备5执行以用于检测目标车辆9的检测算法输出该边界框12。

首先基于目标车辆9的前部11的特征而执行目标车辆9的检测。然而，在目标车辆9接近机动车辆1的同时，目标车辆9的视图改变。这是对于已经通过前视图中的前部11的特征受训练的用于此的检测器的挑战。因此，作为检测的可靠性的质量的测度的置信度值降低。基于示出目标车辆9的边沿16的梯度图像17，这在图3中是可识别的。从图3显见，视角随着时间而改变，从而无法再可靠地确保基于前部11的特征而进一步检测目标车辆9。

为了能够进一步确保可靠地跟踪目标车辆9，在下一步骤中，提取目标车辆9的侧向侧翼14的特征。然而，该特征优选地并未在整个图像10中而是仅在兴趣区域15中被搜索，如根据4的图像10所示，并且兴趣区域15是取决于前部11的检测所提供的边界框12而确定的。因此，边界框12取决于基于前部11的特征的检测，并且允许更快地初始化跟踪侧向侧翼14的特征。

在下一步骤中，从兴趣区域15计算梯度图像17，如图3所示。关于计算梯度图像17，图像10的兴趣区域15转换为灰度级图像，通过高斯滤波被平滑，并且例如通过Canny边沿检测器被处理。

基于梯度图像17的边沿16实现侧向侧翼14的特征的提取。作为侧向侧翼14的第一特征，选取(在此，前部)轮罩拱19。通过泛化算法(具体地说，通过道格拉斯-普克算法)泛化轮罩拱19的边沿16。所泛化的边沿18产生，如图4所示。因为现在各个模型的轮罩拱19得以覆盖并且因此可以更好地被比较，所以泛化算法实现减少数据量，这样产生计算速度的增加并且促进轮罩拱19的检测。

在图5中通过矩形20来标识(所泛化的)轮罩拱19的检测。

如果目标车辆9现在已经接近机动车辆1达如图6所示的程度，则在另一步骤中——在跟踪轮罩拱19之后——其切换为跟踪目标车辆9的轮21。通过霍夫变换(具体地说，霍夫圆形变换)进行的描述实现轮21的检测。霍夫圆形变换近似由归因于轮缘与轮胎或轮胎与背景之间的强度差而出现的边沿16生成的圆形。图7所示的图像10中的示例性圆形22例示霍夫圆形变换的结果。

在跟踪侧向侧翼14中，临时地，两个特征——轮罩拱19和轮21——被跟踪，直到目标车辆9接近可以切换到独占地跟踪轮21(即前轮23和/或后轮24)的任何时间。目标车辆9与机动车辆1之间的距离越短，图像10中的轮21的圆形形状就越清楚。关于霍夫变换的要求是预定的几何形状，目前是圆形。然而，基本上，其它形状(例如比如椭圆)也是可设想的。

如果目标车辆9位于机动车辆1旁边——如图8所示——并且前轮23不再处于相机3的视场4中，则自动地实现跟踪前轮23到跟踪后轮24的改变。通过图9中的圆形25示出霍夫圆形变换进行的后轮24的描述。

取决于预测算法(具体地说，卡尔曼滤波)而实现特征的相应改变。由此，可以更快地初始化和/或更精确地验证新的特征的跟踪。各特征之间的改变首先从前部11的特征到侧向侧翼14的特征(首先具体地说，到轮罩拱19)并且随后于是从轮罩拱19到轮21(具体地说，首先到前轮23并且然后到后轮24)而产生。在转变区域中，提供：同时跟踪各个旧的特征和新的特征，并且取决于相应置信度值而改变特征。

在目标车辆9行驶通过机动车辆1比图8中甚至更多的情况下，提供：继续通过附连到机动车辆1的侧向侧翼的相机进行跟踪，和/或依赖于上述前部相机。

也可以按与基于附图所描述的相反顺序实现特征的改变。如果机动车辆1赶超目标车辆9，则情况如此。然后，首先被跟踪的特征是目标车辆9的后部。接下来，后轮罩拱19作为侧向侧翼14的特征被合并并且被跟踪。随后，其从后轮罩拱19改变为后轮24，并且然后改变为前轮23。

此外，用于机动车辆1与目标车辆9之间的相对距离的预设阈值进一步表示实现较晚特征检测，从而如果接近目标车辆9的距离落入预设阈值之下，则侧向侧翼14的特征的检测和/或跟踪开始。

此外，搜索到的特征的形状取决于目标车辆9的位置。归因于相机系统2的校准以及源自其的外部定向，可以取决于图像10中可见的目标车辆9的特征的当前位置而预测它们的形状。因此，更远离的目标车辆9在图像10中具有轮罩拱19和轮21的一定程度上的椭圆形状，而更靠近的目标车辆9具有轮罩拱19和轮21的实质上圆形形状。

此外，相机系统2的透镜特性用于补偿视场4中的失真。这例如在所使用的鱼眼透镜的情况下特别有帮助。

此外，取决于通过车道识别系统来识别车道7、8而实现目标车辆9的检测。提供关于道路的航向的信息(具体地说，曲线)，其用于计算目标车辆9进入盲点区块13的概率。由此，也可以推断从目标车辆9传出的风险。

车道识别系统还用在多车道道路6的情况下，以确定目标车辆9是否处于距机动车辆1远离达比相邻车道7、8更大的盲点区块13中，以因此防止虚警。否则，假设机动车辆1在单个车道改变时与目标车辆9碰撞。

车道识别系统和/或道路标记识别系统还允许确定图像10中的静态对象(例如交通标志和/或另一基础结构)的移动速率。这有助于识别目标车辆9的错误检测并且随后消除它。

作为附加扩展，可以提供：目标车辆9的轨迹或行驶航向被记录并且然后通过预测算法外插。长远动机在于，目标车辆9归因于其构造而必须以特定方式移动，因此，例如，在没有纵向移动的情况下，侧向移动是不可能的。轨迹用于将目标车辆9的跟踪呈现得更鲁棒和/或精确，并且在不良可视性条件和/或部分覆盖的情况下临时能够进一步估计目标车辆9的位置。

也可以提供：来自CAN总线的数据(例如机动车辆1的速度和/或转向角度)用于预测机动车辆1的行驶的未来方向并且估计目标车辆9何时将进入盲点区块13。

在另一补充中，基于侧向侧翼14的特征而跟踪目标车辆9可以用于将赶超操作组织得更安全。在此情况下，这对机动车辆1的驾驶者告知他何时已经完全经过目标车辆9，并且可以改变到目标车辆9前面车道。

在其它实施例中，侧向侧翼14的预定特征附加地或替代地也可以是后视镜或侧向侧翼14的另一特征。