通过预测对象的运动来捕获机动车辆的环境区域中的对象的方法、摄像机系统以及机动车辆与流程

本发明涉及一种基于通过机动车辆的摄像机提供的环境区域的序列图像来捕获机动车辆的环境区域中的对象的方法。此外，本发明涉及一种用于执行这种方法的摄像机系统以及一种具有这种摄像机系统的机动车辆。

背景技术：

从现有技术中已知各种配置的用于机动车辆的摄像机系统。众所周知，这种摄像机系统包括摄像机，其布置在机动车辆上并且捕获机动车辆的环境区域。摄像机系统还可以具有多个这样的摄像机，其可以捕获机动车辆周围的整个环境。布置在机动车辆处的摄像机提供环境区域的序列图像，因此每秒捕获多个图像。然后可以借助于电子图像处理设备处理该序列图像。因此，例如可以识别机动车辆的环境区域中的对象。

这里，需要可靠地识别由摄像机提供的图像中的对象。这里，要求对象，例如其他交通参与者或行人，可以与环境区域中的其他对象区分开。这里，特别是环境区域中移动对象的捕获提出了挑战。由于这些移动对象位于时间上连续的图像中的不同位置，因此需要识别各个图像中的对象。

此处，wo2014/096240a1描述了一种用于基于借助于摄像机提供的环境区域的图像来检测摄像机的环境区域中的目标对象的方法。其中，在图像中确定多个特征，其中在描述环境区域的地面的地面特征和与目标对象相关的目标特征之间进行区分。其中，图像的至少部分区域可被分成多个图像单元。在各个图像单元中，然后可以为每个特性特征确定相关的光流向量。随后，可以将图像单元组合到感兴趣区域。

此外，wo2014/096242a1描述了一种用于基于通过机动车辆的摄像机提供的环境区域的序列图像来跟踪机动车辆的环境区域中的目标对象的方法。其中，在环境区域中检测目标对象，并且通过在机动车辆和目标对象之间的相对移动期间基于序列图像确定到目标对象的光流向量来跟踪目标对象。如果检测到机动车辆和目标对象都停止的静止状态，则存储目标对象相对于机动车辆的当前相对位置，并检查是否满足相对于相对运动的预定标准。在满足预定标准之后，从存储的相对位置开始继续跟踪目标对象。

技术实现要素：

本发明的目的是提出一种解决方案，特别是如何借助于摄像机可以更可靠地捕获机动车辆的环境区域中的移动对象。

根据本发明，该目的通过具有根据各个独立权利要求的特征的方法、摄像机系统以及机动车辆来解决。本发明的有利改进是从属权利要求的主题。

在基于通过机动车辆的摄像机提供的环境区域的序列图像来捕获机动车辆的环境区域中的对象的方法的实施例中，在序列的第一图像中特别识别第一对象特征，其中第一对象特征优选地描述环境区域中的对象的至少一部分。此外，基于预定的运动模型特别估计对象在环境区域中的位置，该预定的运动模型描述了对象在环境区域中的运动。此外，基于第一对象特征并基于估计的位置特别确定序列中的第一图像之后的第二图像中的预测特征。此外，优选地确定第二图像中的第二对象特征。此外，如果满足预定的关联标准，则优选地在第二图像中实现第二对象特征与预测特征的相关。最后，如果第二对象特征与预测特征相关，则优选地将第二对象特征确认为源自对象。

根据本发明的方法用于基于通过机动车辆的摄像机提供的环境区域的序列图像来捕获机动车辆的环境区域中的对象。该方法涉及识别序列的第一图像中的第一对象特征，其中第一对象特征描述环境区域中的对象的至少一部分。此外，该方法包括基于预定的运动模型估计对象在环境区域中的位置，该预定的运动模型描述对象在环境区域中的运动。此外，提供了基于第一对象特征并基于估计位置在序列中的第一图像之后的第二图像中确定预测特征。此外，该方法包括：如果满足预定的关联标准，则确定第二图像中的第二对象特征和将第二对象特征与第二图像中的预测特征相关。最后，该方法涉及如果第二对象特征与预测特征相关，则确认第二对象特征源自对象。

借助于该方法，将在机动车辆的环境区域中识别对象，特别是移动对象。该方法可以由机动车辆的摄像机系统执行，该摄像机系统具有至少一个摄像机。该摄像机提供环境区域的序列图像。因此，该序列描述了例如以预定重复率捕获的时间连续图像。此外，摄像机系统可以具有图像处理单元，通过该图像处理单元可以评估图像。其中，首先提供了在序列图像的第一图像中识别第一对象特征。该第一对象特征可以完全描述环境区域中的对象。还可以提供第一对象特征仅描述环境区域中的对象的一部分。基本上，可以提供确定多个第一对象特征，其全部描述环境区域中的对象。第一对象特征尤其可以描述对象的一部分的位置和/或对象的一部分在第一图像中的尺寸。此外，提供了估计对象在环境区域中的移动。此处，使用预定的运动模型，其描述了对象在机动车辆的环境区域中因此在现实世界中的运动。运动模型可以例如描述对象到预定方向的线性运动。基于运动模型，可以连续估计对象在环境区域中的位置。其中，提供了针对该时间点估计位置，在该时间点捕获序列的第二图像。在该第二图像中，其跟随序列图像中的第一图像，然后确定预测特征。可以基于第一对象特征确定预测特征。例如，为了确定预测特征，可以使用来自第一图像的第一对象特征并将其移位，使得第二图像中的预测特征的位置描述环境区域中的估计位置。因此，对象位置的估计的变化被转移到第二图像中。

在第二图像中，然后识别第二对象特征。该第二对象特征还以与第一对象特征类似的方式描述机动车辆的环境区域中的对象的至少一部分。因此，类似于第一对象特征确定第二对象特征。此外，检查第二对象特征是否可以与预测特征相关。因此，检查第二对象特征与预测特征对应的程度，以及确定使用现实世界中的运动模型。如果满足预定的关联标准，则第二对象特征与第二图像中的预测特征相关。关联标准可以例如描述第二对象特征和预测特征彼此有多相似。如果第二对象特征已与第二图像中的预测特征相关，则可以假设第二对象特征还描述了环境区域中的对象。由于已经实现了第二对象特征与预测特征的相关，因此可以假设对象已根据预定的运动模型运动。因此，还可以高可能性地假设第一图像中的第一对象特征和第二图像中的第二对象特征描述了机动车辆的环境区域中的相同对象。因此，可以在序列图像上可靠地识别和跟踪对象。

优选地，如果第二对象特征被确认为源自对象，则对象被识别为相对于机动车辆移动。如果确认了第二对象特征，则可以相对高可能性地假设第二对象特征描述对象或其至少一部分。这意味着第一对象特征在第一图像中的位置已经变化到第二图像中的第二对象特征，因为它是根据运动模型被预测的，该模型描述了对象在现实世界中的运动。从而，可以将对象识别或分类为移动对象。这既适用于机动车辆自身移动的情况，也适用于机动车辆静止的情况。

根据另一实施例，确定第二对象特征与预测特征之间的关联概率，并且如果关联概率超过预定值，则认为预定关联标准满足。基本上，可以提供在图像中识别多个对象特征，然后针对序列中的后续图像中的每个识别的对象特征确定预测特征。对于第二对象特征和相关的预测特征，然后确定关联概率。关联概率特别描述了第二对象特征和预测特征之间的相似性。如果第二对象特征和预测特征相同，则关联概率可以是100％或者具有值1。如果第二对象特征和预测特征完全不同，则关联概率可以是0％或具有值0。如果关联概率现在超过预定值或阈值，则第二对象特征可以与预测特征相关。预定值或阈值可以例如是75％或0.75。因此，如果第二对象特征可以与预测特征相关，则可以以简单的方式检查。

此外，如果基于第二图像中的第二对象特征和预测特征之间的重叠和/或基于第二图像中的第二对象特征和预测特征的尺寸和/或基于第二图像中的第二对象特征和预测特征之间的距离和/或基于环境区域中的对象和与预测特征相关的预测对象之间的距离来确定关联概率，则是有利的。第二对象特征和预测特征都可以覆盖第二图像中的特定形状或特定区域。特别地，提供了第二对象特征和预测特征都被确定为多边形。基本上，第二对象特征和预测特征也可被确定为另一几何形状。这里，可以一方面确定第二对象特征和预测特征在第二图像中重叠的程度。如果第二对象特征和预测特征在相对大的区域中重叠，则可以假设高的关联概率。如果第二对象特征和预测特征不重叠，则可以假设低关联概率。其中，在第二图像中实现对第二对象特征和预测特征重叠的程度的检查。

可替代地或另外，可以在第二图像中考虑第二对象特征和预测特征的相应尺寸。其中，第二对象特征和预测特征的长度、高度和/或面积可以彼此进行比较。以这种方式，还可以确定第二图像中的第二对象特征与预测特征之间的相似性或关联概率。此外，可以提供确定第二对象特征的重心和预测特征的重心，并且确定第二对象特征的重心与预测特征的重心之间的距离。重心之间的距离越小，关联概率就越大。此外，可以提供确定预测对象，其描述预测特征到现实世界的映射。在现实世界中或在机动车辆的环境区域中，现在可以确定对象和预测对象之间的距离。该距离越低，关联概率就越高。因此，无论是在图像中还是在现实世界中，都可以检查对象特征与现实世界中的对象之间的对应有多大，其遵循运动模型。

在进一步的配置中，如果省略第二对象特征与预测特征的关联，则确定最后确认的对象特征和第二对象特征之间的关联概率，其中最后确认的对象特征描述了最后被确认为源自对象的该对象特征。如果第二对象特征与预测特征之间的关联概率低于确定值，则第二对象特征不与预测特征相关。这可被证实，因为环境区域中的对象不根据运动模型移动或不再移动。例如这是如果对象已经停止或已经中止或已经改变了运动方向的情况。如果第二图像中的移动元素用于确定第二对象特征，则可能是如果在捕获第二图像期间对象静止则不能或不能充分确定第二对象特征的情况。因此，例如根本不能确定第二对象特征。在这种情况下，第二对象特征与预测特征的关联也是不可能的。如果第二对象特征与预测特征的关联尚未实现，则检查第二对象特征是否可以与该对象特征相关，该对象特征最后被确认为源自前面图像之一中的对象。因此，可以确定第二对象特征相对于对象在较早时间点肯定已处于的位置的地方。基于该信息，可以确定环境区域中的对象是否已改变其方向、改变其移动速度或当前静止不动。

此外，有利的是，如果最后确认的对象特征与第二对象特征之间的关联概率大于第二对象特征和预测特征之间的关联概率，则从与最后确认的对象特征相关的环境区域中的位置开始确定预测特征。基本上，可以确定第二或当前图像中的第二对象特征的关联概率以及来自先前图像之一的该对象特征的关联概率，其实际上被确认为源自对象。如果环境区域中的对象不再遵循预定的运动模型，则需要改变运动模型。其中，特别提供了从最后确认的对象特征开始确定运动模型。因此，可以可靠地考虑这种情况，即现实世界中的对象已改变其运动方向或实际上静止不动。

根据另一实施例，基于第二对象特征确定环境区域中的对象位置，基于预测特征确定环境区域中的预测位置，确定对象位置与预测位置之间的空间相似性，以及基于关联概率和空间相似性确定对象在环境区域中的当前位置。基于根据运动模型确定的预测特征，确定预测位置。该预测位置描述了考虑运动模型的对象的当前位置。其中，可以以预定的空间不确定性输出预测位置。基于第二对象特征，还可以确定环境区域中的当前位置。基于该对象位置和预测位置，然后可以确定空间相似性或空间似然性。基于该空间相似性，然后可以确定加权因子，基于该加权因子可以确定对象的当前位置以用于跟踪。这允许可靠地跟踪对象。

此外，特别提供了如果至少两个第二对象特征与预测特征相关，则基于第二对象特征确定对象的当前位置，其中对象位置与预测特征的预测位置具有更大的空间相似性。基本上，可以是这样的情况：在图像中分别确定多个对象特征，但是源自现实世界中的单个对象。如果环境区域中的对象例如是行人，则一个对象特征可以描述行人的头部，另一个对象特征可以描述身体，以及一个对象特征可以分别描述行人的腿部。然后可以将这些第二对象特征确认为源自对象。当现在确定对象在环境区域中的当前位置或更新对象的跟踪时，使用该第二对象特征，其与预测特征具有最大的空间相似性。例如，与行人头部相关的第二对象特征可以与预测特征没有或具有非常低的空间相似性。然而，与行人腿部相关的第二对象特征可以与预测特征具有高空间相似性。这尤其适用于将预测特征的基点与第二对象特征的各个基点进行比较以确定空间相似性的情况。这允许可靠地确定对象在环境区域中的当前位置并进一步可靠地跟踪对象。

根据另一实施例，提供了如果在一个图像中识别出另一对象特征，则检查另一对象特征是否源自进入环境区域的对象，其中检查基于取决于图像中的另一对象特征的位置的进入概率。基本上，这可能是在图像或第二图像中识别出多个对象特征的情况。现在，要检查这些对象特征是否源自已经识别的对象或者对象特征是否描述了之前尚未捕获的新对象。因此，检查另一对象特征是否描述了已进入环境区域或已移动到环境区域中的对象。在检查中，考虑进入概率，其也可以称为出生概率。此进入概率取决于图像中对象特征的位置。这里，考虑到在图像的边缘区域中，对象进入环境区域的可能性很高，这在图像中描绘。在直接位于机动车辆前方或后方并且例如布置在图像的中心区域中的区域中，假设低进入概率。对于这些区域，另一对象不太可能进入该区域。如果已经将另一对象特征识别为源自新对象，则还可以相应地跟踪该新对象或者可以确定其位置。

此外，可以提供检查对象是否已离开环境区域。这例如可以是如果在图像中跟踪对象并且不再能够在其中一个图像中被识别的情况。例如，这可以是如果第一图像中的第一对象特征在图像的边缘区域中并且不再能够在第二图像中捕获对象特征的情况。在这种情况下，退出概率可以类似于先前描述的进入概率来定义，并且如果对象已退出环境区域，则可以基于该退出概率来检查。这里，也可以考虑如果对象特征在图像的边缘区域中，则退出概率比对象特征在图像的中心区域中的情况更高。

此外，特别提供了第二对象特征被确定为多边形，其中多边形具有左基点、中心基点、右基点和/或尖端点，并且其中多边形描述对象的宽度和/或高度。第二对象特征可被描述为第二图像中的对象。其中，多边形尤其具有左、中心、右基点以及尖端点。其中，中心基点可被确定为消失点和多边形的重心之间的连接线之间的交叉点。通过右基点和左基点再现对象的宽度。对象的高度可以通过尖端点来描述。可以以简单的方式并在短的计算时间内确定该多边形。此外，多边形适用于描述对象的空间尺寸。其中，特别提供了在第二图像中确定多个感兴趣区域，将感兴趣区域分组，并且基于分组的感兴趣区域确定相应的多边形。感兴趣区域可分别在第二图像中或在图像序列的相应图像中确定。这些感兴趣区域特别描述了图像的那些像素或区域，其描绘了移动对象。例如，可以首先将图像或第二图像分成多个部分区域或图像单元，并且如果它描绘了移动对象或其一部分，则可以检查每个图像单元。这里，可以进一步考虑加权矩阵，其中根据相应图像单元是否描述移动对象，将第一值或第二值与每个图像单元相关。然后可以相应地对描述移动对象的那些图像单元进行分组，并且可以从中确定感兴趣区域。在确定了各个感兴趣区域之后，可以检查这些感兴趣区域是否源自相同的对象。因此，可以确定是否可以对各个感兴趣区域进行分组。一旦感兴趣区域被分组，就可以基于该区域确定多边形，分组的感兴趣区域在第二图像中占据该区域，然后该区域描述第二对象特征。

此外，有利的是，如果将第二图像分成多个图像单元，则基于光流从图像单元中选择描述移动对象的对象单元，并且对象单元与感兴趣区域之一相关。如已经解释，第二图像可被分成多个图像单元。其中，每个图像单元可包括至少一个像素。特别地，提供了每个图像单元包括多个像素。然后可以为每个图像单元确定光流或光流向量。因此，可以可靠地检查图像单元中的像素是否描述了移动对象。描述移动对象的那些图像单元被认为是对象单元并且可以组合到感兴趣区域。这允许简单且可靠地确定相应的感兴趣区域。

此外，有利的是，通过分割在第二图像中识别道路并且基于识别的道路确定感兴趣区域。借助于相应的分割方法，可以在第二图像中识别机动车辆所在的道路。其中，根据摄像机的方向，道路可以沿行驶方向位于机动车辆的前方或者沿行驶方向位于机动车辆的后方。在描述机动车辆的环境区域的图像中，现在可以借助于分割方法识别道路或地面。如果移动对象也位于道路上，则可以通过识别道路来可靠地确定道路与在道路上移动的对象之间的边界。这允许精确确定感兴趣区域。

当前，基于图像中的第二对象特征描述了基于感兴趣区域的多边形的确定。第一图像中的第一对象特征和图像中的所有其他对象特征也可以以类似的方式确定为多边形。特别提供了预测特征也被确定为多边形。其中，可以基于第一对象特征确定预测特征，并且可以基于第二图像中的运动模型来调整多边形的位置和/或描述预测特征的多边形的大小。

根据本发明的用于机动车辆的摄像机系统包括至少一个摄像机和电子图像处理设备。摄像机系统适于执行根据本发明的方法或其有利配置。

根据本发明的机动车辆包括根据本发明的摄像机系统。机动车辆尤其形成为轿车。

关于根据本发明的方法呈现的优选实施例及其优点相应地适用于根据本发明的摄像机系统以及根据本发明的机动车辆。

从权利要求、附图和附图的描述中，本发明的其他特征是显而易见的。上面在说明书中提到的特征和特征组合以及下面在附图的描述中提到和/或单独在附图中示出的特征和特征组合不仅可以在分别指定的组合中使用，而且可以在其他组合中使用或单独使用而不脱离本发明的范围。因此，实施方式也被认为是由本发明所涵盖和公开的，这些实施方式未在附图中明确示出和解释，而是源于与所解释的实施方式分开的特征组合并且可由其产生。实施和特征组合也被认为是公开的，因此不具有最初制定的独立权利要求的所有特征。此外，实施方式和特征组合应被视为是公开的，特别是通过上述实施方式，它们超出或偏离在权利要求的关系中阐述的特征组合。

现在，基于优选实施例以及参考附图更详细地解释本发明。

附图说明

示出了：

图1是根据本发明实施例的机动车辆，其具有带有多个摄像机的摄像机系统；

图2是用于确定由摄像机提供的图像中的感兴趣区域的方法的示意流程图；

图3是借助于摄像机提供的图像，其被分成多个图像单元；

图4示出的图像中的区域用于确定感兴趣区域；

图5是扩张前后的图像中的对象单元，其与移动的对象相关；

图6是各个图像单元，在其上移动滑动窗口以确定感兴趣区域；

图7是图像中的感兴趣区域，其被向上校正；

图8是图像中的两个感兴趣区域，其中一个感兴趣区域被向下校正而另一个感兴趣区域按比例缩小；

图9是位于道路上的感兴趣区域，其与图像中的行人相关；

图10是每个分组组合在一起的感兴趣区域；

图11是用于跟踪对象的方法的示意流程图；

图12是基于分组的感兴趣区域确定多边形的示意图；

图13示出的多边形具有左、中心和右基点以及尖端点；

图14是基于现实世界中的运动模型确定对象特征的示意图；

图15a-15d示出了与预测特征进行比较的对象特征；

图16示出了在不同时间点的对象特征和预测特征；

图17是描述现实世界中对象与预测对象之间的空间相似性的图；

图18是作为移动对象的行人，多个对象特征与之相关；以及

图19是描述取决于图像中的位置的对象的进入概率的图。

在各个图中，相同和功能相同的元件具有相同的附图标记。

具体实施方式

图1以平面图示出了根据本发明实施例的机动车辆1。当前，机动车辆1形成为轿车。机动车辆1包括摄像机系统2，其包括至少一个摄像机4。在本实施例中，摄像机系统2包括四个摄像机4，其中一个摄像机4布置在后部区域5中，一个摄像机4布置在前部区域7中，并且两个摄像机4布置在机动车辆1的相应侧向区域6中。

借助于摄像机系统2，可以捕获机动车辆1的环境区域8中的对象9。此处，由每个摄像机4提供序列图像10、11。然后将该序列图像10、11发送到摄像机系统2的电子图像处理设备3。然后可以借助于电子图像处理设备3在图像10、11中识别环境区域8中的对象9。

特别地，借助于摄像机系统2识别环境区域8中的移动对象9。此处，使用三维图像处理的方法。如下面更详细地解释，首先，在图像10、11中确定感兴趣区域16，其描述移动对象9。随后，基于感兴趣区域16在图像10、11中确定对象特征24、25，其更详细地描述对象9。其中，还提供了跟踪对象9的移动。

图2示出了用于确定图像10、11中的感兴趣区域16的方法的示意流程图。在第一步骤s1中，由一个摄像机4提供的图像10、11被分成多个图像单元12。其中，每个图像单元12可包括至少一个像素。特别地，提供了每个图像单元12具有多个像素。例如，每个图像单元12可具有10×10个像素。此外，确定对象单元12'。对象单元12'描述了描述移动对象9的那些图像单元12。在步骤s2中，然后基于图像单元12和对象单元12'确定加权矩阵。在步骤s3中，然后基于加权矩阵在图像10、11中确定感兴趣区域16。随后在步骤s4中校正这些感兴趣区域16。最后，在步骤s5中组合感兴趣区域16。

图3示出了由一个摄像机4提供的图像10、11。这里，显然图像10、11被分成多个图像单元12。其中，可以确定各个图像单元12中的像素数量。基于图像单元12，可以确定加权矩阵。其中，加权矩阵的高度13基于图像单元12的行数得出，加权矩阵的宽度14基于图像单元12的列数得出。

图像10、11示出了对象9，其位于环境区域8中。对象9是行人形式的移动对象。现在将在图像10、11中识别该对象9。此处，在每个图像单元12中确定光流或流向量，其描述对象9的移动。如果已经确定流向量具有足够置信度值，则该图像单元12被识别为对象单元12'并且在加权矩阵中被识别，或者与加权矩阵中的对象单元12'相关的值被改变。其中，足够置信度值的阈值取决于图像10、11中的相应区域15。此处，图4示出了图像10、11中的不同区域15。当前，区域15根据到机动车辆1的距离而不同。此外，用于确定置信度值的阈值可以是可调节的并且取决于机动车辆1的当前速度。

图5示出了图像单元12和对象单元12'，它们被识别为源自移动对象9。在图5的左侧，显然对象单元12'不形成连续的区域。由于在图像10、11中未识别出完全连续的区域，因此在该区域中也存在稀疏填充的加权矩阵。为了解决这个问题，应用形态学操作，特别是扩张。通过扩张可以扩大或加厚二元图像中的对象。其中，二元加权矩阵w的扩张是用结构元素h实现的。这可以用下面的公式描述：

其中，hp描述了已经移位了p的结构元素h。wq描述了加权矩阵w，其已被移位了q。这里，q和p描述方向。其中，结构元素h是3×3矩阵。扩张的结果表示在图5的右侧。通过填充加权矩阵和形态滤波，确定加权矩阵的积分图像。可以通过以下公式描述积分图像ii：

基于已被识别为源自移动对象9的对象单元12'，现在要确定感兴趣区域16。这将结合图6进行解释。此处，可以使用生成器，其基于图像单元12、对象单元12'及其权重来确定对象假设。此处，使用滑动窗口17，其在各个图像单元12和对象单元12'上移位。因此，基于积分图像，为每个感兴趣区域16确定每个权重。加权和wroi可以根据以下公式确定：

wroi＝ii(x+w,y+h)-ii(x+w,y)-ii(x,y+h)+ii(x,y)

这里，x和y描述感兴趣区域的左下边缘的位置，w和h描述感兴趣区域16的宽度和高度。如果加权和wroi大于阈值，则感兴趣区域16标记为假设。如果感兴趣区域16标记为假设，则中止对当前列中的其他感兴趣区域16的搜索并在下一列中继续搜索。如图6所示，这是针对所有列执行的。

对于每个列，检查是否可以从包括对象单元12'的滑动窗口17形成矩形18。其中，进一步提供了对感兴趣区域16进行校正。此处，在图7示出的例子中，感兴趣区域16或滑动窗口17被向上校正。这里，滑动窗口17的上边界向上移位，使得与移动对象9相关的对象单元12'包括在滑动窗口17中。然后，从校正的滑动窗口17确定矩形18。

此外，在图8示出的例子中，滑动窗口17的下边界向下移位，使得所有对象单元12'都包括在滑动窗口17中。此外，示出了另一滑动窗口17，其成比例缩小。在这种情况下，对象单元12'不存在于滑动窗口17的最下面的线中。因此，滑动窗口17的下边界向上移位。

此外，提供了在图像10、11中识别道路19。此处，使用分割方法。可以借助于分割方法在图像10、11中识别道路19。此外，可以确定道路19和对象9之间的边界线20。基于该边界线20，然后可以调整描述感兴趣区域16的矩形18。在该示例中，矩形18被向下校正。当前，这由箭头21示出。

此外，提供了各个感兴趣区域16被分组。这将结合图10进行解释。这里，矩形18是明显的，其描述了感兴趣区域16。在重叠的矩形18中，在重叠区域中确定水平接触区域23。如果重叠区域中的该水平接触区域23超过预定阈值，则将感兴趣区域16分组，使得出现感兴趣区域16的组22、22'。此处，左侧的矩形18或感兴趣区域16当前组合到第一组22，右侧的矩形18或感兴趣区域16组合到第二组。由于水平接触区域23a低于阈值，因此不添加第二组22'的矩形18a。

图11示出了用于跟踪环境区域8中的对象9的方法的示意流程图。在步骤s6中，基于图像10、11中的感兴趣区域16确定对象特征24、25。在步骤s7中，确定预测特征26，并且在步骤s8中，对象特征24、25与预测特征26相关。在步骤s9中，更新对象9的位置。然后将更新的位置提供给描述状态向量的对象数据库27。在步骤s10中，基于线性运动模型预测对象9在环境区域8中的运动。基于该运动模型，然后在步骤s7中确定预测特征26。此外，提供了在步骤s11中识别新的对象特征，并且在步骤s12中不再考虑对象特征24、25。

在图像10、11内和现实世界中执行已存在且被跟踪的对象9与新捕获的对象的关联。其中，步骤s6至s8在序列图像10、11内执行。这在图11中由块35示出。步骤s9至s12在现实世界或环境区域8中确定。这在图11中由方框36示出。

在图12中示出了根据步骤s6的对象特征24、25的确定。这里，示出了各个矩形18，其与相应的感兴趣区域16相关，并且组合到组22。基于感兴趣区域16的组22，然后确定多边形28。当前，多边形28被确定为矩形18的包络，其描述了感兴趣区域16。此外，确定了多边形28的重心29。可以根据以下公式确定具有坐标xs和ys的多边形28的重心29的位置：

此外，多边形28的面积a可以根据以下公式确定：

其中，(xi,yi)、(xi+1,yi+1)是多边形28的两个相邻点的坐标。n是多边形28的点数。

图13示出了多边形28的进一步表示。这里，显然多边形28具有左基点30、中心基点31、右基点32以及尖端点33。此外，示出了多边形28的重心29。中心基点31由将消失点35连接到多边形28的重心29的连接线34的交点产生。通过左基点30和右基点32，描述了对象9的宽度。对象9的高度由尖端点33描述。

图14在右侧示出了行人形式的对象9，其相对于机动车辆1以速度v移动。图像10、11由机动车辆1的至少一个摄像机4提供，其在图14的左侧呈现。其中，第一对象特征24被确定为第一图像10(这里未示出)中的多边形28。该第一对象特征24描述了对象9，其在现实世界中或在环境区域8中在时间点t1处于第一位置p1。

在及时跟随第一图像10的第二图像11中，基于第一对象特征24确定预测特征26。当前，在第二图像11中示出对象9或行人的图片9'。在第一图像10中确定的第一对象特征24当前在第二图像11中以虚线示出。为了确定预测特征26，使用线性运动模型，其描述对象9的速度v。因此，可以确定对象9在时间点t1+δt处于哪个位置p2。

为了描述对象9的运动，使用卡尔曼滤波器。这里，假设对象9以恒定速度v移动。此处，可以如下定义状态向量和对应的状态矩阵pk-1|k-1：

pk|k-1＝a·pk-1|k-1·a^t+q

这里，a描述系统矩阵。描述前一时间点或第一图像10的状态向量。pk-1|k-1描述前一时间点或第一图像10的状态矩阵。q是噪声矩阵，其描述运动模型的误差和在运动模型和现实世界中的对象9的运动之间的差异。

在及时跟随第一图像10的第二图像11中，可以基于感兴趣区域16确定第二对象特征25。现在，将要检查第二对象特征25是否可以与预测特征26相关。此处，图15a至图15d示出了不同的变型，可以如何检查第二对象特征25和预测特征26之间的关联。例如，如图15a所示，可以确定第二对象特征25和预测特征26之间的重叠区域36。此外，可以确定第二对象特征25或多边形28的重心29与预测特征26的重心38之间的距离37。这在图15b中示出。此外，可以将第二对象特征25的大小与预测特征26的大小进行比较。这在图15c中示出。此外，可以确定对象9和预测对象40之间的距离39，其已经基于预测特征26确定或者将其映射到现实世界中。

可以检查图15a至15d中所示的所有这些标准以确定质量水平qm，其可以具有0和1之间的值。总之，然后可以确定关联概率pj，其可以根据以下公式确定：

pj＝∑wmqm。

如果关联概率pj超过预定阈值，则第二对象特征25可以与预测特征26相关。即，确认第二对象特征25描述了环境区域8中的对象9。

在真实场景或交通状况下，通常的情况是移动对象9特别是行人改变其移动方向或其速度。由于已经基于光流确定了对象特征24、25，所以可能的情况是如果对象9或行人当前静止则不能确定对象特征24、25。此外，可能的情况是移动对象9改变其移动方向。

这将结合图16进行说明。在时间点t1，对象9或行人的图片9'向左移动。这里，已经基于运动模型确定的预测特征26和已经基于感兴趣区域16确定的第二对象特征25显示出良好的对应关系。因此，第二对象特征25被确认为源自对象9。在时间点t2，对象9或行人停止。在这种情况下，不能确定第二对象特征25。这里，示出了最后确认的对象特征41，其已被确认为源自对象9。这对应于已在时间点t1确认的第二对象特征25。在时间点t3，对象9再次向右移动。这里，可以确定第二对象特征25。这里，得出预测特征26和第二对象特征25之间的关联概率p。另外，确定最后确认的对象特征41和第二对象特征25之间的关联概率pl。由于关联概率pl大于关联概率p，因此基于最后确认的对象特征41确定对象9在时间点t4的移动。

此外，提供了确定基于运动模型描述对象9的位置的预测位置p2之间的空间相似性。这在图17中示出。这里，预测位置p2由多个椭圆42描述，其描述了位置确定的空间不确定性。此外，确定对象位置43，其中基于第二对象特征25确定对象位置43。基于预测位置p2和对象位置43，然后可以确定空间相似性或空间似然性。对于每个相关的测量或对于每个对象特征24、25，可以确定状态向量和相关的协方差矩阵：

pk|k＝pk|k-1-khpk|k-1.

其中，zk描述了测量或第二对象特征25的数据向量。描述了预期的数据向量。k描述了卡尔曼增益，其可以根据以下公式确定：

这里，h描述了用于基于运动模型生成对象特征24、25的测量矩阵，r描述了噪声矩阵，其描述图像10、11中的多边形28的变化。然后可以根据以下公式确定系统模型，其中w描述加权因子：

图18示出了图像11，其中多个第二对象特征25与对象9或图片9'相关。当前，第二对象特征25与对象9的头部相关，两个第二对象特征25与对象9的臂相关，第二对象特征25与对象9或行人的腿部相关。基于空间相似性，加权因子w可以与一个第二对象特征25相关。当前，与对象9或行人的腿部相关的第二对象特征25与预测特征26或其基点具有最大的空间相似性。加权因子w为1与该第二对象特征25相关。加权因子w为0与第二对象特征25相关。基于该加权因子w，则可以更新对象的当前位置或移动。

在图像10、11中，可以识别其他对象特征。其中，检查它是否是进入环境区域8的新对象或对象9。此处，考虑进入概率。此处，图19示出了取决于图像10、11中的对象特征24、25的位置的进入概率的分布，其描述了环境区域8。其中，区域44a至44d描述了图像10、11中的不同进入概率。在边缘区域44a中，出现了新对象进入的高可能性。相反，在图像10、11的中心区域44a中出现非常低的进入概率，其直接位于机动车辆1的前方。

如果在图像10、11中识别出新对象或新对象特征，则可以相应地对此进行跟踪。以相同的方式，可以确定对象9是否已经离开环境区域8并且因此不再能够在图像10、11中捕获。这里也可以类似于进入概率来定义退出概率。

因此总体上，可以可靠地识别和跟踪机动车辆1的环境区域8中的移动对象9。