用于传感器的自动校准的方法和系统与流程

1.本发明涉及用于传感器的自动校准的方法、用于执行这样的方法的系统以及配备有该系统的车辆。


背景技术：

2.近年来，在各种应用领域中，用于捕获各种测量变量的传感器的数量显著增加。这样，环境的物理特性和化学特性可以使用传感器数据形式的测量变量定性和定量地捕获。几个传感器(尤其是不同的传感器)的联合布置也发挥着越来越重要的作用。这尤其适用于自动化过程及其系统，其中，各种测量变量必须彼此相关。
3.一个这样的示例是一般的车辆，尤其是那些设计用于自动驾驶的车辆。如今，在现代汽车中有大量不同的传感器，这些传感器一方面帮助驾驶员，另一方面确保驾驶员和其它道路用户的安全。这些传感器通常组合在所谓的驾驶员辅助系统(“高级驾驶员辅助系统”；缩写为adas)中。传感器彼此正确匹配(即校准)对于确保上述系统的功能是至关重要的。
4.从现有技术中已知，代表布置在车辆上的大多数传感器的光学传感器(例如摄像机)在工厂中被联合校准。车辆被布置在专门设计的校准台中的静止位置，并且每个单独的摄像机被校准以补偿透镜误差，并确定摄像机坐标系(局部坐标系)在更高级别的世界坐标系中的位置和方向。此外，摄像机相对于彼此的相对方向通过摄像机坐标系或摄像机图像的相对空间平移和旋转来校准，其中，已知的方法用于此目的。对于校准，通常使用车辆周围的静止且容易识别的图案，例如棋盘图案。
5.上述校准方法存在几个缺点。校准需要一个专门设计的校准台，必须正确设置，并且必须提供足够的空间。校准必须由为此目的受过专门训练的技术人员执行，比较费力，可以说是手动执行，其中，校准具体包括大量必须连续手动执行的步骤，以便获得足够的校准质量。此外，每当系统发生变化时，例如更换部件时，必须再次对传感器执行校准。这样的校准是较复杂、成本高、费时，并且在工厂交货后在车间难以实施，因为需要经过适当培训和教育的人员以及适当的校准台才能够进行必要的重复校准。
6.因此，本发明的目的是提供一种克服现有技术的上述缺点的方法和系统


技术实现要素：

7.该目的通过一种用于车辆的传感器的自动校准的方法来实现，该方法包括以下步骤：
8.a.由布置在车辆上的至少一个第一无源光学传感器和布置在车辆上的至少一个第二有源光学传感器捕获与车辆在运行期间经过的车辆环境相关的传感器数据；
9.b.由校准单元通过基于由第一传感器捕获的传感器数据确定内部传感器参数和失真参数，来校准至少一个第一传感器，并且将内部传感器参数和失真参数应用于由第一传感器捕获的传感器数据，以获得变换的传感器数据；
10.c.由识别单元在第一传感器的变换的传感器数据和由第二传感器捕获的传感器数据中识别先前经过的车辆环境的环境特征；以及
11.d.由校准单元基于第一传感器的变换的传感器数据和由第二传感器捕获的传感器数据中的识别的环境特征的匹配空间方向来校准至少一个第一传感器和至少一个第二传感器，同时确定外部传感器参数并将外部传感器参数应用于来自第一传感器的变换的传感器数据和由第二传感器捕获的传感器数据，以分别获得校准的传感器数据。
12.本发明意义上的车辆具体可以是任何机动车辆，其优选地由内燃机、电动机和/或燃料电池驱动。此外，车辆还被理解为具体是指那些被提供和设计为自主驾驶的车辆。
13.根据本发明，该方法在车辆运行时执行。操作被理解为意味着车辆在运动或行驶，其中，车辆的发动机是活动的并推进车辆。车辆处于正常运行模式，也就是说，车辆正在由驾驶员驾驶。因此，在运行过程中，车辆的位置会根据交通状况、道路状况等不断变化。
14.车辆在运行期间经过的车辆环境被理解为是指位于车辆周围的环境，车辆驶过或移动经过该环境。这可以优选地涉及任何对象，例如建筑物、植被、基础设施等。优选地假设根据本发明的传感器被提供和设计成能够捕获车辆环境并输出与车辆环境相关的传感器数据。
15.仍然需要注意的是，根据本发明，假设当该方法被执行时，车辆处于运动中或者正在被行驶。根据本发明的方法显然不在为此目的专门提供的静止校准台中执行。此外，车辆环境不应是专门为传感器校准提供的校准台中的有意布置的环境。此外，自动校准被理解为意味着在车辆运行期间校准是自动的，即以自控方式执行，并且不需要专门训练的人员来执行该方法或各个步骤。校准方法的顺序及其质量或成功优选地以用户或车辆驾驶员可以理解而不必具有特殊知识的方式向该用户或车辆驾驶员呈现或指示。自动校准也意味着校准可以优选地由用户开始、停止、重新开始等。
16.本发明意义上的第一传感器是无源传感器，并且第二传感器是有源传感器。现有的传感器提供传感器数据。车辆上的传感器或车辆的传感器优选地是布置在车辆中或车辆上的传感器。这样的传感器可以是车辆的一部分，或者可以集成在车辆中和/或车辆上，例如作为驾驶员辅助系统的一部分，或者可以随后安装在车辆中和/或车辆上。假设第一传感器和第二传感器是不同的传感器，即第一传感器和第二传感器捕获不同的测量变量。
17.优选地，传感器数据根据步骤a、通过对应的传感器在车辆运行期间连续地捕获，即，新的传感器数据总是被捕获，和/或以特定的时间间隔和/或当特定事件发生时被捕获。例如，事件可以是由车辆乘客激活。
18.根据本发明，至少一个第一传感器被校准，以便首先将捕获的传感器数据映射到真实世界(优选地，将二维传感器数据变换成三维捕获的环境)，并且还补偿当传感器数据被传感器捕获时出现的并且代表传感器数据中的车辆环境与真实车辆环境之间的差异的任何误差(例如失真等)。作为校准的结果，至少一个第一传感器的传感器数据可以以变换的传感器数据的形式用于进一步的方法。通过基于由第一传感器捕获的传感器数据，优选地基于数学模型或通过算法，确定内部传感器参数和失真参数，来进行校准。内部传感器参数尤其指示传感器相对于传感器数据的位置(与光学传感器的图像测量变量相关)以及传感器坐标系在更高级别的世界坐标系(车辆环境)中的位置和方向，或者传感器相对于捕获的传感器数据的位置(换句话说，传感器数据中的记录的对象)。
19.失真参数基于对应于捕获传感器数据的第一传感器的已知传感器模型(例如透镜模型)来确定，并用于校正由传感器本身的结构(包括透镜方程)和环境影响(例如温度、天气等)导致的成像误差(失真)。此外，失真参数用于校正由于机械影响引起的误差，例如，机械影响可以由运行期间车辆的移动引起的振动引起，并且也影响传感器。在本发明的上下文中，根据本发明，当车辆在运行时，即车辆在运动时，执行传感器的自动校准，由失真参数引起的机械影响的校正是特别相关的，并且以这种方式使得该方法在给定条件下更鲁棒，并且比已知方法更能够成功地执行。
20.通过将内部传感器参数和失真参数应用于由第一传感器捕获的传感器数据，获得了变换的传感器数据，这些变换的传感器数据被变换或校正，使得它们真实地再现了车辆环境并且适合于在该方法中进一步使用。可以说，变换的传感器数据是二维捕获的传感器数据，其被转换或变换回三维现实(或世界坐标系)。对于第一传感器的校准，优选地包括车辆的空间方向和移动，其可以被估计(优选地通过已知的里程计)和/或作为测量变量被捕获(优选地gnss数据或者也可以是具有rtk(实时动态载波相位差分)的gps数据)。
21.第一传感器的校准优选地基于从不同视角捕获的传感器数据来执行。这里特别有利的是，车辆穿过车辆环境，即驶过车辆环境，并且时间上连续的传感器数据因此从不同的视角被自动捕获。第一传感器的校准特别优选地基于数学(摄像机)模型或算法，例如(扩展的)针孔摄像机模型、鱼眼模型、后方交会和/或光束调整，其中，模型或算法不必限于这些示例。优选地，具体是在通过光束调整的校准过程中，先前经过的车辆环境的环境特征可以被识别，其中，来自不同视角的传感器数据被有利地包括，并且其中，为此目的，车辆的空间方向和移动被估计和/或测量数据被使用。类似于步骤d的方法优选地用于如下所示的环境特征的识别，或者另一种方法也可以使用。
22.作为示例，这里参考摄像机的校准，其通过确定内部和外部方向(内部传感器参数)以已知的方式进行。这些摄像机校准和它们的工作方式在现有技术中是充分已知的，并且应被认为是在本发明的上下文中公开的。
23.环境特征被理解为由传感器捕获的车辆环境中的对象。例如，环境特征是布置在车辆环境中的建筑物、植被等。
24.基于第一传感器的变换的传感器数据和由第二传感器捕获的传感器数据中的识别的环境特征的匹配空间方向，和外部传感器参数的确定，校准单元对至少一个第一传感器和至少一个第二传感器的校准被理解为第一传感器的变换的传感器数据相对于第二传感器的传感器数据或相应的已知传感器坐标系的相对空间平移和/或旋转。外部传感器参数包括反映传感器数据的旋转和/或平移的特定旋转矩阵和/或特定平移矩阵。旋转和/或平移操作以这样的方式执行，使得在第一传感器的变换的传感器数据和第二传感器的传感器数据中识别的环境特征以相同的方式在空间上一致地布置或定向(也称为“均匀变换”)。因此，所识别的环境特征的空间方向的差异被最小化，这优选地通过校准单元最小化对应的数学函数来实现。这样，可以确定至少一个第一传感器和至少一个第二传感器的相对方向或对准。通过将外部传感器参数应用于第一传感器和第二传感器的传感器数据来获得校准的传感器数据，其中，校准的传感器数据与至少一个第一传感器和至少一个第二传感器所共有的坐标系相关，其中，对象、物品和/或人在所有传感器的传感器数据中处于相同的位置。校准单元被提供和设计为基于数学函数的最小化来执行根据本发明的第一传感器和
第二传感器的校准，该数学函数指定了环境特征的空间方向的偏差。然后，根据本发明校准的传感器的传感器数据被用于所有进一步的评估或者被车辆上的所有进一步的系统使用。
25.根据本发明的方法确保，通过空间匹配捕获的传感器数据中的环境特征的方向，可以将布置在车辆中和/或车辆上的不同位置的不同光学传感器校准到共同的传感器坐标系，所捕获的传感器数据涉及经过的车辆环境。由于传感器以静止的方式布置在车辆中和/或车辆上，所以所识别的环境特征的空间方向的差异仅仅是由传感器在车辆中和/或车辆上的不同定位引起。有利的是，车辆经过或驶过的车辆环境中的环境特征被用于校准，其中，可以省去特殊的校准台或类似物，并且校准可以在车辆的正常运行期间进行。如果要清楚地识别行人和/或骑自行车的人，这种校准与驾驶员辅助系统的传感器特别相关。
26.根据优选实施例，在步骤a中，传感器数据由第一传感器和第二传感器同时捕获。步骤d中第一传感器和第二传感器的校准优选地基于同时捕获的传感器数据来执行。以这种方式，第一传感器和第二传感器的传感器数据中的环境特征的不同空间方向仅仅是由传感器在车辆中和/或车辆上的不同定位引起。
27.根据优选实施例，环境特征是基本静态的对象的至少一部分，这些基本静态的对象布置在运行期间车辆经过的车辆环境中，并且由至少一个第一传感器和至少一个第二传感器使用传感器数据来检测。车辆环境中的静止对象优选地是以静止方式布置的对象，即它们在车辆环境中的空间方向或位置基本上不变。因此，可以优选地假设环境特征的不同空间方向仅仅是由传感器的不同定位引起。车辆环境中的这样的静态对象优选地是建筑物、植被等。静态对象本身不被识别，但是静态对象的部分或部位被识别，例如通过建筑物的清晰定义的角落和/或边缘或者高对比度的颜色差异来识别。应清楚的是，静态对象不是专门用于校准的对象，例如棋盘图案、圆形标记或条形码，它们被设置在车辆环境中专门用于传感器校准的目的。优选地，识别单元通过基于梯度的方法或基于关键点的方法来识别环境特征。在基于梯度的识别(“梯度方向测量”)的情况下，优选地使用颜色、对比度和/或强度梯度来识别传感器数据中的环境特征。优选地，在基于sift方法(“尺度不变特征变换”)的基于关键点的识别中识别环境特征。基于梯度的方法和基于关键点的方法的功能和应用在现有技术中是充分已知的。也可以想到使用其它合适的方法来代替或补充基于梯度的方法或基于关键点的方法。
28.根据优选实施例，至少一个第一传感器被设计为单目摄像机或立体摄像机。该至少一个第二传感器优选地使用雷达、激光雷达或超声波技术，或者被设计为飞行时间(time-of-flight，tof)摄像机。可以提供多个第一传感器和第二传感器，其中，根据根据本发明的方法用每个第二传感器校准每个第一传感器。因此，第一传感器优选地提供2d图像形式的传感器数据，并且第二传感器提供点云或点群或深度图形式的传感器数据。这些类型的传感器具体用于驾驶员辅助系统，并且在自动驾驶方面也非常重要，这就是它们的校准非常重要的原因。可以想到的是，这里没有明确提到的其它传感器类型也可以用于该方法。
29.优选地，提供任何数量的第一传感器和第二传感器，其中，根据所示的方法，用每个第二传感器校准每个第一传感器。
30.根据优选实施例，连续重复步骤a至c。在步骤c中，所识别的环境特征，如果被识别为在就时间和/或位置而言连续捕获的多个传感器数据中匹配，则优选地被识别单元存储
为一致的环境特征，或者被删除。优选地，只有当一致的环境特征的数量超过预定的第一阈值时，才执行步骤d。一致的环境特征的数量优选地由评估单元与阈值进行比较，以确定是否超过该值。以这种方式，传感器的校准仅基于被识别为在多个连续捕获的传感器数据中匹配的一致的环境特征来执行。构成一致的环境特征的连续捕获的传感器数据的数量可以优选地根据需要来定义。被评估为不一致的环境特征由于不可信而被删除，并且不用于进一步的校准。在就时间而言连续捕获的传感器数据优选地被理解为例如当驶过车辆环境时连续捕获的传感器数据。在就位置而言连续捕获的传感器数据优选地被理解为在相同位置或从相同车辆位置捕获的传感器数据，其中，这里假设在就位置而言连续捕获的传感器数据的情况下，传感器经过相同的车辆环境，因此可以识别基本相同的环境特征。匹配识别优选地被理解为意味着传感器数据中的环境特征就空间或位置而言匹配，其中，可以假设环境特征是基本静态对象的至少一部分，其空间方向相对于传感器数据不改变。这使得能够有利地校准传感器数据，因为环境特征的空间方向的差异基本上仅由不同的传感器位置引起。可预定的第一阈值是可任意确定的一致的环境特征的值或数量，其中，阈值越高，校准越可靠，但是必须识别许多一致的环境特征。
31.根据优选实施例，分布参数由评估单元确定，该分布参数指示各自的传感器数据中的一致的环境特征的空间分布。优选地，只有当一致的环境特征的数量超过第一阈值并且当分布参数的值超过预定的第二阈值时，才执行步骤d。分布参数优选地反映一致的环境特征如何在传感器数据上/中空间分布，其中，空间分布越大，分布参数越大。也可以想到将分布参数指定为覆盖参数，在这种情况下，环境特征在传感器数据上/中的分布也可以称为具有环境特征的传感器数据的覆盖。假设由于一致的环境特征在传感器数据上/中的更大分布，涉及多个静态对象，因此更可靠的校准是可能的，这与当所识别的环境特征被限制在空间有限的区域的情况相反。该实施例确保步骤d仅在识别出一定数量的也充分分布的一致的环境特征时执行。
32.根据优选实施例，第三传感器被提供在车辆上。第三传感器优选地被提供和设计成捕获车辆的空间方向和移动。在步骤b中，所捕获的车辆的空间方向和移动也优选地用于校准至少一个第一传感器。更优选地，第三传感器是gnss接收器。在根据步骤b校准第一传感器的情况下，有时需要车辆的空间方向和移动，其中，这可以使用传感器数据(从不同视角)来估计。然而，精确反映车辆的空间方向和移动的传感器数据更适合于此目的，因此有助于更精确的校准。
33.根据优选实施例，校准单元、识别单元和/或评估单元布置在车辆上或车辆外部。校准单元、识别单元和/或评估单元可以特别优选地被设计为公共计算单元的一部分。校准单元、识别单元和/或评估单元优选地设计在车辆外部，作为数据处理系统的一部分，或者基于云。内部传感器参数、外部传感器参数、失真参数、一致的环境特征和/或分布参数可以优选地以可检索的方式存储在布置在车辆上或车辆外部的存储单元中。车辆上的校准单元、识别单元和/或评估单元优选地设计为现有驾驶员辅助系统的一部分，或者随后布置在车辆中和/或车辆上。
34.本发明意义上的数据处理系统应被理解为it基础设施，其具体包括存储器、计算能力和应用软件(如果适用的话)。根据本发明的数据处理系统优选地被建立和提供用于接收、发送、处理和/或存储数据。据此，外部数据处理系统是布置在车辆外部的数据处理系
统。
35.根据优选实施例，校准单元、识别单元和/或评估单元或数据处理系统和/或云被设计成使用人工智能(ai)并且优选地使用神经网络来校准传感器(步骤b和d)以及识别环境特征(步骤c)。与人工智能(ai)和神经网络的应用相关的术语“机器学习”和“深度学习”应该在这里被有利地提及。
36.根据优选实施例，基于相对于第一阈值的一致的环境特征的数量和相对于第二阈值的分布参数的值，在显示设备上显示该方法的顺序。以这种方式，用户(可能是车辆乘客)可以遵循该方法的顺序。更优选地，提供操作设备，通过该操作设备，用户可以调节该方法的顺序。显示设备可以是永久安装在车辆中的屏幕(例如多媒体系统和/或车辆导航系统)、智能手机、平板电脑和/或笔记本电脑，但是该列表不应被理解为穷举。在自动或遥控车辆的情况下，显示设备特别优选地布置在车辆外部。显示设备允许用户(例如驾驶员和/或车辆乘客)遵循校准过程，其中，基于识别或存储的一致的环境特征的数量和分布参数的值，相对于对应的阈值显示顺序或进度。此外，该方法可以通过操作设备(例如作为触摸屏的一部分)来调节，其中，该方法可以被开始、停止、中断或重新开始。
37.根据优选实施例，传感器数据和/或各种参数通过无线连接从车辆发送到数据处理系统或云，反之亦然，该无线连接优选地基于从包括wlan连接和无线电连接、移动无线电连接、2g连接、3g连接、gprs连接、4g连接、5g连接的组中选择的传输技术。无线连接有利地具有相对较长的范围，至少部分地，优选地具有超过100m的最大范围，优选地超过500m，优选地超过1km，特别优选地几km。这样，不论相应的地理位置如何，数据可以从车辆发送到数据处理系统/云，反之亦然。无线连接或传输技术优选地是双向连接。
38.该目的还通过一种用于执行根据上述权利要求中任一项的方法的系统来实现，该系统包括至少一个第一传感器和至少一个第二传感器、校准单元和识别单元。
39.至少在信令方面，传感器优选地连接到校准单元和识别单元。更优选地，至少在信令方面，传感器也连接到评估单元。校准单元、识别单元和/或评估单元也优选地至少在信令方面连接。校准单元、识别单元和/或评估单元特别优选地被设计为计算单元的一部分。校准单元、识别单元和评估单元或计算单元优选地至少在信号方面连接到车辆或云外部的数据处理系统。
40.传感器优选地被提供和设计成根据测量的变量来捕获车辆环境，并且输出与车辆环境相关的传感器数据，并且将其发送到适当的单元。
41.校准单元优选地被提供和设计成通过基于由第一传感器捕获的传感器数据确定内部传感器参数和失真参数来校准至少一个第一传感器，其中，数学模型或算法优选地用于此目的。此外，校准单元优选地被提供和设计成将所确定的内部传感器参数和失真参数应用于第一传感器的传感器数据，并且因此获得可用于进一步的方法的变换的传感器数据。此外，校准单元被提供和设计成基于第一传感器的变换的传感器数据和由第二传感器捕获的传感器数据中的识别的环境特征的匹配空间方向来校准至少一个第一传感器和至少一个第二传感器，同时确定外部传感器参数并将外部传感器参数应用于第一传感器的变换的传感器数据和由第二传感器获取的传感器数据，以分别获得校准的传感器数据。
42.识别单元优选地被提供和设计成在第一传感器的变换的传感器数据和由第二传感器获取的传感器数据中识别先前经过的车辆环境的环境特征。该识别优选地基于数学模
型或算法，其中，这些数学方法在现有技术中是已知的。识别单元还被提供和设计成确定/识别和存储一致的环境特征。
43.评估单元优选地被提供和设计为确定分布参数，该分布参数指定了各自的传感器数据中一致的环境特征的空间分布。此外，评估单元被提供和设计为将一致存储的环境特征的数量与第一阈值进行比较，并且将分布参数的值与第二阈值进行比较，以确定它们是否被超过，并且如果超过该值，则启动该步骤或使该步骤被执行。
44.该目的还通过配备有用于执行根据本发明的方法的系统的车辆来实现。
45.可以想到的是，该系统随后布置在车辆上和/或车辆中，或者已经集成到车辆中。此外，可以想到的是，校准单元、识别单元和评估单元或计算单元被设计为现有的计算单元的一部分，或者是随后提供的单独的计算单元。
46.该方法描述的特征旨在对系统和车辆加以必要的修正，反之亦然。
附图说明
47.本发明的附加地目的、优点和便利之处可以在下面结合附图的描述中找到。在附图中：
48.图1示出了根据本发明优选实施例的用于校准传感器的车辆环境中的车辆；
49.图2是根据优选实施例的用于校准传感器的系统的示意图；
50.图3示出了根据优选实施例的使用流程图校准传感器的方法；
51.图4示出了根据优选实施例的显示根据本发明的方法顺序的显示设备。
具体实施方式
52.图1示出了根据本发明的车辆1，其配备有根据本发明的系统1000。系统1000包括布置在车辆上的待校准的传感器。车辆1在车辆环境4中沿移动方向r(由箭头表示)行驶或移动。举例来说，在车辆环境中布置了多个建筑物和树木。
53.系统1000被设计为所谓的车顶箱，其随后被安装在车顶上。系统1000具有四个第一无源光学传感器2a、2b、2c、2d，它们被设计为摄像机。按行进方向，传感器2a朝向前方，传感器2c、2c横向垂直于行进方向，传感器2d朝向与行进方向相反的后方。以这种方式，车辆1周围的整个车辆环境4可以被传感器2a-d(摄像机)捕获。系统1000还具有三个第二有源光学传感器3a、3b、3c，它们被设计为激光雷达传感器(距离传感器)。这里，传感器3a被设计为具有32层的360
°
激光雷达传感器，并且按行进方向朝向前方(捕获区域)。传感器3b、3c被设计为具有16层的360
°
激光雷达传感器，并且按行进方向朝向前方(捕获区域)。所示的传感器设计和布置仅仅是示例，并且也可以不同地实现。
54.根据图1的系统1000还包括未示出的校准单元6和识别单元7(见图2)。
55.在车辆环境4中示出了两个环境特征5a、5b作为示例，这两个环境特征5a、5b可以由识别单元7在对应的第一传感器2a-d和第二传感器3a-c的传感器数据中识别，车辆1在移动方向r上行驶时穿过车辆环境4。环境特征5a是建筑物的一部分，更准确地说是窗户正面或从窗户到砖石结构的过渡。环境特征5b涉及植物，更准确地说是树。环境特征5a、5b的特征在于它们在颜色和/或结构上不同，并且因此容易识别。
56.图2示意性地示出了根据优选实施例的系统1000。
57.系统1000包括至少一个第一传感器2、至少一个第二传感器3和第三传感器8，其中，传感器2、3、8布置在车辆1中和/或上。第一传感器2是无源光学传感器，例如摄像机，第二传感器3是有源光学传感器，例如激光雷达、雷达或超声波传感器，第三传感器8是位置传感器，例如gnss接收器。传感器2、3、8各自被提供和设计成捕获包括对应的测量变量的传感器数据。为此目的提供第三传感器8，并且第三传感器8被设计成捕获车辆1的空间方向和移动，其中，第三传感器8的传感器数据也可以用于校准第一传感器2。传感器数据经由至少一个信令连接14发送到计算单元11，其中，计算单元11包括校准单元6、识别单元7和评估单元9。处理单元11可以布置在车辆侧并且设计为驾驶员辅助系统的一部分或者独立地设计(优选地设计为通用的车辆计算单元)。此外，计算单元11可以被设计为布置在车辆外部的数据处理系统或云的一部分。
58.校准单元6被提供和设计成通过：基于由第一传感器2捕获的传感器数据确定内部传感器参数和失真参数来校准至少一个第一传感器2，其中，数学模型或算法优选地用于此目的，以便补偿传感器数据捕获中存在的误差；并且使第一传感器2的传感器数据可用于进一步的方法。此外，校准单元6被提供和设计成将所确定的内部传感器参数和失真参数应用于第一传感器2的传感器数据，从而获得变换的传感器数据。此外，校准单元6被提供和设计成基于第一传感器2的变换的传感器数据中的所识别的环境特征5a、5b的匹配空间方向来校准至少一个第一传感器2和至少一个第二传感器3，通过确定外部传感器参数来校准由第二传感器3捕获的传感器数据，并且将外部传感器参数应用于第一传感器2的变换的传感器数据和由第二传感器3捕获的传感器数据，以分别获得校准的传感器数据。
59.识别单元7被设置和设计成在第一传感器2的变换的传感器数据和由第二传感器3获取的传感器数据中检测先前经过的车辆环境4的环境特征5a、5b。识别优选地基于数学模型或算法进行，数学模型或算法优选地基于梯度或基于关键点。识别单元7还被提供和设计成确定和存储一致的环境特征。
60.评估单元9优选地被提供和设计成确定分布参数，该分布参数指定了各自的传感器数据中一致的环境特征5的空间分布。此外，评估单元9被提供和设计成将多个一致的环境特征5和分布参数的值与各自的分配的预定阈值进行比较，并且仅当超过阈值时才启动步骤d。
61.计算单元11通过双向信令连接15连接到存储单元10。内部传感器参数和外部传感器参数、失真参数、分布参数、一致的环境特征和/或传感器数据可以以可检索的方式存储在存储单元10中。
62.此外，计算单元11通过双向信令连接15连接到具有操作设备13的显示设备12，其中，显示设备布置在车辆1中。显示设备12被提供和设计成基于相对于第一阈值的一致的环境特征的数量和相对于第二阈值的分布参数的值来显示该方法的顺序，使得该方法的顺序可以被用户(例如车辆乘客)遵循。该方法的顺序可以由用户通过操作设备13来调节。
63.图3使用流程图示出了根据本发明的方法100的优选实施例。
64.方法100可以在车辆1投入运行或启动时自动开始，或者可以由用户使用操作设备13手动开始。
65.该方法开始于步骤s1(对应于步骤a)，并且由布置在车辆1上的至少一个第一无源光学传感器2和布置在车辆上的至少一个第二有源光学传感器3捕获与车辆在运行期间经
过的车辆环境4相关的传感器数据。
66.然后由校准单元6根据步骤s2(对应于步骤b)基于由第一传感器2捕获的传感器数据确定内部传感器参数和失真参数来校准至少一个第一传感器2，内部传感器参数和失真参数被应用于由第一传感器2捕获的传感器数据，其中，获得变换的传感器数据。
67.在随后的步骤s3(对应于步骤c)中，识别单元6在第一传感器2的变换的传感器数据和由第二传感器3捕获的传感器数据中识别出先前经过的车辆环境4的环境特征5。此外，环境特征5，如果被识别为在就时间和/或位置而言连续捕获的多个传感器数据中，被识别单元6存储为一致的环境特征5，或者被删除。
68.在另一步骤s4中，由评估单元7确定分布参数，该分布参数指示各自的传感器数据中一致的环境特征5的空间分布。该步骤也可以在步骤s3中执行。然后，评估单元7将存储的一致的环境特征的数量与预定的第一阈值进行比较，并且将分布参数的值与预定的第二阈值进行比较，以确定是否超过该值。
69.如果在步骤s4中确定存储的一致的环境特征的数量和分布参数的值分别超过了分配的阈值，则执行步骤s5。另一方面，如果在步骤s4中确定没有超过阈值之一，则返回到步骤s3，并且识别单元6在第一传感器2的新的变换的传感器数据和由第二传感器3捕获的新的传感器数据中识别出先前经过的车辆环境4的新的或进一步的环境特征5。
70.根据步骤s5(对应于步骤d)，基于第一传感器2的变换的传感器数据中的识别的一致的环境特征5的匹配空间方向和由第二传感器3捕获的传感器数据，由校准单元5通过确定外部传感器参数来校准至少一个第一传感器2和至少一个第二传感器3。外部传感器参数被应用于第一传感器的变换的传感器数据和由第二传感器3捕获的传感器数据，从而分别获得校准的传感器数据。
71.在随后的步骤s6中，内部传感器参数、外部传感器参数、失真参数、一致的环境特征和/或分布参数被存储在存储单元10中。
72.当车辆1停止运行或停车时，或者当用户通过操作设备13手动停止或结束方法100时，方法100自动结束。
73.图4示出了根据优选实施例的具有操作设备13的显示设备12。
74.操作设备13包括操作元件16，以便开始、停止或重新开始该方法，其中，可以想到进一步的操作元件。操作元件16可以被设计为显示设备12的触摸屏元件或者可机械操作的按钮。
75.摄像机图像17形式的至少一个第一传感器2的变换的传感器数据和点云18形式的至少一个第二传感器3的传感器数据彼此叠加地在显示设备12上显示。所识别的(一致的)环境特征5由标记20突出显示(这里作为示例示出为阴影圆圈)。以这种方式，用户可以实时跟踪该方法的进度，并且可以容易地识别所识别的环境特征，而不必为此进行专门训练。
76.此外，相对于第一阈值的一致的环境特征的数量和相对于第二阈值的分布参数的值可以各自由校准进度指示器19表示为百分比(由“xx％”示出)，相关联的进度条布置在该指示器上方。这进一步简化了对该方法的顺序及其进度的识别。
77.申请文件中公开的所有特征都被认为是本发明的实质，前提是它们单独或组合起来都比现有技术新颖。
78.附图标记列表1ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
车辆100
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
方法1000
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
系统2
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
第一传感器3
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
第二传感器4
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
车辆环境5
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
环境特征6
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
校准单元7
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
识别单元8
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
第三传感器9
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
评估单元10
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
存储单元11
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
计算单元12
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
显示设备13
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
操作设备14、15
ꢀꢀꢀꢀꢀꢀꢀ
信令连接16
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
操作元件17
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
摄像机图像18
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
点云19
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
校准进度指示器20
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
标记r
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
移动方向、行进方向s
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
步骤