探测关于对象和/或自由空间的至少一部分的信息的方法与流程

本发明涉及一种用于探测关于系统的周围环境的图示中的至少一个对象和/或自由空间的至少一部分的信息的方法，尤其基于至少一个或多个由至少一个或多个摄像头获得的数字图像图示和/或基于由系统的至少一个有源的周围环境传感器、有利地由车辆获得的传感器数据。此外，提出一种用于执行该方法的计算机程序、一种具有该计算机程序的机器可读的存储介质以及一种用于车辆的对象识别系统。本发明尤其可以用于实现至少部分自动化的或自主的驾驶。此外，本发明还可以应用于机器人系统中，尤其是用于至少部分自动化的或自主的运行。

背景技术：

1、在先进的机器人系统中，感知系统的关键技术是识别机器人可以去哪里和障碍物位于哪里。使用经典的计算机视觉技术的常规方法是复杂的并且不连续(非端到端)工作。与此不同，深度学习技术大多在图像区域中工作，并且依赖于有源的3d传感器(如激光雷达、雷达等)来检测3d信息。这样的多传感器系统复杂且昂贵，并且需要高的技术耗费来同步和融合来自不同模态的信息。

技术实现思路

1、在此提出一种用于探测关于系统的周围环境的图示/呈现/表示(darstellung)中的至少一个对象和/或自由空间的至少一部分的信息的方法，其中，所述方法至少包括以下步骤：

2、a)执行地面实况生成；

3、b)执行障碍物和自由空间探测；

4、c)执行跨越不同摄像头和/或不同数字图像图示的泛化/一般化(generalisierung)。

5、步骤a)、b)和c)为了执行所述方法例如可以至少一次地和/或重复地以所说明的顺序来执行。此外，步骤a)、b)和c)可以至少部分地并行或同时执行。例如可以执行步骤a)，用于生成用于机器学习算法和/或机器学习系统、例如人工神经网络的训练数据。步骤b)和/或c)、尤其是步骤b)例如可以在应用经训练的算法或机器学习系统期间执行。在步骤a)和b)之间，例如可以执行机器学习算法和/或机器学习系统、尤其是人工神经网络的训练，尤其是在使用在步骤a)中生成的信息的情况下。

6、所述方法用于探测关于系统的周围环境的图示中的至少一个对象和/或自由空间的至少一部分的信息，尤其是基于从至少一个或多个摄像头获得的至少一个或多个数字图像图示和/或基于从系统的至少一个有源的(aktiven)周围环境传感器获得的传感器数据。系统例如可以是车辆，例如机动车。车辆例如可以是汽车。车辆或系统可以设置为用于至少部分自动化的或自主的(驾驶)运行。

7、探测例如可以涉及机械式的和/或传感式的探测或检测。对象例如可以是其它交通参与者，例如其它车辆、行人或诸如此类。此外，对象例如可以是基础设施装置，例如交通灯设备、标牌或诸如此类。自由空间尤其可以是这样的空间或自由空间：系统可以(自由地)在其中操作和/或运动而不与对象碰撞/干涉。信息例如可以涉及相对于对象或空间的(相对)位置或尤其空间上的或数值的间距和/或对象或空间的在空间上的延伸或维度或扩展。

8、在步骤a)中，执行地面实况生成。尤其是，在步骤a)中，可以进行自动的地面实况生成。在此，有利地可以执行自动的3d障碍物柱状像素地面实况生成。“地面实况(ground-truth)”尤其可以包括多个数据集，这些数据集描述了用于训练机器学习算法和/或机器学习系统、例如人工神经网络的基本知识。基本知识尤其可以涉及足够数量的数据组，以便能够训练用于图像分析评价的相应算法或相应系统。

9、在此，术语“地面实况”可以替代地或附加地涉及例如地面现实(bodenwirklichkeit)、基部实情(grundwahrheit)和/或场比较(feldvergleich)。地面实况生成以有利的方式使得能够在分析来自周围环境的图示的信息时考虑地面实况数据、尤其是地面数据或者用于描述周围环境的图示中的地面(位置和/或走向)的数据。地面实况数据尤其可以提供关于周围环境的图示中的情况和/或维度和/或比例关系的附加信息和/或参考信息。地面实况数据能够尤其有助于描述在哪个位置(潜在的)对象位于/立于(aufsteht)地面上或者与在图示中可识别到的地面接触。地面实况数据例如可以有助于能够更具体地检测或描述图示中的(参考)对象。尤其是，地面实况数据可以有助于将来自图示的信息更精确地分类和/或针对正确性来检查分类的结果。

10、因此，地面实况数据可以特别有利地有助于训练机器学习算法和/或机器学习系统，尤其是人工神经网络。尤其是，机器学习算法和/或机器学习系统、尤其是人工神经网络可以这样学习：在(二维的)图像图示中识别在哪个位置(潜在的)对象位于地面上或者与在图示中可识别到的地面接触。此外，由此也可以有利地学习对至少一个对象或描述该对象的柱状像素的识别，该对象或该柱状像素位于相应的地面点上。

11、“柱状像素(stixel)”可以理解为尤其是矩形的(3d)数据结构，该数据结构描述场景或图示的一定区域。每个柱状像素可以包含相对于摄像头或传感器(该摄像头或传感器已检测到该图示)的相对位置、高度和/或不一致性并且由此有利地包含相对于潜在对象的深度。在此，该数据结构通常“站立(steht)”在地面上。在此，地面实况生成例如可以有助于获得关于图示中的地面的位置和/或延伸的信息。此外，每个柱状像素通常具有固定的柱状像素宽度。使用柱状像素的目的通常是通过附加的代表层(柱状像素)将3d图像数据抽象化。

12、在步骤a)和b)之间，例如可以基于所生成的地面实况，训练机器学习算法和/或机器学习系统，尤其是人工神经网络。为了实现人工神经网络，在此可以特别有利地使用卷积神经网络(英文：convolutional neural network；简称cnn)。

13、在步骤b)中执行障碍物和自由空间探测。尤其可以在步骤b)中进行障碍物柱状像素和自由空间探测。在此，可以有利地执行3d中的端到端障碍物柱状像素和自由空间探测。特别优选地，可以由或在2d图像图示中进行3d障碍物和自由空间探测。

14、术语“端到端”(英文：end-to-end)尤其描述了通过相同的(分析评价)装置、例如通过相同的算法和/或相同的人工神经网络进行的连续探测。有利地，因此可以在一个(单个)人工神经网络内部实施障碍物和自由空间探测并且特别有利地实施整个方法。

15、在步骤c)中，实施跨越不同摄像头和/或不同数字图像图示的泛化。这尤其能够包括使用不同摄像头的数据和将算法对于不同摄像头泛化。该方法可以有利地有助于或被执行用于生成用于人工对象识别算法的训练数据。

16、根据一个有利的构型提出，系统的周围环境的图示(至少也)基于传感器数据，所述传感器数据由系统的至少一个有源的周围环境传感器获得，并且至少一个有源的周围环境传感器包括激光雷达传感器和/或雷达传感器。优选地，有源的周围环境传感器是激光雷达传感器。

17、根据另一有利的构型提出，执行所述方法用于训练用于探测可行驶空间和障碍物信息的系统和/或深度学习算法。可以执行该方法用于训练至少一个人工神经网络。可以实施该方法用于(自动化地)生成用于至少一个人工神经网络的训练数据。该方法例如可以利用也基于传感器数据、尤其是激光雷达数据的数据来训练系统或人工神经网络，以便在运行中能够从单个图像中至少求取关于障碍物的高度以及距障碍物的间距的信息。例如，可以执行该方法用于训练深度神经卷积网络。

18、根据另一有利的构型提出，在步骤a)中执行针对自由空间的标签生成。这尤其包括针对每个图像列确定自由空间端点位置。图像列宽度可以与柱状像素宽度相对应。

19、根据另一有利的构型提出，在步骤a)中执行针对至少一个障碍物的标签生成。这尤其包括确定图像图示中的障碍物位置和确定与对象的3d间距。

20、根据另一种有利的构型提出，在步骤b)中确定障碍物底点和/或障碍物顶点和/或确定至少一个自由空间边界。

21、根据另一有利的构型提出，在步骤c)中执行焦距标准化。

22、根据另一方面，提出一种用于执行在此提出的方法的计算机程序。换言之，这尤其涉及包括指令的计算机程序(产品)，所述指令在通过计算机实施程序时促使所述计算机实施在此所描述的方法。

23、根据另一方面，提出一种机器可读的存储介质，在所述存储介质上存储或储存有在此提出的计算机程序。机器可读的存储介质通常是计算机可读的介质。

24、根据另一方面，提出一种用于车辆的对象识别系统，其中，该系统配置为用于执行在此描述的方法。例如，系统可包括计算器和/或控制器(controller)，其能够实施指令以便实施方法。为此，计算器或控制器例如可以实施所说明的计算机程序。例如，计算器或控制器可以访问所说明的存储介质，以便能够实施计算机程序。

25、结合方法讨论的细节、特征和有利的构型能够相应地也在这里所介绍的计算机程序和/或存储介质和/或系统中出现，并且反之亦然。就此而言，完全参照那里的用于进一步表征特征的实施方案。