在自动和/或至少半自主驾驶系统中检测至少一个障碍物的方法与流程

本发明涉及一种在自动和/或至少半自主驾驶系统中检测至少一个障碍物的方法。本发明还涉及一种训练方法、计算机程序、设备、计算机可读存储介质以及机器学习模型。

背景技术：

1、自主移动机器人或驾驶员辅助系统在感知方面最重要的挑战之一是可靠地检测危险对象。因此，本发明的目的是在3d环境中实现可靠的导航。

2、使用卷积神经网络(缩写为cnn)作为基础的传统的基于学习的对象识别算法在不提供危险对象的所有可能变体的足够数量的人注释示例的情况下通常无法学习所述危险对象的一般表示。

3、假设人工标记所有可能的通用对象实际上是不可能的，则通常使用基于启发式和确定性公式的算法来检测危险对象。以下文献给出了这种算法的一个示例：p.pinggera,u.franke,and r.mester,"high-performance long range obstacledetection usingstereo vision,"2015ieee/rsj international conference on intelligent robotsand systems(iros),hamburg,germany,2015,pp.1308-1313,doi:10.1109/iros.2015.7353537。尽管这种方法确实可以检测一些意外的障碍物，但是它通常不能推广到不同的场景，并且还需要立体摄像头。然而，许多机器人系统使用单目摄像头。

技术实现思路

1、在本发明的上下文中，结合根据本发明的方法描述的特征和细节显然也可结合根据本发明的训练方法、根据本发明的计算机程序、根据本发明的设备、根据本发明的计算机可读存储介质、以及根据本发明的机器学习模型来应用，反之亦然，因此总是参考或可以参考本发明的各个方案。

2、本发明的目的尤其是一种在自动和/或至少半自主驾驶系统中检测至少一个障碍物的方法，所述方法包括以下步骤，这些步骤优选地顺序地和/或反复地执行：

3、-提供图像数据，该图像数据专用于记录该驾驶系统周围的环境，

4、-执行对所提供的图像数据的评估，其中该评估可以基于机器学习模型的应用，借助该机器学习模型针对所述环境的至少一处遮挡确定遮挡标签，

5、-基于所确定的遮挡标签来执行所述至少一个障碍物、特别是危险对象的检测。

6、本发明可以具有克服传统的基于学习的方法的局限性的优点。这可能与缺乏标记数据有关。根据本发明，在这种情况下，作为中间步骤，可以首先借助机器学习基于图像数据来确定遮挡标签，而不是立即对危险对象进行分类。本发明还能够训练用于危险对象的高质量通用检测器，该检测器基于所确定的遮挡标签执行检测。如将在下文中更详细地描述的，使用特定监督元素的自监督训练可以用于此目的。不仅在立体摄像头中，而且在单目摄像头系统中也可以可靠地使用根据本发明的方法。换言之，图像数据可以包括单独的图像而不是图像序列，因此对于机器学习模型的应用可以省去运动信息。

7、机器学习模型的训练基于基于摄像头记录中的运动来确定遮挡区域也是有利的。为此目的，可以在摄像头记录产生的图像序列中估计光流。然后可以基于估计的光流来训练机器学习模型，以确定遮挡标签，特别是仅基于单个图像形式的图像数据来确定遮挡标签。训练可以优选地以自监督的训练过程的形式进行。机器学习模型也可以设计为cnn。在训练期间，机器学习模型可以获得包括两个(或多个)连续图像的图像序列作为来自单目视频的输入，并在此基础上提供光流的估计。光度误差最小化可以用作损失函数。遮挡区域可以是指在环境中被障碍物遮挡的空间区域。

8、机器学习模型训练的一个特殊特征是，它尤其可以利用这样一个事实，即当摄像头移动时，光流永远无法检测到所有像素。该方面可以用于直接确定障碍物图形式的遮挡标签，或者根据下文描述的“进一步损失选项”间接生成另一类型障碍物图的遮挡标签。由此确定的遮挡标签也可以被设计为障碍物点云。本发明的另一个特殊特征可能是自监督训练能够依赖于大量的未标记数据。此外，可以可选地从障碍物点云创建边界框，并且可以在下一阶段对检测到的候选对象运行假阳性缩减分类器。

9、在本发明的范围内，还可以想到的是，图像数据(特别是在推理模式中)包括至少一个或恰好一个单独的图像，该图像是由使用单目或立体摄像头的记录产生的。换句话说：在如上所述的训练过程之后，在推理模式中可以使用恰好一个单独的图像。优选地，用于机器学习模型的、作为用于确定遮挡标签的输入的图像数据被限制为单个图像。换言之，机器学习模型不需要运动信息作为用于确定、优选地生成遮挡标签的输入。

10、可以可选地规定，遮挡标签特定于至少一个遮挡和/或被设计为遮挡图，其标识图像数据中被环境中的至少一个对象遮挡的至少一个或多个区域。在这种情况下，遮挡图也可以被设计为遮挡掩模，该遮挡掩模例如指示(优选地以二进制方式)诸如图像数据的像素的各个元素是否被至少一个对象遮挡。

11、在本发明的范围内，可以优选地规定，对(所述)至少一个障碍物的检测包括对遮挡标签的评估，优选地借助分类器并且优选地借助机器学习训练的分类器，在该评估期间，参照遮挡标签执行对对象之一的分类，该对象是与相应遮挡相关联的危险对象的形式并且在图像数据中被检测到。危险对象尤其可能是从卡车上掉落的货物。此外，危险对象也可以被称为可能对包括驾驶系统的移动车辆和/或机器人具有潜在危险的对象。分类器可以被限制为确定对象是否是危险对象。因此，可以省略对其他类的分类，并且可以以类不可知的方式(class-agnostic manner)设计分类器。

12、还可以可选地规定，基于评估和/或检测，借助驾驶系统，优选地通过运动规划系统，执行自我车辆和/或机器人的至少部分自主控制。驾驶系统可以例如被设计为驾驶员辅助系统或自主驾驶系统，用于例如在自主移动机器人或自主车辆中使用。在这种情况下，感知系统可以提供3d环境的表示，并且该表示可以被用作运动规划系统的输入，运动规划系统然后决定应该如何操纵自我车辆。

13、本发明的目的还是一种用于训练机器学习模型的训练方法，所述方法包括：

14、-提供训练数据，其中，该训练数据包括至少一个表示行程中驾驶系统环境的图像序列，并且该训练数据还可以包括注释数据，特别是以基本事实的形式，其指示表示行程中环境的至少一个遮挡的遮挡标签，

15、-根据训练数据对机器学习模型进行训练，在此期间考虑图像序列中的光流，以预测遮挡标签。

16、因此，根据本发明的训练方法提供了与关于根据本发明的用于检测至少一个障碍物的方法详细描述的优点相同的优点。在这种情况下，应用于根据本发明的用于检测至少一个障碍物的方法的机器学习模型优选地由根据本发明的训练方法产生。本发明的目的也是通过根据本发明的训练方法获得的机器学习模型。

17、关于训练方法，还可以根据估计的光流和遮挡图形式的遮挡标签计算基本矩阵，该遮挡图指示至少一个遮挡，优选地指示摄像头的校准矩阵。作为另一个步骤，可以执行3d点三角测量和/或深度估计。参考图像序列中两个图像之间的相对变换，可以应用三角测量，以便从光流中获得每个点对应关系的3d点。

18、本发明的目的还在于一种计算机程序，特别是包括指令的计算机程序产品，当计算机程序由计算机执行时，提示后者执行根据本发明的方法。因此，根据本发明的计算机程序提供了与关于根据本发明的方法详细描述的优点相同的优点。

19、本发明的目的还在于一种用于数据处理的设备，其被配置为执行根据本发明的方法。例如，可以提供计算机作为执行根据本发明的计算机程序的设备。计算机可以包括用于执行计算机程序的至少一个处理器。还可以提供非易失性数据存储装置，其中存储计算机程序，并且处理器可以从中读取计算机程序以供执行。

20、本发明的目的还可以是一种计算机可读存储介质，其包括根据本发明的计算机程序和/或包括当由计算机执行时提示后者执行根据本发明方法的指令。存储介质例如被设计为诸如硬盘和/或非易失性存储器和/或存储卡的数据存储装置。存储介质可以例如被集成到计算机中。

21、根据本发明的方法还可以被设计为计算机实现的方法。