用于对象识别的方法、图像识别设备、计算机程序和存储器单元与流程

本发明涉及一种根据权利要求1所述的用于对象识别的方法。另外，本发明涉及一种图像识别设备、一种计算机程序和一种存储器单元。

背景技术：

1、在de 10 2020 206 990 a1中描述一种用于处理传感器的测量数据的方法，该方法在第一编码器中将第一传感器的测量数据并且在第二编码器中将第二传感器的测量数据转移到相应的潜在空间中。从潜在空间中的特征中，第一解码器推导出第一传感器的重建的测量数据，第二解码器推导出第二传感器的重建的测量数据。

技术实现思路

1、根据本发明，提出一种具有根据权利要求1的特征的用于对象检测的方法。由此，可以更准确地且更可靠地检测点之间的关联，并且可以在处理时将该关联更好地一同纳入。可以更好地考虑所述点的特征背景。处理时的信息损失可以被减小，并且识别能力可以提高。

2、对象可以是车辆、生物(尤其是人)、建筑物和/或物品。

3、对象识别(对象探测，object detection)可以包含对至少一个对象特性的识别(对象回归，object regression)、对象分类(object classification)和/或对对象运动路径的识别(对象跟踪，object tracking)。

4、基于点的传感器可以输出呈至少一个点云的形式的测量数据。测量数据可以由至少两个这种类型的传感器提供。基于点的传感器可以是摄像机，尤其是优选具有深度信息和/或图像处理算法的应用的立体摄像机或者单摄像机、飞行时间摄像机、激光雷达传感器、超声波传感器、麦克风或者雷达传感器。

5、第一处理步骤可以通过多个处理层面将输入侧特征转移到学习特征中。

6、第一处理步骤可以应用pointnet、pointnet++、图神经网络、连续卷积、核点卷积或者具有点云作为输入和输出的其他神经网络。

7、第二处理步骤可以例如基于鸟瞰视角(bev，birds eye view)将学习特征转移到二维模型栅格上。如果点云的仅一个点位于栅格单元格中，则该点的学习特征可以形成该栅格单元格的特征。如果点云的多个点位于栅格单元格中，则该栅格单元格的这些点的学习特征可以合并为该栅格单元格的特征。该合并可以通过应用池化算法或者pointnet实现。

8、模型栅格可以通过预给定的栅格分辨率确定。栅格分辨率越高，则每单位空间或者每单位面积存在的栅格单元格越多。栅格分辨率越低，则对象的识别概率可以越高。栅格分辨率越大，则可以越准确地标记说明对象。

9、在本发明的一种优选实施方案中，有利的是，输入侧特征被接收在配属于单个点的输入侧特征矢量中，并且学习特征被接收在配属于该点的潜在的特征矢量中。输入侧特征可以无序地并且与所述输入侧特征的顺序无关地被转交给第一处理步骤。

10、本发明的一种优选的构型是有利的，在该构型中，输入侧特征矢量相对于潜在的特征矢量具有不同的维度。该不同的维度可以具有比输入侧特征矢量更高的或者更低的维度。

11、在本发明的一种优选的实施方案中，有利的是，所述单个点的输入侧特征包括关于该点的空间位置、该点的特性和/或该点的相邻点的信息。该空间位置可以通过在三维坐标系中的坐标描述。所述特性可以是反向散射信号强度或者输入强度、反向辐射横截面、升角和/或径向速度。关于该点的相邻点的信息可以包含预给定的外接圆中的相邻点的数量。

12、在本发明的一种优选的实施方案中设置，第一处理步骤应用经训练的人工神经网络。该训练可以实施为多层学习(深度学习，deep learning)。处理层面可以是人工神经网络中的中间层(隐藏层，hidden layer)。

13、第二处理步骤可以应用经训练的人工神经网络。第一处理步骤的学习特征可以在第二处理步骤中继续使用。在第二处理步骤中对网络的训练可以与在第一处理步骤中对网络的训练有关或者无关。

14、本发明的一种优选的构型是有利的，在该构型中，通过至少一个另外的方法步骤，由与单元格相关的输出数据形成与对象相关的输出数据，用于计算对象的定向包络形状。定向包络形状可以是定向长方体形包络形状(定向包围盒，oriented bounding box)。定向包络形状可以具有至少一个配属于该对象的盒参数。该盒参数可以是姿态、至少一个尺寸、对象类型类别和/或存在概率。通过对象类型类别可以标记说明与对象的配属关系。

15、定向包络形状可以借助基于点的第一处理步骤更准确地标记说明。下游的与栅格相关的第二处理步骤能够改进对象的识别概率并且能够实现较低的错误识别率。

16、与对象相关的输出数据可以包括具有对象假设的列表。对于每个对象假设，可以计算对象特性、尤其是对象类型类别和定向包络形状。

17、定向包络形状的盒参数可以根据栅格单元格的特征来计算。

18、另外，提出一种图像识别设备，所述图像识别设备具有至少一个基于点的传感器和处理单元，所述基于点的传感器提供关于对象的测量数据，所述处理单元设立为用于执行具有先前提到的特征中的至少一个特征的方法。由此，可以减小处理单元的计算功率并且可以较成本有利地实施图像识别设备。

19、在本发明的一种优选的实施方案中，有利的是，基于点的传感器设立为用于输出至少一个点云作为测量数据。所述基于点的传感器可以是摄像机，尤其是优选具有图像处理算法的应用的立体摄像机或者单摄像机、飞行时间摄像机、激光雷达传感器、超声波传感器、麦克风或者雷达传感器。

20、图像识别设备可以配属于驾驶员辅助系统和/或自主的或者部分自主的车辆。图像识别设备可以配属于机器人(尤其是割草机器人)、环境监控设施(尤其是交通监控设施)或者车辆(尤其是机动车、载重车辆或者两轮车辆，优选自行车)。

21、图像识别设备可以在自动化的装配设施中使用，例如用于探测构件和所述构件的取向，用于抓持点确定。图像识别设备可以在自动化的割草机中使用，例如用于探测对象、尤其是障碍物。图像识别设备可以在自动的访问控制中使用，例如用于人员探测和人员辨认，用于自动的门打开。图像识别设备可以在环境监控设施中使用，优选用于监控场所或者建筑物，例如用于对危险品进行探测、检查和分类。图像识别设备可以在交通监控设施中使用，该交通监控设施尤其具有固定式雷达传感装置。图像识别设备可以在驾驶员辅助系统中用于对交通参与者进行探测和分类，例如在自行车或者其他两轮车中使用。

22、另外，提出一种计算机程序，所述计算机程序具有机器可读的且能够在至少一个计算机上实施的指令，在实施所述指令时，运行具有先前给出的特征中的至少一个特征的方法。另外，提出一种存储器单元，所述存储器单元以机器可读且能够通过至少一个计算机访问的方式实施，并且在所述存储器单元上存储有所提到的计算机程序。

23、由附图说明和附图得出本发明的其他优点和有利构型方案。

技术特征：

1.一种用于根据至少一个基于点的传感器(16)的测量数据(14)对对象(12)进行对象识别的方法(10)，所述基于点的传感器检测所述对象(12)，其方式是，对以具有多个点(22)和配属的特征(24)的点云(20)为基础的测量数据(14)进行处理，其方式是，

2.根据权利要求1所述的用于对象识别的方法(10)，其特征在于，所述输入侧特征(28)被接收在配属于单个点(22)的输入侧特征矢量(34)中，并且所述学习特征(30)被接收在配属于该点(22)的潜在的特征矢量(77)中。

3.根据权利要求2所述的用于对象识别的方法(10)，其特征在于，所述输入侧特征矢量(34)相对于所述潜在的特征矢量(77)具有不同的维度。

4.根据上述权利要求中任一项所述的用于对象识别的方法(10)，其特征在于，单个点(22)的输入侧特征(28)包括关于所述单个点的空间位置、所述单个点的特性和/或所述单个点的相邻点(22)的信息(50)。

5.根据上述权利要求中任一项所述的用于对象识别的方法(10)，其特征在于，所述第一处理步骤(26)应用经训练的人工神经网络(26)。

6.根据上述权利要求中任一项所述的用于对象识别的方法(10)，其特征在于，通过至少一个另外的处理步骤(82、86、96)，由所述与单元格相关的输出数据(80)形成与对象相关的输出数据(80)，用于计算所述对象(12)的定向包络形状(102)。

7.一种图像识别设备(104)，具有至少一个基于点的传感器(16)和处理单元(106)，所述基于点的传感器提供关于对象(12)的测量数据(14)，所述处理单元设立为用于执行根据上述权利要求中任一项所述的方法(10)。

8.根据权利要求7所述的图像识别设备(104)，其特征在于，所述基于点的传感器(16)设立为用于输出至少一个点云(20)作为测量数据(14)。

9.一种计算机程序，所述计算机程序具有机器可读的且能够在至少一个计算机上实施的指令，在实施所述指令时，运行根据权利要求1至6中任一项所述的方法(10)。

10.一种存储器单元，所述存储器单元以机器可读且能够通过至少一个计算机访问的方式实施，并且在所述存储器单元上存储有根据权利要求9所述的计算机程序。

技术总结
本发明涉及一种用于根据至少一个基于点的传感器(16)的测量数据(14)对对象(12)进行对象识别的方法(10)，所述基于点的传感器检测所述对象(12)，其方式是，对以具有多个点(22)和配属的特征(24)的点云(20)为基础的测量数据(14)进行处理，其方式是，首先，在基于点的且具有至少一个处理层面(32)的第一处理步骤(26)中，将所述点云(20)的输入侧特征(28)转化为学习特征(30)，并且以至少关于所述点(22)之间的关系的信息(50)来充实，接下来，在基于栅格的且具有至少一个处理层面(68)的第二处理步骤(70)中，将所述学习特征(30)转移到具有多个栅格单元格(72)的模型栅格(74)上，并且接下来，产生与单元格相关的输出数据(80)。另外，本发明涉及一种图像识别设备(104)、一种计算机程序和一种存储器单元。

技术研发人员：F·法永,D·克勒,R·约尔旦,M·乌尔里希,P·齐格勒,S·布劳恩,M·郭,C·格莱泽,D·尼德尔勒纳,K·A·D·阿尔马尼奥斯
受保护的技术使用者：罗伯特·博世有限公司
技术研发日：
技术公布日：2024/9/17