从输入数据中识别对象的方法和设备与流程

1.本发明涉及一种用于从输入数据中识别对象的方法。本发明还涉及一种用于从输入数据中识别对象的设备。本发明还涉及一种计算机程序和一种机器可读存储介质。


背景技术：

2.对象检测是机器学习系统（例如经过训练的神经网络）的已知应用情况。用于对象检测的算法为输入数据（例如图像）提供检测集合，其中检测通常由围绕所述对象的定界元素（英语：bounding box，边界框）和标量的检测质量代表。通常情况下这些算法不仅提供针对对象的唯一检测，而且提供对象周围的多个稍微移动和/或缩放的定界元素。在下文中也将对象的这些检测称为对象的原始检测。因此，原始检测包括检测到的对象和至少部分标识该对象的属性。在现有技术中，这样的属性是至少部分地围绕检测到的对象的定界元素或边界框。为了从所述原始检测中选择最好的并且每个对象只获得一个检测，在下游连接了所谓的非极大值抑制（英语：non-maximum suppression，nms）。在此，作为事实上的标准已实施所谓的贪婪nms，例如由burel、gilles和dominique carel：“detection and localization of faces on digital images（数字图像上人脸的检测和定位）”，pattern recognition letters 15.10(1994):963-967公知的。
3.在此，如果原始检测与具有更高质量的另一种检测以特定的百分比重叠，则丢弃所述原始检测。
4.非极大值抑制的自由参数是重叠阈值，在超过该重叠阈值的情况下，具有较高质量的检测可以抑制具有较低质量的检测。如果阈值过低，则会出现更多的“双重检测”，这意味着即使在非极大值抑制之后，对于单个对象也会获得多次检测。相反，如果在相邻的图像区域中出现多个对象，例如在一组人的情况下，过高的阈值可能导致实际正确的检测受到抑制。由于阈值的重要性，存在各种各样的nms方法，但由于计算耗费非常高，迄今为止没有一种方法能够实施。


技术实现要素：

5.本发明的任务是提供一种用于从输入数据中改进地识别对象的方法。
6.根据第一方面，该任务通过一种用于从输入数据中识别对象的方法来解决，所述方法具有以下步骤：a)执行原始检测，其中为每个原始检测确定以检测质量的形式的至少一个属性；b)为每个原始检测确定至少一个其他属性；c)为所述原始检测的至少一个属性确定时间或空间分辨的距离度量，然后使用所述距离度量结果对所述原始检测进行分组；和d)从具有以下至少一个原始检测的组中确定待识别的对象，所述至少一个原始检测与另外的原始检测相比具有所述至少一个属性的最小距离度量，或从具有以下至少一个原始检测的组中确定待识别的对象，所述至少一个原始检测通过将具有至少一个属性的最
小距离度量的至少两个原始检测组合成一个原始检测而组合得到。
7.通过这种方式，有利地提供了对非极大值抑制的修改，利用该修改在对象检测时可以改善多义的对象状况的分辨率。为此，在非极大值抑制中处理预测对象的属性形式的其他信息。由此，其结果是将改善了属性的原始检测用于对象检测。例如，可以在利用经过训练的神经网络在车辆中进行推理的范围中使用所提出的方法。
8.根据第二方面，提供了一种用于考虑环境传感器数据来控制自动驾驶车辆的方法，其中所述方法包括以下步骤：经由所述车辆的至少一个环境传感器记录环境传感器数据；根据本发明的方法，基于输入数据形式的所记录的环境传感器数据来识别对象；以及通过所述车辆的控制模块在考虑所识别的对象的条件下确定所述车辆的环境状态，其中在所述环境状态中描述了所述车辆的包括所识别的对象在内的至少一种交通状况；通过车辆控制器的控制模块生成机动决策，其中所述机动决策基于所确定的环境状态；基于所述机动决策通过所述车辆控制器的控制系统来引发控制机动。
9.由此可以提供一种用于控制自动驾驶车辆的改进方法，该方法包括改进的对象识别。
10.根据第三方面，该任务通过一种对象检测设备来解决，所述对象检测设备被设置为执行根据前述权利要求中任一项所述的方法。
11.根据第四方面，该任务通过一种包括指令的计算机程序来解决，当通过计算机执行所述计算机程序时，所述指令促使所述计算机执行用于从输入数据中检测对象的方法。
12.所述方法的优选扩展是从属权利要求的主题。
13.所提出的方法的有利扩展规定，为以下至少一个属性确定时间和/或空间分辨的距离度量：对象的移动方向、对象的取向、对象与传感器装置的距离、对象与至少一个其他对象的交互、对象各部分的欧几里德距离。通过这种方式，有利地为不同的属性确定距离度量。
14.所述方法的另一有利扩展规定，在步骤d)中，为了抑制原始检测使用第一距离度量的第一阈值和其他距离度量的第二阈值。通过这种方式，定义了用于抑制原始检测的定义的边界条件。
15.所述方法的另一有利扩展规定，将为传感器装置的输入数据确定的至少一个其他属性用于另外的传感器装置的输入数据。通过这种方式，可以有利地将属性用于不同的输入数据。
16.所述方法的另一有利扩展规定，将用于从原始检测中确定对象的属性构造为定界元素。通过这种方式提供了在参考系统中定位对象的方式。在本技术的意义上，定界元素是边界框，借助于所述边界框对图像记录中的待识别对象进行定界。
17.所述方法的另一有利扩展规定，将用于从原始检测中确定对象的属性构造为对象的要点。通过这种方式提供了在参考系统中定位对象的替代方式。所述对象的要点可以由各个组成部分给定。以检测到的人为例，要点可以由人的各个身体部位给定。
18.所述方法的另一有利扩展规定，属性的确定通过对象检测设备和/或通过算法来执行。由此有利地提供了用于确定附加属性的不同可能性。
19.所述方法的另一有利扩展规定，所述输入数据由一个传感器装置或由多个传感器装置或由存储介质提供。由此，所述输入数据可以有利地由不同的传感器装置提供，其中在多个传感器装置的情况下这些传感器装置彼此校准。
20.所述方法的另一有利扩展规定，所述输入数据包括以下中的至少一个：相机数据、雷达数据、激光雷达数据、超声数据。由此可以有利地使用不同的传感器装置来提供所述输入数据。
21.所述方法的另一有利扩展规定，根据识别出的对象产生用于物理系统、特别是车辆的控制信号。通过这种方式可以有利地为车辆产生依赖于对象识别的控制信号。
22.根据一种实施方式，控制机动是回避机动和/或超车机动，其中所述回避机动和/或超车机动适合于控制所述车辆从识别出的对象旁经过。
23.由此实现了车辆控制的进一步改进。
附图说明
24.下面利用其他特征和优点基于多个图详细描述本发明。相同或功能相同的元素在此具有相同的附图标记。
25.公开的方法特征类似地从对应公开的设备特征中得到，而且反之亦然。这特别是意味着，涉及所提出的方法的特征、技术优点和实施方案以类似的方式从涉及对象检测设备的对应实施方案、特征和优点中得到，并且反之亦然。
26.在图中：图1示出了具有对象的常规nms方法的原理图；图2示出了具有两个对象的传统nms方法的原理图；图3示出了所提出的方法的原理性流程；图4示出了所提出的方法的原理性替代流程；图5、图6示出了所提出的nms方法的原理图；图7示出了所提出的对象检测设备的原理图；以及图8示出了所提出的方法的实施方式的原理图。
具体实施方式
27.本发明的核心思想特别是现有nms方法的扩展。
28.提出：通过附加的语义信息或属性来扩展用于非极大值抑制的抑制功能的重叠标准和/或决策标准，以便在很大程度上避免上述不利的多义性。将这些信息提供给具有nms功能性的抑制装置，其中为每个原始检测配备一个或多个具有距离函数的附加属性。通过分配给每个对象或每个原始检测的附加属性，可以提供附加区分标准，基于所述附加区分标准可以实现对不同的检测到的对象或不同的原始检测的区分。
29.在本技术的意义上，给定由检测到的对象和至少一个属性组成的原始检测，通过所述至少一个属性可以标识检测到的对象。该属性可以是边界框形式的定界元素，该边界框至少部分地包括检测到的对象。替代地，所述属性可以是所述对象的要点，通过检测设备
检测和识别出所述要点。在人作为检测到的对象的情况下，要点可以由该人的身体部位给定。如果通过要点来标识原始检测的对象，则相应的属性可以包括多个要点。
30.在该上下文中，附加属性可以包括检测到的对象的移动方向、检测到的对象的取向、检测到的对象与传感器装置的距离、检测到的对象与至少一个其他检测到的对象的交互，或者例如包括对象各部分的欧几里得距离。
31.通过应用在多个检测到的对象的附加属性之间的距离度量，可以将距离度量大于预定极限值的对象标识为不同的对象，并且可以将距离度量小于预定极限值的对象标识为相同的对象。由此可以实现更精确的对象检测，其方式是通过距离度量可以确定例如在原始检测的边界框中是仅包含一个对象还是多个至少部分覆盖的对象。
32.这个关于由边界框所包括的对象的数量的信息可以在随后的nms方法中用作nms方法选择最合适的边界框的附加决策标准。
33.由此与传统的nms方法相比，有利地仅略微增加了计算耗费。附加属性的其他示例是对象的深度（即对象与传感器装置的距离）或对象的取向。这些附加属性可以由检测算法本身生成或通过与另外的信息源链接（例如用于深度估计的立体算法）生成。
34.传统的抑制装置获得一系列原始检测作为输入，这些原始检测由定界元素形式的属性和标量检测质量定义。在本技术的意义上，定界元素是包围已识别或待识别的对象的边界框。对于每个原始检测，计算与输入数据中的所有另外的原始检测的几何重叠。在此，常见的重叠标准是所谓的“交并比”（intersection-over-union，iou），其代表两个定界元素的交集面积与两个定界元素的并集面积之间的商。在该值高于预给定阈值的情况下，抑制具有较低检测质量的原始检测。
35.这种抑制装置的各种变型是已知的，例如贪婪非极大值抑制、最优非极大值抑制或软非极大值抑制。它们的区别在于比较两个定界元素（即边界框）的顺序、抑制定界元素的顺序以及精确的重叠标准。所有上述变型的共同点是它们基于纯基于几何的相似性标准，例如上述交并比。
36.特别地，这些变型大多由依次执行的步骤组成：根据基于几何的距离标准对定界元素进行分组，以及随后对定界元素进行组内抑制或重新排序。
37.图1示出了传统的对象检测以及随后非极大值抑制nms形式的处理步骤的原理。在左侧部分显示了人p1形式的对象的原始检测，所述对象具有定界元素（边界框）形式的三个属性1a、1b、1c，这些属性具有不同的置信度值（信任级别）。对于每个原始检测规定，仅单个定界元素包围或限制人p1形式的待检测对象。在此，第一定界元素形式的第一属性1a可以具有0.9的置信度值，第二定界元素形式的第二属性1b可以具有0.8的置信度值，而第三定界元素形式的第三属性1c可以具有0.7的置信度值。
38.现在借助于具有属性1a的原始检测识别人p1，而具有属性1b、1c的原始检测受到抑制，因为它们具有较低的置信度值。结果，由此具有属性1b、1c的原始检测受到抑制，并且仅输出具有属性1a的原始检测的结果，这在图1的右侧部分示出。
39.传统的非极大值抑制的弱点是它的决策仅仅基于定界元素的坐标以及基于原始检测的置信度值（检测质量）。然而在理论上，输入数据的两个不同内容，例如具有一个人的图像和具有两个前后站立或并排站立的人的图像，可能导致相同的原始检测，并由此导致相同的输入数据来用于非极大值抑制。传统的非极大值抑制nms可能无法再正确分辨这种
多义性。由于非极大值抑制是作为对象检测的最后一个步骤执行的并且由此对对象识别系统的输出存在很大影响，所以真实应用中的错误可能会不利地导致故障，例如配备有这种系统的自主车辆的故障。
40.这种问题在图2中示出。在这种情况下，借助于具有属性1a、1b的原始检测预测或确定两个人p1、p2。在此，例如在原始检测中在属性1a的右侧部分中检测到人p1，而在另外的原始检测中在属性1b的左侧部分中检测到人p2。这些原始检测的模式在几何层面上是多义的，并且因此通过传统的非极大值抑制nms可能无法分辨或可能错误地解释。这在图2的右侧部分中示出，在那里可以看出，仅输出具有带有属性1a的识别出的人p1的原始检测。
41.为了改进所描述的问题提出了一种方法，该方法为每个原始检测确定至少一个其他属性1a...1n，对于该其他属性，从至少一个另外的原始检测中确定空间和/或时间分辨的距离度量。将以这种方式属性化的原始检测传递到随后执行的非极大值抑制。
42.原则上，所提出的方法在图3中示出，在那里可以看出对象检测设备100，例如具有经过训练的神经网络（区域候选网络、卷积神经网络），输入数据d以环境传感器数据（例如相机数据、激光雷达数据、雷达数据、超声数据等）的形式输送给该经过训练的神经网络。输入数据d在此以类似图像的形式在2d或3d网格中显示。将所述神经网络训练成基于图像数据来识别对象。可以按照从现有技术已知的训练过程来训练所述神经网络以识别图像。所使用的神经网络可以构造为卷积神经网络并且包括任意多个卷积核。
43.借助于对象检测设备100执行具有所分配的属性1a...1n（例如定界元素、置信度值、对象分类等）的原始检测。在这些原始检测的情况下，提出：确定至少一个其他属性1a...1n，对于该至少一个其他属性从至少两个原始检测中确定空间和/或时间分辨的距离度量。将根据本发明改进的这些原始检测输送给非极大值抑制nms，借助于抑制装置110执行所述非极大值抑制nms。结果，由此在抑制装置110的输出端处提供经过过滤的对象检测od，所述对象检测具有至少一个识别出的对象。
44.所提出的方法由此通过一般化的分组方法扩展了传统的非极大值抑制nms，即提供了原始检测之间更一般的距离度量，该距离度量从包括至少一个附加属性1a...1n在内的所有属性1a...1n中计算得出，这些属性来自至少两个原始检测。在此，相似性度量代表逆距离度量。所述至少一个其他属性1a...1n可以用标量值代表，例如以对象至对象检测设备 100的距离的形式，或者用向量代表，以检测到的对象相对于对象检测设备100的取向的形式，其中所述向量的条目或标量值可以具有连续以及分类的属性。例如，分类属性可以定义一个对象是隐藏的还是不隐藏的。分类属性“对象被隐藏”在此例如可以表示为数值 0，而分类属性“对象未被隐藏”在此可以表示为数值 1。
45.所述属性的时间和/或空间分辨的距离度量可以用于确定对象的移动方向、对象的取向、对象与传感器装置的距离、对象与至少一个另外的对象的交互、对象各部分的欧几里得距离（例如人的身体部位之间的距离）等。
46.属性1a...1n在此可以由对象检测设备100本身估计，或者可以通过将原始检测与其他算法链接来计算。所述分组类似于经典的非极大值抑制地进行，但使用更一般化的距离度量。
47.为了实现所提出的方法，除了通过一般化的距离度量来扩展非极大值抑制之外还需要处理链，所述处理链为非极大值抑制提供一般属性化的原始检测。在传统的非极大值
抑制中，假设原始检测仅由定界元素和向量或标量形式的属性1a...1n代表，这些属性对对象类别置信度进行编码。
48.而所提出的扩展提出其他属性1a
…
1n或替代属性1a
…
1n。从而例如定界元素形式的属性1a...1n可以由所谓的要点代替，其中每个要点对对象的单个组件（例如人的头部、右/左臂等）的位置进行编码。
49.因此使用所提出的方法确定改进的属性化原始检测，然后将所述原始检测传递到非极大值抑制。在下文中示例性地描述了如何能够执行这样的原始检测的两个变型：第一变型：通过对象检测设备100预测属性：在图3中所示的这种变型中，由对象检测设备100预测至少一个附加的其他属性1a...1n。为此，向对象检测设备100的检测算法补充计算至少一个附加属性1a...1n的运算。
50.图3示出了所提出的方法在处理装置20a...20n（未示出）上的示例性流程。对象检测设备100处理输入数据d并提供具有属性1a...1n的集合的原始检测集合作为结果。借助于抑制装置110执行的下游非极大值抑制过滤属性化的原始检测，其方式是该非极大值抑制丢弃以下原始检测，在这些原始检测的邻域中存在具有更高置信度的另外的原始检测。
51.对象检测设备100可以包括基于对象识别来训练的神经网络，借助于该神经网络可以识别对象。此外，所述神经网络被训练成识别原始检测的其他属性。为此，可以在对应的训练过程中训练所述神经网络，其方式是训练配备有对应属性的训练数据、特别是训练图像记录，使得经过训练的神经网络能够识别所述属性。
52.为了执行所述训练过程，可以用附加属性对训练数据的对象或用于训练的图像记录的对象进行注释，使得所述神经网络可以被训练成识别所述附加属性。因此在训练数据组的图像记录中，可以用各种属性（例如用取向或移动方向）来表征显示在图像记录中的对象。完整的对象注释由此通过属性集合来描述出现在图像记录场景中的单个对象，所述属性例如是边界框、对象类别或对象至相机的距离。在所述注释中可以对应地存储nms中所需要的所有属性。可以在受到监督的训练过程期间手动进行属性以及附加属性的所述注释。替代地，这种注释可以借助于对应的算法自动实现。
53.因此可以将对象检测设备100的神经网络训练成识别检测到的对象的附加属性1a、...、1n。为此，所述神经网络可以配备有附加的神经元，特别是输出神经元，借助于这些附加的神经元使得附加属性的识别过程成为可能。
54.根据一种实施方式，可以用立体匹配算法确定对象至对象检测设备的距离，其中在此立体匹配算法是从现有技术已知的用于确定图像记录中对象的深度的算法。
55.第二变型：通过其他算法确定属性1a
…
1n在图4中所示的这个变型中，通过对象检测与其他算法101的融合来确定属性1a...1n。以经典的对象检测设备100为例，该对象检测设备在输入数据d上提供对象的定界元素的形式的属性以及提供分配的对象类别。融合算法102用其他属性1a...1n来丰富原始检测，其中这些其他属性1a...1n是从附加信息i中确定的，所述附加信息通过一个或多个其他算法从输入数据d和/或其他信息i中计算得到。下游的抑制装置110过滤这种属性化的原始检测，其方式是该抑制装置丢弃以下原始检测，在这些原始检测的邻域中存在具有更高置信度值的另外的原始检测。
56.其他算法101（例如立体算法或运动恢复结构）可以示例性地用于在图像区域（例如输入数据d的每个像素）中计算属性（例如至相机的距离，所谓的深度）。然后将这些深度值与对象检测融合，其方式是例如在每个对象的每个定界元素内形成对应深度值的平均值或中值。为每个定界元素计算的深度可以用作相应对象的属性化。当然也可以想到，借助于该算法可以计算另外的这里没有更详细解释的值。
57.在下文中示例性地说明所提出的方法的一些可能版本：-原始检测具有定界元素形式的属性1a...1b，并配备有标量深度估计（至相机的距离）形式的其他属性1a...1n。如果两个以定界元素形式存在的属性1a...1n的交并比超过第一阈值t1并且以深度形式存在的估计的附加属性1a...1n之间的绝对差低于阈值t2，则两个以定界元素形式存在的属性1a...1n被认为是相似的。
58.除了定界元素形式的属性1a...1n之外，对象检测设备100还为每个原始检测估计以对象的移动方向形式存在的其他属性1a...1n，所述移动方向被表示为向量。在这种情况下，如果两个以定界元素形式存在的属性1a...1n的交并比超过第一阈值t1并且两个向量之间的角度小于第二阈值t2，则两个以定界元素形式存在的属性1a...1n被认为是相似的。
59.对象检测设备100不一定必须以定界元素的形式预测以人的形式存在的对象的位置，而是也可以借助于描述各个身体部位的位置的定界点来执行所述预测。对于这种情况，原始检测的可能距离度量是所估计的身体部位的位置之间的欧几里得距离之和。
60.图5和图6示出了所提出的方法的示例性有利应用：在图5的场景中预测了人p1、p2形式的两个对象，在图6的情况下仅预测了人p1形式的一个对象。在这两种情况下，对象检测设备100提供具有定界元素形式的属性1a、1b的两个原始检测。如果非极大值抑制仅仅基于交并比（iou），如常规情况那样，则在iou阈值相同的情况下不可能正确分辨图5和图6的场景。
61.使用距离函数（例如对象至相机的估计距离）来考虑附加预测的属性1a...1n使得可以正确分辨这两种场景。在此，在图5的情况下识别具有分配的属性1a、1b的两个人p1、p2，所述属性分别以分配的定界元素的形式存在，而在图6的情况下，仅识别具有分配的定界元素形式的属性1a的人p1。
62.这可以用数学形式描述如下：从具有分配的属性1a、1b的两个原始检测中计算出对象之间的距离d(1a,1b)。需要注意的是，在此同样将已经存在的标量检测质量理解为属性1a...1n。类似于在经典的非极大值抑制中的重叠，设定了阈值t，在低于该阈值的情况下两个原始检测被认为是“相似的”，并且因此被分组。因此，用于对原始检测进行分组的距离度量应当尽可能小，使得适用：d(1a,1b)《t在原始检测组内，可以像迄今为止那样进行，以抑制定界元素或将给定的属性1a...1n引入原始检测中。从而例如也可以代替检测质量而使用传递的属性来进行抑制，以便例如特别是始终获得最靠近传感器的检测。
63.提出：可以将不同属性上的多个距离度量在逻辑上或算术上链接为一个度量。
64.在下文中示例性讲述了所提出的方法的一些可能版本：-原始检测数据配备有标量的深度确定数据（即对象至传感器、例如至相机的距
离）。为此所需的深度确定可以通过确定对象检测器或通过将原始检测数据与借助于立体匹配算法计算的深度图链接来进行。如果两个定界元素的交并比超过阈值t1并且估计的深度之间的绝对差低于阈值t2，则认为这两个定界元素是相似的。
[0065]-除了定界元素之外，对象检测设备100还为每个原始检测以向量的形式确定对象的移动方向。如果两个定界元素的交并比超过第一阈值t1并且所提及的向量之间的角度小于第二阈值t2，则认为这两个定界元素是相似的。
[0066]-对象检测设备100不以定界元素的形式确定对象的位置，而是代替于此地回归到特定身体部位的位置，例如头部、左/右臂/腿等的位置。这种情况下可能的距离度量是估计的身体部位的位置之间的欧几里得距离之和。
[0067]
图5示出了所提出的方法的实施方式的原理流程。识别出为待识别的对象确定的定界元素，向该定界元素分配0.9置信度值形式的属性和5m距离形式的附加属性。此外，识别出定界元素1b，向该定界元素1b分配以0.8置信度值形式的属性和10m距离形式的附加属性。通过以距离差的形式确定定界元素1a和1b的附加属性的距离度量，可以实现两个由定界元素定义的原始检测之间的区别。因此，如果所述距离的确定差，即附加属性的距离度量，大于预定的极限值，则两个原始检测被识别为不同。如果在所示示例中将预定极限值例如设定为2m，则确定两个原始检测之间的差异性，因为所确定的定界元素1a、1b的距离之间的差大于在选择的距离函数“深度的绝对差”方面例如选择的阈值2m，由此对象不被分组并且被识别为不同。相反，如果将极限值或阈值例如设定为6m，则图5中所示的两个原始检测将被识别为相同并且分组在对应的分组中。在随后的非极大值抑制中可以考虑在检测到的原始检测的差异性或相同性方面的信息，以便由此能够选择最精确的原始检测来用于确定对象。
[0068]
如果没有其他属性1a...1n，则对象检测设备100将在应用了非极大值抑制之后仅仅输出具有人p1的定界元素1a，因此传统情况下定界元素1b将受到抑制。借助于以深度的形式附加确定的属性1a...1n和分配的例如2m的阈值（所述阈值涉及属性1a、1b的定界元素），不对属性1a、1b的两个定界元素分组，而是输出属性1a、1b的两个定界元素。
[0069]
结果，如图5的右侧部分所示，由此执行具有定界元素形式的属性1a的人p1的对象检测和具有定界元素形式的属性1b的人p2的对象检测。
[0070]
图6示出了使用所提出的方法的替代场景。再次识别出具有定界元素形式的属性1a、0.9置信度值形式的属性和5m距离形式的附加属性的原始检测。此外，识别出具有定界元素形式的属性1b、0.8置信度值形式的属性和6m距离形式的附加属性的其他原始检测。
[0071]
根据具有2m预定阈值的图5中所示的示例，图6中所示的原始检测被识别为相同，因为以两个原始检测至对象检测设备的两个距离之差的形式的两个附加属性之间的距离度量小于2m的预定阈值。
[0072]
结果如图 6 的右侧部分中所示，由此第一人 p1 的对象检测借助于第一定界元素1a执行，因为预测的属性“距离”之间的差低于定义的程度，由此第二定界元素1b受到抑制。由于因此向人p1分配了两个定界元素1a、1b，深度属性形式的属性非常相似并且低于定义的阈值。
[0073]
结果，由此两个定界元素1a、1b被分组并且仅输出定界元素1a，这对应于传统方法的行为。
[0074]
在图5和图6的两个场景中，对象检测设备100因此提供具有相同定界元素1a、1b和以定界元素形式存在的属性1a、1b的相同iou值的两个原始检测。然而，如果非极大值抑制仅基于交并比（iou），则在iou阈值相同的情况下不可能正确分辨图5和图6的场景。考虑附加预测的属性（在这种情况下是对象至相机的特定距离）使得可以有利地正确分辨这两种场景。
[0075]
因此，如果两个原始检测的重叠度量超过第一阈值t1并且估计深度之间的绝对差低于第二阈值t2，则这两个原始检测被认为是相似的，结果原始检测之一借助于非极大值抑制因此受到了抑制。
[0076]
在图7中示意性地示出了所提出的对象检测设备100的实施方式。识别出多个传感器装置10a...10n（例如激光雷达、雷达传感器、超声传感器、相机等），它们例如安装在车辆中并且用于提供输入数据d。所提到的属性1a...1n可以分别由单个传感器装置10a...10n或也由多个传感器装置10a...10n确定，其中在后一种情况下，传感器装置10a...10n应当彼此校准。
[0077]
在每个传感器装置10a...10n的下游，识别出分别分配的处理装置20a...20n，该处理装置包括经过训练的神经网络（例如区域候选网络、卷积神经网络），该神经网络借助于所提出的方法处理由传感器装置10a...10n提供的输入数据d并将其输送到融合装置30。借助于融合装置30，从处理装置20a...20n的个体结果中执行对象识别。车辆的致动器装置40连接到融合装置30的输出端，根据所执行的对象识别的结果对所述致动器装置进行操控，以便例如启动超车过程、制动过程、车辆的转向机动等。
[0078]
图中未示出所提出的处理装置20a...20n的训练场景。在此使用由输入数据d和分配的注释组成的带注释的训练数据，其中这些注释包括输入数据d内对象的定义的分配，例如输入数据中人的坐标。对输入数据d执行注释可以以本身已知的方式通过人类活动或也以自动化的方式进行。训练过程可以根据由现有技术已知的受监督的训练过程来执行。优选地，为了所述对象识别可以使用具有任意数量卷积核的卷积神经网络。替代地，可以使用任意多个卷积神经网络。
[0079]
除了识别对象之外，在训练过程中所述神经网络或所述多个神经网络还被训练成识别带注释的属性和附加属性。为此，在训练过程中可以在训练数据的图像记录中成像的对象上表征或注释对应的属性，使得可以将所述神经网络训练成识别所表征的属性。
[0080]
因此，对象检测设备100的处理装置20a...20n包括在完成训练阶段之后的神经网络。也可以想到，也在线地进一步训练所述神经网络。在处理装置20a...20n中使用经过训练的神经网络，其中在对象检测设备100的运行时不再设置所述神经网络的学习。
[0081]
尽管以上仅仅基于二维图像数据公开了本发明，但不言而喻，本发明也可以利用任意维度的输入数据d来执行，例如激光雷达数据、雷达数据等，其中也可以想到具有不同维度的输入数据d。在这种情况下，三维地构造以定界元素1a...1n形式的属性1a...1n。
[0082]
图8示出了所提出的方法的实施方式的原理流程图。
[0083]
在步骤200中执行原始检测，其中为每个原始检测确定以检测质量的形式的至少一个属性1a...1n。
[0084]
在步骤210中，为每个原始检测确定至少一个其他属性1a...1n。
[0085]
在步骤220中，为原始检测的至少一个属性1a...1n确定时间或空间分辨的距离度
量，其中将具有定义的距离度量的原始检测组成为一组原始检测。
[0086]
在步骤230中，从具有以下至少一个原始检测的组中确定待识别的对象，所述至少一个原始检测与另外的原始检测相比具有所述至少一个属性1a...1n的最小距离度量，或从具有以下至少一个原始检测的组中确定待识别的对象，所述至少一个原始检测通过将具有至少一个属性1a...1n的最小距离度量的至少两个原始检测组合成一个原始检测而组合得到。
[0087]
所提出的方法优选地被构造为计算机程序，其具有用于在处理装置20a...20n上执行该方法的程序代码装置。
[0088]
也可以想到至少部分地、理想地借助于电子硬件电路来实现所提出的方法。
[0089]
本发明可以有利地应用于执行对象检测的所有产品，例如：-至少（部分）自动化车辆的智能相机。所述检测在此使得能够识别障碍物或更一般地解释场景和/或由此产生的驾驶过程中的主动干预，例如借助于致动器；-基于相机数据而避开障碍物的机器人（例如自动割草机）；-监视相机，利用所述监视相机例如可以估计特定空间区域内的人数；-一般的智能传感器，其例如基于雷达数据或激光雷达数据执行对象检测，所述对象检测在进一步的版本中例如使用由相机确定的属性。
[0090]
虽然以上基于具体的实施例对本发明进行了描述，但是本领域技术人员在不脱离本发明的核心的情况下也可以实现以上未公开或仅部分公开的实施方式。