用于训练用于对象识别设备的机器学习系统的方法、执行方法、对象识别设备及计算机程序与流程

本发明涉及一种用于训练用于对象识别设备的机器学习系统的方法。本发明还涉及一种用于在使用经训练的机器学习系统的情况下执行对象识别的方法。本发明还涉及一种具有机器学习系统的对象识别设备，该机器学习系统借助用于训练用于对象识别设备的机器学习系统的方法来进行训练。本发明还涉及一种计算机程序产品。

背景技术：

自主车辆是在没有驾驶员的情况下至少部分工作的车辆。在此，车辆自主地驾驶，其方式为：车辆独立地识别例如道路走向、其他交通参与者、障碍物等，并且计算车辆中相应的控制命令，以及将这些控制命令进一步传递给车辆中的执行器，由此以正确的方式影响车辆的行驶走向。在完全自主的车辆中，人类驾驶员不参与驾驶事件。

当前可用的车辆还不能够完全自主地行动。一方面，因为相应的技术还未完全成熟。另一方面，因为现如今仍然在法律上规定，车辆驾驶员必须能够随时亲自干预驾驶事件。现今已经可以预见，一旦克服所提及的障碍，完全自主的车辆系统将在几年内进入市场。

驾驶员辅助系统是机动车中用于在确定的驾驶情况中支持驾驶员的电子附加装置，其中，通常安全性方面非常重要，但是驾驶舒适性的提高也非常重要。驾驶员辅助系统部分自主地或自主地干预车辆的驱动装置、控制装置(例如油门、制动器)或信号装置，并且通过适当的人机接口在紧急情况发生之前不久或期间警告驾驶员。

技术实现要素：

本发明的任务是提供一种经改善的用于对象识别的方法。

根据第一方面，该任务借助一种用于训练用于对象识别设备的机器学习系统的方法来解决，该方法具有以下步骤：

-提供传感元件数据；

-借助所提供的传感元件数据来训练机器学习系统，其中，从传感元件数据中识别至少一个对象，其中，将传感元件数据的信号强度与分配给该对象的反射系数和/或吸收系数一起使用。

在本文中，与现有技术不同，传感元件数据理解为诸如环境传感器系统的传感元件的未经后处理的数据。这尤其意味着，在传感元件数据中存在关于信号强度或反射对象的反射特性的信息。由此，通过考虑信号强度或反射特性，由此能够显著改善对象识别。例如，对象识别设备由此能够在呈树木或路灯柱形式的对象之间进行区分。这通过以下方式实现：金属表面、墙壁或人等具有不同的反射特性或吸收特性，由此能够容易地彼此区分。结果，由此基于反射对象的反射特性来执行机器学习系统的训练。

以这种方式，提供离线训练阶段，作为结果，该离线训练阶段提供呈识别装置形式的经训练的机器学习系统，该机器学习系统随后应用在环境传感器系统中以进行对象识别。

根据第二方面，该任务借助以下方法来解决：该方法在使用根据所提出的方法所训练的机器学习系统的情况下执行对象识别。

根据第三方面，该任务借助一种对象识别设备来解决，该对象识别设备具有借助所提出的方法所训练的机器学习系统。

根据第四方面，该任务借助一种计算机程序产品来解决，该计算机程序产品包括指令，在通过计算机实施该计算机程序产品时，该指令促使该计算机实施所提出的方法，或者该计算机程序产品存储在机器可读的存储介质上。

该方法的优选扩展方案是本发明的扩展技术方案的主题。

该方法的一种有利扩展方案的特征在于，在限定的周围环境中训练机器学习系统，其中，由进行发射的传感器装置照射已知的对象，并且接收由对象反射的辐射，其中，基于对象的反射辐射来识别该对象。由此实现一种“静态学习”，在该静态学习中能够学习来自不同表面的不同反射。以这种方式，例如能够将特定类型的对象用于训练机器学习系统。

该方法的另一有利扩展方案的特征在于，为了提供传感元件数据，进行发射的传感器装置相对于对象保持静态或运动。以这种方式能够识别图像流，由此能够跟踪对象并且由此改善学习效果。

该方法的另一有利扩展方案设置，为了从传感元件数据中求取对象，附加地或替代地使用特征图(merkmalskarte)，其中，对象的反射系数和/或吸收系数存储在特征图中。借助高度精确的特征图，例如能够相对于车辆定位对象。这能够借助基于gnss的传感器装置(该传感器装置高度精确地了解其在世界上的位置)或通过基于特征图(feature-map)的位置解决方案来实现。由此能够在空间上更好地分配对象的位置。由此能够将关于对象位置的知识与关于对象特性的知识相结合。有利地，以这种方式，还能够在持续运行期间训练对象识别设备。

该方法的另一有利扩展方案的特征在于，借助在不同天气情况下提供的传感元件数据来执行对机器学习系统的训练。由此能够更多面地映射不同天气情况下的对象并且由此更好地识别该对象。

该方法的另一有利扩展方案的特征在于，滤除传感元件数据的干扰。以这种方式，无干扰地已知对象的数据，因为已经从传感元件的数据中滤除干扰。有利地，由此能够区分来自真实对象的干扰，这能够有利地加速机器学习系统的学习进度。以这种方式，能够更好地并且更精确地进行对象的识别。

该方法的另一有利扩展方案的特征在于，将所识别的对象的数据的选择用于训练下游的机器学习系统。由此能够实现已知算法的加速，其中，借助下游的机器学习系统，完全有目的地将图像数据中的区域用于提供一种分配装置。例如，可以如下训练下游的机器学习系统以实现分配装置。有利地，由此能够更快地且更可靠地识别对象(例如交通参与者)，因为已经事先限制这些对象可能处于的图像区域。

在该方法的一种变型方案中，至少一个对象的反射数据存储在特征图中。由此例如可以针对限定的对象将所分配的确定的反射系数和吸收系数针对确定的传感器类型存储在特征图中。在进行发射的传感器装置的正常运行中，由此能够有利地提高对象的识别精度。

附图说明

下面基于多个附图借助其他特征和优点详细地描述本发明。在此，相同或功能相同的元件具有相同的附图标记。

公开的方法特征类似地由相应的公开的设备特征得出，反之亦然。这尤其意味着，关于方法的特征、技术优点和实施方案以类似的方式由关于对象识别设备的相应的实施方案、特征和优点得到，反之亦然。

在附图中示出：

图1示出所提出的方法的一种实施方式的原理图示；

图2示出所提出的对象识别设备的方框图；

图3a、3b示出在不同阶段中所提出的方法的另一实施方式的原理图；

图4示出所提出的方法的原理流程。

具体实施方式

本发明的核心构思是提供一种设备和一种方法，该设备和方法用于借助例如应用于自动化车辆或者说自主车辆中的进行发射的(即主动的)环境传感器(例如雷达、激光雷达、超声等)来改善对象识别。在下文中，“传感元件数据”理解为传感元件的各个像素的信号强度。

为此使用至少一个机器学习系统、优选呈神经网络形式的机器学习系统，以便从环境传感器数据中提取对象。然而，在所提出的方法中并非如传统地所设置的那样以相同的程度评估环境传感器的每个像素或者说图像点，而是附加地也还将不同对象的不同表面的不同特性(例如反射系数、吸收系数)考虑在内以训练机器学习系统，以便改善对象识别。机器学习系统优选构造为人工神经网络，并且在训练状态中代表具有所学习的参数或权重的“智能算法”。

基于传感元件数据，针对对象的不同的表面和表面处的反射来训练为此设置的、用于改善对象识别的机器学习系统。结果，这意味着基于以下输入数据对机器学习系统进行训练：

-至少一个环境传感器的传感元件数据

-环境传感器的具有限定的结构和对象的限定周围环境，该结构和对象具有不同的反射系数和反射特性。在此，在环境传感器数据内或在机器学习系统中已知对象相对于环境传感器的地点和位置或者说这些对象处的地点和表面特性。

因此，机器学习系统或者说人工智能基于相对于环境传感器的限定的结构和对象处的反射在一定程度上学习对象识别，而不是如现今常见的那样通过在环境传感器的图像数据中标记对象来进行学习(这通常需要繁琐且高开销的手动活动)。

在所提出的方法的变型方案中，在限定的周围环境内训练进行发射的传感器装置100(例如激光雷达传感器、雷达传感器、超声传感器)。例如在激光雷达图像内存在另一交通参与者，其中，在激光雷达数据内或者说在传感器的区域中，该交通参与者相对于激光雷达传感器的地点和位置是已知的。

机器学习系统现在基于恰好该位置处的恰好该对象的反射来学习对象识别。在学习过程之后，机器学习系统能够从激光雷达射束的通常反射中提取另一交通参与者的特征化的对象特征。这是基于激光雷达传感器的传感元件的原始传感器数据实现的。

图1示出对象识别设备400的配置或者说训练机器学习系统200以提供对象识别设备400的原理方框图。可以看出，一个或多个进行发射的传感器装置100具有传感元件10a...10n(像素元件)，借助这些传感元件接收由对象反射的辐射。在传感器装置100的输出端，将如此接收的数据及其信号强度(即在考虑到对象的反射系数或吸收系数的情况下)传递给机器学习系统200，该机器学习系统被训练，以便在结果中提供识别装置20，该识别装置随后应用在传感器装置100中。借助经训练的机器学习系统200的呈识别装置20形式的结果，将对象识别设备400配置为用于操作的正常运行(例如在自主车辆中)。

传感器装置100与识别装置20之间的虚线箭头表明，对象识别设备400与由传感器装置100所检测的数据一起应用。

在所提出的方法的一种实施方式中，机器学习系统200不仅学习对象特性，而且学习不同的反射类型或散射和反射射束的信号强度以识别不同的对象。

例如，由构造为雷达传感器的进行发射的传感器装置100如此学习金属表面，使得(例如雷达传感器的)对象识别设备400接着能够正确地探测金属表面。例如，由此能够补偿或识别确定表面处的吸收，并且仍然能够从中推导出确定的对象特性，该对象特性能够在其他环境传感器中或在环境传感器对象融合装置中用于经改善的对象识别。

在其他实施方式中，对机器学习系统200的训练静态地或动态地进行。在机器学习系统200的静态训练中，用于提供传感元件数据的进行发射的传感器装置100处于固定的位置，而待学习的对象围绕进行发射的传感器装置100同样静态地布置。

相反，在机器学习系统200的动态训练中，进行发射的传感器装置100或进行发射的传感器装置100的周围环境中的待训练的对象动态地运动。这具有基本优点：在机器学习系统200内还能够一起学习对象的图像流或对象的反射。

在所提出的方法的另一变型方案中，附加地或替代地，能够将特征图(英语：featuremap)110用于训练机器学习系统200(见图2)。在这种情况下，例如，具有确定的环境传感器的自主车辆在市区中运动。基于车辆的高度精确的位置和定向(例如借助基于gnss的传感器提供)以及处于特征图110上的对象以及这些对象相对于车辆或者说环境传感器的地点，进行机器学习系统200关于对象识别的训练。在此，将特征图110的数据、结构和对象变换到环境传感器坐标系中，从而传感器装置100总是知道在自己的图像中的哪些位置处预期有确定的对象。

借助进行发射的传感器装置100的数据，现在基于周围对象的相对位置及其特征化的反射来训练自己的机器学习系统200。图2示出该变型方案的原理方框图，其中可以看出，现在用于训练机器学习系统200的数据也由特征图110贡献。

在所提出的方法的其他变型方案中，在不同的天气情况、不同的场景情况下以及在不同的车辆变型中等训练机器学习系统200以改善对象识别。

在所提出的方法的另一变型方案中设置，针对不同的对象训练机器学习系统200。

在对象识别设备400的变型方案中可以设置，为了提供对象的反射数据或吸收数据，使用具有反射系数或吸收系数的表(tabelle)，然后将该表与图像数据一起使用。替代地能够设置，识别装置20是硬编码的。

在所提出的方法的一种变型方案中还能够设置，为了从传感元件数据中识别对象，使用已知对象的数据，该已知对象的反射信号强度是已知的。

在所提出的方法的另一变型方案中，使用机器学习系统200，以便实现经改善的对象识别，其方式为：滤除传感元件10a...10n中的会导致不良的对象识别的干扰。例如，在借助经滤除的传感元件数据执行实际的对象识别之前，训练相应的机器学习系统200滤除传感元件数据中的散射或干扰。为此，例如可以从已知表面的先前测量中将预期的信号强度与相似对象的所测量的信号强度进行比较，其中，将偏差解读为散射并且因此去除该偏差。

在对象识别设备400的一种变型方案中，还在车辆的正常运行中使用特征图110，以便改善对象识别(未示出)。例如(例如借助gnss传感器)高度精确地定位车辆，并且将周围的结构变换到相应的环境传感器坐标系中。现在，进行发射的传感器装置100“知道”在哪些图像位置处预期有确定的对象，由此，机器学习系统200现在能够借助先前在这些对象上所执行的训练来更加可靠地识别这些对象。

在该变型方案中还能够设想，在特征图110内存储有在世界中的确定位置处的结构和建筑物与针对确定的环境传感器类型的确定的反射系数。以这种方式，对象识别设备400在识别对象之前已经“知道”在对象处预期有哪些反射和干扰，并且借助经训练的机器学习系统20将这些信息考虑在自己的对象识别中。

在所提出的方法的另一变型方案中，使用从原始传感器图像数据中识别对象的机器学习系统200，以便识别具有确定对象类型的重要相关的图像区域。随后，如现今常见的那样，在下游的机器学习系统300中基于环境传感器数据执行对象识别，其中，参考来自上游的机器学习系统200的具有确定对象类型的图像区域。以这种方式，借助上游的、所提出的机器学习系统200的重要相关的图像区域来改善已经在图像数据的标签上训练的现有的对象识别。

用于学习阶段的对象识别设备400的配置的原理图示在图3a中示出。可以看出，在这种情况下，机器学习系统200和下游的机器学习系统300均用于训练识别装置20和分配装置21。

来自图3a的用于随后的实施阶段的对象识别设备的配置的原理图示在图3b中示出。可以看出，在这种情况下，将传感器装置100的输出数据提供给识别装置20和分配装置21。因此，在对象识别设备400的正常运行中，识别装置20和分配装置21依次连接，然后该识别装置和分配装置参考彼此以进行对象识别。

进行发射的传感器装置100可以是雷达传感器、激光雷达传感器或超声传感器。

图4示出用于训练用于对象识别设备400的机器学习系统200的所提出的方法的原理流程。

在步骤500中提供传感元件数据。

在步骤510中，借助所提供的传感元件数据来执行机器学习系统的训练，其中，从传感元件数据中识别至少一个对象，其中，为了识别对象，将传感元件数据的信号强度与对象的所分配的反射系数和/或吸收系数一起使用。

根据本发明所配置的对象识别设备400能够用在自主车辆、飞机、无人机、水运工具等中。在此能够设想，对象识别设备400直接布置在进行发射的传感器装置100中，或者也能够在传感器装置外部布置在自己的处理装置(例如控制设备，未示出)中。

有利地，借助根据本发明所配置的对象识别设备400还能够更可靠且更精确地执行对象识别。通过直接在传感元件数据连同信号强度上执行对象识别，还可以在执行实际的对象识别之前从图像数据中计算出(herausgerechnet)干扰或反射。

通过借助如此配置的环境传感器的经改善的对象识别，能够尤其在自主车辆的运行中显著提高道路交通的安全性。

该方法优选构造为计算机程序，该计算机程序具有用于在机器学习系统200、300上实施该方法的程序代码单元。在此，所提及的机器学习系统200、300例如能够构造在中央控制设备上或构造在云中。

尽管以上已经基于具体的实施例描述本发明，但是本领域技术人员在不偏离本发明的核心的情况下还能够实现以上未公开的或仅部分公开的实施方式。