更新具有自动驾驶系统的车辆的感知功能的方法和系统与流程

本文公开的实施例大体涉及用于更新自动驾驶系统(ads)感知功能的系统和方法。具体而言，本文公开的实施例涉及用于通过利用自监督机器学习算法提供监督信号来更新自动驾驶系统(ads)的感知功能的系统和方法。

背景技术：

1、在过去几年中，与自动驾驶车辆相关的研究和开发活动数量激增，并且正在探索多种不同的方法。越来越多的现代车辆具有高级驾驶者辅助系统(adas)，以提高车辆安全性以及更普遍的道路安全性。adas例如可以表示为自适应巡航控制(acc)碰撞避免系统、前方碰撞警告系统等-是可以在驾驶时帮助车辆驾驶者的电子系统。如今，在与adas和自动驾驶(ad)领域相关的多种技术领域都有持续的研究和开发。adas和ad在本文中将被称为通用术语自动驾驶系统(ads)，对应于所有不同的自动化级别，例如由sae j3016驾驶自动化级别(0-5)，特别是级别4和5定义的级别。

2、在不久的将来，ads解决方案预期将应用于市场上投放的大多数新车。ads可以被解释为各种部件的复杂组合，可以被定义为由电子装置和机器而非人类驾驶者执行车辆感知、决策和操作的系统，以及将自动化引入道路交通。这包括在交通中操纵车辆，以及形成对周围环境的感知。虽然ads可以控制车辆，但它允许操作人员将全部或者至少部分责任交给系统。ads通常结合各种传感器来感知车辆的周围环境，诸如雷达、激光雷达、声纳、相机、导航系统(例如gps、里程表和/或惯性测量单元(imu))，在此基础上，高级控制系统可以解释传感信息以识别适当的导航路径、障碍物、自由空间区域、相关标志等。

3、机器学习(ml)，诸如深度学习(dl)，是感知领域的有前途的技术，例如，用于检测和分类图像、视频流和/或激光雷达点云中的对象。然而，多种深度神经网络的问题是，它们很快达到某种性能水平(成熟度)，并且需要极其大量的数据来获取进一步改进的性能。注释数百万个图像是昂贵的，因此在自动驾驶领域采取了多种措施，通过半自动注释和从注释数据中有效学习来降低成本。然而，即使具备这些进步，这仍然是一个非常昂贵的过程。

4、因此，本领域需要新的解决方案，以实现ads功能的开发，尤其是ads的感知功能，从而能够持续提供更安全、性能更好的系统。一直以来，这些改进应当优选地在不对车载系统或者平台的尺寸、功耗和成本造成显著负面影响的情况下进行。

技术实现思路

1、本发明寻求减轻、缓解或者消除现有技术中的一个或者多个上述缺陷和缺点，以解决与ads功能开发相关的各种问题，尤其是ads感知功能的开发。

2、下文和随附的独立权利要求和从属权利要求中定义了本发明的各个方面和优选实施例。

3、根据本发明的第一方面，提供了计算机实施的方法，用于更新具有自动驾驶系统(ads)的车辆的感知功能。ads具有自监督机器学习算法，其被配置成基于一个或者多个摄取的图像生成输出(例如注意力或者特征，attentions orfeatures)，以及用于车内感知模块的机器学习算法，该车内感知模块被训练成基于一个或者多个摄取的图像提供一个或者多个车内感知功能。该方法包括获取车辆周围环境中的场景的一个或者多个图像，并且基于所获取的一个或者多个图像，根据自监督机器学习过程更新自监督机器学习算法的一个或者多个模型参数。该方法进一步包括通过借助自监督机器学习算法处理所获取的一个或者多个图像来生成第一输出，并且基于第一输出生成用于监督学习过程的监督信号。此外，该方法包括根据监督学习过程，基于所获取的一个或者多个图像和生成的监督信号，更新用于车内感知模块的机器学习算法的一个或者多个模型参数。

4、根据本发明的第二方面，提供了包含指令的计算机程序产品，当该指令由计算装置执行时，使计算机执行根据本文公开的任一实施例的方法。对于本发明的这一方面，存在与本发明的其他方面类似的优点和优选特征。

5、根据本发明的第三方面，提供了(非暂时性)计算机可读存储介质，包括指令，当该指令由计算装置执行时，可以使计算机执行根据本文公开的任一实施例的方法。对于本发明的这一方面，存在与本发明的其他方面类似的优点和优选特征。

6、如本文所用的术语“非暂时性”旨在描述不包括传播电磁信号的计算机可读存储介质(或者“存储器”)，但并不旨在以其他方式限制术语“计算机可读介质或者存储器”所涵盖的物理计算机可读存储装置的类型。例如，术语“非暂时性计算机可读介质”或者“有形存储器”旨在涵盖不一定永久存储信息的存储装置类型，包括例如随机存取存储器(ram)。以非暂时形式存储在有形计算机可访问存储介质上的程序指令和数据可以进一步通过传输介质或者信号(例如电气、电磁或者数字信号)来传输，这些信号可以经由通信介质(例如网络和/或无线链路)来传送。因此，本文所使用的术语“非暂时性”是对介质本身的限制(即，有形的，而不是信号)，而不是对数据存储持久性的限制(例如ram还是rom)。

7、根据本发明的第四方面，提供了用于更新具有自动驾驶系统(ads)的车辆的感知功能的系统。ads具有自监督机器学习算法，其被配置成基于一个或者多个摄取的图像生成输出(例如注意力或者特征)，以及用于被训练成基于一个或者多个摄取的图像提供一个或者多个感知功能的车内感知模块的机器学习算法。该系统包括控制电路，控制电路被配置成获取车辆周围环境中的场景的一个或者多个图像，并基于所获取的一个或者多个图像，根据自监督机器学习过程更新自监督机器学习算法的一个或者多个模型参数。控制电路进一步被配置成通过借助自监督机器学习算法处理所获取的一个或者多个图像来生成第一输出，并且基于第一输出生成用于监督学习过程的监督信号。此外，控制电路被配置成根据监督学习过程，基于所获取的一个或者多个图像和所生成的监督信号，更新用于感知模块的机器学习算法的一个或者多个模型参数。对于本发明的这一方面，存在与本发明的其他方面类似的优点和优选特征。

8、根据本发明的第五方面，提供了车辆，包括用于采集车辆周围环境中的场景图像的一个或者多个传感器，以及根据本文公开的任一实施例的用于更新车辆的感知功能的系统。对于本发明的这一方面，存在与本发明的其他方面类似的优点和优选特征。

9、一些实施例的优点在于，可以将新数据高效和有效地纳入用于配备有ads的车内的检测和跟踪任务的训练后的机器学习算法，从而提高性能和可靠性。

10、一些实施例的优点在于，实现了捕获车辆在用于感知功能的机器学习算法的训练中经历的罕见情况(拐角情况)。

11、一些实施例的优点在于，可以对用于配备有ads的车内的感知功能的机器学习算法进行自动训练，也可用于新数据，这在例如操作设计域(odd)扩展期间特别相关和有用。

12、本发明的其他实施例在从属权利要求中定义。应当强调，术语“包括/包含”在本说明书中使用时是用来指定所陈述的特征、整体、步骤或者部件的存在。它不排除一个或者多个其他特征、整体、步骤、部件或者其组合的存在或者添加。

13、本发明的以上和其他特征和优点将在下文中参考下文所述的实施例进一步阐明。