使用多个神经网络执行电子设备或车辆的感知任务的方法与流程

公开的技术涉及用于使用被训练为基于输入图像生成感知输出的多个神经网络执行电子设备或车辆的感知任务的方法和系统。

背景技术：

1、如今，深度神经网络(dnn)被用于多个不同的技术领域。dnn的识别和分析数据中复杂关系的能力使其适于不同任务的自动化。在这种能力下，dnn例如在计算机视觉领域内发现了诸如对象检测和分类任务的多个有用的功能。更具体地，dnn可以用于允许计算机从数字图像或视频中获得高级理解，以便形成它们对周围世界的感知。这种应用的示例是可以例如在车辆或机器人中实施的自动驾驶或控制系统，以及增强现实应用。

2、虽然不断寻求提高的dnn的准确性和健壮性，但是必须在复杂性(例如在大小和网络架构方面)和计算效率(例如在执行时间、内存和处理能力要求方面)之间做出权衡。处理前一方面的一种解决方案是所谓的集成网络。

3、集成网络利用不同dnn的集成来获得提高的准确性和健壮性。更具体地，对于具体的任务不是仅使用单个dnn，而是通过dnn的集成来馈送输入，并且从dnn的个体输出形成组合的输出。

4、然而，这种实施集成网络的方式自然会导致更长的执行时间，以及需要更多的计算能力。因此，这使得它们不适于其中dnn将实时运行在输入数据的连续馈送上的应用。这也使得它们不适于在资源有限的硬件上运行。所以，需要用于执行感知任务的新的和改进的解决方案。

技术实现思路

1、本文中公开的技术寻求缓解、减轻或消除现有技术中的上述缺陷和缺点中的一个或多个，以解决涉及神经网络的部署和执行的各种问题。

2、发明人实现了一种利用神经网络的集成来实现改进的性能而不显著影响计算时间或效率的新的和改进的方式。代替在新的传感数据到达时在每个时间实例处执行每个集成成员，发明人提出了一种将集成成员分布在多个随后的时间实例上使得每个时间实例仅集成成员中的一个成员(或子集)需要执行的新的轮换方案。

3、所公开的发明的各种方面和实施例在下面以及所附的独立权利要求和从属权利要求中限定。

4、根据所公开的技术的第一方面，提供了一种用于使用被训练为基于输入图像生成感知输出的多个神经网络执行电子设备或车辆的感知任务的计算机实现的方法。多个神经网络中的至少两个神经网络彼此不同。该计算机实现的方法包括，针对多个连续的时间实例中的时间实例：获得描绘时间实例处的电子设备或车辆的周围环境的至少一部分的图像；通过多个神经网络中的神经网络的子集来处理与时间实例相关联的图像，从而获得针对时间实例的网络输出；以及通过将获得的针对时间实例的网络输出与针对多个在先的时间实例获得的网络输出进行组合来确定聚合的网络输出，其中获得的针对时间实例的网络输出和针对多个在先的时间实例获得的网络输出从多个神经网络中的神经网络的不同子集获得。

5、本公开的技术提供了一种在每个时间实例处在不同图像上轮换多个神经网络(例如，集成网络)中的神经网络的方式。所公开的技术的可能的相关优点是，可以实现集成网络的益处(例如与使用单个神经网络相比，潜在的准确性和健壮性)，同时保持与使用单个神经网络相同或类似的执行时间。这在实时执行感知任务(例如在视频馈送上)的应用中可以尤其有利，因为时间实例的执行时间与使用单个神经网络类似。它可以进一步促进在具有有限的硬件资源的设备中实施用于这种感知任务的算法。

6、一些实施例的又一优点是，因为不同神经网络随时间的输出可以预期比应用于每个图像的单个神经网络的输出更独立，所以随后的任务(例如执行过滤或对象跟踪算法)可以以改进的准确性和健壮性来执行。

7、一些实施例的另一个优点是，因为聚合的网络输出可以进一步在其预测中促进多样性，所以可以提高随后的行为和运动预测任务的准确性和健壮性。

8、根据所公开的技术的第二方面，提供了一种非暂时性计算机可读存储介质。该非暂时性计算机可读存储介质存储被配置为由处理系统中的一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于执行根据第一方面的方法的指令。

9、利用所公开的技术的第二方面，呈现与其它方面类似的优点和优选特征。为了避免不必要的重复，请参考上述内容。

10、如在本文中使用的术语“非暂时性”旨在描述排除传播电磁信号的计算机可读存储介质(或“存储器”)，但是不旨在以其它方式限制短语计算机可读介质或存储器所涵盖的物理计算机可读存储设备的类型。例如，术语“非暂时性计算机可读介质”或“有形存储器”旨在涵盖包括例如随机存取存储器(ram)的不一定永久地存储信息的存储设备的类型。以非暂时形式存储在有形计算机可访问存储介质上的程序指令和数据可以进一步通过诸如电信号、电磁信号或数字信号的、可以经由诸如网络和/或无线链路的通信介质来传送的传输介质或信号来传输。因此，如在本文中使用的，术语“非暂时性”是对介质本身的限制(即，有形的，而不是信号)，而不是对数据存储持久性(例如，ram与rom)的限制。

11、根据所公开的技术的第三方面，提供了一种用于使用被训练为基于输入图像生成感知输出的多个神经网络执行电子设备或车辆的感知任务的装置。多个神经网络中的至少两个神经网络彼此不同。该装置包括控制电路，该控制电路被配置为针对多个连续的时间实例中的时间实例：获得描绘时间实例处的电子设备或车辆的周围环境的至少一部分的图像；通过多个神经网络中的神经网络的子集来处理与时间实例相关联的图像，从而获得针对时间实例的网络输出；以及通过将获得的针对时间实例的网络输出与针对多个在先的时间实例获得的网络输出进行组合来确定聚合的网络输出，其中获得的针对时间实例的网络输出和针对多个在先的时间实例获得的网络输出从多个神经网络中的神经网络的不同子集获得。

12、利用所公开的技术的第三方面，呈现与其它方面类似的优点和优选特征。为了避免不必要的重复，请参考上述内容。

13、根据所公开的技术的第四方面，提供了一种电子设备。该电子设备包括：被配置为捕获描绘电子设备的周围环境的至少一部分的图像的图像捕获设备；以及根据第三方面的用于执行电子设备的感知任务的装置。

14、利用所公开的技术的第四方面，呈现与其它方面类似的优点和优选特征。为了避免不必要的重复，请参考上述内容。

15、根据所公开的技术的第五方面，提供了一种车辆。该车辆包括：被配置为捕获描绘车辆的周围环境的至少一部分的图像的图像捕获设备；以及根据第三方面的用于执行车辆的感知任务的装置。

16、利用所公开的技术的第五方面，呈现与其它方面类似的优点和优选特征。为了避免不必要的重复，请参考上述内容。

17、根据所公开的技术的第六方面，提供了一种包括指令的计算机程序产品，当程序由计算设备执行时，该指令使计算机执行根据本文中公开的实施例中的任何一个的方法。利用本发明的这个方面，呈现与本发明的其它方面类似的优点和优选特征。为了避免不必要的重复，请参考上述内容。

18、所公开的方面和优选实施例可以以本领域普通技术人员显而易见的任何方式适当地彼此组合，使得关于一个方面公开的一个或多个特征或实施例也可以被认为是关于另一方面或另一方面的实施例公开的。

19、在从属权利要求中限定了进一步的实施例。需要强调的是，当在本说明书中使用时，术语“包括/包含”用于指明叙述的特征、整体、步骤或组件的存在。它不排除一个或多个其它特征、整体、步骤、组件或其组的存在或添加。

20、以下将参照下文中描述的实施例进一步阐明所公开的技术的这些和其它特征和优点。从下面给出的详细描述，本公开的进一步的适用范围将变得显而易见。然而，应理解，详细描述和具体示例在指示本发明构思的优选变体的同时，仅仅是通过阐释的方式给出，因为在本发明构思范围内的各种改变和更改对于本领域技术人员来说将从该详细描述变得显而易见。