未见环境分类的制作方法

本公开涉及车辆中的神经网络。

背景技术：

1、深度神经网络(dnn)可以用于执行许多图像理解任务，包括分类、分割和生成字幕。例如，卷积神经网络可以将图像作为输入，为图像内描绘的各个方面/对象分配重要性，并且将所述方面/对象彼此区分开。

技术实现思路

1、自主车辆通常采用感知算法来感知车辆周围的环境。感知算法可以使用一个或多个深度神经网络来帮助对对象进行检测和/或分类。当车辆的环境改变时，车辆的感知系统应能够从意外结果中学习诸如感知系统无法自信地识别的检测到的对象。识别具有域移位或分布外数据点的数据(诸如数据集)可能具有挑战性。域移位对应于车辆环境的主要变化。分布外数据点可以是在熟悉的环境中先前未见的对象。

2、如本文所讨论的，计算机可以实现识别包括未见场景的数据的神经网络。未见场景可以被定义为未包括在用于训练神经网络的数据中的新对象类别、环境条件或对象类别和环境条件的组合。例如，包括图像内描绘的未见场景的特征可能导致神经网络生成错误的预测。可以用深度神经网络处理与场景相对应的车辆传感器数据，以基于所述数据生成指示一个或多个对象的预测，并确定与所述预测相对应的对象不确定性。对象不确定性是指示一个或多个对象的预测正确地识别所述一个或多个对象的概率。

3、神经网络可以利用概率深度神经网络(诸如贝叶斯神经网络等)来捕获不确定对象和/或背景，所述不确定对象和/或背景可以识别数据集移位和/或分布外数据。在已经识别出不可靠的预测之后，可以对与预测相关联的数据进行注释以在未来进行更准确的预测。神经网络中的一种不确定性度量是认知不确定性。认知不确定性被定义为测量给定输入在训练数据集中表示的程度的度量。例如，认知不确定性指示神经网络尚未用足够的训练样本进行训练以允许神经网络生成正确的预测。正确的预测是与训练期间提供给神经网络的地面实况匹配的预测。地面实况是通过独立于神经网络的手段确定的数据，例如通过人类确定在训练期间提供给神经网络的输入数据的内容。

4、本文公开了一种方法，所述方法包括：利用深度神经网络处理车辆传感器数据以基于所述车辆传感器数据生成指示一个或多个对象的预测，并且确定与所述预测相对应的对象不确定性，然后在确定所述对象不确定性大于不确定性阈值时：将所述车辆传感器数据分割为前景部分和背景部分，当前景认知不确定性大于前景认知不确定性阈值时，将所述前景部分分类为包括未见对象类别，当背景认知不确定性大于背景认知不确定性阈值时，将所述背景部分分类为包括未见背景，并且将所述数据和数据分类传输到服务器。所述处理器还可以被编程为基于指示一个或多个对象的所述预测来操作车辆。所述对象不确定性可以是指示一个或多个对象的所述预测正确地识别所述一个或多个对象的概率。

5、所述前景认知不确定性可以是所述一个或多个对象在训练数据分布中表示的程度的概率度量。所述背景认知不确定性可以是噪声因子在训练数据分布中表示的程度的概率度量，其中噪声因子包括天气状况、照明状况和表面状况。可以将所述前景部分映射到潜在表示，可以将所述潜在表示映射到所述前景部分的重建，并且可以基于重建的前景部分与所述前景部分的比较来确定所述前景认知不确定性。可以将所述背景部分映射到潜在表示，可以将所述潜在表示映射到所述背景部分的重建；以及可以基于重建的背景部分与所述背景部分的比较来确定所述背景认知不确定性。所述车辆传感器数据可以包括图像或点云中的至少一者。所述深度神经网络可以包括概率神经网络。可以经由分割器经由分割掩模将所述车辆传感器数据分割成所述前景部分和所述背景部分。所述分割掩模可以包括对所述车辆传感器数据内的对象进行分类的二进制掩模，其中所述经分类的对象被分配给所述前景部分。所述分割器可以包括掩模r卷积神经网络(mask r-cnn)。所述对象可以是车辆挂车，并且所述深度神经网络输出挂车角度。所述挂车角度可以描述所述车辆挂车将响应于使车辆倒退而行驶的方向。

6、公开了一种计算机可读介质，所述计算机可读介质存储用于执行上述方法步骤中的一些或全部的程序指令。还公开了一种计算机，所述计算机被编程为执行上述方法步骤中的一些或全部，包括计算机设备，所述计算机设备被编程为利用深度神经网络处理车辆传感器数据以基于所述车辆传感器数据生成指示一个或多个对象的预测，并且确定与所述预测相对应的对象不确定性，然后在确定所述对象不确定性大于不确定性阈值时：将所述车辆传感器数据分割为前景部分和背景部分，当前景认知不确定性大于前景认知不确定性阈值时，将所述前景部分分类为包括未见对象类别，当背景认知不确定性大于背景认知不确定性阈值时，将所述背景部分分类为包括未见背景，并且将所述数据和数据分类传输到服务器。所述处理器还可以被编程为基于指示一个或多个对象的所述预测来操作车辆。所述对象不确定性可以是指示一个或多个对象的所述预测正确地识别所述一个或多个对象的概率。

7、所述计算机还可以被编程为确定所述前景认知不确定性，其可以是所述一个或多个对象在训练数据分布中表示的程度的概率度量。所述背景认知不确定性可以是噪声因子在训练数据分布中表示的程度的概率度量，其中噪声因子包括天气状况、照明状况和表面状况。可以将所述前景部分映射到潜在表示，可以将所述潜在表示映射到所述前景部分的重建，并且可以基于重建的前景部分与所述前景部分的比较来确定所述前景认知不确定性。可以将所述背景部分映射到潜在表示，可以将所述潜在表示映射到所述背景部分的重建；以及可以基于重建的背景部分与所述背景部分的比较来确定所述背景认知不确定性。所述车辆传感器数据可以包括图像或点云中的至少一者。所述深度神经网络可以包括概率神经网络。可以经由分割器经由分割掩模将所述车辆传感器数据分割成所述前景部分和所述背景部分。所述分割掩模可以包括对所述车辆传感器数据内的对象进行分类的二进制掩模，其中所述经分类的对象被分配给所述前景部分。所述分割器可以包括掩模r卷积神经网络(mask r-cnn)。所述对象可以是车辆挂车，并且所述深度神经网络输出挂车角度。所述挂车角度可以描述所述车辆挂车将响应于使车辆倒退而行驶的方向。

技术特征：

1.一种方法，其包括：

2.如权利要求1所述的方法，其中所述处理器还被编程为基于指示一个或多个对象的所述预测来操作车辆。

3.如权利要求1所述的方法，其中所述对象不确定性是指示一个或多个对象的所述预测正确地识别所述一个或多个对象的概率。

4.如权利要求1所述的方法，其中所述前景认知不确定性是所述一个或多个对象在训练数据分布中表示的程度的概率度量。

5.如权利要求1所述的方法，其中所述背景认知不确定性是噪声因子在训练数据分布中表示的程度的概率度量，其中噪声因子包括天气状况、照明状况和表面状况。

6.如权利要求1所述的方法，其还包括：

7.如权利要求1所述的方法，其还包括：

8.如权利要求1所述的方法，其中所述车辆传感器数据包括图像或点云中的至少一个。

9.如权利要求1所述的方法，其中所述深度神经网络包括概率神经网络。

10.如权利要求1所述的方法，其还包括经由分割器经由分割掩模将所述车辆传感器数据分割成所述前景部分和所述背景部分。

11.如权利要求10所述的方法，其中所述分割掩模包括对所述车辆传感器数据内的对象进行分类的二进制掩模，其中所述经分类的对象被分配给所述前景部分。

12.如权利要求10所述的方法，其中所述分割器包括掩模r卷积神经网络(mask r-cnn)。

13.如权利要求1所述的方法，其中所述对象是车辆挂车，并且所述深度神经网络输出挂车角度。

14.如权利要求13所述的方法，其中挂车角度描述所述车辆挂车将响应于使车辆倒退而行驶的方向。

15.一种系统，其包括被编程为执行如权利要求1至14中任一项所述的方法的计算机。

技术总结
本公开提供了“未见环境分类”。一种系统，包括计算机，所述计算机包括处理器和存储器，所述存储器包括指令，使得所述处理器被编程为：利用深度神经网络处理车辆传感器数据以基于所述数据生成指示一个或多个对象的预测，并且确定与所述预测相对应的对象不确定性，并且当所述对象不确定性大于不确定性阈值时，将所述车辆传感器数据分割为前景部分和背景部分。当前景不确定性大于前景不确定性阈值时，将所述前景部分分类为包括未见对象类别；当背景不确定性大于背景不确定性阈值时，将所述背景部分分类为包括未见背景；以及将所述数据和数据分类传输到服务器。

技术研发人员：古萨姆·肖林格,S·孙达尔,金尼什·简,什里亚莎·波德尔
受保护的技术使用者：福特全球技术公司
技术研发日：
技术公布日：2024/1/16