高效神经网络的制作方法

本公开涉及车辆中的神经网络。

背景技术：

1、图像可以由传感器获取并使用计算机进行处理以确定关于系统周围环境中的对象的数据。感测系统的操作可以包括获取关于系统环境中的对象的准确且及时的数据。计算机可以从一个或多个图像传感器获取图像，所述图像可以被处理以确定对象的位置。计算机可以使用从图像中提取的对象位置数据来操作系统，包括车辆、机器人、安全和对象跟踪系统。

技术实现思路

1、感测系统可以获取关于系统周围的环境的数据(例如图像数据)，并且处理所述数据以确定对象的身份和/或位置。例如，可以训练并然后使用深度神经网络(dnn)来确定由系统中的传感器获取的图像数据中的对象，所述系统包括车辆引导系统、机器人操作系统、安全系统、制造系统和产品跟踪系统。车辆引导可以包括车辆在包括多个对象的环境中在自主或半自主模式下操作。机器人引导可以包括引导机器人末端执行器(例如夹持器)来拾取零件并对零件进行取向以在包括多个零件的环境中进行组装。安全系统包括其中计算机从观察安全区域的相机获取视频数据以向授权用户提供访问权限并检测包括多个用户的环境中的未经授权进入的特征。在制造系统中，dnn可以确定包括多个零件的环境中的一个或多个零件的位置和取向。在产品跟踪系统中，深度神经网络可以确定包括多个包裹的环境中的一个或多个包裹的位置和取向。

2、车辆引导在本文中将被描述为使用计算机来检测图像中的对象并且基于检测到的对象来确定操作车辆的车辆路径的非限制性示例。所述图像可以是车辆周围的环境，并且可以包括车辆的一部分和包括挂车联接器和挂接球的对象。挂车联接器是车辆挂车的通过将挂车联接器定位在经由挂车挂接件连接到车辆的挂接球上而将车辆挂车可拆卸地连接到车辆的部分。例如，车辆中的计算装置可以被编程为从包括在车辆中的一个或多个传感器获取一个或多个图像，并且定位所述一个或多个图像中的对象，包括挂车联接器和挂接球。传感器可以包括获取对应于可见或红外波长的光的图像的视频或静态图像相机。传感器可以安装在车辆上并且被定位成提供挂接球和挂接球周围区域的视图。在一些示例中，传感器可以包括在交通基础设施系统中并且安装在诸如杆或建筑物的结构上，并且图像和/或对象数据可以被传送到车辆。传感器还可以包括通常发射红外波长的光的激光雷达传感器、发射无线电波的雷达传感器以及发射声波的超声波传感器。激光雷达传感器、雷达传感器和超声波传感器都测量到环境中的点的距离。

3、有利地，本文讨论的技术通过向图像添加基准线来减少确定图像数据中的对象所需的时间和计算资源，从而提高计算装置识别和定位对象的能力。另外，通过使用遗传算法优化用于定位对象的dnn，可以减少确定对象所需的时间和计算资源，如下面将关于图2-5所述。

4、本文公开了一种方法，所述方法包括：在图像中确定第一对象的位置，基于所述第一对象的所述位置在所述图像上绘制线，训练深度神经网络以基于所述线确定所述图像中的所述第一对象与所述图像中的第二对象之间的相对位置，以及通过确定将多个深度神经网络参数除以性能分数的适应度分数来优化所述深度神经网络。该方法还包括车辆中的第二计算机，其中所述深度神经网络被输出到所述车辆中的所述第二计算机。所述第二计算机可以包括第二处理器和第二存储器，所述第二存储器包括第二指令，所述第二指令可由所述第二处理器执行以基于获取第二图像并将所述第二图像输入到包括在所述第二计算机中的所述深度神经网络来确定车辆路径而操作所述车辆。所述第二计算机可控制车辆动力传动系统、车辆转向装置和车辆制动器中的一者或多者以在基于所述深度神经网络确定的所述车辆路径上操作所述车辆。基于所述线确定所述图像中的所述第一对象与所述图像中的所述第二对象之间的所述相对位置可以包括所述第二对象位于所述线上。

5、可以通过将图像输入到第二深度神经网络来确定第一对象的位置。所述线可以包括亮像素和暗像素的图案。所述第一对象可为附接到车辆的挂接球并且所述第二对象为挂车联接器。所述线可绘制在所述挂接球与所述车辆之间。所述线可基于所述第一对象的所述位置来绘制。所述深度神经网络可为包括卷积层和全连接层的卷积神经网络。所述深度神经网络参数可以包括卷积参数，所述卷积参数包括多个卷积滤波器、激活类型、池化类型和多个神经元中的一者或多者。所述深度神经网络参数可以包括全连接参数，所述全连接参数包括激活类型和多个神经元。训练所述深度神经网络可以包括基于将来自所述深度神经网络的输出结果与对应于包括在训练数据集中的图像的地面实况进行比较来确定损失函数。

6、还公开了一种计算机可读介质，所述计算机可读介质存储用于执行上述方法步骤中的一些或全部的程序指令。还公开了一种包括计算机设备的计算机，该计算机被编程用于执行上述方法步骤中的一些或全部，该计算机被编程为：在图像中确定第一对象的位置，基于所述第一对象的所述位置在所述图像上绘制线，训练深度神经网络以基于所述线确定所述图像中的所述第一对象与所述图像中的第二对象之间的相对位置，以及通过确定将多个深度神经网络参数除以性能分数的适应度分数来优化所述深度神经网络。该方法还包括车辆中的第二计算机，其中所述深度神经网络被输出到所述车辆中的所述第二计算机。所述第二计算机可以包括第二处理器和第二存储器，所述第二存储器包括第二指令，所述第二指令可由所述第二处理器执行以基于获取第二图像并将所述第二图像输入到包括在所述第二计算机中的所述深度神经网络来确定车辆路径而操作所述车辆。所述第二计算机可控制车辆动力传动系统、车辆转向装置和车辆制动器中的一者或多者以在基于所述深度神经网络确定的所述车辆路径上操作所述车辆。基于所述线确定所述图像中的所述第一对象与所述图像中的所述第二对象之间的所述相对位置可以包括所述第二对象位于所述线上。

7、所述指令可以包括用于进行以下操作的另外的指令：通过将所述图像输入到第二深度神经网络来确定所述第一对象的所述位置。所述线可以包括亮像素和暗像素的图案。所述第一对象可为附接到车辆的挂接球并且所述第二对象为挂车联接器。所述线可绘制在所述挂接球与所述车辆之间。所述线可基于所述第一对象的所述位置来绘制。所述深度神经网络可为包括卷积层和全连接层的卷积神经网络。所述深度神经网络参数可以包括卷积参数，所述卷积参数包括多个卷积滤波器、激活类型、池化类型和多个神经元中的一者或多者。所述深度神经网络参数可以包括全连接参数，所述全连接参数包括激活类型和多个神经元。训练所述深度神经网络可以包括基于将来自所述深度神经网络的输出结果与对应于包括在训练数据集中的图像的地面实况进行比较来确定损失函数。

技术特征：

1.一种方法，其包括：

2.如权利要求1所述的方法，其还包括车辆中的第二计算机，其中所述深度神经网络被输出到所述车辆中的所述第二计算机。

3.如权利要求2所述的方法，所述第二计算机包括第二处理器和第二存储器，所述第二存储器包括第二指令，所述第二指令能够由所述第二处理器执行以基于获取第二图像并将所述第二图像输入到包括在所述第二计算机中的所述深度神经网络来确定车辆路径而操作所述车辆。

4.如权利要求3所述的方法，其中所述第二计算机控制车辆动力传动系统、车辆转向装置和车辆制动器中的一者或多者以在基于所述深度神经网络确定的所述车辆路径上操作所述车辆。

5.如权利要求1所述的方法，其中基于所述线确定所述图像中的所述第一对象与所述图像中的所述第二对象之间的所述相对位置包括所述第二对象位于所述线上。

6.如权利要求1所述的方法，其还包括通过将所述图像输入到第二深度神经网络来确定所述第一对象的所述位置。

7.如权利要求1所述的方法，其中所述线包括亮像素和暗像素的图案。

8.如权利要求1所述的方法，其中所述第一对象为附接到车辆的挂接球并且所述第二对象为挂车联接器。

9.如权利要求8所述的方法，其中所述线绘制在所述挂接球与所述车辆之间。

10.如权利要求1所述的方法，其中所述线是基于所述第一对象的所述位置绘制的。

11.如权利要求1所述的方法，其中所述深度神经网络为包括卷积层和全连接层的卷积神经网络。

12.如权利要求1所述的方法，其中所述深度神经网络参数包括卷积参数，所述卷积参数包括多个卷积滤波器、激活类型、池化类型和多个神经元中的一者或多者。

13.如权利要求1所述的方法，其中所述深度神经网络参数包括全连接参数，所述全连接参数包括激活类型和多个神经元。

14.如权利要求1所述的方法，其中训练所述深度神经网络包括基于将来自所述深度神经网络的输出结果与对应于包括在训练数据集中的图像的地面实况进行比较来确定损失函数。

15.一种系统，其包括被编程为执行如权利要求1至14中任一项所述的方法的计算机。

技术总结
本公开提供了“高效神经网络”。可在图像中确定第一对象的位置。可基于所述第一对象的位置在第一图像上绘制线。可训练深度神经网络以基于所述线确定所述图像中的第一对象与所述图像中的第二对象之间的相对位置。可通过确定将多个深度神经网络参数除以性能分数的适应度分数来优化所述深度神经网络。可以输出所述深度神经网络。

技术研发人员：尼基尔·纳格拉拉奥,弗朗索瓦·沙雷特,S·文卡特,S·斯里达尔,维迪亚·纳里亚曼特穆拉里
受保护的技术使用者：福特全球技术公司
技术研发日：
技术公布日：2024/1/13