处理运载工具的环境数据的制作方法

1.本公开涉及运载工具，并且更具体地涉及处理运载工具的环境数据。


背景技术：

2.现代运载工具(例如，汽车、摩托车、船或任何其他类型的汽车)可以配备有便于运载工具与其他实体之间的不同类型通信的运载工具通信系统。例如，运载工具通信系统可以提供运载工具到基础设施(v2i)、运载工具到运载工具(v2v)、运载工具到行人(v2p)和/或运载工具到电网(v2g)通信。共同地，这些可以被称为运载工具到万物(v2x)通信，其使得能够将信息从运载工具传送到任何其他合适的实体。各种应用(例如，v2x应用)可以使用v2x通信来发送和/或接收安全消息、维护消息、运载工具状态消息等。
3.现代运载工具还可以包括一个或多个摄像头，其提供倒车辅助、拍摄运载工具驾驶员的图像以确定驾驶员困倦或注意力、在运载工具行驶时提供道路图像以用于避免碰撞、提供结构识别，例如道路标志等。例如，运载工具可以配备有多个摄像头，并且可以使用来自多个摄像头(称为“全景摄像头”)的图像来创建运载工具的“全景”或“鸟瞰”视图。一些摄像头(称为“远程摄像头”)可用于捕获远程图像(例如，用于碰撞避免的对象检测、结构识别等)。
4.这样的运载工具还可以配备有用于执行目标跟踪的传感器，诸如(一个或多个)无线电雷达设备、(一个或多个)lidar设备等。目标跟踪包括识别目标对象并在目标对象相对于正在观察该目标对象的运载工具移动时随时跟踪该目标对象。来自运载工具的一个或多个摄像头的图像也可以用于执行目标跟踪。
5.这些通信协议、摄像头和/或传感器可用于自主运载工具。


技术实现要素：

6.在一个示例性实施例中，提供了一种计算机实施的方法，用于处理至少一个其他运载工具相对于目标运载工具的环境数据。该方法包括由处理设备使用自注意机制来处理与至少一个其他运载工具相关联的第一数据，以生成与至少一个其他运载工具相关联的第一输出。该方法还包括由处理设备使用堆叠的残差模块来处理与目标运载工具相关联的第二数据，以生成与目标运载工具相关联的第二输出。该方法还包括由处理设备级联第一输出和第二输出以生成级联向量。该方法还包括由处理设备至少部分地基于所连接的向量来做出针对目标运载工具的驾驶决策。该方法还包括至少部分地基于驾驶决策来控制目标运载工具。
7.在额外实施例中，其中与至少一个其它运载工具相关联的第一数据包括至少一个其它运载工具的估计运动状态、航道分配和运载工具意图中的至少一个。
8.在额外实施例中，其中第一数据包括与第一其他运载工具相关联的第一数据的第一子集和与第二其他运载工具相关联的第一数据的第二子集。
9.在额外实施例中，其中所述第一数据的所述第一子集表达为第一一维(1d)特征向
量，且其中所述第一数据的所述第二子集表达为第二1d特征向量。
10.在额外实施例中，其中处理所述第一数据包括将所述第一1d特征向量和所述第二1d特征向量组合成二维(2d)矩阵。
11.在额外实施例中，其中2d矩阵包括与至少一个其它运载工具相关联的速度数据和与至少一个其它运载工具相关联的位置数据。
12.在额外实施例中，其中与目标运载工具相关联的第二数据包括运动状态信息和航道信息。
13.在额外实施例中，其中，在目标运载工具所位于的道路的坐标系中表示运动状态信息。
14.在额外实施例中，其中航道信息由二进制值的向量表示，其中零值表示不存在航道，并且一值表示存在航道。
15.在额外实施例中，其中堆叠的残差模块中的每一个包括第一卷积单元、修正线性单元和第二卷积单元。
16.在额外实施例中，其中做出驾驶决策包括确定驾驶策略和与环境中的主体的当前状态相关联的值。
17.在额外实施例中，其中至少部分地基于决策来控制目标运载工具包括基于驾驶策略和环境中的主体的当前状态来控制目标运载工具。
18.在另一示例性实施例中，一种系统包括包含计算机可读指令的存储器。该系统还包括用于执行计算机可读指令的处理设备，计算机可读指令控制处理设备以执行用于处理至少一个其他运载工具相对于目标运载工具的环境数据的操作。所述操作包括：使用自注意机制来处理与所述至少一个其他运载工具相关联的第一数据，以生成与所述至少一个其他运载工具相关联的第一输出。操作还包括使用堆叠的残差模块来处理与目标运载工具相关联的第二数据，以生成与目标运载工具相关联的第二输出。所述操作还包括级联所述第一输出和所述第二输出以生成级联向量。所述操作还包括至少部分地基于所连接的向量来做出针对所述目标运载工具的驾驶决策。操作还包括至少部分地基于驾驶决策来控制目标运载工具。
19.在额外实施例中，其中与至少一个其它运载工具相关联的第一数据包括至少一个其它运载工具的估计运动状态、航道分配和运载工具意图中的至少一个。
20.在额外实施例中，其中第一数据包括与第一其他运载工具相关联的第一数据的第一子集和与第二其他运载工具相关联的第一数据的第二子集。
21.在额外实施例中，其中所述第一数据的所述第一子集表达为第一一维(1d)特征向量，且其中所述第一数据的所述第二子集表达为第二1d特征向量。
22.在额外实施例中，其中处理所述第一数据包括将所述第一1d特征向量和所述第二1d特征向量组合成二维(2d)矩阵。
23.在额外实施例中，其中2d矩阵包括与至少一个其它运载工具相关联的速度数据和与至少一个其它运载工具相关联的位置数据。
24.在额外实施例中，其中与目标运载工具相关联的第二数据包括运动状态信息和航道信息。
25.在又一示例性实施例中，计算机程序产品包括计算机可读存储介质，该计算机可
读存储介质具有与其一起体现的程序指令，其中计算机可读存储介质本身不是暂时性信号，该程序指令可由处理设备执行以使处理设备执行用于处理至少一个其他运载工具相对于目标运载工具的环境数据的操作。所述操作包括：使用自注意机制来处理与所述至少一个其他运载工具相关联的第一数据，以生成与所述至少一个其他运载工具相关联的第一输出。操作还包括使用堆叠的残差模块来处理与目标运载工具相关联的第二数据，以生成与目标运载工具相关联的第二输出。所述操作还包括级联所述第一输出和所述第二输出以生成级联向量。所述操作还包括至少部分地基于所连接的向量来做出针对所述目标运载工具的驾驶决策。操作还包括至少部分地基于驾驶决策来控制目标运载工具。
26.当结合附图时，根据以下详细描述，本公开的上述特征和优点以及其他特征和优点是显而易见的。
附图说明
27.其他特征、优点和细节仅通过示例的方式出现在以下详细描述中，详细描述参考附图，其中：
28.图1描绘了根据本文描述的一个或多个实施例的包括传感器和处理系统的运载工具；
29.图2描绘了根据本文描述的一个或多个实施例的支持处理运载工具的环境数据的架构；
30.图3描绘了根据本文描述的一个或多个实施例的用于处理运载工具的环境数据的方法的流程图；以及
31.图4描绘了根据示例性实施例的用于实现本文描述的技术的处理系统的框图。
具体实施方式
32.以下描述本质上仅是示例性的，并不旨在限制本公开、其应用或用途。应当理解，在整个附图中，相应的附图标记表示相同或相应的部件和特征。如本文所使用的，术语模块是指处理电路，其可以包括专用集成电路(asic)、电子电路、执行一个或多个软件或固件程序的处理器(共享、专用或群组)和存储器、组合逻辑电路和/或提供所描述的功能的其他合适的组件。
33.本文描述的技术解决方案提供了处理运载工具的环境数据。更具体地，本文描述的一个或多个实施例提供使用深度注意力机制(deep attention mechanism)在基于学习的自主运载工具(av)驾驶策略中编码和处理环境数据(信息)。
34.av驾驶策略提供自主运载工具如何操作。av驾驶策略编码并提取关于自主运载工具的环境之于决策制定的信息。该信息用于构建自主运载工具执行的行为/运动计划。可以从自主运载工具(称为“目标运载工具”)和/或从其他周围运载工具(其也可以是或可以不是自主的)(称为“其他运载工具”或“其他运载工具”)收集信息。
35.处理运载工具的环境数据的常规方法是不足的。一种这样的方法是在多通道“鸟瞰视图”图像中栅格化(rasterize)不同环境信息并使用卷积神经网络对其进行处理的方法。尽管这种方法对于其他运载工具的运动投影可以是有用的，但是与使用道路坐标系投影相比，它在栅格化鸟瞰视图图像方面具有低效率。另一种常规方法是卷积社交池化
(convolutional social pooling)。在该示例中，通过将道路划分为网格单元来相对于道路坐标系编码运载工具的运动信息，以提供航道级横向离散化和恒定纵向前进单元，其中每个单元具有多通道空间容器，并且联合社交张量被馈送到卷积层序列中。然而，由于社交张量的2d结构，该方法限于所有航道彼此平行的简单读取结构。在又一种常规方法中，提供了一种架构，其中通过堆叠1单位尺寸的内核卷积然后在通道维度上进行最大池操作来处理无序向量序列。该方法在捕获不同执行器(运载工具)之间的交互方面的表达能力有限，并且对于需要提取输入实体之间的多级交互的用例的性能有限。
36.本文描述的一个或多个实施例通过使用周围运载工具状态编码和神经架构来解决现有技术的这些和其他缺点。根据本文描述的一个或多个实施例，提供了一种方法，该方法对目标运载工具(例如，自主运载工具)的状态和其他(周围)运载工具的感知状态以及关于环境的信息进行编码。然后使用神经架构来处理状态/信息，以生成用于学习驾驶策略的策略和/或值输出。应当理解，即使没有其他(周围)运载工具，本文描述的技术也可以用于对目标运载工具的状态进行编码。更具体地，本文描述的一个或多个实施例提供了以有效且灵活的方式对环境信息进行编码以用于决策，诸如在自主运载工具情况下。例如，可以在存在变化数量的周围运载工具(包括没有周围运载工具)的情况下对状态信息进行编码。
37.图1描绘了根据本文描述的一个或多个实施例的包括传感器和处理系统110的运载工具100。在图1的示例中，运载工具100包括处理系统110、摄像头120、121、122、123、摄像头130、131、132、133、雷达传感器140和lidar传感器(激光雷达传感器)141。运载工具100可以是汽车、卡车、厢式货车、公共汽车、摩托车、船、飞机或另一合适的运载工具100。
38.摄像头120-123是全景摄像头，其捕获运载工具100外部和附近的图像。由摄像头120-123捕获的图像一起形成运载工具100的全景(有时称为“自顶向下视角”或“鸟瞰视角”)。这些图像可用于操作运载工具(例如，停泊、倒退等)。摄像头130-133是远程摄像头，其捕获运载工具外部并且比摄像头120-123更远离运载工具100的图像。例如，这些图像可用于对象检测和避让。应当理解，尽管示出了八个摄像头120-123和130-133，但是在各种实施例中可以实现更多或更少的摄像头。
39.捕获的图像可以显示在显示器(未示出)上，以向运载工具100的驾驶员/操作者提供运载工具100的外部视图。捕获的图像可以显示为实时图像、静止图像或其某种组合。在一些示例中，可以组合图像以形成复合视图，诸如全景。
40.雷达传感器140通过发射电磁波并利用传感器测量反射波来测量距目标对象的距离。该信息对于确定目标对象相对于运载工具100的距离/位置是有用的。
41.lidar(光检测和测距)传感器141通过用脉冲激光照射目标并用传感器测量反射脉冲来测量距目标对象(例如，其他运载工具154)的距离。该信息对于确定目标对象相对于运载工具100的距离/位置是有用的。
42.从摄像头120-123、130-133、雷达传感器140和/或lidar传感器141生成的数据可以用于检测和/或跟踪相对于运载工具100的目标对象。目标对象的示例包括其他运载工具(例如，其他运载工具154)、易受伤害的道路使用者(vru)，诸如行人、自行车、动物、坑洞、道路表面上的油、道路表面上的碎屑、雾、洪水等。
43.处理系统110包括数据/通信引擎112、决策引擎114和控制引擎116。数据/通信引擎112诸如从与运载工具100相关联的传感器接收/收集数据和/或从诸如远程处理系统150
和/或其他运载工具154的其他源接收数据。决策引擎114处理数据以做出驾驶决策。决策引擎114如何处理数据的示例在图2中示出并且在本文中进一步描述。控制引擎116控制运载工具100，以便执行驾驶操纵(例如，改变航道、改变速度等)。尽管未示出，但是处理系统110可以包括其他组件、引擎、模块等，诸如处理器(例如，中央处理单元、图形处理单元、微处理器等)、存储器(例如，随机存取存储器、只读存储器等)、数据存储(例如，固态驱动器、硬盘驱动器等)等。
44.处理系统110可以通信地联接到远程处理系统150，远程处理系统150可以是作为边缘处理环境的一部分的边缘处理节点、作为云处理环境的一部分的云处理节点等。处理系统110还可以通信地联接到一个或多个其他运载工具(例如，其他运载工具154)。在一些示例中，处理系统110直接通信地联接到处理系统150和/或其他运载工具154(例如，使用v2v通信)，而在其它示例中，处理系统110间接地(诸如通过网络)通信地联接到处理系统150和/或其他运载工具154。例如，处理系统110可以包括网络适配器(未示出)(参见例如图4的网络适配器426)。网络适配器使得处理系统110能够向其他源发送数据和/或从其他源接收数据，其他源诸如包括远程处理系统150和其他运载工具154的其他处理系统、数据存储库等。作为示例，处理系统110可以直接和/或经由网络152向远程处理系统150发送数据和/或从远程处理系统150接收数据。
45.网络152表示不同类型的合适的通信网络中的任何一个或组合，诸如例如电缆网络、公共网络(例如，互联网)、专用网络、无线网络、蜂窝网络或任何其他合适的专用和/或公共网络。此外，网络152可以具有与其相关联的任何合适的通信范围，并且可以包括例如全球网络(例如，互联网)、城域网(man)、广域网(wan)、局域网(lan)、个域网(pan)。另外，网络152可以包括可以承载网络业务的任何类型的介质，包括但不限于同轴电缆、双绞线、光纤、混合光纤同轴(hfc)介质、微波地面收发器、射频通信介质、卫星通信介质或其任何组合。根据本文描述的一个或多个实施例，远程处理系统150、其他运载工具154和处理系统110经由运载工具到基础设施(v2i)、运载工具到运载工具(v2v)、运载工具到行人(v2p)和/或运载工具到电网(v2g)通信进行通信。
46.本文进一步描述了处理系统110的组件的特征和功能。运载工具100的处理系统110帮助在自主运载工具操作的背景下做出决策。
47.图2描绘了根据本文描述的一个或多个实施例的支持处理运载工具环境数据的架构200。在该示例中，架构200包括运载工具100、运载工具201a、运载工具201b和运载工具201c。运载工具201a、201b、201c是图1的其他运载工具154的示例，并且统称为“运载工具201”。
48.如图2的示例中所示，运载工具100和运载工具201在方向204上沿着具有航道203a、203b的道路202行驶。特别地，运载工具100在航道203a中沿方向204行驶，并且运载工具201在航道203b中沿方向204行驶。应当理解，图2中的运载工具100、201和道路202的特定布置仅仅是示例；其他布置也是可以的。本文描述的技术可以在许多不同的用例中使用，例如：使用航道方向(而不是道路方向)来表示运载工具201坐标；运载工具100的位置在运载工具201的航道上的投影；相对于运载工具100的投影的归一化量(例如，通过减去纵向位置，以确定运载工具100的纵向差异)等。
49.运载工具100、201中的每一个收集关于其自身的数据并将其发送到处理系统以进
行处理。根据示例，运载工具201收集关于其自身的数据并将数据发送到运载工具100的处理系统110以进行处理。根据另一示例，运载工具100、201收集关于自身的数据并将数据发送到远程处理系统150。
50.由运载工具201提供的数据(即，信息)可以指示环境中的运载工具的感知，并且可以产生运载工具201的估计运动状态(kinematic state)、航道分配、运载工具的意图(例如，行驶方向、并道/改变航道的意图等)和/或对决策有用的任何其他信息。在模块206处，处理关于运载工具201的数据。来自运载工具201的信息可以采用一维(1d)特征向量的形式。例如，来自运载工具201的1d特征向量可以组合(或级联)成二维(2d)矩阵(例如，运载工具的x特征)，其沿着运载工具维度的顺序是任意的。状态表210示出了这种2d矩阵的示例。特别地，从运载工具201接收的数据可以作为状态向量存储在状态表210中。在该示例中，状态表210包括第一行中的运载工具201a的数据、第二行中的运载工具201b的数据和第三行中的运载工具201c的数据。其他运载工具的数据也可以存储在状态表210中。对于每一行，状态表210包括相应运载工具的位置(δs)、运载工具速度(v)和任何其他合适信息(例如，对航道的分配、加速度、运载工具相对于其航道的取向、航道的曲率等)的数据。例如，关于航道分配，在与运载工具100相同的航道上行驶的运载工具可以具有值“0”，而在右侧相邻航道上的运载工具可以具有值
“‑
1”，并且在左侧相邻航道上的运载工具可以具有值“+1”。这种方法也可以用于具有任何其他值的非平行航道配置中，因此最终，任何航道可以具有不同的值，以指示分配到该航道的运载工具，而不管航道之间的空间关系如何。应当理解，运载工具的位置是基于运载工具相对于位置s＝0的当前位置来确定的。例如，位置s＝0在图2中被示出为线205，并且运载工具201中的每一个的位置的值是相对于该位置确定的。以这种方式，存储在运载工具201的状态向量表210中的值被归一化到运载工具100。因此，在该示例中，如状态表210所示，运载工具201a的位置值δs为53，运载工具201b的位置值δs为37，并且运载工具201c的位置值δs为-27。状态表210还包括分别为27、20和22.5的运载工具201a、201b、201c的速度。
51.为了学习关于运载工具100、201之间交互的有意义信息，在模块212处处理运载工具矩阵(例如，状态表210)。具体地，模块212是通过堆叠n个多头自注意模块(multi-head self-attention block)来处理运载工具矩阵的自注意机制，所述多头自注意模块对于矩阵中的实体(运载工具向量)的顺序是不变的。模块212的任何神经网络层可以是输入到输出(inputs to outputs)的投影，其被学习为对于给定任务(例如，决策制定)是最佳的。堆叠这些层增加了由这些层形成的神经网络的表达能力。注意力机制具有若干层和它们之间的数学运算，如下：其学习输入向量到查询向量的投影q；其学习输入向量到关键向量的投影k；并且其学习输入向量到值向量的投影v。这三个投影(q、k和v)可以以任何输入实体的向量(例如，运载工具201特征向量)为特征，其中三个结果向量是针对每个实体(例如，每个运载工具201a、201b、201c)确定的。然后，对于每个实体，将查询向量与其他实体的关键向量匹配(以考虑实体之间的相似性或距离)，这导致相似性得分。将其他实体的相似性得分乘以其向量值，并且将所得到的向量求和(例如，由相似性得分加权的其他实体的值向量的加权和)。这为每个实体产生单个1d向量的输出，其纳入了与其他实体的成对交互。顺序地堆叠多个注意力机制具有纳入实体之间多级交互的能力。
52.来自模块212的注意力输出被输入到最大池模块214中，该最大池模块214执行在
特征维度上运行并聚合来自运载工具201的具体特征信息的最大池操作(max-pool operation)。最大池操作从状态表210获得每列的最大值。这生成与运载工具201相关联的第一输出，其被称为全局嵌入向量，其可以进一步与如本文进一步描述的其他操作一起使用并且被输入到模块216中。从上面继续，多个自我注意机制的堆叠(例如，模块212)产生与输入相同的数据结构，即2d无序矩阵，只是现在每个实体的向量不仅包含其自己的特征，而且还包含关于该实体与其他实体交互的信息。在某种意义上，每个向量表示运载工具相对于环境的其余部分的状态。这是“每运载工具嵌入向量(per-vehicle embedding vector)”，其中值是潜在的(例如，它们的结构被学习，而不是由用户定义)。类似于本文描述的方法，在特征维度上使用最大池模块214处的最大池算子将每运载工具嵌入向量聚合成单个固定尺寸的向量(可替代地，可以是平均池或任何其他聚合算子)。这是表示关于运载工具201及其彼此交互的相关信息的1d向量。由于架构200的该部分(例如，模块210、212、214)对于馈送到其中的运载工具信息的顺序是不变的，因此以非平凡(non-trivial)的空间顺序(例如，如航道内并道和航道分离)对关于环境的信息进行编码是相对直接的。
53.在模块218处处理关于运载工具100的数据(即，信息)。模块218处的处理可以在模块206处的处理之前、期间(例如，同时、并发等)和/或之后进行。具体地，关于运载工具100(也称为“目标运载工具”)的数据可以包括在道路202的坐标系中表示的运动状态信息(例如，纵向和横向位置及其导数)。关于运载工具100的数据还可以包括运载工具100的航道信息。作为示例，相邻航道信息可以由具有二进制值的向量表示，其中零(0)表示不存在航道，并且一(1)表示存在航道。例如，图2中所示的向量240表示运载工具100的左侧不存在航道，运载工具100当前所在的位置存在航道，并且运载工具100的右侧存在航道。可以将关于运载工具100的环境属性或目标的附加信息进行级联，诸如：在期望的航道改变/并道操纵的情况下相对于当前航道分配(例如，航道203a)的目标航道(例如，航道203b)的编码、相邻航道的存在、相邻航道之间的连接性(改变航道的能力)、道路长度等。
54.来自运载工具100的信息被馈送到由模块218表示的m个堆叠的残差模块(stacked residual block)中。模块218可以包括第一卷积单元220、修正线性单元(relu)222、第二卷积单元224和跳过连接226，跳过连接226以如下方式将模块218的输出与其输入相加：如果模块218的输出全为零(则输入＝输出)，则将信息提供给“跳过”模块218。该机制提高了网络训练过程的鲁棒性。模块218通过使用第一卷积单元220执行第一卷积运算，使用relu 222执行激活运算以变换第一卷积运算的结果，以及使用第二卷积单元224对激活运算的结果执行第二卷积运算来处理来自运载工具100的信息。第一卷积单元220和第二卷积单元224针对输入学习用于加权和内核运算(weighted-sum kernel operation)的最佳权重。relu 222使用激活函数，该激活函数独立地获取任何输入“x”并为其输出y＝f(x)，其中函数“f”可以是任何非线性数学运算，诸如relu、leakyrelu、tanh、sigmoid等。在模块226处，可以组合来自运载工具100的原始数据和第二卷积运算的结果。模块218的输出(例如，与运载工具100相关联的第二输出)被馈送到模块216中。
55.与运载工具201相关联的第一输出(来自模块206)和与运载工具100相关联的第二输出(来自模块218)被输入到模块216中，模块216将两个输出组合或级联为级联向量。在通过执行器-评价器范例(actor-critic paradigm-a reinforcement learning technique，一种强化学习技术)学习决策任务的情况下，将被级联的向量馈送到模块228、230中，模块
228、230是完全连接的层并且负责做出关于运载工具100的操作的决策。模块228(也称为“执行器头部(actor head)”)输出策略可用的动作的得分(或分布)(“策略输出”)，并且模块230(也称为“评价器头部”)确定与环境中的主体(agent)的当前状态相关联的值(“值输出”)。根据本文描述的一个或多个实施例，模块228、230中的每一个可以包含全连接层、卷积层和/或残差模块。
56.图3描绘了根据本文描述的一个或多个实施例的用于处理运载工具的环境数据的方法300的流程图。方法300可以由任何合适的系统或设备执行，诸如图1的处理系统110、图4的处理系统400或任何其他合适的处理系统和/或处理设备(例如，处理器)。现在参考图1和/或图2的元件描述方法300，但不限于此。
57.在框302处，处理系统110使用自注意机制(例如，参见图2，模块206)来处理与至少一个其它运载工具相关联的第一数据，以生成与至少一个其它运载工具相关联的第一输出。例如，处理系统110(或另一合适的处理系统)从运载工具201a、201b、201c接收数据并如本文所述对其进行处理。这可以包括例如从运载工具201接收数据作为1d特征向量，将数据组合成2d矩阵(例如，状态表210)，使用一个或多个自注意块来处理数据，以及使用最大池操作来确定来自2d矩阵的每列的最大值。
58.在框304处，处理系统110使用堆叠的残差模块来处理与目标运载工具及其环境的静态部分(例如，相邻航道等)相关联的第二数据，以生成与目标运载工具相关联的第二输出。例如，处理系统110(或另一合适的处理系统)接收(或收集)关于运载工具100的数据，并利用堆叠的残余块来处理数据(例如，参见图2，模块218)。处理可以包括使用第一卷积单元220执行第一卷积运算，使用relu 222执行激活运算，以变换第一卷积运算的结果，以及使用第二卷积单元224对激活运算的结果执行第二卷积运算。
59.根据一个或多个实施例，框302和304可以同时、并发、顺序地或以任何其他合适的顺序运行。
60.在框306处，处理系统110级联第一输出和第二输出以生成级联向量。与运载工具201相关联的第一输出(来自模块206)和与运载工具100相关联的第二输出(来自模块218)被输入到模块216中，模块216将两个输出组合或级联为级联向量。
61.在框308处，处理系统110至少部分地基于级联向量来做出针对目标运载工具的驾驶决策。例如，级联向量被馈送到模块228、230中，模块228、230是完全连接的层并且负责做出关于运载工具100的操作的决策。驾驶决策可以包括驾驶策略和与主体(agent)在环境中的状态相关联的值。例如，模块228确定驾驶策略(例如，改变航道)，并且模块230确定“状态值”。在“执行器-评价器”范例(例如，rl算法的私有情况，这是两个模块228、230的原因)中，模块230的“值输出”主要(尽管不一定)用于训练目的，并且主要在推断时(在驾驶时)被忽略，而228的“策略输出”具有一些或所有可用动作的分数，使得自主主体(autonomous agent)可以选择最大分数动作以在推断时执行。
62.在框310处，处理系统110至少部分地基于该决策来控制目标运载工具。控制目标运载工具可以包括实施驾驶策略。例如，如果驾驶策略是将航道从航道203a合并到航道203b，并且与驾驶策略相关联的值是将速度增加5英里/小时，则处理系统110可以使运载工具100增加速度并朝向航道203b转向。这通过使运载工具100基于其自己的数据并基于其他运载工具(例如，运载工具201a、201b、201c)的数据(例如，运动数据)来实施驾驶决策，从而
改善了运载工具操作。这使得运载工具100更有效地操作(例如，运载工具100可以通过具有更好的运载工具201的行为来更有效地实现其目标，诸如驾驶到特定位置)。作为本技术的结果，运载工具100还可以更自主地操作(例如，需要更少的驾驶员输入/接管)，因为它能够从可用输入中更有效地提取驾驶决策所需的本质。
63.还可以包括另外的过程，并且应当理解，图3中描绘的过程表示说明，并且在不脱离本公开的范围和精神的情况下，可以添加其他过程或者可以移除、修改或重新布置现有过程。
64.应当理解，本公开能够结合现在已知或以后开发的任何其他类型的计算环境来实现。例如，图4描绘了用于实现本文描述的技术的处理系统400的框图。在示例中，处理系统400具有一个或多个中央处理单元(处理器)421a、421b、421c等(统称或统称为处理器421和/或处理设备)。在本公开的方面中，每个处理器421可以包括精简指令集计算机(risc)微处理器。处理器421经由系统总线433联接到系统存储器(例如，随机存取存储器(ram)424)和各种其它组件。只读存储器(rom)422联接到系统总线433，并且可以包括控制处理系统400的某些基本功能的基本输入/输出系统(bios)。
65.进一步描绘了联接到系统总线433的输入/输出(i/o)适配器427和网络适配器426。i/o适配器427可以是与硬盘423和/或存储设备425或任何其他类似组件通信的小型计算机系统接口(scsi)适配器。i/o适配器427、硬盘423和存储设备425在本文中统称为大容量存储装置434。用于在处理系统400上执行的操作系统440可以存储在大容量存储装置434中。网络适配器426将系统总线433与外部网络436互连，使得处理系统400能够与其他这样的系统通信。
66.显示器(例如，显示监视器)435通过显示适配器432连接到系统总线433，显示适配器432可以包括用于改善图形密集型应用和视频控制器的性能的图形适配器。在本公开的一个方面，适配器426、427和/或432可以连接到一个或多个i/o总线，i/o总线经由中间总线桥(未示出)连接到系统总线433。用于连接外围设备(诸如硬盘控制器、网络适配器和图形适配器)的合适的i/o总线通常包括公共协议，诸如外围组件互连(pci)。附加的输入/输出设备被示出为经由用户接口适配器428和显示适配器432连接到系统总线433。键盘429、鼠标430和扬声器431(或其他合适的输入和/或输出，诸如信息娱乐系统的触摸屏)可以经由用户接口适配器428互连到系统总线433，用户接口适配器428可以包括例如将多个设备适配器集成到单个集成电路中的超级i/o芯片。摄像头120-123、130-133中的一个或多个也连接到系统总线433。
67.在本公开的一些方面，处理系统400包括图形处理单元437。图形处理单元437是专用电子电路，其被设计为操纵和改变存储器以加速帧缓冲器中旨在输出到显示器的图像的创建。通常，图形处理单元437在操纵计算机图形和图像处理方面非常有效，并且具有高度并行的结构，这使得它比用于并行完成大数据块的处理的算法的通用cpu更有效。
68.因此，如本文所配置的，处理系统400包括处理器421形式的处理能力、包括系统存储器(例如，ram 424)和大容量存储器434的存储能力、诸如键盘429和鼠标430的输入装置、以及包括扬声器431和显示器435的输出能力。在本公开的一些方面，系统存储器(例如，ram 424)的一部分和大容量存储434共同存储操作系统440以协调处理系统400中所示的各种组件的功能。
69.已经出于说明的目的呈现了对本公开的各种示例的描述，但并不旨在穷举或限于所公开的实施例。在不脱离所描述的技术的范围和精神的情况下，许多修改和变化对于本领域普通技术人员将是显而易见的。选择本文使用的术语是为了最好地解释本技术的原理、实际应用或对市场中发现的技术的技术改进，或者使本领域普通技术人员能够理解本文公开的技术。
70.虽然已经参考示例性实施例描述了上述公开，但是本领域技术人员将理解，在不脱离其范围的情况下，可以进行各种改变并且可以用等同物替换其元件。另外，在不脱离本公开的基本范围的情况下，可以进行许多修改以使特定情况或材料适应本公开的教导。因此，本技术旨在不限于所公开的特定实施例，而是将包括落入本技术的范围内的所有实施例。