预测对象的轨迹的方法和系统与流程

1.本公开涉及预测对象的轨迹的方法和系统，例如用于确定对象的预测轨迹的参数化的多个参数的方法和系统。


背景技术：

2.对象跟踪是例如在至少部分自主驾驶车辆中的基本功能。
3.通过雷达数据进行多对象跟踪的常规方法执行聚类以将单点检测组合到对象提议(object proposal)中，然后使用具有适当运动模型的递归滤波来产生对象轨迹。因此，将跟踪问题分成运动预测以及检测到的对象与现有对象轨迹的数据关联。由于雷达数据的噪声量(noisiness)和稀疏性，常规方法通常存在将目标与背景区分开以及正确估计目标尺寸和旋转的问题，特别是在目标静止时。
4.因此，需要提供更可靠且高效的对象跟踪。


技术实现要素：

5.本公开提供了一种计算机实现方法、计算机系统、车辆以及非暂时性计算机可读介质。实施方式是在说明书和附图中给出的。
6.在一个方面，本公开涉及一种预测对象的轨迹的计算机实现方法，所述方法包括由计算机硬件组件执行(换句话说：实行)的以下步骤：获取对象的雷达数据；以使用递归分量的残差骨干(residual backbone)为基础，基于雷达数据来确定第一中间数据；使用特征金字塔(feature pyramid)，基于第一中间数据来确定第二中间数据；以及基于第二中间数据来预测对象的轨迹。根据各种实施方式，对象的雷达数据包括雷达立方体数据和雷达点数据中的至少一者。
7.换句话说，该方法可以提供雷达数据的多对象跟踪方法，该方法将多个方法组合到递归卷积一步特征金字塔网络(recurrent convolutional one-stage feature pyramid network)中，并且对雷达数据(例如，雷达点云数据或雷达立方体数据)联合地执行检测和运动预测，以解决跟踪任务。
8.雷达立方体数据也可以被称为雷达数据立方体。
9.根据各种实施方式，可以提供一种网络，该网络使用雷达数据作为输入，通过多个中间网络层传播数据，这些中间网络层将来自不同时间点的不同扫描的信息部分地彼此相关以生成中间数据(例如，使用递归卷积神经元网络)。该网络可以使用金字塔结构来处理所述中间数据，并且生成新的中间数据，并最终使用该中间数据来检测对象并预测各个对象的轨迹。
10.根据各种实施方式，输入数据可以包括或可以是雷达立方体数据，并且网络层可以用于将输入数据传播和变换至期望的输出数据域。
11.根据各种实施方式，输入数据可以包括或可以是作为雷达数据的输入表示的雷达点数据。
12.这可以提供一种对象检测和运动轨迹预测的高效且可靠的方式。
13.根据另一方面，所述计算机实现方法还包括由所述计算机硬件组件执行的以下步骤：使用回归头(regression head)，基于第二中间数据来确定第三中间数据；以及基于第三中间数据来预测对象的轨迹。
14.根据另一方面，所述计算机实现方法还包括由所述计算机硬件组件执行的以下步骤：使用分类头(classification head)，基于第二中间数据来确定第四中间数据；以及基于第四中间数据来预测对象的轨迹。
15.应理解，可以基于第三中间数据和第四中间数据来预测对象的轨迹。
16.可以将分类头用于获得类别信息，诸如实际对象当前驻留在预定锚位置中的哪个锚位置处，以及这些对象属于哪些类(例如行人、车辆等)。回归头可以提供连续的信息(诸如对象的精确位置、尺寸以及随着时间的旋转)，并因此可以只负责执行运动预测。因此，分类头可以只参与预测/轨迹片段(tracklet)的生成，只要它指示回归头的输出图内的哪些位置包含属于实际对象的信息即可。
17.根据另一方面，预测轨迹的步骤包括：确定多个时间步的轨迹片段。轨迹片段可以包括仅针对有限或少量时间步(例如3个，或者例如5个)的预测轨迹，然后可以使用该(从不同的时间步开始的)预测轨迹来确定较长的轨迹。
18.根据另一方面，使用递归分量的残差骨干包括如下残差骨干：该残差骨干前面是递归层堆栈。
19.根据另一方面，使用递归分量的残差骨干包括如下递归残差骨干：该递归残差骨干包括多个递归层。已经发现，在骨干中提供多个递归层通过允许该网络在多个尺度上融合时间信息而提高了性能。
20.根据另一方面，所述多个递归层包括：卷积长短期记忆网络(convolutional long short-term memory)，之后是卷积，之后是归一化。
21.根据另一方面，所述多个递归层包括：卷积，之后是归一化，之后是整流线性单元，之后是卷积长短期记忆网络，之后是卷积，之后是归一化。
22.根据另一方面，递归分量包括每时间帧执行一次的递归循环。已经发现这可以提供高效的处理。
23.根据另一方面，递归分量在时间帧之间保持隐藏态。这可以规定的是，该方法(或该方法中使用的网络)可以学习使用来自任意远的时间点的信息，并且不需要缓冲和堆叠过去的传感器读数来操作该方法或网络。
24.根据另一方面，特征金字塔包括转置跨步卷积(transposed strided convolution)。这可以增加特征的丰富性。
25.根据另一方面，所述方法的训练包括将训练数据集划分成多个子集和/或保留优化步骤之间的隐藏态。这可以提高所述方法在同一记忆约束内对时间相关性进行建模的能力。
26.在一个方面，本公开涉及一种用于确定对象的预测轨迹的参数化的多个参数的计算机实现方法，所述方法包括由计算机硬件组件执行(换句话说：实行)的以下步骤：获取所述对象的雷达数据；以使用递归分量的残差骨干为基础，基于所述雷达数据来确定第一中间数据；使用特征金字塔，基于所述第一中间数据来确定第二中间数据；以及基于所述第二
中间数据来确定所述多个参数。根据各种实施方式，所述对象的所述雷达数据包括雷达数据立方体和雷达点数据中的至少一者。
27.轨迹可以理解成随时间变化的特性(例如位置或取向/方向)。
28.换句话说，该方法可以提供用于雷达数据的多对象跟踪方法。该方法可以将多个方法组合到递归卷积一步特征金字塔网络中，并且对雷达数据(例如，雷达点云数据或雷达数据立方体)联合地执行检测和运动预测，以解决跟踪任务。
29.根据各种实施方式，可以提供一种神经/神经元网络，该神经/神经元网络使用雷达数据作为输入，通过多个中间网络层传播数据，所述多个中间网络层将来自时间上不同的扫描的信息彼此部分地相关以生成中间数据(例如使用递归卷积神经元网络)。该网络可以使用金字塔结构来处理所述中间数据并生成新的中间数据，并且最终使用该中间数据来检测对象并预测各个对象的轨迹。
30.根据各种实施方式，输入数据可以包括或可以是雷达数据立方体，并且网络层可以用于将输入数据传播和变换至期望的输出数据域。
31.根据各种实施方式，输入数据可以包括或可以是作为雷达数据的输入表示的雷达点数据。
32.这可以提供一种对象检测和运动轨迹预测的高效且可靠的方式。
33.根据另一方面，参数化包括预定次数的多项式；并且所述参数包括与所述预定次数的多项式的多项式空间的基的元素相关的多个系数。该方法可以为deeptracker提供多项式预测。
34.根据另一方面，所述基的元素包括单项式。单项式可以包括“1”、“x”、“x
2”、
…
、直到预定次数。
35.多项式可以是时间的函数(因此x是可变时间值)。
36.根据另一方面，所述参数化包括：第一参数化，所述第一参数化将所述对象的位置轨迹参数化；以及第二参数化，所述第二参数化将所述对象的取向参数化。已经发现，不仅位置轨迹可以被参数化，而且取向轨迹也可以被参数化。
37.速度可以被估计(例如经由微分)。
38.根据各种实施方式，可以提供一种网络，该网络使用雷达数据作为输入，通过多个中间网络层传播数据，这些中间网络层将来自不同时间点的不同扫描的信息部分地彼此相关以生成中间数据(例如，使用递归卷积神经元网络)。该网络可以使用金字塔结构来处理所述中间数据，并且生成新的中间数据，并最终使用该中间数据来检测对象并预测各个对象的轨迹。
39.根据各种实施方式，输入数据可以包括或可以是雷达数据立方体，并且网络层可以用于将输入数据传播和转换到期望的输出数据域。
40.根据各种实施方式，输入数据可以包括或可以是作为雷达数据的输入表示的雷达点数据。
41.根据另一个方面，计算机实现方法还可以包括由计算机硬件组件执行的以下步骤：使用回归头，基于所述第二中间数据来确定第三中间数据；以及基于所述第三中间数据来确定所述参数。
42.回归头可以提供连续的信息(诸如对象的精确位置、尺寸以及随着时间的旋转)，
并因此可以只负责执行运动预测。因此，分类头可以只参与预测/轨迹片段的生成，只要它指示回归头的输出图内的哪些位置包含属于实际对象的信息即可。
43.根据另一方面，使用递归分量的残差骨干包括如下残差骨干：该残差骨干前面是递归层堆栈。
44.根据另一方面，使用递归分量的残差骨干包括如下递归残差骨干：该递归残差骨干包括多个递归层。已经发现，在骨干中提供多个递归层通过允许该网络在多个尺度上融合时间信息而提高了性能。
45.根据另一方面，所述多个递归层包括：卷积长短期记忆网络，之后是卷积，之后是归一化。
46.根据另一方面，所述多个递归层包括：卷积，之后是归一化，之后是整流线性单元，之后是卷积长短期记忆网络，之后是卷积，之后是归一化。
47.根据另一方面，递归分量包括每时间帧执行一次的递归循环。已经发现这可以提供高效的处理。
48.根据另一方面，递归分量在时间帧之间保持隐藏态。这可以规定的是，该方法(或该方法中使用的网络)可以学习使用来自任意远的时间点的信息，并且不需要缓冲和堆叠过去的传感器读数来操作该方法或网络。
49.根据另一方面，特征金字塔包括转置跨步卷积。这可以增加特征的丰富性。
50.根据另一方面，所述方法的训练包括将训练数据集划分成多个子集和/或保留优化步骤之间的隐藏态。这可以提高所述方法在同一记忆约束内对时间相关性进行建模的能力。
51.在另一方面，本公开涉及一种计算机系统，所述计算机系统包括多个计算机硬件组件，所述多个计算机硬件组件被配置成执行本文所描述的计算机实现方法的若干或所有步骤。
52.该计算机系统可以包括多个计算机硬件组件(例如，处理器(例如处理单元或者处理网络)、至少一个存储器(例如，存储单元或存储网络)、以及至少一个非暂时性数据存储装置)。应理解，可以提供另外的计算机硬件组件并用于在计算机系统中执行所述计算机实现方法的步骤。该非暂时性数据存储装置和/或存储单元可以包含计算机程序，该计算机程序用于指示计算机例如使用所述处理单元和所述至少一个存储单元来执行本文所描述的计算机实现方法的若干或所有步骤或各方面。
53.在另一方面，本公开涉及一种至少包括所述计算机系统的子集的车辆。
54.在另一方面，本公开涉及一种非暂时性计算机可读介质，该非暂时性计算机可读介质包含用于执行本文所描述的计算机实现方法的若干或所有步骤或各方面的指令。该计算机可读介质可以被配置成：诸如光盘或数字通用盘(dvd)的光学介质；诸如硬盘驱动器(hdd)的磁介质；固态驱动器(ssd)；诸如闪速存储器的只读存储器(rom)；等等。此外，该计算机可读介质可以被配置成可以经由诸如互联网连接的数据连接来访问的数据存储装置。计算机可读介质例如可以是在线数据存储库或云存储。
55.本公开还涉及一种计算机程序，该计算机程序用于指示计算机执行本文所描述的计算机实现方法的若干或所有步骤或各方面。
56.根据各个方面或实施方式的方法和装置提供了一种用于雷达的深度多对象跟踪
器。
57.该跟踪器是一步递归卷积神经网络，它对雷达数据(例如，雷达点云数据或雷达立方体数据)执行密集检测和运动预测。该跟踪器可以一次对单个数据帧进行操作，并且可以持续更新过去信息的记忆。
58.将网络在各个帧预测的运动预测信息进行组合以产生对象轨迹。
59.该系统主要混合和改进了三种最近的深度学习系统：retinanet(其是基于锚的特征金字塔检测网络)、fast&furious(其是基于预测的跟踪网络)、以及deeptracking(其是递归占用预测网络)。
附图说明
60.本文结合以下附图对本公开的示例性实施方式和功能进行描述，附图示意性地示出了：
61.图1是根据各种实施方式的网络架构的例示图；
62.图2是根据各种实施方式的网络架构的例示图；
63.图3是如图2所示的递归残差骨干202的递归残差块设计的例示图；
64.图4是如图2所示的递归残差骨干202的递归残差块设计的例示图400；
65.图5是根据各种实施方式的如何确定轨迹的例示图；
66.图6是根据各种实施方式的预测对象的轨迹的方法的例示图；
67.图7是根据各种实施方式的在训练配置中使用多项式表示的deeptracker的例示图；以及
68.图8是例示了根据各种实施方式的用于确定对象的预测轨迹的参数化的多个参数的方法的流程图。
具体实施方式
69.根据各种实施方式，可以将深度学习方法(包括卷积(人工)神经网络)应用于使用雷达数据的检测和跟踪问题。各种实施方式可以使用或增强深度学习方法，例如，retinanet、fast&furious跟踪器以及deep tracking。
70.基于锚的一步检测网络retinanet使用在resnet骨干之上进行高效多尺度检测的卷积特征金字塔以及被称为“焦点损失(focal loss)”的二元交叉熵的扩展(其通过直观加权方案来强调困难示例)。retinanet专为视觉设计，并且不执行跟踪或利用时间线索，而时间线索对雷达数据至关重要。
71.fast&furious跟踪器是被设计用于对lidar(光检测和测距)数据进行操作的基于锚的一阶段网络。fast&furious通过学习为所有检测到的目标生成固定长度的运动预测并且然后进行登记并将最终所得的轨迹片段(即，只有少量时间步的轨迹)组合成完整轨迹来执行跟踪。fast&furious通过对多个数据帧的堆叠表示执行3d(三维)卷积来利用时间信息。因此，时间信息限于五个最近的帧。而且，fast&furious缺乏特征金字塔，从而限制了场景上下文的影响。
72.deeptracking是递归卷积网络，它使用门控递归单元(gru)来根据由lidar扫描提供的部分证据完成并前向预测占用和语义图。然而，deeptracking不会在空间或时间上将
来自这些图的信息合并成对象身份。而且，它通过在没有数据的情况下继续递归循环来执行前向预测，而这需要重置递归状态，并且每次要创建预测时都需要将最近帧的历史馈入该网络。
73.根据各种实施方式，可以将前述方法混合到递归卷积一阶段特征金字塔网络中，该网络对雷达点云数据联合地执行检测和运动预测，以解决跟踪任务。如下面更详细描述的，对网络细节进行了多个改进，以改进在雷达领域使用的系统。利用卷积神经网络的强大，经典方法可以在不需要复杂的滤波方法或明确的运动模型的情况下取得显著的效果，特别是对于静止目标来说。
74.关于递归层和骨干，根据各种实施方式，retinanet的resnet骨干可以通过以下方式来进行增强：引入类似于deeptracking的卷积递归层作为骨干的主要部分之前的单独网络块(如图1所示)，或者将递归层引入包含它的残差块中(如图2所示)，从而创建递归残差块(例如，如图3所示或如图4所示)。
75.图1示出了根据各种实施方式的网络架构的例示图100。递归层堆栈102之后是残差骨干104和特征金字塔106。特征金字塔106之后是回归头108和分类头110。
76.图2示出了根据各种实施方式的网络架构的例示图200。递归残差骨干202之后是特征金字塔106(该特征金字塔可以与图1所示的特征金字塔106相似或相同)。特征金字塔106之后是回归头108和分类头110(与图1所示的网络架构相似或相同)。
77.图2的网络架构通过允许该网络在多个尺度上融合时间信息来提高性能(然而，可能以增加运行时间为代价)。
78.根据各种实施方式，可以对该网络进行训练和操作，使得递归循环必须每帧只执行一次，同时在帧之间保持隐藏态。这可以规定，该网络可以学习使用来自任意远的时间点的信息，并且不需要缓冲和堆叠过去的传感器读数来对该网络进行操作。
79.图3示出了如图2所示的递归残差骨干202的递归残差块设计的例示图300。递归残差块的输入数据302可以是描绘场景的鸟瞰图的二维多通道特征图的时间序列(例如，形状为“时间步
×
高度
×
宽度
×
通道”的张量，这是因为可以将它用于递归卷积网络)。由于骨干是由这些块中的多个块组成的，因此块的特定输入可以是先前块的输出，或者在第一个块的情况下是骨干本身的输入。
80.根据各种实施方式，骨干本身的输入可以是通过将各个点检测指派给二维网格中的最近的位置来直接根据雷达点云生成的特征图。单独针对各个雷达传感器，特征图的通道可以填充有信息，诸如被指派给该位置的点数以及所指派点的平均多普勒和rcs(雷达截面积)值。
81.在另选实施方式中，骨干本身的输入可以是原始雷达数据立方体，可以经由专门的子网络将该原始雷达数据立方体转换成合适的特征图。使用数据立方体作为输入以及相关子网络被作为欧洲专利申请20187674.5的一部分进行了详细说明，出于所有目的将其全部内容并入本文。
82.可以将输入数据302提供给卷积lstm(长短期记忆网络)304(例如，具有n个滤波器，内核大小为3x3，其中n可以是整数)，之后是卷积306(例如，具有n个滤波器，内核大小为3x3)，之后是归一化308。可以将输入数据302和归一化308的输出提供给处理块310(例如，提供给加法器)，并且可以将结果提供给整流线性单元(relu)312。
83.图4示出了如图2所示的递归残差骨干202的递归残差块设计的例示图400。可以将输入数据302提供给卷积402(例如，具有n/4个滤波器，内核大小为1x1)、之后是归一化404、之后是整流线性单元(relu)406、之后是卷积lstm 408(例如，具有n/4个滤波器，内核大小为3x3)、之后是卷积410(例如，具有n个滤波器，内核大小为1x1)、之后是归一化308。可以将输入数据302和归一化308的输出提供给处理块310(例如，提供给加法器)，并且可以将结果提供给整流线性单元(relu)312。
84.关于特征金字塔和网络头(network head)(例如，回归头和分类头)，递归骨干之后可以是特征金字塔和用于分类和回归的网络头，例如，类似于retinanet。根据各种实施方式，可以修改回归头以按照fast&furious的方式执行运动预测。由此，可以将fast&furious的跟踪能力与retinanet的多尺度检测和场景上下文的益处相结合，同时由递归骨干来提供时间信息。
85.根据各种实施方式，前向预测是由回归头来处理的(而不是像deeptracking那样由递归循环来处理的)。操作递归层的这种方式可以容易且高效地以各个帧来生成运动预测。
86.根据各种实施方式，可以将gru层替换成长短期记忆网络(lstm)，lstm在对雷达领域中至关重要的时间相关性进行建模方面可能会更好。
87.根据各种实施方式，可以将递归层中扩张的3x3内核替换成常规的5x5内核，以抵消雷达数据的稀疏性。
88.根据各种实施方式，可以将特征金字塔中的最近邻上采样替换成转置跨步卷积，以使操作可学习，而这可以增加特征的丰富性。最近邻上采样可以例如通过在各个方向上按照期望的上采样率复制像素信息来提高空间分辨率。在另选方法中，上采样可由转置跨步卷积来提供，该转置跨步卷积可以根据经学习的卷积滤波器将来自较低分辨率输入图中的信息分布在较高分辨率输出图中。这可以在如何排列和组合信息方面提供更大的自由，并且可以允许该网络以每通道为基础来选择更适合所学习的特征的类型的上采样方案，而这可以提高性能。
89.根据各种实施方式，可以使用在多个旋转时使用边界框先验(bounding box prior)的自定义锚设计，这可以使目标更容易分离并且旋转估计更稳定。
90.根据各种实施方式，可以修改焦点损失，以使通过焦点权重的总和(而不是通过前景锚的数量)对该焦点损失进行归一化，这可以使针对异常值帧(outlier frame)的训练稳定化。
91.根据各种实施方式，可以提供将数据集划分成数据的迷你序列并且保留优化步骤之间的隐藏态的训练方案，这可以提高该网络在同一记忆约束内对时间相关性进行建模的能力。
92.图5示出了根据各种实施方式的如何例如基于如图1和图2所示的回归头108和分类头110来确定轨迹的例示图500。如图5的左侧部分502所示，可以确定预测轨迹片段(换句话说：仅有限或少量时间步(例如三个时间步，或者例如五个时间步)的预测轨迹)，并且基于多个轨迹片段(具有不同的起始时间步)，可以确定或解码轨迹(多于所述少量时间步的轨迹)，如图5的右侧部分514所示。
93.例如，在502中例示了从t＝0开始的第一轨迹片段、从t＝1开始的第二轨迹片段、
以及从t＝2开始的第三轨迹片段。如504所示，在时间步t＝0，只有第一轨迹片段的信息可用。在时间步t＝1(506)，来自第一轨迹片段和第二轨迹片段的信息可用。在时间步t＝2(508)，来自第一轨迹片段、第二轨迹片段以及第三轨迹片段的信息可用。在时间步t＝3(510)，来自第一轨迹片段的信息不再可用(因为第一轨迹片段在长度上只有三个时间步)，但是来自第二轨迹片段和第三轨迹片段的信息可用。在时间步t＝4(512)，来自第二轨迹片段的信息不再可用(因为第二轨迹片段在长度上只有三个时间步)，但是来自第三轨迹片段的信息可用。
94.图6示出了根据各种实施方式的预测对象的轨迹的方法的例示图600。在602，可以获取对象的雷达数据。在604，可以以使用递归分量的残差骨干为基础，基于雷达数据来确定第一中间数据。在606，可以使用特征金字塔，基于第一中间数据来确定第二中间数据。在608，可以基于第二中间数据来预测对象的轨迹。
95.根据各种实施方式，对象的雷达数据包括雷达立方体数据和雷达点数据中的至少一者。
96.根据各种实施方式，可以使用回归头，基于第二中间数据来确定第三中间数据，并且可以(进一步)基于第三中间数据来预测对象的轨迹。
97.根据各种实施方式，可以使用分类头，基于第二中间数据来确定第四中间数据，并且可以(进一步)基于第四中间数据来预测对象的轨迹。
98.根据各种实施方式，预测轨迹的步骤可以包括：确定多个时间步的轨迹片段。
99.根据各种实施方式，使用递归分量的残差骨干可以包括或可以是：前面是递归层堆栈的残差骨干。
100.根据各种实施方式，使用递归分量的残差骨干可以包括或可以是：包括多个递归层的递归残差骨干。
101.根据各种实施方式，所述多个递归层可以包括或可以是：卷积长短期记忆网络，之后是卷积，之后是归一化。
102.根据各种实施方式，所述多个递归层可以包括或可以是：卷积，之后是归一化，之后是整流线性单元，之后是卷积长短期记忆网络，之后是卷积，之后是归一化。
103.根据各种实施方式，递归分量可以包括或可以是每时间帧执行一次的递归循环。
104.根据各种实施方式，递归分量可以在时间帧之间保持隐藏态。
105.根据各种实施方式，特征金字塔可以包括转置跨步卷积。
106.根据各种实施方式，所述方法的训练可以包括将训练数据集划分成多个子集和/或保留优化步骤之间的隐藏态。
107.上述步骤602、604、606、608以及进一步的步骤中的各个步骤可以由计算机硬件组件来执行。
108.在欧洲专利申请20187694.3中，公开了对通过使用同时执行对象检测和短期(若干帧)运动预测的深度神经网络的方法的改进，出于所有目的将该欧洲专利申请的全部内容并入本文并且其可以被称为雷达的深度多对象跟踪器(简称deeptracker)。运动预测可以用于在简单的后处理步骤中执行对象信息的交叉帧关联和聚合，从而允许有效的对象跟踪和时间平滑。
109.deeptracker可以显著优于传统的跟踪方法，部分是因为deeptracker不依赖于显
式运动模型，而是自动学习适当的运动模型。它将前向预测直接输出为固定尺寸的边界框的时间序列，这可能意味着如下情况：
110.1)预测本质上是时间离散的，具有有限的预测范围。
111.2)可能预测的空间可以具有比任何实际运动模型多的自由度。因此，预测可能表示不稳定的轨迹，使得易于过拟合真值中的噪声和错误。
112.3)对象速度必须作为单独的输出进行回归，或者从一系列离散的位置预测粗略地估计。
113.在欧洲专利申请19219051.0中给出了一种用于将时间连续的网络输出公式化的方式，出于所有目将该欧洲专利申请的全部内容并入本文并且其可以被称为连续多项式路径预测，其中，网络将描述对象随时间变化的二维位置的多项式函数参数化。该技术用于基于现有的检测在对象自身坐标系内对各个对象执行长期(例如几秒长的)运动预测。
114.根据各种实施方式，deeptracker被修改成使得其将系数提供给时间连续多项式函数，而不是直接输出边界框的时间序列，该时间连续多项式函数以连续多项式路径预测的方式描述边界框的时间演变。这可能导致以下情况：
115.1)预测是连续的，对预测范围没有任何具体限制，因此可以在任意时间点进行评估。
116.2)虽然网络仍然不限制于特定运动模型，但是它被限制于产生时间上平滑的预测，从而排除了不切实际的轨迹。
117.3)经由描述位置的多项式的微分可以容易地获得对象速度的估计。
118.图7示出了根据各种实施方式的在训练配置中使用多项式表示的deeptracker的例示图700。回归头子网络702可以输出位置系数704、方向系数716和尺寸信息722(其中，尺寸可以指对象的边界框的二维范围(长度和宽度)；因为不期望该尺寸随时间改变，所以不将该尺寸表示成时间序列或多项式，这与随时间改变的位置、方向和速度不同。
119.位置系数704可以经历多项式求值706以获得位置时间序列708，该位置时间序列708可以是回归损失724的输入。
120.位置系数704可以进一步经历微分710(以便获得速度的系数)，然后经微分的系数可以经历多项式求值712以获得速度时间序列714，该速度时间序列714也可以是回归损失724的输入。
121.方向系数716可以经历多项式求值718以获得方向时间序列720，该方向时间序列720可以是回归损失724的输入。
122.尺寸信息722可以是回归损失724的另一输入。
123.表示的这种改变在计算上可能是高效的，并且不会使网络优化复杂化。由于多项式函数的求值是可微的，所以可以在真值信息可用的时间点计算具体边界框，并且可以使用标准损失来训练端到端网络。边界框可以从多项式函数计算(例如经由简单的多项式求值)。然后，可以对照真值边界框来评估这些边界框，从而产生误差损失项。通过模型传播该误差损失的梯度，实现学习。梯度的反向传播过程可能需要可微分算子。
124.由于参数化表示(例如使用多项式)可能限制可能轨迹的空间，所以它可能对模型具有强的正则化效果。由于以下两个原因，参数化表示还进一步提高了统计效率。
125.1)模型参数的数量不是利用预测中的离散时间点的数量来缩放，而是仅利用所选
择的多项式次数来缩放。例如，对于以20hz运行的系统，准确表示某一时间序列所需的多项式次数可能远低于该时间序列中的帧数。
126.2)位置和速度真值信息二者可以为同一基础函数提供梯度信号。
127.许多专用于多项式函数优化的技术(特别是在联合检测和跟踪网络的背景下)是从连续多项式路径预测发展或调整的，以进一步提高性能。下面将描述这些技术。
128.这些技术可以提高神经网络中基于多项式的运动预测和速度估计的性能。因此，这些技术可以应用于结合有基于多项式的运动预测和速度估计的任何神经网络跟踪系统。
129.为了确保多项式函数在相关时间跨度内的有利行为，训练期间的真值的预测范围可以被选择成扩展超过稍后建设性地用于跟踪的点。根据各种实施方式，该范围可以以两种方式扩展，这意味着多项式模型可以被训练成相对于当前帧来预测过去，以确保多项式围绕其对当前的预测表现良好。
130.由于速度被确定成位置的导数，所以可以使用相同的空间单位。因此，多项式的时间单位可以被仔细地选择成使得位置和速度具有相似的绝对标度，从而允许目标分布的联合白化，这对于神经网络优化是至关重要的。时间单位的选择可以取决于位置和速度的总标准偏差，因此是数据集相关的。例如，时间单位可以是大约1/10秒(或2帧)。位置和速度的标度可以凭经验确定，并且时间单位可以被调整成使位置和速度的标度相等，使它们的分布然后可以在不干扰它们的关系的情况下被白化。
131.根据各种实施方式，对于训练期间的各个真值预测，出于正则化目的，可以选择预测范围内的所有可用预测点的随机子集。
132.根据各种实施方式的连续网络输出可以应用于多个传感器之间的同步/融合。传感器可以在稍微不同的时间点发射，这意味着从这些传感器获得的用于同一“帧”的环境扫描实际上彼此具有小的时间偏移。因此，由许多系统做出的所有帧数据是同步的假设可能引入小的但是可能破坏性的误差。在时间连续的网络输出的情况下(例如，当针对各个传感器单独产生输出时)，对象信息可以被投影到任意时间点，从而允许更准确的同步，而不管传感器的时间未对准的性质。
133.图8示出了例示根据各种实施方式的用于确定对象的预测轨迹的参数化的多个参数的方法的流程图800。在802，可以获取对象的雷达数据。在804，可以以使用递归分量的残差骨干为基础，基于雷达数据来确定第一中间数据。在806，可以使用特征金字塔，基于第一中间数据来确定第二中间数据。在808，可以基于第二中间数据来确定多个参数。
134.根据各种实施方式，参数化可以包括或可以是预定次数的多项式；并且参数可以包括或可以是与预定次数的多项式的多项式空间的基的元素相关的多个系数。
135.根据各种实施方式，基的元素可以包括或可以是单项式。
136.根据各种实施方式，参数化可以包括或可以是：第一参数化，该第一参数化将对象的位置轨迹参数化；以及第二参数化，该第二参数化将对象的取向参数化。
137.根据各种实施方式，对象的雷达数据可以包括或可以是雷达数据立方体和雷达点数据中的至少一者。
138.根据各种实施方式，该方法还可以包括：使用回归头，基于所述第二中间数据来确定第三中间数据；以及基于所述第三中间数据来确定所述参数。
139.根据各种实施方式，使用递归分量的残差骨干可以包括或可以是如下残差骨干：
该残差骨干的前面是递归层堆栈；使用递归分量的残差骨干可以包括或可以是如下递归残差骨干：该递归残差骨干包括多个递归层。
140.根据各种实施方式，所述多个递归层可以包括或可以是：卷积长短期记忆网络，之后是卷积，之后是归一化；和/或所述多个递归层可以包括或可以是：卷积，之后是归一化，之后是整流线性单元，之后是卷积长短期记忆网络，之后是卷积，之后是归一化。
141.根据各种实施方式，所述递归分量可以包括或可以是每时间帧执行一次的递归循环。
142.根据各种实施方式，所述递归分量可以在时间帧之间保持隐藏态。
143.根据各种实施方式，特征金字塔可以包括或可以是转置跨步卷积。
144.根据各种实施方式，该方法的训练可以包括将训练数据集划分成多个子集和/或保留优化步骤之间的隐藏态。
145.上述步骤802、804、806、808以及进一步的步骤中的各个步骤可以由计算机硬件组件来执行。
146.标号列表
147.100
ꢀꢀꢀꢀꢀꢀ
根据各种实施方式的网络架构的例示图
148.102
ꢀꢀꢀꢀꢀꢀ
递归层堆栈
149.104
ꢀꢀꢀꢀꢀꢀ
残差骨干
150.106
ꢀꢀꢀꢀꢀꢀ
特征金字塔
151.108
ꢀꢀꢀꢀꢀꢀ
回归头
152.110
ꢀꢀꢀꢀꢀꢀ
分类头
153.200
ꢀꢀꢀꢀꢀꢀ
根据各种实施方式的网络架构的例示图
154.202
ꢀꢀꢀꢀꢀꢀ
递归残差骨干
155.300
ꢀꢀꢀꢀꢀꢀ
如图2所示的递归残差骨干的递归残差块设计的例示图
156.302
ꢀꢀꢀꢀꢀꢀ
输入数据
157.304
ꢀꢀꢀꢀꢀꢀ
卷积lstm
158.306
ꢀꢀꢀꢀꢀꢀ
卷积
159.308
ꢀꢀꢀꢀꢀꢀ
归一化
160.310
ꢀꢀꢀꢀꢀꢀ
处理块
161.312
ꢀꢀꢀꢀꢀꢀ
整流线性单元
162.400
ꢀꢀꢀꢀꢀꢀ
如图2所示的递归残差骨干的递归残差块设计的例示图
163.402
ꢀꢀꢀꢀꢀꢀ
卷积
164.404
ꢀꢀꢀꢀꢀꢀ
归一化
165.406
ꢀꢀꢀꢀꢀꢀ
整流线性单元
166.408
ꢀꢀꢀꢀꢀꢀ
卷积lstm
167.410
ꢀꢀꢀꢀꢀꢀ
卷积
168.500
ꢀꢀꢀꢀꢀꢀ
根据各种实施方式的如何确定轨迹的例示图
169.502
ꢀꢀꢀꢀꢀꢀ
左侧部分
170.504
ꢀꢀꢀꢀꢀꢀ
时间步t＝0的轨迹片段
171.506
ꢀꢀꢀꢀꢀꢀ
时间步t＝1的轨迹片段
172.508
ꢀꢀꢀꢀꢀꢀ
时间步t＝2的轨迹片段
173.510
ꢀꢀꢀꢀꢀꢀ
时间步t＝3的轨迹片段
174.512
ꢀꢀꢀꢀꢀꢀ
时间步t＝4的轨迹片段
175.514
ꢀꢀꢀꢀꢀꢀ
右侧部分
176.600
ꢀꢀꢀꢀꢀꢀ
根据各种实施方式的预测对象的轨迹的方法的例示图
177.602
ꢀꢀꢀꢀꢀꢀ
获取对象的雷达数据的步骤
178.604
ꢀꢀꢀꢀꢀꢀ
以使用递归分量的残差骨干为基础，基于雷达数据来确定第一中间数据的步骤
179.606
ꢀꢀꢀꢀꢀꢀ
使用特征金字塔，基于第一中间数据来确定第二中间数据的步骤
180.608
ꢀꢀꢀꢀꢀꢀ
基于第二中间数据来预测对象的轨迹的步骤
181.700
ꢀꢀꢀꢀꢀꢀ
根据各种实施方式的在训练配置中使用多项式表示的deeptracker的例示图
182.702
ꢀꢀꢀꢀꢀꢀ
回归头子网络
183.704
ꢀꢀꢀꢀꢀꢀ
位置系数
184.706
ꢀꢀꢀꢀꢀꢀ
多项式求值
185.708
ꢀꢀꢀꢀꢀꢀ
位置时间序列
186.710
ꢀꢀꢀꢀꢀꢀ
微分
187.712
ꢀꢀꢀꢀꢀꢀ
多项式求值
188.714
ꢀꢀꢀꢀꢀꢀ
速度时间序列
189.716
ꢀꢀꢀꢀꢀꢀ
方向系数
190.718
ꢀꢀꢀꢀꢀꢀ
多项式求值
191.720
ꢀꢀꢀꢀꢀꢀ
方向时间序列
192.722
ꢀꢀꢀꢀꢀꢀ
尺寸信息
193.724
ꢀꢀꢀꢀꢀꢀ
回归损失
194.800
ꢀꢀꢀꢀꢀꢀ
例示了根据各种实施方式的用于确定对象的预测轨迹的参数化的多个参数的方法的流程图
195.802
ꢀꢀꢀꢀꢀꢀ
获取对象的雷达数据的步骤
196.804
ꢀꢀꢀꢀꢀꢀ
以使用递归分量的残差骨干为基础，基于雷达数据来确定第一中间数据的步骤
197.806
ꢀꢀꢀꢀꢀꢀ
使用特征金字塔，基于第一中间数据来确定第二中间数据的步骤
198.808
ꢀꢀꢀꢀꢀꢀ
基于第二中间数据来确定多个参数的步骤。