一种轨迹预测系统及方法与流程

1.本发明涉及自动驾驶技术领域，特别涉及一种轨迹预测系统及方法。


背景技术：

2.轨迹预测是自动驾驶领域的基本任务之一，其目的在于预测自身车辆周围其他智能体的未来位置，以便在下游模块中生成安全有效的驾驶计划。目前多采用基于深度学习的方法单轨迹预测。所述基于深度学习的方法，诸如sota方法遵循编码器-解码器范式，即编码器将所有车辆的历史状态，如位置、速度、航向等和高精地图中的车道、道路线、交通灯等信息作为输入，并为每个车辆输出一个表征向量。然后将这些向量作为输入，通过解码器为每个车辆预测多步未来位置。
3.所述编码器可以采用cnn网络，例如lanegcn是通对过四个不同的图卷积网络(gcn)层对场景进行编码。在其他一些研究中，也有一些其他的编码方法，例如pgp采用了遍历车道图的方法以合并车道拓扑，而lapred将注意力机制应用于车道。hivt设计了一种分层方式来有效地聚合本地和全局信息。scene transformer以分解的方式对空间和时间信息进行编码，hdgt将驾驶场景建模为异构图。tpcn及其扩展dcms以点云的形式对场景进行编码，并在池化实例向量上应用mlp以生成未来轨迹。vectornet将智能体和车道编码为全局图上的向量，并使用mlp根据相应的智能体向量解码未来轨迹。它的扩展tnt和densetnt以两阶段的方式生成轨迹：第一阶段旨在预测智能体的目标/目标，第二阶段旨在完成以mlp预测终点为条件的整个轨迹。gohome及其扩展thomas输出目标热图，然后根据所选目标对轨迹进行采样。lanercnn也遵循基于目标的预测框架，但它们使用多项式先验完成轨迹，并使用mlp来细化折线。在plop中，未来坐标的分布均值是在时间4次多项式中生成的。在最近的研究multipath++中，则表明多项式表示和控制信号表示与直接回归坐标相比会导致性能退化。
4.如前所示，现有的大多数轨迹预测方法中，所述解码器通常包括多层感知机(mlp)，其直接输出tx2张量。尽管采用mlp解码器的模型在多个数据集的排行榜上占据主导地位，但是由于mlp的输出神经元之间没有直接关联，因此其忽略了不同未来时间步之间的相关性。


技术实现要素：

5.针对现有技术中的部分或全部问题，本发明一方面提供一种轨迹预测系统，包括：
6.粗略轨迹生成模块，其用于根据车辆表征向量粗略估计车辆未来多个时间步的位置，形成粗略轨迹；
7.轨迹优化模块，其包括具有时间归纳偏差的结构，所述结构用于预测所述粗略轨迹中每个时间步的偏移量；以及
8.轨迹生成模块，其用于根据所述每个时间步的偏移量计算得到轨迹。
9.进一步地，所述粗略轨迹生成模块包括多层感知机。
10.进一步地，所述轨迹优化模块包括循环神经网络或1维卷积网络。
11.进一步地，所述轨迹生成模块包括积分电路，其用于对所述偏移量进行积分。
12.基于如前所述的轨迹预测系统，本发明另一方面提供一种轨迹预测方法，包括；
13.通过粗略轨迹生成模块，基于车辆表征向量生成粗略轨迹；
14.通过轨迹优化模块预测所述粗略轨迹中每个时间步的偏移量；以及
15.通过轨迹生成模块，根据所述每个时间步的偏移量计算得到轨迹。
16.进一步地，所述轨迹预测方法还包括：
17.计算所述轨迹生成模块输出的轨迹与真实轨迹之间的差别作为损失函数，以对所述轨迹预测系统进行迭代优化。
18.进一步地，所述车辆表征向量包括：
19.车辆历史状态信息，包括车辆位置、速度以及航向；以及
20.地图信息，包括车道信息、道路线以及交通灯状态信息。
21.进一步地，所述粗略轨迹的生成包括：
22.通过多层感知机，根据所述车辆表征向量，输出所述车辆未来多个时间步的位置。
23.进一步地，所述轨迹优化模块包括循环神经网络或1维卷积网络。
24.进一步地，所述轨迹的生成包括：
25.对所述每个时间步的偏移量进行积分，得到轨迹。
26.本发明提供的一种轨迹预测系统及方法，在现有的轨迹预测方法基础上，融合了两种利用时间相关性生成未来轨迹的方法。具体而言，所述系统及方法首先使用mlp生成粗略的轨迹，然后使用具有时间归纳偏差的结构来优化该粗略轨迹，进而提高模型的性能。此外，所述系统还包括轨迹生成模块，其提供包含时间先验的目标函数，将速度累加到位移中，仍然使用坐标作为目标函数，使得不同时刻的轨迹有了时间相关性，进而得到更好的预测。
附图说明
27.为进一步阐明本发明的各实施例的以上和其它优点和特征，将参考附图来呈现本发明的各实施例的更具体的描述。可以理解，这些附图只描绘本发明的典型实施例，因此将不被认为是对其范围的限制。在附图中，为了清楚明了，相同或相应的部件将用相同或类似的标记表示。
28.图1示出本发明一个实施例的一种轨迹预测系统的结构示意图；
29.图2示出本发明一个实施例的一种轨迹预测方法的流程示意图；以及
30.图3示出本发明一个实施例的一种轨迹预测方法的过程示意图。
具体实施方式
31.以下的描述中，参考各实施例对本发明进行描述。然而，本领域的技术人员将认识到可在没有一个或多个特定细节的情况下或者与其它替换和/或附加方法或组件一起实施各实施例。在其它情形中，未示出或未详细描述公知的结构或操作以免模糊本发明的发明点。类似地，为了解释的目的，阐述了特定数量和配置，以便提供对本发明的实施例的全面理解。然而，本发明并不限于这些特定细节。
32.在本说明书中，对“一个实施例”或“该实施例”的引用意味着结合该实施例描述的特定特征、结构或特性被包括在本发明的至少一个实施例中。在本说明书各处中出现的短语“在一个实施例中”并不一定全部指代同一实施例。
33.需要说明的是，本发明的实施例以特定顺序对方法步骤进行描述，然而这只是为了阐述该具体实施例，而不是限定各步骤的先后顺序。相反，在本发明的不同实施例中，可根据实际需求的调节来调整各步骤的先后顺序。
34.在本发明中，根据本发明的系统的各模块可以使用软降、硬件、固件或其组合来实现。当模块使用软件来实现时，可以通过计算机程序流程来实现模块的功能，例如模块可以通过存储在存储设备(如硬盘、内存等)中的代码段(如c、c++等语言的代码段)来实现，其中当所述代码段被处理器执行时能够实现模块的相应功能。当模块使用硬件来实现时，可以通过设置相应硬件结构来实现模块的功能，例如通过对现场可编程逻辑门阵列(fpga)等可编程器件进行硬件编程来实现模块的功能，或者通过设计包括多个晶体管、电阻和电容等电子器件的专用集成电路(asic)来实现模块的功能。当模块使用固件来实现时，可以将模块的功能以程序代码形式写入设备的诸如eprom或eeprom之类的只读存储器中，并且当所述程序代码被处理器执行时能够实现模块的相应功能。另外，模块的某些功能可能需要由单独的硬件来实现或者通过与所述硬件协作来实现，例如检测功能通过相应传感器(如接近传感器、加速度传感器、陀螺仪等)来实现，信号发射功能通过相应通信设备(如蓝牙设备、红外通信设备、基带通信设备、wi-fi通信设备等)来实现，输出功能通过相应输出设备(如显示器、扬声器等)来实现，以此类推。
35.现有的采用多层感知机mlp进行轨迹预测的方法，虽然在模拟仿真中可以取得较好的性能，但是其话、忽略了未来时间步之间的相关性。具体而言，从数学角度，可将将车辆的表征向量表示为h∈r，其包括周边环境、车辆以及自身状态信息，将其预测的未来轨迹表示为τ∈r，则所述未来轨迹τ可表示为：
36.τ＝w2δ(w1h).reshape(t，2)；
37.其中，δ()为非线性激活函数，例如可采用relu函数，w1、w2为权重矩阵，reshape()为转换函数，其用于将输出转换为t
×
2个数值，以契合轨迹输出的要求，其中t表示预测时间的长度，2表示2d坐标。
38.基于所述未来轨迹的表达式可以看出，每两行w2都包含为一个特定时间生成位置的权重。由于一些现有的轨迹预测方法，例如sota采用了每步负对数似然(nll)损失或每步均方误差(mse)损失，因此每两行w2的反向传播更新都是独立的。也就是说这种方法是基于未来时间步长之间条件独立的假设，然而，这一假设在现实世界的场景中不可能存在，因此在实际应用中可能对预测有害。
39.基于此，为了更贴近现实场景，本发明在轨迹预测过程中还考虑了未来时间步之间的相关性。具体而言，本发明采用了两种利用时间相关性生成未来轨迹的方法，首先参照现有技术中的方法生成粗略的轨迹，然后使用具有时间归纳偏差的结构来优化该粗略轨迹，以提高模型的性能。在研究过程中，发明人发现直接拟合速度会降低性能，而将速度累加到位移中，并仍然使用坐标作为目标函数会得到更好的预测，基于此，在本发明中，除了修改神经网络结构外，还进一步地提出了包含时间先验的目标函数。
40.下面结合实施例附图，对本发明的方案做进一步描述。
41.图1示出本发明一个实施例的一种轨迹预测系统的结构示意图。如图1所示，一种轨迹预测系统，包括粗略轨迹生成模块101、轨迹优化模块102以及轨迹生成模块103。
42.所述粗略轨迹生成模块101用于根据车辆表征向量粗略估计车辆未来多个时间步的位置，形成粗略轨迹。其中，所述车辆表征向量由编码器生成，所述编码器从车辆的历史状态和高精地图中提取信息，并为每个车辆提供一个表征向量，具体而言，所述编码器将车辆的位置、速度、航向等历史状态，以及车道、道路线、交通灯等地图中提取的信息作为输入，为每个车辆输出一个表征向量。在本发明的一个实施例中，所述粗略轨迹生成模块101包括多层感知机mlp，所述多层感知机mlp根据所述车辆表征向量预测多步未来的位置，以形成粗略轨迹。所述多层感知机mlp的结构以及其生成粗略轨迹的方法与现有技术中的方法基本相同或相似，在此不再赘述。
43.所述轨迹优化模块102中包括具有时间归纳偏差的结构，因此采用所述轨迹优化模块102对所述粗略轨迹进行优化，可以构建未来时间步之间的相关性，进而提高系统性能。在本发明的一个实施例中，所述轨迹优化模块102通过预测所述粗略轨迹中每个时间步的偏移量的方式对所述粗略轨迹进行优化，所述每个时间步的偏移量是指当前时间步相对于上一时间步的偏移量，即车辆的速度。在本发明的一个实施例中，所述轨迹优化模块102中包括循环神经网络rnn或1维卷积网络1d cnn。所述循环神经网络以序列数据为输入，在序列的演进方向进行递归且所有节点按链式连接，所述1维卷积网络则是一种包含卷积计算且具有深度结构的前馈神经网络，其可计算信号的延迟累计，由此可以看出，采用所述循环神经网络或1维卷积网络来预测时间步的偏移量，均可以在时间步长之间引入时间相关性，进而满足本发明实施例中轨迹优化的需求。
44.所述轨迹生成模块103主要用于根据所述每个时间步的偏移量计算得到轨迹。由于所述轨迹优化模块102的输出为速度的形式，而直接拟合速度会降低性能，因此，在本发明的实施例中，仍采用坐标作为轨迹预测的目标函数。基于此，在本发明的一个实施例中，所述轨迹生成模块103用于将速度累加到位移中，进而得到预测的轨迹，积分的过程可以使得不同时刻的轨迹有了时间相关性。将速度累加到位移中实际就是计算所述轨迹优化模块102输出的速度随时间的积分，因此，在本发明的一个实施例中，所述轨迹生成模块103包括积分电路。
45.基于如前所述的轨迹预测系统，图2及图3分贝示出本发明一个实施例的一种轨迹预测方法的流程及过程示意图。如图所示，一种轨迹预测方法，包括：
46.首先，在步骤201，生成粗略轨迹。通过粗略轨迹生成模块，基于车辆表征向量生成粗略轨迹，在本发明的一个实施例中，通过多层感知机mlp根据所述车辆表征向量预测多步未来的位置，以形成粗略轨迹，其中所述车辆表征向量由编码器生成，所述编码器根据车辆的位置、速度、航向等历史状态、及车道、道路线、交通灯等地图中提取的信息，为每个车辆提供一个表征向量。所述多层感知机mlp的结构以及其生成粗略轨迹的方法与现有技术中的方法基本相同或相似，在此不再赘述；
47.接下来，在步骤202，轨迹优化。通过轨迹优化模块预测所述粗略轨迹中每个时间步的偏移量。在本发明的一个实施例中，通过循环神经网络或1维卷积网络预测所述粗略轨迹中每个时间步的偏移量，其中所述每个时间步的偏移量是指当前时间步相对于上一时间步的偏移量，即车辆的速度；以及
48.最后，在步骤203，生成轨迹。通过轨迹生成模块，根据所述每个时间步的偏移量计算得到轨迹。在本发明的一个实施例中，通过积分电路对所述轨迹优化模块输出的速度进行积分，得到预测的轨迹。基于此，可以采用坐标作为轨迹预测的目标函数，以积分结果与真实轨迹之间的差别作为损失函数，对所述轨迹预测系统进行迭代优化。
49.经过测试，在开源的waymo open motion数据集上，本发明所提供的轨迹预测方法的预测准确度大幅超越现有方法。
50.尽管上文描述了本发明的各实施例，但是，应该理解，它们只是作为示例来呈现的，而不作为限制。对于相关领域的技术人员显而易见的是，可以对其做出各种组合、变型和改变而不背离本发明的精神和范围。因此，此处所公开的本发明的宽度和范围不应被上述所公开的示例性实施例所限制，而应当仅根据所附权利要求书及其等同替换来定义。