交通参与者的长期轨迹预测的方法与流程

本发明涉及一种交通参与者的长期轨迹预测的方法以及一种控制方法、一种控制单元、一种计算机程序和一种计算机可读数据载体。

背景技术：

通常，在给定过去和当前的情况下对未来的准确长期轨迹预测是一个极具挑战的研究问题。在车辆自动化领域中，当下的行为预测/轨迹预测主要包括对非常近的未来、通常是下一秒进行建模。在这样非常短的时间范围内，汽车和环境物理的影响占行为的主导地位。通常，简单的线性假设、也被称为匀速模型足以以可接受的精度预测未来。为此目的，大多数系统使用不同类型的基于kalman滤波器的解决方案。随着时间范围增大以满足系统的对更长的时间范围进行计划和作用的要求，这些简单的模型无法为更大的时间范围提供准确的未来预测。

特别是，在汽车行业或机器人行业中，当前的自动化机器人或车辆、例如2级和3级的机器人或车辆依赖于汽车周围环境的某种模型。这通常被称为环境假设。随着自动化水平的提高，仅依靠对于环境的当前状态和非常近的未来的认知变得越来越困难。在具有更高级的自动化的汽车、例如4级和5级的汽车中出现的大多数问题通常都围绕着对环境的语义理解。预测环境的未来状态是语义理解过程中的关键因素。如果期望不仅仅是在非常短的时间段内对物理建模，则当前的模型无法对更长的时间范围进行预测，其中，是驾驶员或系统的意图主导轨迹模式，而不仅仅是物理。

因此，需要新的方法和新的模型，其中，驾驶员意图以及汽车与环境的相互作用可以被显式建模，并且被集成到灵活的、数据驱动的大规模的方法中。

us2019/0367021a1描述了预测即将到来的车辆的行为。

dingwenchoa等：“onlinevehicletrajectorypredictionusingpolicyanticipationnetworkandoptimization-basedcontextreasoning”描述了一种用于城市自动驾驶的线上两级车辆轨迹预测框架，其中，存在复杂的语境因素、例如车道几何形状、道路建设、交通法规和移动代理。

deonachiket等：“multi-modaltrajectorypredictionofsurroundingvehicleswithmaneuverbasedlstms”描述了一种lstm模型，该lstm模型用于对高速公路上周围车辆的交互感知选项进行预测。

us2019/152490a1描述了用于自主车辆的对象相互作用预测系统和方法。

技术实现要素：

根据本发明的一方面，提供了一种用于多个交通参与者中的预测交通参与者的长期轨迹预测的方法，其中，交通参与者是本车辆或本车辆周围的动态对象，所述方法包括下面的步骤。从本车辆接收与本车辆周围的环境有关的环境数据。接收所述多个交通参与者的与之前时间步长中所述多个交通参与者的不同状态有关的之前公共状态数据。通过与所述预测交通参与者的环境有关的环境模型基于环境数据确定环境特征。通过与所述多个交通参与者之间的建模交互有关的动态解释器模型，基于之前公共状态数据确定动态特征。通过交互模型，基于环境特征和动态特征，预测在所述预测交通参与者与所述多个交通参与者之间的所述预测交通参与者的动态交互。基于预测的动态交互和确定的环境特征确定所述预测交通参与者的轨迹。

优选地，所述预测交通参与者是应为其确定轨迹或换言之应为其预测轨迹的交通参与者。

如本文中所使用的，术语“状态”是指学习的隐藏矢量的数字表示，其表示当前已知的对象的所有信息。

如本文中所使用的，术语“环境数据”包括在本车辆周围的对象的表示。优选地，环境数据包括静态对象和动态对象的联合表示，其中，静态对象包括道路特征和障碍物，其中，动态对象包括行人和汽车。

优选地，动态解释器模型包括社交池解释器、双向长期短期存储器lstm、动态解释器、pointnet动态解释器、基于警示的动态解释器或基于交通规则的动态解释器。

社交池解释器使用本地性原则。换句话说，交通参与者主要受到其附近周边环境的影响。优选地，在本车辆周围构建固定的预定尺寸的网格单元。在每个时间步长中，在动态对象与本车辆之间使用并共享在同一网格单元中运动的动态对象的公共状态。这样，同一网格单元中的动态对象可以进行通信并学习以共享它们附近的信息、换句话说，在它们邻域的信息。因此，如果主要受交通参与者附近周边环境影响的假设被严重违反，则社交池解释器表现相对差。然而，如果假设是正确的，则社交池解释器是交通参与者交互的相对好的模型。

与社交池解释器相比，双向lstm动态解释器或双向长期短期存储器动态解释器不执行硬选择。替代地，双向lstm动态解释器基于双向lstm模型处理所有公共状态，从而处理所有动态对象。与社交池解释器相比，双向lstm动态解释器确保更对称的方法。由于存在许多动态对象，因此，由于远距离，使得关于前几个对象的信息可能会被较后处理的对象覆盖，因此某些信息需要在网络中传播。

pointnet动态解释器能够提供动态对象的真实地图，而无需人工引导顺序。与引入某种顺序来处理网络中的动态对象的社交池动态解释器和双向lstm动态解释器相比，pointnet动态解释器中不是这种情况。如果动态对象被认为是一组对象而不是对象列表，则引入的顺序可能被认为是有害的。

基于警示的动态解释器直接利用交通场景的属性。如果网络通过从交通场景目录中查找或某种数据驱动的方法先验地了解交通场景，则可以选择从本角度对哪些动态代理更感兴趣。

交通规则动态解释器还通过了解交通场景而受益。与基于警示的动态解释器相比，交通规则动态解释器使用其感知或hd地图，以在特定的交通场景中将交通规则通知网络。此附加信息用于选择动态代理。

优选地，确定环境特征的步骤包括本车辆的不同传感器的融合。

由于动态解释器模型预测所有交通参与者的动态交互，因此局部可观察性可能会出现问题。仅从本车辆接收环境数据，因此不能保证有用的环境数据可用于每个交通参与者。这主要是由于3d遮挡效果导致的。因此，优选地，包含并融合不仅可以看见最接近的对象而且可以看见更远的对象的传感器，例如除了视觉传感器之外还包括雷达传感器。另外，更优选地，hd地图被用于环境数据的提取。

换句话说，提供了交通参与者之间的动态交互的显式建模(explicitmodelling)。另外，提供了所有感兴趣的动态对象的环境的有效提取。因此，提供一种采用完全数据驱动方法的模型，其中，通过大量深度学习的方法，从环境中充分学习交互模型和意图预测。

因此，如果不能为一个或两个以上交通参与者提取足够的环境数据，则交互模型也能够学习“未知区域”的概念。

优选地，内部表示是鲁棒的，同时对于神经网络紧凑且有效，以处理为输入。

因此，提供对本汽车周围的对象的准确长期预测。

交互模型的预测和输入之间的关系可以通过下面的式1表示：

式1：预测＝p(d|e，w)

e表示环境的过去状态和当前状态，或者换句话说，周围的交通参与者。

w表示交互模型的可调参数。

d表示从其采样预测的分布。换句话说，该分布反映了交通参与者未来可能采取的各种行动。

式1为给定问题建模概率视图。换句话说，随着对特定参数分布采样而产生预测。根据分布，借助于对分布进行连续采样并重新馈送/重新参数化，从样本中计算轨迹，其中，重新馈送是指使当前预测环回以诱导交互模型预测的下一步的动作。

因此，提供一种灵活的设置，其中，所生成的样本数量与可用的硬件功能以及预测质量大致成比例。

对于动作，在最基本的设置中，预测二维参数高斯分布。这样允许容易的解释，然而，在实际场景下，其对于预测更复杂的分布可能是必要的，这是因为真实分布也可能是多峰分布。

优选地，模型实例关于本车辆周围的所有交通参与者分别地且同时地运行，本车辆本身也包括在内。这些实例共享权重——也称为模型参数，但是具有不同的输入，从而将具有不同的输出和状态。整个计算优选地仍在本车辆上运行，因此模型在内部针对所有动态对象运行上述步骤。

由于经由重新馈送，可以生成连续的预测，并再次重新馈送到网络中，因此可以给出到目前为止的全部已知知识，生成任意长的对象预测。基于过去时间步长和当前时间步长以及先验学习的信息，在每个动态对象的状态中积累该知识。

该实施严重依赖于动态计算图形。动态计算图形允许同时训练和预测任意数量的对象。当系统运行时，其将连续登记靠近汽车的对象，并在该对象超出范围(超出传感器范围)时将其删除。一旦第二个测量值从新对象产生，则开始生成预测，直到对象移出范围。基于可用的计算资源，可以精确地控制预测将如何改善。这种调整主要是通过控制采样的定量参数和时间范围来实施。该模型及其组件具有若干其他可调参数，通过所述可调参数可以将模型拟合到具有各种计算能力的硬件上。

因此，提供一种改进的用于交通参与者的长期轨迹预测的方法。

在一个优选实施例中，所述方法包括下面的步骤。接收所述预测交通参与者的与之前时间步长中所述预测交通参与者的状态有关的之前状态数据。接收所述预测交通参与者的与之前时间步长中所述预测交通参与者的动作有关的之前动作数据。基于预测的动态交互、确定的环境特征、之前状态数据和之前动作数据确定所述预测交通参与者的轨迹。

因此，提供一种改进的用于交通参与者的长期轨迹预测的方法。

在一个优选实施例中，所述方法包括下面的步骤。确定交通参与者的与当前时间步长中交通参与者的不同状态有关的当前公共状态数据。确定所述预测交通参与者的与当前时间步长中所述预测交通参与者的状态有关的当前状态数据。确定所述预测交通参与者的与当前时间步长中所述预测交通参与者的动作有关的当前动作数据。所述当前公共状态数据、所述当前状态数据和所述当前动作数据用作后续时间步长的输入。

优选地，之前动作数据和之前状态数据分别具有与所述当前动作数据和所述当前状态数据相同的性质。

因此，可以对于更多的时间步长增加轨迹的预测。

因此，提供一种改进的用于交通参与者的长期轨迹预测的方法。

在一个优选实施例中，针对每个交通参与者分别地且同时地预测动态交互。

因此，提供一种改进的用于交通参与者的长期轨迹预测的方法。

在一个优选实施例中，环境特征包括环境数据的内部表示。

因此，提供一种改进的用于交通参与者的长期轨迹预测的方法。

在一个优选实施例中，交互模型包括时间递归神经网络单元，时间递归神经网络单元在训练期间周期性接收环境数据并且基于接收的环境数据确定环境数据的内部表示。

时间递归神经网络单元优选地被配置为用于预测交通参与者周围的动作。

因此，在推断期间，为本车辆周围的所有对象针对更长的时间范围预测新的动态交互。

因此，提供一种改进的用于交通参与者的长期轨迹预测的方法。

在一个优选实施例中，交互模型支持分支，其中，多个预测基于多个场景被同时确定和分析评估。

因此，提供一种改进的用于交通参与者的长期轨迹预测的方法。

在一个优选实施例中，所述方法包括下面的步骤。通过门控模型基于环境特征、动态特征、之前动作数据和/或之前状态数据确定至少一个门。所述至少一个门过滤相应的环境特征、动态特征、之前动作数据和/或之前状态数据，以用于与所述预测交通参与者的当前交通场景相关。

优选地，门控模型添加关于环境数据的新信息如何添加到现有信息的测量或测量速率。

因此，门控模型能够学习在所述当前交通场景中重要的事物。因此，通过门控模型隐式地实施有效的自主特征提取器功能。

根据本发明的一方面，一种控制单元被配置为用于执行如本文中所述的方法。

根据本发明的一方面，一种至少部分自主的机器人的控制方法，所述控制方法包括下面的步骤。接收所述至少部分自主的机器人的传感器数据。执行如本文中所述的用于多个交通参与者中的预测交通参与者的长期轨迹预测的方法，从而确定所述预测交通参与者的轨迹。根据确定的所述预测交通参与者的轨迹来控制所述至少部分自主的机器人。

优选地，传感器数据与所述至少部分自主的机器人的环境中的对象有关。

优选地，传感器数据包括激光雷达数据、雷达数据、热数据、超声数据和/或图像数据、特别是相机数据。

优选地，所述至少部分自主的机器人包括至少部分自主的车辆。替代地，所述至少部分自主的机器人可以是任何其他移动机器人、例如那些通过飞行、游泳、潜水或步行运动的机器人。在一个示例中，所述至少部分自主的机器人可以是至少部分自主的割草机或至少部分自主的清洁机器人。

根据本发明的一方面，一种计算机程序包括指令，当程序被计算机执行时，所述指令使计算机执行如本文中所述的方法。

根据本发明的一方面，提供一种计算机可读数据载体，所述计算机可读数据载体上存储有如本文中所述的计算机程序。

附图说明

下文中将参考在附图中示出的优选的示例性实施例更详细地解释本发明的主题，在附图中：

图1示出了交通参与者的长期轨迹预测的系统的示意图；

图2示出了社交池动态解释器的示意图；

图3示出了双向lstm解释器的示意图；

图4示出了交通参与者的长期轨迹预测的方法的示意图。

在附图标记列表中以概要的形式列出了附图中使用的附图标记及其含义。原则上，相同的部分在图中设有相同的附图标记。

具体实施方式

图1示出了交通参与者的长期轨迹预测的系统10的示意图。使用的表示法通常在深度学习科学文献中使用。系统使用四个输入，即环境数据e、成批的公共状态p[t-1]、之前动作数据a[t-1]和之前状态数据s[t-1]。

环境数据e呈环境向量的形式。优选地，这是本车辆周围环境的圆形表示。环境数据e的粒度是任意的，然而优选的是围绕本车辆的360°，以在所有方向上与环境相关。环境数据e包括围绕本车辆的所有静态对象和动态对象。

之前公共状态数据p[t-1]、也被称为成批的公共状态在之前时间步长中与附近对象、特别是交通参与者的不同状态有关。之前公共状态数据p[t-1]包括被分组在一起的附近对象的学习向量。可选地，另外的公共状态被手动添加到之前公共状态数据p[t-1]。换句话说，那些手工的特征开发了添加定制特征的可能性，这可能改善对之前公共状态数据p[t-1]被馈送到的即将到来的交互模型mi的预测。例如，定制特征包括速度、相对于其他代理的相对速度、相对距离和加速度。

之前动作数据a[t-1]在应预测新的动作数据a[t]的之前时间步长中与本车辆或特定的附近对象、特别是特定的交通参与者的动作有关。之前动作数据a[t-1]是来自表示动作的多维参数分布的样本。例如，通过交互模型mi来预测二维高斯分布，特别是利用参数均值和协方差矩阵来预测。优选地，使用利用直接学习或归一化流的手段的任何参数分布。归一化流本质上实施概率分布的一系列可逆的体积跟踪的转换，并且可以用于转换后验分布。

之前状态数据s[t-1]在应预测新状态数据s[t]的之前时间步长中与本车辆或特定附近对象、特别是特定交通参与者的状态有关。在给定时间点处的状态优选地是指学习的隐藏向量的数值表现，其表示当前已知的对象的所有信息。

环境数据e、之前公共状态数据p[t-1]、之前动作数据a[t-1]和之前状态数据s[t-1]是输入张量，其中，张量限定多维数组。

环境数据e被提供给环境模型me，环境模型me也被称为环境解释器。环境模型me包括神经网络，所述神经网络被配置用于解释环境数据e。环境模型me为应预测新数据的特定交通参与者提取环境特征f。环境数据e的基础通常是本车辆的传感器。因此，环境特征f是环境数据e的与应预测新数据的特定交通参与者有关的一部分。

之前公共状态数据p[t-1]被提供给交互模型mi。交互模型mi为相应的交通参与者之间的交通参与者预测动态交互i。交互模型mi包括神经网络。

系统10包括门控模型mg。门控模型mg被提供有之前动作数据a[t-1]和之前状态数据s[t-1]。门控模型mg基于环境数据的测量值或测量速率来确定本车辆周围的哪个动态对象是相关的动态对象。因此，交互模型mi仅提供有预测交通参与者的必要信息。

然后，交互模型mi基于环境特征f和动态特征d确定预测交通参与者与多个交通参与者之间的动态交互i。

动态交互i和门控的之前状态数据s[t-1]被提供给加法器add，加法器add确定作为隐藏张量的状态数组sa。基于状态数组sa，公共状态模型mp确定当前的公共状态数据p[t]。基于状态数组sa，确定当前的状态数据s[t]。基于状态数组sa，策略模型mpol确定当前的操作数据a[t]。

环境模型me、动态解释器模型md、门控模型mg、公共状态模型mp和策略模型mpol是神经网络。

环境特征f、动态特征d、门g(为了易于查看，也被标记为交叉圆圈)和状态数组sa是隐藏张量，其通过多维数组限定。

通常，所示的系统包括图1中未示出的循环。新的状态数据s[t]、新的动作数据a[t]和新的公共状态p[t]是下一时间步长中的之前状态数据s[t-1]、之前动作数据a[t-1]和之前公共状态数据p[t-1]部分。

图2示出了社交池(socialpooling)动态解释器的示意图。社交池解释器使用本地性原则。换句话说，交通参与者主要受到周围环境的影响。优选地，围绕本车辆构建固定的预定尺寸的网格单元。在每个时间步长中，同一网格单元中运动的动态对象的公共状态被使用，并且在动态对象和本车辆之间共享。这样，同一网格单元中的动态对象可以进行通信并学习以共享它们附近的信息、换句话说在它们邻域的信息。因此，如果主要受交通参与者附近周边环境影响的假设被严重违反，则社交池解释器表现相对差。然而，如果假设是正确的，则社交池解释器是交通参与者交互的相对好的模型。图2示出了其中具有相同填充的对象表示空间接近度的概念。

图3示出了双向lstm解释器的示意图。与社交池解释器相比，双向lstm动态解释器或双向长期短期存储器动态解释器不执行硬选择。替代地，双向lstm动态解释器基于双向lstm模型处理所有公共状态，从而处理所有动态对象。与社交池解释器相比，双向lstm动态解释器确保更对称的方法。由于存在许多动态对象，因此，由于远距离，使得关于前几个对象的信息可能会被较后处理的对象覆盖，因此某些信息需要在网络中传播。使用图形表示法，双向lstm指的是在图形上来回执行两个汉密尔顿游走(hamiltonianwalk)，其中，对于每个时间步长，起始节点和结束节点是随机的。

换句话说，公共状态本质上是尺寸为n的向量，n为可调参数。交互模块输出尺寸为k的向量，k为可调参数，表示该时间步长中的动态特征。优选地，另一个维度是动态对象的数量，这完成现在为3维的数据结构。

图4示出了用于多个交通参与者的预测交通参与者的长期轨迹预测的方法的示意图，其中，交通参与者是本车辆或在本车辆周围的动态对象，该方法包括下面的步骤。在第一步骤s10中，从本车辆接收与本车辆周围的环境有关的环境数据e。在第二步骤s20中，接收多个交通参与者的与之前时间步长中多个交通参与者的不同状态有关的之前公共状态数据p[t-1]。在第三步骤s30中，通过与预测交通参与者的环境有关的环境模型me，基于环境数据e确定环境特征f。在第四步骤s40中，通过与多个交通参与者之间的建模交互有关的动态解释器模型md，基于之前公共状态数据p[t-1]来确定动态特征d。在第五步骤s50中，通过交互模型mi基于环境特征f和动态特征d在预测交通参与者与多个交通参与者之间预测预测交通参与者的动态交互i。在第六步骤s60中，基于预测的动态交互i和确定的环境特征f来确定预测交通参与者的轨迹t。