一种异质交通参与者轨迹预测的方法

本发明涉及自动控制及人工智能，用于城市动态交通环境中异质交通参与者(包括机动车辆、摩托车、自行车、行人等)的多模态轨迹预测，特别涉及一种相对方位关系辅助的边特征图transformer神经网络模型。

背景技术：

1、自动驾驶是一项前沿的现代科技。为了能够在复杂的交通环境中安全和高效的行驶，无人驾驶汽车需要基于观测的信息，考虑其他交通参与者(包括机动车辆、自行车、行人等)的可能的行为，轨迹预测就是预测未来的一个有效工具。但是由于城市交通环境的复杂变化以及交通参与者之间的相互作用，准确的预测变得富有挑战性。

2、车辆的行为主要受到以下三类因素的影响。一个是车辆自身的驾驶风格，例如保守派或是激进派驾驶风格，这类特征可以通过观察并记录其历史轨迹信息，然后利用循环神经网络(recurrent neural network，rnn)或者是一维卷积神经网络(1d convolutionalneural network，cnn)等模型来编码特征；第二是车辆和交通设施之间的交互(包括车道线、人行横道、交通标识等，下文用车道代替)，环境将对车辆的行为起到规范和限制的作用；第三是车辆之间的交互影响，例如路口和匝道交汇的车辆需要确定通过的先后顺序。

3、尽管传统的基于物理特征的模型已经考虑了第一个因素，即运动特征，但是对于后两种“交互”因素的影响，仍需要进一步的探究和利用，比如，车辆需要始终在道路边界内行驶、车辆需要在交通红灯时刹车停止前进、礼让行人等。上述这种车辆与交通设施、或者车辆与其他交通参与者的制约和交互关系可以被理解为有关于“车-路(agent-to-road)”和“车-车(agent-to-agent)”的领域知识(domain knowledge)。

4、考虑到以上因素的制约，目前大多数涉及到轨迹预测的方法在处理交互关系和不同类型输入特征方面含有以下局限性：

5、1、仅使用距离或者坐标差值来刻画注意力程度，未能充分利用驾驶场景中的领域知识显式地考虑参与者之间、参与者与环境的交互关系。

6、通常而言，使用“图结构”来建模交通场景是比较合适的，在图中，交通参与者们会被视为“节点”，他们之间的联结关系会用“边”来表示，即如果二者的相隔距离小于一个固定的阈值，则会认定二者之间存在关联，那么对应地，邻接矩阵的相应位置的元素标记为1。但是这种图的构造方法对于一些复杂的场景是不适用的：

7、首先，基于距离的图构造方法默认节点a到节点b的边和节点b到a的边是相等的，即对称的，但是在图1子图a)场景中，标有字母e的主车将要汇入主路，此时其对于a车的关注度是极高的，但是由于a车已经驶过交叉口，因此其对于主车的注意力是比较低的(图1的左图场景中，主车正在向主干道汇流，其主要的交互对象为位于目标车道前方的a车与后方驶来的b车。此时主车与b车的交互关系是相互的且近似等价的，但是主车与a车的交互更偏向于单向关系，即主车注意a车，但a车几乎无需注意主车，这说明了车辆之间的交互关系不是对称的)；

8、其次，仅利用距离来象征注意力程度是不够的，例如图1的子图b)的场景中，尽管主车e与a，b两车的距离更近，但是由于c车和其有即将发生冲突的风险，因此主车的注意力更多的集中在c车上(图1的右图场景中，正准备完成左转的主车，与右边方向驶来的c车产生争夺路权的交互，因此其注意力主要分布在c车上，而不是空间距离更近的a车或b车上，这说明了注意力的分布并不完全由距离决定，即距离不是影响注意力分布的唯一元素。

9、考虑了以上两点，显然利用“有向图”代替“无向图”来刻画交通场景更为贴切一些，尽管已经有一些方法采用了有向图，但是他们忽视了图中边的信息，例如边所连接的节点的不同性质、边所指代的相对方位关系等。

10、2、未能对不同数据类型的特征进行统一化管理，直接将数据暴力融合会增大模型提取有效信息的难度。

11、对于不同种类的输入数据的融合，主要针对静态的地图特征和动态的轨迹特征，通常有三种方法：

12、最常见和简单的方法是直接将不同的特征按照某一个维度排列起来形成一个新的高维特征，但是，这种暴力的操作方式会给下游的解码模型学习特征带来困难，因为输入数据的意义、度量等可能都不一致。

13、第二种方法是利用注意力机制将不同的数据融合起来，具体而言，假设存在源特征和目标特征两类数据，期望把源特征融合到目标特征当中，那么通过遍历每个源特征对于目标特征的重要程度，得到权重，再结合权重进行信息的聚集操作(一般包括加和、取平均值、最大值等)。基于注意力的方法虽然可以保证融合后的特征维度不变，但是其存在对于不同尺度的特征的算术操作的不合理性。

14、第三种方法是利用“门”结构的神经网络来挑选对于目标特征有用的源特征，本质上是一种简洁形式的注意力机制。

15、此外，很多模型只考虑了单个目标参与者的预测，在多目标的环境下需要多次执行预测程序，效率不高；大多数模型只考虑场景中的同质交通参与者(车辆或行人)，无法同时对场景中的机动车辆、自行车、行人等同时进行轨迹预测，造成模型不适用于异质目标共存的复杂环境如路口。

技术实现思路

1、有鉴于此，本公开主要关注并解决轨迹预测的两个重要问题，一是如何充分地利用先验的领域知识，为模型提供更加有效和独特的特征信息；二是寻找一种普遍的特征表征形式，能够将非结构化的不同类型的特征统一表示和融合，提高网络模型对于输入信息的吸收和学习效率。

2、相比于其他的轨迹预测网络，本公开在以下两个方面对模型进行了创新和改进：

3、首先，为了对交通场景中的“交互行为”建模，构建了一个考虑相对方位关系的图结构，其含有丰富的边特征信息。

4、图的节点为交通参与者或是地图的道路元素(定义为一定长度的路段或者是位于某个位置的交通标识)。图的边代表节点的相互联系，边的构建摒弃了基于固定距离的边选取机制，考虑了更多的“领域知识”(端点类型、交互关系、目标的相对方位关系)，丰富了图的内容。

5、同时，图的边特征也可以进一步有效利用，将其特征输入到判断交互的紧密程度的分类网络中，帮助模型更快速的关注到有效信息。

6、第二，将影响轨迹预测结果的因素：运动特征和环境特征，转化成相同的数据形式和特征类型，具体而言：

7、对于不同的点结构，无论是道路元素还是运动物体，都会对其所属类型进行编码，用于区分其身份；

8、同时，对于边结构，为了标记不同类型的边以及其独有含义，参考交通规则，将其划分为“前边，后边，左边，右边，冲突关系”的相对方位关系并进行编码，其中，前后左右对应其相应的方位，而冲突关系表示可能按照一定的角度，在未来产生位置重叠的情况(例如，路口内来自不同方向的车辆，或者匝道汇流的车辆)。

9、通过上述编码等操作，将异质的点和边转化成统一的形式，这样的好处在于可以统一特征的度量和含义，有效地进行特征融合。最终，各类交通参与者的运动特征、相互间的交互特征、与道路的交互特征会被融合在一起，被传送到多层感知机解码器中，生成多模态的轨迹预测。

10、与现有技术相比，本公开的有益效果是：

11、(1)构建了考虑相对方位关系的图结构，其中边的构建相对于基于固定距离的边选取机制，考虑了更多的“领域知识”(端点类型、交互关系、目标的相对方位关系)，丰富了图包含的特征内容；

12、(2)通过将影响轨迹预测结果的因素：运动特征和环境特征，转化成相同的数据形式和特征类型；

13、(3)能够实现对多种类型交通参与者的轨迹预测；

14、(4)和目前普通的图神经网络模型相比，本方案模型在预测的准确率上得到很大提升；

15、(5)尤其对于复杂密集交互场景中多目标场景，本模型表现出准确且稳定的预测能力；

16、(6)所提出的方法在领域内两大高质量高难度的公开数据集上进行测试和验证，实验结果表明了模型的有效性。