一种基于动态图卷积的端到端多模态轨迹预测方法

本发明属于机器学习和计算机视觉领域，其涉及轨迹预测分析，特别涉及一种基于动态图卷积的端到端多模态轨迹预测方法。

背景技术：

1、为实现智能交通系统和智能城市，提高自动驾驶系统的安全性和可靠性，减少交通事故的发生率，自动驾驶领域中的轨迹预测成为人们关注的问题。传统的轨迹预测方法往往受限于静态的场景表示，无法有效地捕捉动态环境中智能体之间的复杂交互关系。其次，传统方法往往难以处理不确定性和多模态的预测结果，导致预测结果缺乏鲁棒性和准确性。

技术实现思路

1、鉴于以上内容，有必要提供一种基于动态图卷积的端到端多模态轨迹预测方法，该预测方法用于对车辆轨迹进行准确预测，其中，通过dganet特征提取模块对矢量化特征进行特征编码和特征提取，将提取的特征与锚点输入端点生成模块，进一步生成轨迹端点的位置信息，最后，通过轨迹预测模块来利用生成的轨迹端点信息预测一组轨迹。

2、为达到上述目的，本发明所采用的技术方案是：

3、一种基于动态图卷积的端到端多模态轨迹预测方法，该预测方法通过dg-trajector网络模型实现，dg-trajector网络模型包括dganet特征提取模块、端点生成模块和轨迹预测模块；所述预测方法包括如下步骤：

4、步骤s1、训练dg-trajector网络模型；

5、步骤s2、输入轨迹数据至dg-trajector网络模型中进行预处理，预处理得到矢量折线集合，同时还采样得到锚点；

6、步骤s3、矢量折线集合输入至dganet特征提取模块中，得到矢量化特征，dganet特征提取模块再对矢量化特征进行特征编码和特征提取，得到全局特征；

7、步骤s4、利用端点生成模块将全局特征和锚点进行结合，生成一组候选端点和端点置信度，根据置信度筛选出前n个最优端点，从而生成轨迹端点信息；

8、步骤s5、通过轨迹预测模块，将生成的轨道端点信息与全局特征结合，生成一组候选轨迹，并输入至轨迹评分器中进行打分，根据打分情况筛选出最高分的k个轨迹作为最终的预测结果；

9、步骤s6、根据步骤s4得到的端点置信度计算端点损失，根据步骤s5得出的预测结果计算预测损失和预测评分损失；当所计算的端点损失、预测损失和预测评分损失均达到最小阈值或者在一个小范围内波动时，步骤s5所得的预测轨迹即为最终的预测结果，否则继续训练。

10、进一步地，在步骤s1中，训练时，使用argoverse预测数据集中的train数据集作为训练集，val数据集作为验证集进行验证。

11、进一步地，dg-trajector网络模型进行预处理时，采用vectornet数据表征方式，以结构化的方式使用矢量表示来表示地图和智能体，为每个场景元素独立创建一个连通图，其中，轨迹数据以及地图信息转换为折线，构成矢量折线集合，车道中心线点被采样作为锚点的候选位置。

12、进一步地，dganet特征提取模块主要由多层动态图卷积层和多头注意力机制组成，其中，每层动态图卷积层的结构相同，多层动态图卷积层将输入的矢量化特征进行整合，再通过多头注意力机制建模不同折线之间的全局关系，输出全局特征。

13、进一步地，在dganet特征提取模块中，每层动态图卷积层均包括卷积层、归一化层和激活函数；在每一层动态图卷积层中，先通过线性层将输入的原始折线特征转换为更高层次的抽象表示，并对其进行规范化操作，然后，根据规范后的折线特征生成动态邻接矩阵，对动态邻接矩阵进行softmax操作生成注意力分数，将注意力分数与规范化的折线特征进行乘积，得到加权特征，加权特征再与动态邻接矩阵图卷积，而后通过激活函数和正则化规范后的折线特征分布，加之非线性变换，生成的中间折线特征与规范后的折线特征进行拼接，得到该层动态图卷积层的最终折线特征。

14、进一步地，经动态图卷积层后得到的所有折线特征通过批处理编码和聚合操作，进行全局聚合，并通过线性层和激活函数，得到全局张量，全局张量通过多头注意力机制的计算公式计算得到全局特征，多头注意力机制的计算公式为：

15、

16、其中，vqh(lg)、vkh(lg)和vvh(lg)分别是节点特征矩阵v(lg)的头部h的线性投影，d为每个注意力头head的维度。

17、进一步地，步骤s4的端点生成模块包括端点校正器、置信度评估器以及一系列线性层和激活函数；端点生成模块在将全局特征和锚点进行结合时，先将全局特征在第二维度上进行扩展多次，次数与锚点的数量相同，得到扩展后的特征，该特征与锚点进行拼接，拼接后经线性层和归一化处理，得到端点生成模块的目标特征；接着，端点校正器根据目标特征生成端点位置的校正量和置信度，具体是，目标特征经过线性层和归一化处理后，通过一系列线性变换和激活函数映射到校正量空间上，得到目标位置的校正量，该校正量加到锚点上即得到最终的目标位置特征，与此同时，置信度评估器通过线性变换和激活函数将目标特征映射到置信度评分空间，得到降维操作后的每个端点位置的置信度评分；端点生成模块再根据置信度评分筛选出前n个目标作为最优端点，并提取对应的锚点、偏移量和端点，生成轨迹端点信息。

18、进一步地，步骤s5的轨迹预测模块包括轨迹预测器和轨迹评分器；所述轨迹预测器将轨迹端点信息的目标特征和全局特征结合，通过线性层和激活函数进行特征变换，变换后的特征再次与目标特征进行结合，得到轨迹特征的中间表示，最后通过线性层输出预测的轨迹，得到一组候选轨迹；轨迹评分器将候选轨迹的轨迹特征展平处理，并将展平的轨迹特征与全局特征结合，通过线性层和激活函数进行特征变换，变换后的特征再次与展平的轨迹特征结合，最后通过线性层输出候选轨迹的评分；轨迹预测模块通过评分结果筛选出前k个轨迹作为最终的预测轨迹。

19、进一步地，步骤s6的端点损失lendpoint通过如下的端点损失函数计算得到：

20、

21、lendpoint＝loffset+lconfs

22、式中，pclosest表示从端点集合pp中提取的距离真实端点pgt最近的元素，hδ表示带参数δ的huber损失，表示预测的端点偏移量；bce表示二元交叉熵损失，是pclosest元素的索引，以onehot格式表示，是每个预测端点的置信度，loffset表示偏移量损失，lconfs表示置信度损失。

23、进一步地，步骤s6的预测损失ltrajde通过预测损失函数计算得到，预测评分损失通过预测评分损失函数计算得到；其中，

24、预测损失函数为：

25、

26、式中，hδ表示带参数δ的huber损失，ttraj是真实轨迹，是预测轨迹；

27、预测评分损失函数为：

28、

29、式中，表示预测轨迹和真实轨迹值之间的相似性，其通过预测轨迹和真实轨迹值之间所有配对点的最大距离来表示，bce表示二元交叉熵损失，表示真实置信度概率，表示预测置信度概率，lsorce表示轨迹置信度。

30、与现有技术相比，本发明具有以下有益效果：

31、1、本发明使用动态图卷积提取局部折线特征，通过学习到的动态邻接矩阵来适应不同形状和结构的折线数据，并在此基础上进行图卷积操作，能够有效地捕获局部折线的特征信息，具有很强的泛化能力和适用性。

32、2、本发明使用多头注意力机制提取全局特征，能够有效地建模不同折线之间的全局关系，从而抽象出更高级的折线结构信息，有助于提取更具有语义和上下文的特征表示。

33、3、本发明使用端点生成模块和轨迹预测模块，能够根据全局特征生成端点位置并筛选，进一步生成候选轨迹并且通过轨迹评分进行筛选，避免了多次迭代和优化过程，提高了轨迹预测的效率和速度。

34、4、本发明的预测方法使用到的dg-trajector网络模型，能够解决传统的轨迹预测方法受限于静态的场景表示、无法有效地捕捉动态环境中智能体之间复杂交互关系的问题，其在复杂的交互情况下实现了出色的性能。其中，dg-trajector网络模型的dganet模块在多头注意力机制的基础上结合了动态邻接矩阵的生成，通过对输入轨迹数据进行特征提取和动态关系建模，有效地捕获了轨迹数据中的时空关联信息。另外，模型采用了模块化的设计使得模型具有较高的灵活性和可扩展性。