基于图卷积的车辆轨迹预测方法及装置与流程

本发明属于自动驾驶，具体涉及一种基于图卷积的车辆轨迹预测方法及装置。

背景技术：

1、自动驾驶汽车如果能够通过感知周围环境，预测出周围车辆未来的行驶轨迹，车辆就可以根据这些情况来合理规划自己的行驶路线，提前规避风险，降低事故发生的可能性，为人类带来更安全、更舒适的驾驶体验。长期以来，由于现实场景中复杂的交通情况以及司机不同的行驶风格，车辆的行为充满了不确定性。同时，车辆与环境之间的复杂相互作用，车辆的轨迹难以预测。近年来，前人在车辆轨迹预测方面已经做了许多开创性的工作。主要采用三种方法建立车辆轨迹预测模型：

2、第一种模型基于物理运动，基于物理模型通过输入相关的车辆控制参数(如转向和加速度)、车辆自身常数参数(如车身质量)和车辆当前状态量(如位置和速度)，对车辆的短期轨迹进行预测，但是基于物理模型的建模往往需要大量的参数，并且模型的泛化性不强。

3、第二种模型基于机器学习方法，随着机器学习的发展，在轨迹预测领域提出了许多基于机器学习的机动预测方法，包括多层感知机(mlp)、逻辑回归、相关向量机(rvm)和支持向量机。此外，还提出了一种用隐马尔可夫模型来表示运动轨迹的预测方法机器学习方法主要包括贝叶斯网络和卡尔曼滤波器等等。由于车辆的运动轨迹可以看做时序预测问题，在语音识别、机器翻译等时序预测问题上表现很好的循环神经网络及其变体也被用来预测轨迹。机器学习方法的优势在于其可以使用大量的数据集来训练模型，增强模型的泛化能力，使之适用性更强。

4、第三种模型基于图卷积方法，图神经网络是一种直接运行在图结构上的神经网络在与图网络相关的分析中表现良好。现有的图神经网络车辆轨迹预测模型主要采用时空图卷积，时空图神经网络(stgnns)在捕获图的动态性方面占有重要地位。图神经学习法的优势在于其可以使用较少的参数来训练模型，减少模型的运行和训练时间。而且利用拓扑图的方法可以正确模拟车辆之间的交互，提高预测精度。

5、但是，现有基于图卷积方法的模型虽然能够正确模拟车辆与车辆之间的交互，一定程度上弥补之前算法的一些缺点，但是还是无法模拟车辆与环境之间的交互，因此也就无法正确预测轨迹，预测准确度较低。

技术实现思路

1、有鉴于此，本发明的目的在于克服现有技术的不足，提供一种基于图卷积的车辆轨迹预测方法及装置，以解决现有技术中基于图卷积方法的模型无法模拟车辆与环境之间的交互，导致无法正确预测轨迹的问题。

2、为实现以上目的，本发明采用如下技术方案：一种基于图卷积的车辆轨迹预测方法，包括：

3、获取车辆轨迹数据并进行预处理，得到待处理数据；

4、根据所述待处理数据构建车辆轨迹数据图及车道数据图；

5、将所述车辆轨迹数据图和车道数据图输入预构建的车辆轨迹预测模型中进行特征融合，得到轨迹预测结果；

6、其中，根据所述待处理数据构建车辆轨迹数据图，包括：

7、将每辆车确定为一个节点，得到节点集；

8、获取具有相互作用的车辆的边的集合，得到边集；所述边集包括空间边和帧间边，其中，空间边用于表示t时刻两个车辆之间的相互作用信息，帧间边表示车辆间在不同时间的连接，逐帧描述车辆的历史信息；

9、根据所述节点集和边集得到无向图，所述无向图用于表示车辆之间的交互，根据所述无向图确定车辆轨迹数据图；

10、根据所述待处理数据构建车道数据图，包括：

11、将车道中心线上两个连续的点组成的线段定义为车道节点；其中，所述车道节点包括上游节点、下游节点、左邻节点和右邻节点；

12、通过地图数据获取地图鸟瞰图；

13、结果所述地图鸟瞰图和车道节点，得到车道数据图。

14、进一步的，所述车辆轨迹预测模型，包括：

15、特征提取模块，用于分别根据车辆轨迹数据图和车道数据图，进行车辆轨迹和车道的特征提取；

16、多特征融合模块，用于将提取的车辆轨迹特征和车道特征进行信息融合，得到融合特征；

17、车辆轨迹预测模块，用于根据融合特征进行未来车辆轨迹的预测。

18、进一步的，所述特征提取模块，由两个时空图卷积块级联组成；

19、所述时空图卷积模块，包括：普通卷积层、空间卷积层和时间卷积层；其中，所述普通卷积层用于增加通道数，将二维输入数据映射到高维空间，使得车辆轨迹预测模型在轨迹预测任务中进行学习训练；所述空间卷积层用于处理空间中车辆间的相互作用；所述时间卷积层用于捕获有用的时间特征。

20、进一步的，所述普通卷积层为1×1卷积核的2d卷积层；

21、所述空间卷积层由基于当前输入的固定图与固定图形状相同的可训练图组成；

22、所述时间卷积层设置在空间卷积层的后面；

23、其中，在时空卷积模块中，每个空间卷积层的后面增加一个时间卷积层，对输入数据进行空间和时间上的交替处理。

24、进一步的，所述将提取的车辆轨迹特征和车道特征进行信息融合，包括：

25、车辆和车道节点之间需要的交互融合特征包括4种，分别为车辆到车道融合模块、车道到车道融合模块、车道到车辆融合模块和车辆到车辆融合模块，构建由四个融合模块组成的堆叠；

26、所述车辆到车道融合模块将实时交通信息引入车道节点；

27、所述车道到车道模块通过在车道图上传播交通信息来更新车道节点特征；

28、所述车道到车辆融合模块将更新的地图功能与实时交通信息融合到车辆中；

29、所述车辆到车辆融合模块处理车辆之间的交互并产生输出车辆特征。

30、进一步的，所述根据融合特征进行未来车辆轨迹的预测，包括：

31、所述车辆轨迹预测模块以融合特征为输入，对于每辆车，预测k种可能的未来轨迹和相应的置信度；

32、所述轨迹预测模块包括两个分支，其中一个是预测每个模式轨迹的回归分支，另一个是预测每个模式置信度的分类分支；

33、对于第m辆车，在回归分支中应用残差块和线性层，得到第k种模式地图鸟瞰图的坐标轨迹；

34、输出最终的轨迹预测。

35、进一步的，采用以下方式计算对于第m辆车，在回归分支中应用残差块和线性层，得到第k种模式地图鸟瞰图的坐标轨迹，

36、

37、其中，是第k个模式在第i个时间处的bev预测坐标。

38、本技术实施例提供一种基于图卷积的车辆轨迹预测装置，包括：

39、获取模块，用于获取车辆轨迹数据并进行预处理，得到待处理数据；

40、构建模块，用于根据所述待处理数据构建车辆轨迹数据图及车道数据图；

41、预测模块，用于将所述车辆轨迹数据图和车道数据图输入预构建的车辆轨迹预测模型中进行特征融合，得到轨迹预测结果。

42、本发明采用以上技术方案，能够达到的有益效果包括：

43、本发明提供一种基于图卷积的车辆轨迹预测方法及装置，本技术通过构建车辆轨迹数据图及车道数据图，结合车辆轨迹特征与车道特征交互信息进行轨迹预测，具体以自动驾驶汽车为对象，针对当前递归架构在训练中参数效率低下且昂贵以及聚合层既不直观也不直接建模车与车之间的交互的问题，通过使用图卷积体系对车辆和车道交互信息进行建模，最后将车辆信息以及车道信息进行融合，从而创建合适的嵌入。然后，对该嵌入进行操作以预测车辆的轨迹，增加了轨迹预测结果的准确性。