基于双交叉Transformer的自动驾驶车辆轨迹预测方法及系统

本发明涉及自动驾驶车辆轨迹预测方法及系统，特别提供了基于双交叉transformer的自动驾驶车辆轨迹预测方法及系统，属于自动驾驶轨迹预测。

背景技术：

1、自动驾驶车辆轨迹预测是自动驾驶技术中的一个关键领域，它涉及到预测自动驾驶车辆在未来一段时间内的运动轨迹。对于自动驾驶系统而言，这种预测至关重要，因为它能够帮助车辆做出更准确的决策，避免潜在的危险或冲突。在复杂交通环境中，准确预测车辆的未来轨迹不仅受到复杂道路结构的影响，还受到车辆间交互的影响。这些基于复杂道路环境的交互作用显著增加了预测的难度。因此，在该环境下，自动驾驶车辆实现准确、高效、可靠的轨迹预测构成了一项重要挑战。

2、目前，自动驾驶领域生出了许多关于轨迹预测的方法，这些方法主要是传统和基于深度学习的方法，传统的方法主要依赖于完善的数学和统计技术，同时根据历史数据和预定义的模型进行预测，例如基于物理的方法、基于机动的方法。

3、其中，基于物理的方法主要是针对车辆运动的低级属性、物理规律和动力学进行建模。通常，由于其利用物理规律，这种方法可以在短期(小于一秒)的预测中取得良好的性能。然而，由于缺乏对高级车辆信息的考虑，它在长期预测方面是不足的。

4、基于机动的方法是基于车辆行驶特征和行为模式的方法，通过识别和建模车辆可能执行的不同机动行为来进行轨迹预测，它假设未来车辆轨迹与已识别车辆趋向执行的动作意图一致，其模型首先对驾驶行为或意图进行评估，然后再执行轨迹预测。总体而言，虽然基于机动方法考虑了不同的行为模式和车辆可能的动作，可对车辆进行高级推理，但是面对复杂的道路环境和多样的车辆行为，存在许多未知变化或难以分类的机动行为，这将会导致轨迹预测的准确性降低；此外，基于机动的方法很难应用到其它拓扑结构的道路。

5、因此，传统的轨迹预测方法在相对简单的场景计算效率较高且容易实现，但是在面对错综复杂、不确定性的场景时将会受到限制，预测准确性会降低且应用范围较为狭窄。

技术实现思路

1、发明目的：针对现有技术中存在的不足，本发明提供了基于双交叉transformer的自动驾驶车辆轨迹预测方法及系统，本发明通过学习从输入数据到初步的预测轨迹、个体不确定性和协作不确定性的映射关系，并通过损失函数优化损失值，实现更精确的轨迹预测和不确定性估计。

2、技术方案：基于双交叉transformer的自动驾驶车辆轨迹预测方法，包括以下步骤：

3、s1：收集目标车辆以及周围车辆的历史轨迹数据和车辆状态数据作为输入序列x；

4、s2：捕捉目标车辆和周围车辆之间的交互情况，输出目标车辆和周围车辆初步预测轨迹，并对个体不确定性和协同不确定性进行评估；

5、s3：通过损失函数衡量预测效果，并更新优化参数。

6、优选项，所述s2包括以下步骤：

7、s201：将s1中的输入序列x进行位置编码；

8、s202：通过双向交叉注意力机制捕捉目标车辆和周围车辆之间的交互情况，获取交互特征attenbidir(fs,fg)，并反复训练；

9、s203：输出目标车辆和其周围车辆的初步预测轨迹；

10、s204：对交互特征attenbidir(fs,fg)进行个体不确定性和协同不确定性评估。

11、优选项，所述s1具体为：

12、历史轨迹数据获取：

13、车辆的历史轨迹数据包括前三秒的历史轨迹点，以每秒十帧采集一次，轨迹点表示为(x，y)；

14、车辆状态数据获取：

15、包括车辆速度v和航向角θ，通过分析轨迹、车辆速度v和航向角θ，判断车辆行驶行为，预测目标车辆以及周围车辆的轨迹；

16、将历史轨迹数据和车辆状态数据作为输入序列x。

17、优选项，所述s201具体为：将s1中的输入序列x进行位置编码；

18、使用不同频率的正弦和余弦函数进行位置编码，具体表示为：

19、

20、

21、其中，pos表示输入序列x中的位置；2k,2k+1表示维度索引；dmodel＝512，表示嵌入层的维度。

22、优选项，所述s202具体为：通过双向交叉注意力机制捕捉目标车辆和周围车辆之间的交互情况，获取交互特征，并反复训练：

23、将输入序列x转化成输入特征：

24、从输入序列x中取两个目标车辆和周围车辆的输入特征fs,、fg，其中，fs,fg∈x；

25、将fs作为原输入序列，fg作为目标输入序列，将其输入到双向交叉注意力机制中，通过双向交叉注意力机制来学习目标车辆和周围车辆之间的交互关系：

26、计算输入特征fs的qs、ks、vs和fg的qg、kg、vg，公式如下：

27、qs＝wqfs,ks＝wkfs,vs＝wvfs；

28、qg＝wqfg,kg＝wkfg,vg＝wvfg

29、其中，wq，wk，wv分别表示用于生成qs、ks、vs和qg、kg、vg的转换参数,d是输入特征fs和输入特征fg的维度，dq、dk、dv是qs、ks、vs和qg、kg、vg的维度；qs、ks、vs分别为输入特征fs的查询(query)，键(key)、值(value)三个向量；qg、kg、vg分别为输入特征fg的查询(query)，键(key)、值(value)三个向量；

30、将输入特征fs、fg通过双向交叉注意力transformer学习目标车辆和周围车辆之间的交互情况，提取目标车辆序列和周围车辆序列，以及目标车辆序列和周围车辆序列之间的初步交互特征attenbidir(fs,fg)，具体公式如下：

31、

32、

33、

34、

35、attenbidir(fs,fg)＝mha(fs)+mha(fg)

36、其中，nh是头的数量；cas为输入特征fs通过交叉注意力后计算的输出，cag为输入特征fg通过交叉注意力后计算的输出；mha(fs)为多个cas拼接一起的结果；mha(fg)为多个cag拼接一起的结果。

37、优选项，所述s203具体为：输出目标车辆和其周围车辆的初步预测轨迹：

38、对实际观测的未来轨迹特征y进行编码：

39、efin＝ey+pe(ey)

40、其中，ey为实际观测的未来轨迹序列y的生成特征，y∈y；efin表示位置编码后的实际观测未来轨迹特征。

41、对混合特征z进行快速傅里叶变换得到fz：

42、fz＝fft(z)

43、其中，fft()表示快速傅里叶变换的计算；

44、对处理过的特征fz进行多尺度和自适应图卷积处理，以捕捉具体和全面的跨系列依赖关系：

45、

46、其中，表示节点g的混合特征，s,g节点为目标车辆和周围车辆的抽象表示；θk用于缩放第k阶邻居贡献的系数；αsg是自适应权重，决定了节点g对节点s的贡献程度；mk为第k阶邻居的权重矩阵；relu是非线性激活函数；

47、对节点s,g的特征重新塑形，以适应多头自注意力机制，利用多头注意力机制捕捉特征中的时序依赖性、空间关系、上下文信息和各数据间的相关性；

48、通过重塑返回获取适应softmax函数的输入张量，输入到softmax函数中，通过softmax函数优化网络权重，从而帮助稳定训练过程：

49、

50、

51、

52、

53、

54、

55、其中，reshape()表示重塑模块的计算；reshapeback()表示重塑返回计算；

56、正则化层处理特征然后输入到双层感知机mlp中，双层感知机mlp从输入特征中提取并组合数据，从而获得预测未来的目标车辆和周围车辆的位置或轨迹：

57、

58、

59、其中，w1和b1分别是第一层的权重和偏置；w2和b2是第二层的权重和偏置，输出y是车辆未来轨迹预测值，h1为第一层感知机输出的预测特征。

60、优选项，所述s204具体为：对交互特征进行个体不确定性和协同不确定性评估：

61、令z＝[z1,z2,...,zk]t,zk∈z,z表示交互后的特征；fp(·)是一个置等变换神经网络；将混合特征z传入置等变换神经网络fp(·)中进行学习，生成特征fp(z)＝[z′1,z′2,...,z′k]，fp(z)为特征空间，其中，＜z′i,z′i＞,i∈[1,k]表示目标车辆和周围车辆i的个体不确定性σi；＜z′i,z′j＞,i,j∈[1,k],i≠j表示目标车辆和周围车辆i和j的协作不确定性σi,j，σi,j∈σ，σ为协方差矩阵，具体如下：

62、

63、z′＝fp(z)＝[z′1,z′2,...,z′k]

64、σi＝var(z′i)

65、σi,j＝cov(z′i,z′j)

66、其中，mlp表示多层感知机的计算；mlp(zi,zj)负责处理输入元素(zi,zj)之间关系的建模；var()表示方差的计算，用于衡量单个车辆行为的不确定性；cov()表示协方差的计算，用于衡量两个车辆行为之间的相互依赖性和关联程度。

67、优选项，所述s3的具体步骤为：

68、s301：定义用于训练轨迹预测的损失函数：

69、ltatal＝lo+lu

70、其中，lo为轨迹预测损失；lu为不确定性评估损失。

71、s302：将s2中的目标车辆和周围车辆初步预测轨迹和真实轨迹输入至损失函数中计算误差：

72、

73、其中，n是样本数量；分别表示第i个车辆预测速度在x,y方向上的分量，预测速度为预测位置的导数；分别表示第i个车辆真实速度在x,y方向上的分量，真实速度为真实位置的导数；

74、s303：将s2中的个体不确定性σi和协同不确定性σi,j输入损失函数中进行评估：

75、

76、其中，lu为不确定性评估器的损失；μi是预测的第i个样本的均值向量，这里指初步预测的轨迹；yi是第i个样本的真实轨迹的观测向量；σ是预测的协方差矩阵，描述输出变量之间的相关性，由协方差σi,j组成；k是真实轨迹序列y的维度；n是样本数量。

77、优选项，为了缓解s202中多层网络训练时出现的梯度消失或梯度爆炸问题，防止特定输入数据过拟合：

78、将令f′s＝mha(fs)，f′g＝mha(fg)，mha(·)表示为多头注意力机制；将f′s和f′g通过输入至残差连接、层归一化、线性层、dropout，共同增强神经网络的学习能力、稳定性和效率；然后提取出交互特征fs和fg并进行求和混合特征z，作为后续网络的输入，其中间特征表示为：

79、f″s＝ln(norm(f′s)+fs)

80、f″g＝ln(norm(f′g)+fg)

81、f″′s＝dropout(f″s,p)

82、f″′g＝dropout(f″g,p)

83、f″″s＝norm(ln(f″′s))+f′s

84、f″″g＝norm(ln(f″′g))+f′g

85、

86、

87、

88、其中，ln(·)表示为线性层，norm(·)表示归一化层，dropout(·)是正则化层，p表示在训练过程中每个神经元被保留的概率。

89、实现基于双交叉transformer的自动驾驶车辆轨迹预测方法的系统，包括依次连接的采集输入模块、轨迹预测模块、损失函数模块、可视化输出模块；

90、所述采集输入模块收集目标车辆以及周围车辆的历史轨迹数据和车辆状态数据；

91、所述轨迹预测模块包括依次连接的轨迹transformer编码器、轨迹预测器和不确定性评估器，所述轨迹transformer编码器学习目标车辆和周围车辆之间的交互情况，将编码后的交互特征通过所述轨迹预测其输出预测轨迹，同时输入至不确定性评估器中评估个体不确定性和协同不确定性；

92、所述轨迹预测器包括依次连接的解码嵌入模块、多尺度图模块、正则化层、多层感知机模块，所述轨迹预测器接收轨迹transformer编码器输出的交互特征，通过解码嵌入模块、多尺度图模块、正则化层、多层感知机模块，输出目标车辆和其周围车辆初步预测轨迹；

93、所述多尺度图模块包括依次连接的快速傅里叶变换模块、自适应图卷积模块、多头注意力层；

94、所述损失函数模块通过定义损失函数，最小化轨迹预测器产生的损失和不确定性评估器产生的损失；

95、所述可视化输出模块将训练结果转化为对未来目标车辆和周围车辆轨迹的预测，同时将预测结果可视化。

96、本发明通过构建输入序列x，将目标车辆和周围车辆的历史轨迹数据和状态信息作为输入；其次，通过轨迹预测模块学习从输入数据到得出初步的预测轨迹、个体不确定性和协作不确定性的映射关系，从而实现更精确的轨迹预测和不确定性估计；然后，将初步预测结果与真实轨迹的误差和不确定估计传入损失函数模块，损失函数模块通过反向传播的过程来调整神经网络中的参数，使损失值最小化，从而提高预测的准确性和模型的性能；最后，通过可视化输出模块输出最终的预测结果。

97、有益效果：本发明在车路协同环境下基于多个车辆进行模拟训练，充分考虑目标车辆与周围车辆的交互作用。同时，引入不确定性评估器用于评估车辆交互引入的个体和协作不确定性，该不确定性评估器采用置等变换神经网络，能够捕捉输入数据中各个车辆之间的互动，并保持在排列输入数据和生成特征时的不变性；另外，置等变换神经网络通过生成特征，在特征空间中更为准确地获取个体和协作不确定性，从而提高了对这些不确定性的估计精度，该不确定性评估器在多车辆轨迹预测系统中能够准确评估不确定性，尤其是在协作模型为基础的系统中，将极大地提升多车辆轨迹预测系统的性能；

98、建立轨迹transformer编码器，其基于双向交叉注意力transformer架构来学习轨迹序列。双向交叉注意力机制通过学习车辆与周围车辆之间的时空依赖关系，捕捉到不同车辆之间的相互影响，进而学习车辆之间的交互作用，此外，该双向交叉注意力机制通过动态调整关注的重点，有助于模型减少预测的不确定性，从而实现更准确、更鲁棒的目标车辆及其周围车辆的轨迹预测；

99、建立轨迹预测器，主要由多尺度图模块构成，多尺度模块主要通过三个关键组件来解决多尺度轨迹序列数据中的跨序列关联问题。首先，它利用快速傅立叶变换方法将原始轨迹序列数据投影到与最显著时间尺度相关的空间，从而有效地捕捉和表示不同时间尺度上展现的各种跨序列关联。其次，它引入了多个自适应图卷积模块，结合可学习的邻接矩阵，以捕捉不同时间尺度上的跨序列关联。最后，多尺度图模块还整合了多头自注意力机制，能够捕捉数据内部的时间模式，同时结合自适应图卷积模块，从而有效地捕捉并表示多尺度下的跨序列和内部序列关联。因此，多尺度图模块可以提高模型性能的同时降低计算复杂度；

100、建立损失函数模块，涵盖轨迹预测器和不确定评估器生成的损失。轨迹预测器生成的损失通过计算预测速度与真实速度的欧几里得距离差值来衡量。由于速度是位置关于时间的导数，因此速度之间的差值可用于检查轨迹的平滑性和连续性。较小的速度变化对应于较平滑的轨迹，而较大的速度变化表示轨迹的不连续或突然变化。在不确定评估器中，使用对数似然损失函数，生成表示预测置信度或可信度的分布。这样的对数似然损失函数有助于模型更准确地评估车辆交互的不确定性，从而提高轨迹预测的准确度和鲁棒性。