一种基于Transformer与图注意力网络的高速公路交通流量预测方法

本发明涉及一种基于transformer与图注意力网络的高速公路交通流量预测方法。

背景技术：

1、智能交通系统是智慧城市中重要的一部分，能够帮助实现高效的交通管理。交通流量预测作为智能交通系统中不可或缺的一部分，为优化交通资源的调度提供了必要的参考，特别是在交通量大、行车速度快的高速公路上。由于高速公路相对封闭，一旦发生拥堵，将严重影响通行能力。交通流量是反映公路状况的一项基本量度。如果能够提前准确预测，据此，交通管理部门将能够更合理地引导车辆，提升高速公路网的运行效率。交通流量预测是交通资源控制、优化的基础，在智能交通系统中起着重要作用，受到国内外学者的广泛关注。

2、目前，各大高速公路都部署了大量传感器、高清摄像头等信息收集设备。这些设备能不断收集关于交通的时间序列数据(交通流量信息、交通速度信息等)，为交通流量预测提供了可靠的数据来源。天气因素也是影响交通情况的一个重大因素，目前天气预测的精度已经达到可以作为交通预测数据来源的标准。

3、交通预测是智能交通系统中的一个基本问题，在过去的几十年里引起了广泛的研究关注。早期的工作通常基于线性时间序列分析方法。如，基于统计学方法的历史平均法ha、自回归移动平均模型arima、基于机器学习的k邻近算法(k-nearest neighbor,knn)、支持向量回归(support vector regression,svr)等。早期的统计学方法通常基于独立性假设、线性假设等，但实际上交通演变是一个复杂的非线性且动态的过程，并不满足这些假设；机器学习方法能够建模相对更加复杂的非线性数据，相比统计学方法取得了更好的预测效果；近年来，深度学习的迅速发展将交通流量预测的研究发展推向一个更高层级的阶段；深度学习方法能够从大量的交通流量数据中挖掘出时间依赖性与空间依赖性，现如今大量的传感器、摄像头等设备采集的大量交通数据能满足深度学习的数据需求。深度学习方法不需要大量的人工设计，仅仅从交通流量数据中挖掘潜在的关联，在交通流量预测方面取得了不错的成绩。

4、具体地，给定一个长度为t的历史交通信号矩阵x∈rn×t×c及该区域对应时间段的天气数据p∈r(t+t′)×1，交通流量预测的目标是建立一个模型将x与p作为输入然后输出未来t′个时间步的交通流量矩阵y′∈rn×t′×c。其中n表示交通路网节点数量，c表示交通特征数量，如果仅仅将交通流量数据输入模型则c＝1，t′表示预测的时长。

技术实现思路

1、本发明的目的是提供一种基于transformer与图注意力网络的高速公路交通流量预测方法，将天气因素和交通流量数据结合起来建模交通流量数据复杂的时间特征与空间特征，提高交通流量预测精度。

2、本发明解决上述问题的技术方案如下：一种基于transformer与图注意力网络的高速公路交通流量预测方法，其特征在于：利用图注意力网络(graph attention neuralnetwork,gat)获取交通流量数据的空间特征；利用transformer模型获取交通流量数据的时间特征；利用不同周期的数据对数据进行周期性建模；利用天气信息调整交通节点之间的时间、空间关联强度。

3、本发明提供的这种基于transformer与图注意力网络的高速公路交通流量预测方法，过程如下：

4、步骤1：获取原始交通数据集与天气数据集并对其进行预处理，按照6:2:2的比例将整个数据集划分成训练集、验证集、测试集。

5、步骤2：将训练集数据按照小时、天、周处理，得到近期、日周期、周周期三种周期数据。

6、步骤3：基于图注意力网络、transformer、线性变换等构建交通流量预测模型。

7、步骤4：使用步骤2获得的训练集、验证集输入步骤3构建的交通流量预测模型进行训练。

8、步骤5：采用步骤4训练后的交通流量预测模型对步骤1中的测试集进行交通流量预测，并采用平均绝对误差(mean absolute error,mae)，均方根误差(root mean squareerror,rmse)和平均绝对百分比误差(mean absolute percentage error,mape)作为评估标准。

9、步骤1所述的交通数据预处理，具体过程如下：

10、1)收集目标区域交通数据采集装置采集的交通流量数据并获取对应地区的天气数据；检查数据完整性情况并将交通流量数据每5分钟聚合一次处理成大小为n×t×c的交通信号矩阵；其中n表示交通路网中数据采集点数量，t表示时间片数量，c＝3表示交通数据的特征数量，其中特征包括交通流量、交通速度、道路占有率。

11、2)对1)中得到的交通流量矩阵的缺省值采用线性插值方法进行补全；对交通流量矩阵进行标准化，得到标准化的交通流量矩阵。

12、3)将天气数据按照5分钟聚合一次处理成长度为(t+t′)的向量p并进行量化。具体地，将天气根据影响交通的程度划分为5个等级分别由1，2，3，4，5表示并对上述五种等级分别量化为1，0.8，0.6，0.5，0.3。比如大雾视为严重影响交通等级记为等级5，天气晴朗便于出行记为等级1.

13、4)将2)、3)中得到的标准化交通流量矩阵和标准天气向量划分成训练集、验证集、测试集。具体地，将60％的数据划分为训练集，20％划分为验证集，剩余20％划分为测试集。

14、步骤2所述的将训练集划分成三种周期数据。具体过程如下：

15、定义预测时长为tp，采样频率为p，数据起始点为t0。近期数据xr、日周期数据xd、周周期数据tw的数据长度分别定义为tr、td和tw，需要注意的是tr、td和tw都是tp的整数倍；近期数据、日周期数据、周周期数据分别由式(1),(2),(3)表示。

16、

17、

18、

19、步骤3所述的基于图卷注意力网络、transformer，卷积神经网络等构建交通流量预测模型具体如下：

20、交通流量预测模型包括：图注意力网络、transformer、周期融合层以及基于卷积神经网络的预测层。预测过程如下：

21、将三个周期的数据分别输入图注意力网络用于提取交通流量的空间特征，随后为图注意力网络的输出添加时间位置嵌入并输入transformer的编码层与解码层，最后将三个周期的输出进行融合输入卷积网络层得到最后的预测结果。

22、所述的图注意力网络提取交通流量的空间相关性信息，过程如下：

23、图注意力网络采用式(4)定义的空域图卷积神经网络，如下所示。

24、

25、其中，ad表示交通路网的动态邻接矩阵，是ad的度矩阵；x表示标准化的交通流量矩阵；σ表示relu激活函数；w和b表示可学习的权重矩阵和偏置向量，xg为图卷积的输出结果。

26、式(4)中的邻接矩阵ad动态建模是提取交通流量的空间相关性信息的关键，本发明中采用静态邻接矩阵与空间注意力计算得到的节点互相关联矩阵相乘得到，如式(8)所示。

27、具体地，输入模型的交通流量数据被聚合成了多个时间片，在模型中将每个时间片的交通流量数据在空间维度进行注意力计算得到各个节点之间的注意力得分公式表达如式(5)。

28、

29、qs＝ks＝wlxt+bl  (6)

30、其中，为注意力得分，qs、ks分别为交通流量经过线性层后得到的查询向量与键向量，表示的转置矩阵，d为特征维度；wl与bl为可学习的权重矩阵与偏置向量；a是预定义邻接矩阵，ad表示动态邻接矩阵。

31、用于图注意力网络中的动态邻接矩阵由与由节点之间的地理距离计算得到的预定义静态邻接矩阵a相乘得到，预定义邻接矩阵与动态邻接矩阵公式表达如式(7)与式(8)所示。

32、ai,j＝1/distance(i,j)  (7)

33、

34、其中，distance(i，j)表示节点i与节点j之间的地理距离；a是预定义邻接矩阵，ad表示动态邻接矩阵，⊙表示哈达玛积。

35、图注意力网络层公式表达如式(9)所示。

36、

37、步骤3所述的采用transformer捕获时间相关性信息，具体如下：

38、transformer中采用时间注意力机制捕获时间相关性，并使用量化后的天气数据调整各个时间片之间的关联程度。由于注意力机制公平对待每个数据，导致忽略了数据之间的顺序信息，而顺序信息对时空数据预测而言非常重要。所以在输入transformer之前必须对数据添加时间位置嵌入。具体如式(10)与式(11)所示。

39、x′s[i，：]＝xs[i，：]+etp  (10)

40、

41、其中，etp为时间位置嵌入编码，t表示不同的时间步，d表示特征维度；x′s为添加时间位置编码后的交通流量矩阵。

42、transformer的编码器在时间维度采用多头注意力机制捕获时间相关性公式如式(13)所示。并堆叠多个编码层与图注意力网络捕获时空相关性。

43、

44、attmh＝head1+head2+…+headh  (13)

45、qt＝kt＝vt＝linear(x′s)  (14)

46、其中qt∈rt×n、kt∈rt×n、vt∈rt×n分别表示时间维度的查询向量、键向量与值向量，p∈rt×1为量化后的天气数据向量，headi是第i个头的输出，linear()表示线性变换，d为特征维度，softmax()是非线性激活函数，attmh即为多头注意力层的输出矩阵。

47、将attmh∈rn×t添加残差连接与归一化后输入图注意力网络进一步捕获空间相关性后即为transformer网络编码器的输出。

48、transformer中的解码层与编码器结构相似，但是在解码器中为了防止将未来需要的真实数据输入模型中采用遮罩矩阵对解码器的输入进行部分屏蔽处理，具体如下：

49、将未来目标时间步的数据xd经过多头注意力计算后与一个遮罩矩阵mask进行相加再经过softmax函数将未知的部分变为0，达到屏蔽未知信息的作用。mask是一个下三角全为0，上三角全为负无穷的矩阵，所以经过softmax函数之后负无穷的部分变为0。公式表达如式(15。

50、y′＝softmax(xd+mask)  (15)

51、其中，y′表示遮罩矩阵层的输出，mask表示遮罩矩阵，softmax是归一化函数。

52、解码器中依次包括图多头时间注意力层、遮罩矩阵层、多头时间注意力层、图注意力网络层并且每一层之间都有残差连接及归一化。编码器的输出作为查询向量q与键向量k输入多头时间注意力层，而值向量v是经过上一步遮罩矩阵处理后的数据。通过堆叠多个解码器来捕获交通流量数据的时空相关性。

53、分别将近期数据、日周期数据、周周期数据输入三个结构相同的编码器分别得到y′r、y′d、y′w，并进入周期融合层进行特征融合，周期融合层采用门控机制对三个周期的数据进行融合，如式(16)所示。

54、y″＝sigmoid(y′r)⊙y′r+sigmoid(y′d)⊙y′d+sigmoid(y′w)⊙y′w    (16)

55、其中，y″为周期融合层的输出特征矩阵，y′r、y′d、y′w分别是三个周期编码器输出的特征矩阵；⊙表示哈达玛积，sigmoid()是非线性激活函数。

56、经过图注意力网络、编码器、周期融合层、解码器后采用线性层将解码器的输出映射成预测数据，如式(17)所示。每次预测出的值将作为解码器的输入用于预测下一个时间片的交通流量。

57、

58、其中，即为预测值，w′与b为可学习的权重矩阵与偏置向量。

59、步骤4所述的将训练集、验证集输入交通流量预测模型进行训练，具体过程如下：

60、训练过程中采用l1损失函数进行损失计算，采用adam作为优化器。

61、训练过程中使用训练集对原始交通流量预测进行训练，然后使用验证集对训练后的模型进行评估，直到训练后的模型收敛。

62、步骤5：所述的采用步骤4训练后的交通流量预测模型对步骤1中的测试集进行交通流量预测并评估，具体如下：

63、1)将交通流量预测模型的模式从训练模式修改为评估模式。

64、2)交通流量预测模型加载训练过程中保存的最佳参数模型，并将测试集中的数据输入模型进行交通流量预测并采用mae、rmse和mape进行评估。

65、本发明中提出的交通流量预测模型使用图注意力网络动态捕获交通流量的空间相关性。将图注意力网络嵌入transformer框架中使得transformer能够同时捕获时间相关性和空间相关性。transformer的强大序列数据处理能力能够捕获序列数据的长期依赖，从而使得该模型在长期预测方面相比其他预测模型更具优势，对周期性显式建模也使得该模型对于交通流量的周期性更加敏感，提高预测精度。此外，本交通流量预测模型引入天气因素对交通节点之间的依赖程度进行动态调整，预测模型更加先进。