一种基于机器视觉融合路网时空信息的交通流预测方法

1.本发明涉及智能交通领域，涉及对交通流量的预测，具体涉及一种基于机器视觉融合路网时空信息的交通流预测方法。


背景技术：

2.当代社会中城市化进程大大加快，交通资源对于人类生活变得愈发重要。近年来，智能交通系统对于整合交通资源，充分发掘城市交通道路的潜力，提高人们的出行效率起着越来越重要的作用。而智能交通系统的最终目标是实现对道路上交通代理实现有效监控和调度，及时控制突发事件与预测将来时刻的交通流量。因此，可见利用过往历史信息实现对未来交通流的预测至关重要。
3.在智能交通系统中，交通流预测在各种交通场景之中都有着广泛的应用。交通流预测指的是给定一段历史时间的交通流量数据进行建模，预测未来某个时间点该道路上的交通流。根据所预测的时间点据当前时间点跨度的不同，可以分为长时交通流预测和短时交通流预测。长时交通流预测以小时、天、周、为单位；而短时交通流预测的时间单位通常为五到三十分钟之内。通过交通流预测可以实现交通调度，为人们的日常出行提供方便。
4.然而交通流预测却受到时间和空间维度的双重限制，时间上表现为非线性、周期性，空间上整体交通网络中每条道路上的车流量相互影响。因此，交通流预测任务实际上是一项极具挑战性的任务。传统的交通流预测方法大多基于时间序列预测模型，这些模型只是对历史数据做一些简单运算，并不能真正利用这些历史数据的时空依赖性，因此在长时间交通流预测和发生突然事件时表现差。不同于时间序列预测只关注时序特征的时间相关性，本专利在路网交通预测中同时也关注路网中不同路段间的空间相关性。由于城市道路所在的城区可以近似看作一个规则的地理区域，将地理区域进行等距划分，并提取时间与空间特征。


技术实现要素：

5.针对时间和空间维度的共同制约，同时为了解决以上提出的种种问题，我们提出了一种基于机器视觉融合路网时空信息的交通流预测方法。该方法可以充分利用路网拓扑信息和时序信息实现交通流特征建模。同时，我们在给定的数据集图像中首先进行目标检测和图像分类，来获取道路上车辆的数目和该条道路的密度状况。然后该方法利用门控循环单元网络结合注意力机制提取交通流序列特征后，将时序特征输入到根据道路周围联通道路所建立的连通图结构中实现空间拓扑信息的融合，最后使用全连接层将时空特征用于交通流预测。
6.一种基于机器视觉融合路网时空信息的交通流预测方法，具体包括以下步骤：
7.步骤一：车流量信息提取。使用目标检测算法对道路车辆进行检测，获取道路上的车流量信息。经过目标检测和道路车道类型分类，最终可以获得每条车道上的车辆数目，再通过计算得到车辆的驶入摄像机视野和驶出摄像机视野的车辆总数和交通状态。
8.步骤二：基于门控循环单元网络的时序特征提取。使用一层门控循环单元网络模型用于处理输入的时序车流量数据，以提取时序数据中的潜在特征供后续模块继续处理。
9.步骤三：基于注意力机制的时序特征关联。使用多头注意力机制将注意力放在时序特征应该被关注的地方。
10.步骤四：基于图卷积网络的空间特征融合。在利用步骤三的时序网络结合步骤四的注意力机制捕获了交通流量时间上的依赖关系之后，然后进行空间信息的提取，最终利用时空依赖关系来预测交通流量。
11.本发明具有以下有益效果：
12.1.不同于其他路网流量预测工作直接使用数据集中的真实交通数据，我们利用机器视觉算法从道路监控图像中提取车辆数目和道路交通状态；
13.2.我们在将交通流量作为训练特征的同时，同时也将道路交通状态作为训练特征，从而获取融合更丰富的交通特征；
14.3.针对图卷积过程，在对被预测节点的2-hop图进行图卷积后，将其1-hop图进行进一步的图卷积，以此来关注更近邻的流量特征，此外，我们还对路网流量进行时空回溯，即将图中车流的流向进行反转，进行图卷积后与正向时空特征进行融合；
附图说明
15.图1为融合路网时空信息的交通流预测方法的框架图。
16.图2为交通节点及其邻居节点的图结构。
17.图3为交通节点及其邻居节点的反转图结构。
具体实施方式
18.以下结合附图对本发明作进一步的解释说明；
19.一种基于机器视觉融合路网时空信息的交通流预测方法，具体包括以下步骤：
20.步骤一：我们将使用目标检测算法对道路车辆进行检测，获取道路上的车流量信息。
21.目标检测过程中，除了对整幅图像检测外，还要根据道路掩膜图像进行区域划分。在数据集标注文件中，对道路掩膜图像像素数值进行了详细说明，对于道路掩膜图像，其中像素数值代表的道路类型为：当r[i,j]＝0时，非道路区域；当r[i,j]＝50时，向摄像机视野外行驶；当r[i,j]＝100时，向摄像机视野内行驶；当r[i,j]＝150时，为右转车道；当r[i,j]＝200时，为左转车道；当r[i,j]＝250时，为直行车道。通过目标检测后得到的车辆边界框，计算边界框的中心点，然后判断中心点属于道路掩膜的何种像素，就可以判明车辆此时位于哪条车道。经过目标检测和道路车道类型分类，最终可以获得每条车道上的车辆数目，再通过计算得到车辆的驶入摄像机视野和驶出摄像机视野的车辆总数。另外，将道路交通状态分类为队列状态和自由流状态。根据标记的处于排队或者自由流状态的图像，划分了训练集和验证集。在实验的实施过程中，对其重新使用检测网络进行训练。
[0022]
步骤二：基于门控循环单元网络的时序特征提取。
[0023]
在时间序列预测任务中，为了解决时间序列所存在的长期依赖问题采用门控循环单元网络的时序特征提取方法。它使用门控机制来输入输出以及记忆信息，通过重置门将
当前时刻输入信息与记忆信息实现聚合，通过更新门负责记忆历史信息。
[0024]
步骤三：基于注意力机制的时序特征关联。
[0025]
注意力机制模块的目标是有效获取经过门控循环单元网络特征提取后时序数据间隐藏的时间关联。在同一交通节点对应的道路中，不同时间点(如邻近时间、每日、每周)之内总是存在某种动态的时间相关性。由于本研究利用的时间序列信息较短，没有考虑每日和每周的长范围时间信息，所以只使用注意力机制提取邻近时间点的时间依赖。对于注意力机制的选用，选用多头注意力机制将注意力放在时序特征所应该被关注的地方。对于交通流量时序预测，一般情况下输入序列与所需要预测的未来时刻流量不同，而恰好注意力机制发生在输入流量序列和目标流量这整个过程之中，计算目标流量与输入序列中各时间点流量的相似度，通过加权求和输出注意力数值。相较于普通的注意力机制，自注意力机制对普通的注意力机制进行改进，只计算输入序列内部各个时间点之间的相互关联程度，而不与目标流量进行相关的关联。因此，自注意力机制可以捕获输入序列中的各时间点流量间的特征依赖，尤其捕获序列中长序列特征更为明显。
[0026]
步骤四：基于图卷积网络的空间特征融合。
[0027]
首先利用时序网络结合注意力机制捕获了交通流量时间上的依赖关系，然后再进行空间信息的提取，最终利用时空依赖关系来预测交通流量。通过在频域中构建滤波器来提取被预测节点及其邻域的空间信息。如图2所示，1号节点是中心节点，利用图卷积模型可以提取中心节点及其周围邻域2-hop图上所有的历史流量信息。此外，我们还针对中心节点的1-hop邻居作为子图进行进一步的空间特征提取。在图上1-hop节点流入中心节点或者从中心节点流出的流量必然会比2-hop邻居更多，在重要性上也1-hop上的流量也会对中心节点的流量预测显得更重要。在对1-hop进行图卷积操作之前，我们先使用全局池化操作表征2-hop图的信息，此操作可以保留传递到1-hop图卷积层上的信息，使其在层间传递时减少损失。由于流量从邻居节点流入中心节点，再从中心节点流出，这整个过程中中心节点对于这部分流量都有参与属性存在。因此可以假设流入的车流变成流出车流，反之亦然，这样中心节点仍然处于流量的流经途径上，这便相当于对整个2-hop图做了反转，如图3所示。