一种基于联邦学习的城市交通流量时空预测方法

1.本发明涉及城市交通技术领域，尤其是涉及一种基于联邦学习的城市交通流量时空预测方法。


背景技术：

2.交通预测是智能交通系统中的关键部分，是实现交通规划、交通管理和交通控制的重要手段。准确的交通流量预测信息可以为交通管理者提供及时的交通决策依据，更好地管理城市交通，提高道路运营效率，同时也可以让驾驶员提前了解交通情况，及时改变路线，选择合理的交通道路，节省出行时间，进而减少交通拥堵情况的出现。另外，还可以在一定程度上减少环境污染，提高交通安全。因此，城市流量预测是城市交通系统中举足轻重的一部分。然而，城市交通流量预测面临两个难点：复杂的动态时空依赖以及数据隐私问题。
3.在动态时空依赖方面，路口在空间上相互动态影响，并在时间上呈现相似的变化趋势。在空间维度上，随着时间的推移，不同的位置路口之间的影响是不同的，甚至同一位置对某路口的影响也是不同的。例如在工作日的早上，车辆由居民区驶向商业区，晚上车辆则由商业区驶向居民区。在时间维度上，不同路口的历史观测数据在未来不同时间对路口交通状态的影响也是不同的。因此，城市交通路口之间存在复杂的动态时空依赖关系，在时间维度和空间维度上都表现为较强的动态性。如何挖掘非线性、复杂的时空数据，研究其潜在的时空模型，构建模型进行准确的时空流量预测，是一个非常具有挑战性的问题。
4.在数据隐私方面，当前流量预测模型大多都高度依赖海量数据使用集中式学习，即汇总所有的路口车辆数据，在中央服务器中进行模型训练。然而，在智能交通系统中，这些海量数据通常由不同的组织收集和共享，包括政府组织、公司和各出行平台等，这种集中式学习方法通常需要在这些机构之间共享数据，数据中包含的敏感隐私信息很有可能被忽略，从而导致潜在的隐私泄露。因此，在预测流量的同时保护隐私是非常重要的。考虑到数据隐私问题，不同的组织被要求通过将其用户数据存储在本地以保护个人隐私来避免数据交换，这使这些组织很难协同培训一个强大的模型。因此，如何实现各个组织协作构建有效的模型，在保护组织数据隐私的前提下，达到较好的模型性能，是一个十分有现实意义的课题。
5.现有解决交通流量预测的方法很多，其中一部分方法只考虑了时间相关性，包括arima模型，卡尔曼滤波器，支持向量机，k近邻模型，贝叶斯网络以及部分神经网络。以上的方法考虑了交通流量随时间的动态变化，但是忽略了路口之间的空间依赖性，因此，路口流量的变化不受道路网络约束，不能非常准确地预测交通流量。为了挖掘流量的空间特征，部分研究引入了卷积神经网络，但是，卷积神经网络主要使用于欧几里得结构的数据，比如图像结构。这些模型并不使用于复杂的城市路网结构的情况，因此在本质上不能很好地描述空间依赖性。
6.尽管目前很多工作对交通流量预测问题做出了贡献，但由于实际道路中复杂的时空依赖性和数据隐私问题，在时空交通流量预测方面仍存在很多挑战。如何实现在不损害
隐私的情况下，探索时空数据，发现其固有的时空模式，实现多参与方的高准确率的交通流量预测，这是一个十分具有挑战的研究课题。


技术实现要素：

7.本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于联邦学习的城市交通流量时空预测方法，基于城市实际路网结构，在多参与方存在的情况下，综合考虑时间和空间上存在的依赖关系，实现不泄露隐私的多方协作城市交通流量时空预测。
8.本发明的目的可以通过以下技术方案来实现：
9.一种基于联邦学习的城市交通流量时空预测方法，具体包括以下步骤：
10.s1、获取城市交通数据流信息，输入到流量时空预测网络模型；
11.s2、所述流量时空预测网络模型通过注意力机制获取城市交通数据流信息中存在的动态时空依赖关系；
12.s3、所述城市交通数据流信息和动态时空依赖关系输入到联邦学习框架，所述联邦学习框架通过参数聚合机制来更新通用的学习模型，采用联邦平均算法进行安全参数聚合，最终得到城市交通流量预测结果。
13.所述流量时空预测网络模型具体为st-gcn网络模型。
14.所述流量时空预测网络模型根据路网结构和获取的路口历史流量数据进行构建完成。
15.所述流量时空预测网络模型中设有图卷积神经网络和门控循环单元。
16.进一步地，所述流量时空预测网络模型通过图卷积网络和城市路口的邻接矩阵获取路口的空间依赖关系。
17.进一步地，所述流量时空预测网络模型通过门控循环单元挖掘路口不同历史周期特征的时间依赖关系。
18.所述时间依赖关系中设有多种时间周期。
19.进一步地，所述时间周期的类型包括近期、天和周，对应的时长分别为五分钟、一天和一周。
20.所述联邦学习框架除联邦平均算法外还设有最优客户端选择算法和阈值检查模块，确保每个客户端上传的结果不包含会破坏全局模型的恶意结果，以减少模型参数传输过程中的通信开销，提升全局聚合效果。
21.进一步地，所述最优客户端选择算法的过程具体为根据客户参与训练的频率和每个客户持有的数据大小，在候选客户中选择本轮的最佳参与者。
22.进一步地，所述阈值检查模块以上一轮全局模型的测试结果为检测阈值，若当前模型的误差大于检测阈值，则不上传当前模型进行更新。
23.与现有技术相比，本发明具有以下有益效果：
24.1.本发明的流量时空预测网络模型通过图卷积网络和城市路口的邻接矩阵获取路口的空间依赖关系，通过门控循环单元挖掘路口不同历史周期特征的时间依赖关系，有效挖掘流量数据中蕴含的时空依赖性，提高了计算得到的城市交通路口之间时空依赖性的准确性。
25.2.本发明在联邦学习框架中通过参数聚合机制来更新通用的学习模型，而不是直
接在组织间共享原始数据，避免了不同组织之间的敏感隐私信息在共享过程中被泄露，有效提高了城市交通流量预测过程中的数据安全性。
26.3.本发明采用联邦平均算法进行安全参数聚合，并且通过最优客户端选择算法和阈值检查模块来确保每个客户端上传的结果不包含会破坏全局模型的恶意结果，以减少模型参数传输过程中的通信开销，提升全局聚合效果。
附图说明
27.图1为本发明的流程示意图；
28.图2为本发明时间依赖特征周期的示意图。
具体实施方式
29.下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
30.实施例
31.如图1所示，一种基于联邦学习的城市交通流量时空预测方法，具体包括以下步骤：
32.s1、获取城市交通数据流信息，输入到流量时空预测网络模型；
33.s2、流量时空预测网络模型通过注意力机制获取城市交通数据流信息中存在的动态时空依赖关系；
34.s3、城市交通数据流信息和动态时空依赖关系输入到联邦学习框架，联邦学习框架通过参数聚合机制来更新通用的学习模型，采用联邦平均算法进行安全参数聚合，最终得到城市交通流量预测结果。
35.流量时空预测网络模型根据路网结构和获取的路口历史流量数据构建。
36.流量时空预测网络模型中设有图卷积神经网络(gcn)和门控循环单元(gru)。
37.本实施例中，图卷积网络借助于图的拉普拉斯矩阵的特征值和特征向量来研究图的性质。网络的每一个卷积层的传播规则的公式如下所示：
[0038][0039]
其中，σ表示激活函数，h
(l+1)
表示第l层的激活单元矩阵，w
(l)
是第l层的参数矩阵，是无向图g的邻接矩阵加上自连接(即每个顶点和自身加一条边)，in是单位矩阵，是的度数矩阵，h
(l)
是第l层的激活单元矩阵。
[0040]
图卷积网络的每一层通过邻接矩阵a 和特征矩阵h
(l)
相乘得到每个顶点邻居特征的汇总，再乘上参数矩阵w
(l)
，通过激活函数做一次非线性变换得到聚合邻接顶点特征的矩阵
(l+1)
。因此，每一层图卷积操作可以实现对于中心点，获取其自身节点及其一阶邻域的空间信息，捕捉节点之间的空间特征。
[0041]
流量时空预测网络模型通过图卷积网络和城市路口的邻接矩阵获取路口的空间依赖关系。
[0042]
流量时空预测网络模型通过门控循环单元挖掘路口不同历史周期特征的时间依赖关系。
[0043]
本实施例中，门控循环神经网络捕捉时间序列中时间步距离较大的依赖关系，通过可以学习的门来控制信息的流动，并且引入了重置门和更新门的概念，从而修改了循环神经网络中隐藏状态的计算方式。
[0044]
本实施例中，通过注意力机制，获取流量数据中的动态时空依赖。主要包含两种注意力，时间维度上的注意力和空间维度上的注意力。
[0045]
在空间维度，各个位置的流量互相影响，并且呈现变化的影响趋势。因此，我们使用一个空间注意力来获得这种动态的影响因子。以近期周期为例：
[0046][0047][0048]
其中，是第l层的输入，σ是激活函数；vs,bs,w1,w
2,
w3为可训练的参数；空间相关矩阵s是由变化的输入决定的，在s中的元素s
i,j
的值表示路口i和j之间的关联强度，在进行图的卷积时，同时使用邻接矩阵a和空间注意力矩阵s
′
来动态调整路口之间的影响。
[0049]
在时间维度，之前的每个时刻对当前时刻的影响都是不同的。因此，需要训练得到不同时刻对当前时刻在时间维度的影响大小。因此，通过使用一个时间注意力来获得这种动态的影响因子。以近期周期为例：
[0050][0051][0052]
其中，是第l层的输入，v
t
,b
t
,u1,u2,u3为可训练参数；时间相关矩阵t是由变化的输入决定的，t中的元素t
i,j
的值表示时间i和j之间的关联强度；最后，t被softmax函数归一化。直接将归一化的时间注意力矩阵t
′
应用于输入，通过合并相关信息动态地调整输入。
[0053]
时间依赖关系中设有多种时间周期。
[0054]
时间周期的类型包括近期、天和周，对应的时长分别为五分钟、一天和一周。
[0055]
本实施例中，假设当前时间为t0，预测窗口的大小为
p
，沿时间轴截取长度为r、td和w的三个时间序列段，分别作为近期、天和周特征周期的输入，如图2所示。假设采样频率为每天q次，x
t
表示时刻的路口流量，关于这三个特征周期的公式如下所示：
[0056]
[0057][0058][0059]
其中，x
recent
为近期的特征周期，x
daily
为天的特征周期，x
weekly
为周的特征周期。
[0060]
近期代表当前时间t0之前的tr时期的交通特征，它与预测时期直接相邻。交通拥堵的过程是渐进的，刚刚过去的交通流量必然会影响未来的交通流量，通过提取这段时间的交通特征数据，定义为近期。日周期代表当前时间t0之前的几天的交通特征，与预测时段相同。由于人们日常生活的规律性，交通数据可能呈现出重复的模式，比如每天的早高峰，从这些重复的模式中可以提取出规律性的交通趋势。通过提取这一时期的交通特征数据，并将其定义为日周期。周周期代表过去几周在当前时间t0的交通特征，与预测期相同。通常，在工作日的星期一，星期一的交通模式与过去一周的星期一的交通模式有一定的相似性，但也许与周末的交通模式有很大的不同。因此，周周期的设计是为了捕捉每周的周期性特征。提取这个时期的交通特征数据，并将其定义为周周期。
[0061]
对一天的所有流量数据来说，首先获取时间和空间维度的注意力矩阵，再对数据进行图卷积操作，得到路口之间流量的空间依赖关系，再将图卷积后的结果根据门控循环单元更新当前状态，获得新的状态和输出。以近期周期为例，时间序列为将此序列数据按时间先后投入以st-gcn cell为单元的gcn模型中，最终获得近期周期的时间依赖关系。网络整体结构的输入数据为三个周期属性的时间序列特征。对于三种周期属性的时间序列，构建相同结构的gru网络，将三个结果结合，并通过激活函数得到最终结果。
[0062]
联邦学习框架除联邦平均算法外还设有最优客户端选择算法和阈值检查模块，确保每个客户端上传的结果不包含会破坏全局模型的恶意结果，以减少模型参数传输过程中的通信开销，提升全局聚合效果。
[0063]
最优客户端选择算法的过程具体为根据客户参与训练的频率和每个客户持有的数据大小，在候选客户中选择本轮的最佳参与者。
[0064]
阈值检查模块以上一轮全局模型的测试结果为检测阈值，若当前模型的误差大于检测阈值，则不上传当前模型进行更新。
[0065]
本实施例中，联邦平均算法(fedavg)将每个客户端的本地随机梯度下降与一个执行模型平均化的服务器结合，为了降低通信成本，每个客户端使用其本地数据对当前模型进行梯度下降优化。然后中央服务端对客户上传的模型更新进行加权平均聚合。联邦平均算法包括三个步骤：首先在每轮开始时，服务器随机选择比例为c的客户，服务器将当前的全局模型w0发送给每个被选中的客户；每个被选中的客户端根据全局模型和其本地数据集进行本地训练，并以小型批次大小b更新以获得服务器通过安全参数聚合机制聚
合每个客户端的更新，然后重复这个过程。
[0066]
本实施例中，最优客户端选择算法通过选择每一轮参与训练的客户端，在减少通信费用的同时，可以达到与所有客户端参与一样的良好效果。算法根据客户参与训练的频率和每个客户持有的数据大小，在候选客户中选择本轮的最佳参与者。fk是第k个客户参与训练的频率，f＝||fk||；dk是第k个用户的数据集数量，d＝||dk||。h是参与频率和数据集数量之间的影响率，0≤h≤1。p是所有用户的数量。$r$是被选中的客户的比例。sc指参与训练的r*p用户候选人。
[0067]
基于上述算法，本发明提出了基于机会选择的联邦学习，它主要由双向通信、机会选择算法和阈值检查机制组成。步骤如下：服务端发布一个联邦学习任务，在每轮训练开始时，客户端决定它是否要参与。自愿参与的客户端成为候选参与者。拒绝意味着这个客户端不愿意参加这个任务或有其他意外；服务端通过最优客户选择算法选择参与本轮训练的最优客户端集合；参与的客户端加载全局模型和权重，基于他们自己的数据在本地训练模型，训练完成后，对模型进行测试检查，如果检查通过，则将本地模型更新发送到服务器上；服务器汇总每个参与者通过联邦平均算法发送的模型更新数据，并更新全局模型。
[0068]
st-gcn网络模型误差对比结果以及基于机会协作的联邦学习结果如表1和表2所示，表1为模型误差结果，表2为基于机会协作的联邦学习算法结果：
[0069]
表1模型误差结果
[0070][0071]
表2基于机会协作的联邦学习算法结果
[0072][0073]
由表1可以看出，与st-gcn模型的rmse和mae都小于几乎大多数基线模型，这表明st-gcn模型的预测精度结果较好。例如，st-gcn的rmse比arima小39.28％，mae比arima小54.23％。这是因为arima模型不能挖掘出交通流中复杂的时间和空间依赖性。
[0074]
为了验证st-gcn模型是否具有从交通数据中挖掘空间和时间特征的能力，本实施例将st-gcn模型与gru模型、lstm模型和其他时空模型进行比较。在空间依赖性方面，将st-gcn模型与gru模型进行比较。gru模型与st-gcn模型具有相同的时间依赖性，但它不能捕捉到交叉口之间的空间依赖性。与gru模型相比，st-gcn的rmse降低了22.96％，st-gcn的mae
降低了26.76％。st-gcn模型在空间依赖性方面取得了更好的结果，因为它引入了gcn来获得路口之间的空间关系。本实施例还将st-gcn模型与其他一些时空交通预测模型进行了比较，如stgcn和astgcn模型。与stgcn模型相比，st-gcn模型的rmse和mae都小于stgcn模型。在捕捉时间依赖性方面，gru模型比卷积性能优越，而cnn对长时间序列不是很敏感。因此，使用gru来挖掘时间依赖性是比较好的。与astgcn模型相比，st-gcn模型参考了astgcn模型中的注意机制，但与astgcn不同的是，st-gcn模型通过gru而不是astgcn中的时空卷积块来捕获长期的时间依赖性。astgcn中的时空卷积块在一定程度上捕获了缺失的长期依赖性信息，所以st-gcn模型效果比astgcn略好。
[0075]
表2是基于机会协作的联邦学习结果。本实施例采用5个客户端参与的传统联邦学习的结果作为基线，即全局模型的mae为28.6433，rmse为42.8382。可以观察到，当参与客户端的比例为0.6时，基于机会协作的联邦学习误差已经小于传统联邦学习的误差，而且通信成本也比传统fl的成本低很多。因此可以看出，本发明的基于机会协作的联邦学习可以实现与传统联邦学习相同甚至更好的结果，同时降低了通信成本。
[0076]
此外，需要说明的是，本说明书中所描述的具体实施例，所取名称可以不同，本说明书中所描述的以上内容仅仅是对本发明结构所做的举例说明。凡依据本发明构思的构造、特征及原理所做的等效变化或者简单变化，均包括于本发明的保护范围内。本发明所属技术领域的技术人员可以对所描述的具体实例做各种各样的修改或补充或采用类似的方法，只要不偏离本发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。