一种基于个性化联邦学习的分布式交通流预测方法与流程

本发明涉及分布式交通流预测，具体为一种基于个性化联邦学习的分布式交通流预测方法。

背景技术：

1、在交通预测场景中，实时准确的预测方法对于交通流量的控制和管理至关重要。传统的机器学习算法可以对交通流数据进行深度挖掘和预处理，训练交通流预测模型。但该方法需要大量的数据支撑，在智能交通系统中不同区域数据提供者之间的合作和共享过程中交换数据时，存在隐私泄露的潜在风险，且无法通过跨地区共享数据来训练预测模型。在没有共享数据的情况下，传统方法已经无法准确完成交通流预测的任务。

2、在联邦学习的训练过程中，客户端本地数据通常是非独立分布的，此类数据会影响联邦学习算法的收敛以及最终的全局模型精度，并且模型特征会趋向于权重较大的客户端。在智能交通系统的交通流预测中，多区域协同流量预测中各区域数据差异的问题，训练单一的预测模型无法满足所有区域的交通流预测需求。

技术实现思路

1、（一）解决的技术问题

2、针对现有技术的不足，本发明提供了一种基于个性化联邦学习的分布式交通流预测方法，具备提高交通流预测精度、便于高效规划交通管理等优点，解决了传统联邦算法无法通过跨地区共享数据来训练预测模型，数据差异大交通流预测精度低的问题。

3、（二）技术方案

4、为实现上述目的，本发明提供如下技术方案：一种基于个性化联邦学习的分布式交通流预测方法，包括以下步骤：

5、步骤一、建立一个以跨区域协同训练为目的的联邦学习框架，使用本地数据训练全局模型，并采用多任务训练方式，允许各搭载本地神经网络算法的道路区域边缘服务器保持神经网络层的部分私有化的同时，训练得到符合本地数据特征的个性化预测模型；

6、步骤二、通过搭载本地神经网络算法的道路区域边缘服务器进行交通流数据的采集和数据预处理工作，再将预处理后的交通流数据上传至中心云服务器；

7、步骤三、通过搭载联邦学习算法的中心云服务器下发全局模型初始参数至各搭载本地神经网络算法的道路区域边缘服务器中，各道路区域边缘服务器利用本地数据进行联邦学习训练，得到更新后的本地预测模型；

8、步骤四、在联邦学习的过程中增加多任务算法，在完成步骤三的本地更新后，各道路区域边缘服务器根据下发的全局模型，随机抽样交通流数据单独训练，并将所得模型参数保留在私有化的循环神经网络ln层中，该模型参数为本地预测模型训练时使用；

9、道路区域边缘服务器通过循环神经网络中的ln层作为补丁层，进行联邦学习的个性化处理，ln层为卷积神经网络中的归一化处理中间层，连接所有输入数据的通道，归一化为均值为0方差为1的正态分布模式，道路区域边缘服务器更新后的本地预测模型参数与ln层内的数据具有相同的特征，并将本地预测模型参数储存在ln层中，作用于下一轮的联邦训练；

10、循环神经网络包括由输入层、输出层和隐藏层组成，并通过循环结构把不同时间的层间神经元相连接，ln层放置在非线性层前，道路区域边缘服务器在训练循环神经网络时，针对一个batch内，图像对应的所有通道进行标准归一化处理，对ln层的输入数据进行白化预处理，ln层在训练过程中记录的超参数直接运用于下一轮的联邦训练，得到均值为0、方差为1的标准分布数据，预处理后的ln层的输入表达式如下：

11、

12、公式中，表示神经元的分布数据，为防止方差为0产生无效计算而引入的极小值，表示第个时间点的数据，表示神经元的均值，表示神经元的方差；

13、步骤五、各道路区域边缘服务器完成该轮次的本地更新后，将步骤三中所得的新一轮本地预测模型上传至中心云服务器；

14、步骤六、中心云服务器接收各道路区域边缘服务器上传的模型参数后，利用联邦学习算法进行聚合更新，得到新的全局模型，若模型精度达到预设要求，则将最后一轮训练的个性化预测模型作为本地预测模型，若模型精度未达到预设要求，则将此全局模型参数重新下发重复上述步骤一至步骤五，直到全局模型达到预设要求。

15、优选的，所述步骤二中，搭载本地神经网络算法的道路区域边缘服务器通过网络连接智能设备采集交通流数据，智能设备包括传感器和摄像头，交通流数据包括车流量、车辆类型、车辆速度和道路占用率，道路区域边缘服务器通过高斯去噪仪进行数据预处理工作，去除交通流数据中的数据噪声。

16、优选的，所述步骤三中，各道路区域边缘服务器利用交通流数据进行联邦学习训练，得到更新后的本地预测模型，其训练过程中，本地预测模型的参数更新公式如下：

17、

18、公式中，表示第轮联邦学习中，多个道路区域边缘服务器中第个道路区域边缘服务器的本地预测模型，表示上一轮联邦学习中第个道路区域边缘服务器的本地预测模型，表示学习率，表示本地梯度函数，根据不同道路区域边缘服务器的计算能力和通信时延，执行多次梯度下降，表示根据上一轮联邦学习中第个道路区域边缘服务器的本地预测模型进行梯度下降，得到更新后的本地预测模型。

19、优选的，所述步骤四中，中心云服务器接收到各道路区域边缘服务器更新后的本地预测模型后，通过聚合公式聚合得到下一轮的全局模型，各道路区域边缘服务器随机抽样交通流数据对个性化预测模型进行更新，个性化联邦学习中的损失函数由全局模型和个性化预测模型共同组成，其表达式如下：

20、

21、公式中，表示道路区域边缘服务器训练的个性化预测模型，表示上一轮训练的全局模型参数，若道路区域边缘服务器处于第一轮训练中，ω则代表中心云服务器下发的初始模型，表示全局模型对个性化预测模型的影响强度，影响强度与道路区域边缘服务器的计算能力以及数据异构程度有关，若本地预测模型与全局模型差异大，则越大。

22、优选的，所述步骤四中，个性化联邦学习目标函数的计算公式如下：

23、

24、公式中，表示个性化联邦学习目标函数，表示抽样交通流数据的维数，表示按照损失函数，结合抽样交通流数据进行个性化联邦学习，并保留最小值。

25、优选的，所述步骤四中，循环神经网络ln层在输入数据和输出数据过程中进行多次累乘，为防止累乘结果为0，通过设置激活函数将非线性特征引入ln层中，假设激活函数为，则最终的ln层输出公式如下：

26、

27、公式中，表示ln层最终的神经元分布数据，和均为神经网络训练过程中的重构参数，重构参数帮助恢复原始网络的特征分布。

28、优选的，所述步骤五中，在每一轮的联邦学习训练中，将单独抽样交通流数据对其进行训练，并作为个性化预测模型留存在每个道路区域边缘服务器，各道路区域边缘服务器在最终联邦学习训练完成后，使用最后一轮的个性化预测模型作为本地预测模型。

29、优选的，所述步骤六中，预设要求为预测误差阈值，若全局模型预测结果与本地预测模型预测结果之间的误差低于预测误差阈值，表示模型精度达到预设要求，则将最后一轮训练的个性化预测模型作为本地预测模型，若全局模型预测结果与本地预测模型预测结果之间的误差高于预测误差阈值，表示模型精度未达到预设要求，则将此全局模型参数重新下发重复训练，直到全局模型达到预设要求。

30、与现有技术相比，本发明提供了一种基于个性化联邦学习的分布式交通流预测方法，具备以下有益效果：

31、1、本发明通过建立一个以跨区域协同训练为目的的联邦学习框架，使用本地数据训练全局模型，并采用多任务训练方式，允许各搭载本地神经网络算法的道路区域边缘服务器保持神经网络层的部分私有化的同时，训练得到符合本地数据特征的个性化预测模型，有效改善交通流数据异构性对预测精度的影响，极大提高了交通流预测精度。

32、2、本发明通过搭载本地神经网络算法的道路区域边缘服务器连接智能设备采集交通流数据，智能设备包括传感器和摄像头，交通流数据包括车流量、车辆类型、车辆速度和道路占用率，各道路区域边缘服务器利用本地数据进行联邦学习训练，得到更新后的本地预测模型，再随机抽样交通流数据单独训练，并将所得模型参数保留在私有化的循环神经网络ln层中，该模型参数为本地预测模型训练时使用，将各方预测误差控制在预设要求的范围内的同时，使用最后一轮的个性化预测模型作为本地预测模型，更好的保留了各道路区域边缘服务器数据特征，在预测工作中能够更好的拟合非人为因素误差，便于高效精准规划管理交通。