基于联邦学习的多模态高速公路拥堵识别方法及系统与流程

本发明属于高速智能路网，具体涉及一种基于联邦学习和深度学习的多模态高速公路拥堵识别方法及系统。

背景技术：

1、随着城市化和经济的快速发展，高速公路已成为人们生活和经济发展中不可或缺的一部分。然而，随着车辆数量的不断增加，高速公路拥堵问题也日益突出，导致交通效率低下、能源浪费严重以及环境污染等问题。因此，研究高速公路拥堵识别技术对于优化交通管理、提高交通效率具有重要意义。高速公路是重要的交通干线，车辆数量众多，交通拥堵问题越来越突出，如何及时准确地识别高速公路的拥堵情况，对于保障道路交通安全、提高道路运行效率具有重要意义。

2、目前高速公路拥堵识别的人工智能模型主要基于高速区域自持有的少量数据来训练，训练数据往往不足以得到一个高准确率的模型，又考虑到各方利益以及隐私数据保护等因素，每个高速数据持有实体还存在难以进行跨区域数据聚合的问题。传统的高速公路拥堵识别在前期构建模型时难以保证跨区域数据的安全共享，各种高速路网领域内的隐私数据无法得到安全性上的保障，隐私数据一旦泄露将对人们或区域造成影响。以上种种原因都说明了电力物联网领域数据利用的难度，因此有必要引入联邦迁移学习，从而在解决数据量问题的同时保护数据的安全共享。另外，现有的高速公路拥堵识别方法通常基于单一传感器数据或单一模态数据进行分析，难以满足复杂多变的实际交通状况，因此也需要一种基于多模态数据的高速公路拥堵识别技术。

技术实现思路

1、本发明的目的在于提供一种多模态高速公路拥堵识别方法及系统，该方法及系统可以提高高速公路拥堵识别的速度和准确性，并保证数据共享的安全性。

2、为实现上述目的，本发明采用的技术方案是：一种多模态高速公路拥堵识别方法，包括以下步骤：

3、步骤a、本地客户端c＝{ci,i＝1,2,…,n}对收集的高速公路多模态数据进行预处理，得到n个客户端预处理后的数据d＝{di,i＝1,2,…,n}，其中c为所有独立持有数据的高速路网区域客户端的集合，d为所有客户端持有数据的集合；

4、步骤b、基于预处理后的多模态数据，本地客户端对每一种模态数据构造训练模型；对于每一个独立的训练模型，n个本地客户端和可信的中央服务器进行协同训练，利用联邦学习和同态加密技术迭代训练模型以实现高速路网隐私数据的安全共享，训练完成后产生输出模型，m＝{mz,z＝1,2,…,q}，其中mz为第z种模态数据训练出的模型；

5、步骤c、基于步骤b得到的输出模型，进行多模态数据的后端融合，即对不同模态数据分别训练好的分类器输出进行决策级融合，得到模型输出的平均拥堵程度ji；

6、步骤d、基于步骤c得到的平均拥堵程度ji，对模型的拥堵计算区间进行优化和更新，实现高速路网拥堵识别的算法参数的自适应修正。

7、进一步地，所述步骤a具体包括以下步骤：

8、步骤a1、对本地客户端ci收集的包括图像、文本的多模态数据进行清洗、分类；对于文本数据，去除重复值、空值及异常值；完成预处理步骤后得到该本地客户端对应的数据di；

9、步骤a2、基于步骤a1处理后的数据，对于每一个需要拥堵识别区域中的高速公路，对于划分出的决策区间[tk-1,tk)，有为决策区间内高速公路摄像头拍摄的路况媒体切帧图像数据或路网门架文本数据，其中k为当前正在决策的时间点，i表示第i个客户端，l为数据的总数。

10、进一步地，所述步骤b具体包括以下步骤：

11、步骤b1、对于一种模态数据的训练，构建可信的本地客户端cserver；

12、步骤b2、对于该种模态数据，初始化对应的深度学习模型model；

13、步骤b3、本地客户端在进行一轮训练后对中间数据进行加密；

14、步骤b4、中央服务器接收到来自本地客户端的加密数据后执行聚合和更新操作，然后将新的参数下发至本地客户端进行下一轮训练；

15、步骤b5、独立的本地客户端获取中央服务器下发的新一轮训练参数，使用私钥解密后得到真实数据；

16、步骤b6、中央服务器主导协同训练，持续迭代更新本地模型参数，直到达到终止条件后完成基于联邦学习的模型训练。

17、进一步地，当使用联邦学习得到模型与不使用联邦学习得到模型之间的准确率误差小于一个极小正数时，认为模型符合预期，可用于后续步骤，否则重新进行训练：

18、e＝|accfl-accall|＜ε

19、其中，ε为设定的极小正数，accfl和accall分别为使用联邦学习和不使用联邦学习得到模型的准确率，e为两种模型的准确率之差的绝对值；于是，对于持续迭代的优化目标，主要着眼于减少引入安全策略后对于准确率的损失，其目标函数为：

20、mine,(e＜ε)。

21、进一步地，步骤b1中，中央服务器初始化配置参数p，下发至本地客户端；

22、步骤b2中，本地客户端将配置参数p加入各自模型中完成本地模型的初始化操作；

23、步骤b3中，本地客户端对中间数据的加密方式为：

24、

25、其中t为训练的轮次，为第i个本地客户端加密后的参数，为第i个客户端在本轮的产生的中间数据，pk为生成的公钥，e(·)为加密函数；

26、步骤b4中，中央服务器执行的参数更新方式为：

27、

28、其中，为下一轮的参数，t为训练的轮次，pi为第i个客户端上的样本数，pall为本轮参与客户端上样本的总数，n为客户端总数；在若干轮训练中，每一轮选择1到n个客户端参与，中央服务器将收集来的数据用加权平均的方式进行聚合；

29、步骤b5中，本地客户端使用私钥解密后得到真实数据的方式为：

30、

31、其中，为解密后的从中央服务器得到的最新一轮下发参数，d(·)为解密函数，sk为私钥，本地客户端根据这一轮的得到的数据进行本地模型中参数的更新。

32、进一步地，步骤c中，基于步骤b中对多模态数据分别训练好的分类器m＝{mz,z＝1,2,…,q}，将步骤a中的区间数据输入每个模型，得到模型的输出结果：

33、

34、其中，getj()为计算模型的预测值，为在决策时刻k模型mz输出的预测值；

35、然后对模型mz输出的预测值进行决策级融合，得到模型输出的平均拥堵程度的ji的方法为：

36、

37、其中，ji为第i个本地客户端模型融合后的平均拥堵程度，wz为第z个模型的权重，q为模型总数，为第z个模型输出的拥堵程度预测值。

38、进一步地，所述步骤d具体包括以下步骤：

39、步骤d1、基于步骤c得到的平均拥堵程度j，对应第i个区域的第j条高速公路，其在决策时刻tk具有的平均拥堵程度定义为对应决策区间[tk-1,tk)其优化参考值为目标函数为：

40、

41、其中，为本决策时刻的附加影响因子，为决策时刻的优化参考值；

42、步骤d2、基于步骤d1中的目标函数，定义附加影响因子与本决策时刻的优化参考值：

43、

44、

45、

46、其中，c为附加影响因子的个数，δ为可控制的优化参数。

47、本发明还提供了一种多模态高速公路拥堵识别系统，包括本地客户端、网络和中央服务器，所述本地客户端和中央服务器均包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如权利要求1-7任一项所述的方法步骤。

48、进一步地，所述多模态高速公路拥堵识别系统包括：

49、高速路网多模态数据准备模块，用于准备训练模型所需要的多模态高速路网数据，包括数据采集子模块和数据预处理子模块；数据采集子模块在本地域内将高速路网多模态隐私数据进行统一收集，例如监控视频数据和高速门架数据等；数据预处理子模块对数据进行筛选、分类以及清洗，生成可以用于训练的标准数据；

50、高安全性协同训练模块，用于进行多个独立数据的安全共享和模型的分布式训练，包括本地模型训练子模块和协同共享子模块；本地模型训练子模块接收从中央服务器下发的参数，独立地进行本地训练；协同共享子模块将本地模型产生的独立中间数据利用同态加密进行安全共享，中央协作服务器聚合后下发新一轮训练的参数；同态加密的使用可以使中央写作服务器在不需要解密的情况下进行聚合操；

51、综合决策优化模块，用于进行决策级的融合和输出优化，包括决策级融合子模块和输出优化子模块；决策级融合子模块利用多模态数据训练出来的模型进行预测分析，然后加权融合出平均拥堵程度；输出优化子模块分析一个可变区间内的车流情况，由弹性可变的算法对输出阈值进行计算，优化拥堵程度的计算算法，得到更符合实际车况的输出。

52、进一步地，所述高速路网多模态数据准备模块还对收集的图像、文本多模态数据进行清洗、分类，然后将特定数据去除重复值、空值及异常值；对于特定区域中的高速公路，对于划分出的决策区间[tk-1,tk)，有为决策区间内高速公路摄像头拍摄的路况媒体切帧图像数据或路网门架文本数据；

53、所述高安全性协同训练模块基于预处理后的多模态数据进行协同训练，利用联邦学习和同态加密技术迭代训练模型，对数据进行安全共享，完成分布式训练后产生输出模型m；

54、所述综合决策优化模块基于高安全性协同训练模块产生的输出模型m和区间优化算法进行多模态数据的决策级融合和输出优化，产生拥堵程度输出。

55、与现有技术相比，本发明具有以下有益效果：提供了一种基于联邦学习和深度学习的多模态高速公路拥堵识别方法及系统，该方法及系统充分利用多个独立区域的高速路网隐私数据，结合多模态和联邦学习克服了特殊领域数据量少的难题，同时可以利用迁移学习，有效缩短模型训练时间，进而减少成本开销。本发明相比现有高速公路拥堵识别常用的单一模态和单一区域训练模型，使用了结合同态加密的联邦学习技术，在解决跨域数据共享问题的同时，保证了电力物联网隐私数据的安全。综合各区域的数据被使用在模型训练中，使模型更具综合性，可以在一定程度上帮助顶层决策。本发明系统可用于高速路网隐私数据预处理、跨域协同训练和数据共享、综合决策以及输出优化，保证独立区域的数据安全共享，为专业人员提供决策便利。