一种自适应联邦学习权重聚合方法

本发明涉及网络安全，特别涉及一种自适应联邦学习权重聚合方法。

背景技术：

1、目前，联邦学习是一种带有隐私保护、安全加密技术的分布式机器学习框架，其主要思想是在客户端训练本地模型，将模型参数发送到服务器端，然后在服务器端聚合客户端的模型；由于只有模型提交服务器，所以联邦学习是以一种保护隐私的方式来提高模型准确度。

2、随着数据量的增加，模型的准确率通常也随之提高，因此联邦学习的成功高度依赖于大量贡献最后训练数据的节点参与，例如，将联邦学习应用到脑卒预测中，脑卒预测的准确率提升了10％-20％。然而，常用的联邦学习聚合算法(fedavg)没有考虑到节点的数据质量和节点间样本分布非独立同分布(non-independent and identically distributed，non-iid)等问题，从而导致了在non-iid场景下模型精度下降和全局收敛速度减慢。因此，目前将联邦学习算法应用于non-iid场景下存在着一些不能忽略的技术问题：

3、由于目前常用的联邦学习聚合算法(fedavg)是基于独立同分布假设进行联合建模训练，因此对于non-iid的客户端数据集直接进行模型聚合往往影响全局模型的性能和收敛速度，同时，现实生活中不同客户端多收集的数据参差不齐，例如错误标记，如直接聚合其生成的模型，将会显著降低全局模型的精度，这些问题将严重影响联邦学习算法在实际中的应用。

4、且现有的神经网络模型大多是利用批标准化剪枝方法直接对所有批标准化层的缩放因子进行全局排序，然后按比例筛选出性能最差的一组，全局的筛选可以保证去除层的权重最小，但忽略了在网络浅层和深层结构中批标准化层缩放因子的绝对值差异，对于网络较窄的部分，采用全局策略可能会从中去除了过多的特征层，严重影响该层网络的特征信息，导致神经网络模型无法准确地识别处道路图像中车辆和道路上的障碍物。

5、同时夜间交通道路图像中自然光几乎为零，其他光源交错复杂，使图像亮度分布不均，图像可见度、对比度下降，同时车辆轮廓信息及纹理信息也会被灯光遮挡，导致夜晚道路的车辆辨识度低，导致现有的神经网络模型对道路图像中的车辆、道路的障碍物进行识别时精度较低。

技术实现思路

1、本发明提供了一种自适应联邦学习权重聚合方法及相关设备，其目的是为了通过生成对抗模型训练神经网络模型，提升神经网络模型对道路图像识别的精度。

2、为了达到上述目的，本发明提供了一种自适应联邦学习权重聚合方法，包括中央服务器和多个参与训练的客户端，方法包括：

3、步骤1，中央服务器利用联邦学习方法初始化生成对抗模型的参数和基础模型的参数，并将生成对抗模型和基础模型均发送至每个客户端；生成对抗模型用于在中央服务器中生成数据指导联邦学习聚合权重，基础模型用于对目标检测区域的道路图像数据进行识别；

4、步骤2，每个客户端通过采集的本地图像数据对生成对抗模型进行训练，得到多个训练后的生成对抗模型；并将每个训练后的生成对抗模型中的生成器上传至中央处理器进行汇聚，并利用汇聚后的生成器生成训练集；

5、步骤3，每个客户端通过采集的本地图像数据对基础模型进行训练，得到多个训练后的基础模型，并将每个训练后的基础模型均分为编码模块和解码模块上传至中央服务器分别进行加权聚合，得到神经网络模型；

6、步骤4，将训练集输入神经网络模型进行训练，得到损失函数，并利用损失函数进行反向传播，更新神经网络模型的聚合权重，将当神经网络模型的损失值达到预设值时的聚合权重作为最优聚合权重；

7、步骤5，基于最优聚合权重生成目标神经网络模型，将目标监测区域的道路图像数据输入目标神经网络模型进行识别，得到识别结果。

8、进一步来说，步骤2包括：

9、每个客户端学习生成对抗模型的条件分布g*，得到多个学习到的条件分布g；

10、每个客户端通过对抗的方式优化生成器的参数，得到优化后的参数ω；

11、每个客户端通过采集的本地图像数据、学习到的条件分布g和优化后的参数ω对生成对抗模型进行迭代训练，得到多个训练后的生成对抗模型；

12、将每个训练后的生成对抗模型的生成器上传至中央处理器进行汇聚，得到汇聚后的生成器；

13、基于汇聚后的生成器生成学习了所有客户端中本地图像数据的知识的无偏训练集。

14、进一步来说，学习到的条件分布g为：

15、

16、其中，y代表目标类别，z代表生成器所生成的样本，ε表示期望，g(z|y)和g:y→z表示生成样本的后验分布，p(y)表示目标类别的先验分布，p(y|z)表示目标类别的后验分布。

17、进一步来说，优化后的参数ω为：

18、

19、其中，x代表原始数据，p(x)是原始数据的分布，d代表生成对抗网络中的辨别器。

20、进一步来说，步骤4包括：

21、将无偏训练集输入神经网络模型的线性变换层进行训练，并将训练结果进行聚合，得到模型聚合结果；

22、计算目标标签和模型聚合结果的交叉熵，得到损失函数；

23、利用损失函数进行反向传播，更新神经网络模型的聚合权重，将当神经网络模型的损失值达到预设值时的聚合权重作为最优聚合权重。

24、进一步来说，当迭代结果达到预设模型精度要求或满足训练次数时，终止迭代。

25、本发明的上述方案有如下的有益效果：

26、本发明通过中央处理器将生成对抗模型和基础模型并分发给多个客户端，利用多个客户端采集的本地图像数据分别训练生成对抗模型和基础模型，得到多个训练后的生成对抗模型和多个训练后的基础模型，并将多个训练后的生成对抗模型中的生成器上传至中央处理器进行汇聚并生成测试集，将多个训练后的基础模型分成编码模块和解码模块均上传至中央处理器分别进行加权聚合，得到神经网络模型，将测试集输入神经网络模型进行训练，得到损失函数，并利用损失函数进行反向传播，更新神经网络模型的聚合权重，得到最优聚合权重；基于最优聚合权重生成目标神经网络模型，将目标监测区域的道路图像数据输入目标神经网络模型进行识别，得到识别结果；与现有数据相比，根据汇聚后的生成器融合来自客户端的信息学习全局数据分布，能够在保证数据安全的情况下生成高质量的训练集指导模型聚合；利用训练后的生成对抗模型来训练神经网络模型，并利用训练集动态调整神经网络的权重以找到最优聚合权重，从而提升了神经网络模型识别目标检测区域的道路图像数据的精度。

27、本发明的其它有益效果将在随后的具体实施方式部分予以详细说明。

技术特征：

1.一种自适应联邦学习权重聚合方法，包括中央服务器和多个参与训练的客户端，其特征在于，方法包括：

2.根据权利要求1所述的自适应联邦学习权重聚合方法，其特征在于，所述步骤2包括：

3.根据权利要求2所述的自适应联邦学习权重聚合方法，其特征在于，所述学习到的条件分布g为：

4.根据权利要求2所述的自适应联邦学习权重聚合方法，其特征在于，所述优化后的参数ω为：

5.根据权利要求2所述的自适应联邦学习权重聚合方法，其特征在于，所述步骤4包括：

6.根据权利要求5所述的自适应联邦学习权重聚合方法，其特征在于，

技术总结
本发明提供了一种自适应联邦学习权重聚合方法，通过中央处理器将生成对抗模型和基础模型并分发给多个客户端，利用多个客户端采集的本地图像数据分别训练生成对抗模型和基础模型，得到多个训练后的生成对抗模型和基础模型，并将多个训练后的生成对抗模型中的生成器上传至中央处理器进行汇聚并生成训练集，将多个训练后的基础模型分成编码模块和解码模块均上传至中央处理器分别进行加权聚合，得到神经网络模型，将测试集输入神经网络模型进行训练，得到损失函数，并利用损失函数进行反向传播，得到最优聚合权重并生成目标神经网络模型用于识别目标监测区域的道路图像数据，得到识别结果；提升了神经网络模型对道路图像识别的精度。

技术研发人员：梁伟,郑旭哲,周晓康,黄素珍
受保护的技术使用者：湖南工商大学
技术研发日：
技术公布日：2024/1/16