稀疏鲁棒的联邦学习方法、联邦学习系统及服务器与流程

本申请涉及联邦学习，具体地涉及一种稀疏鲁棒的联邦学习方法、联邦学习系统及服务器。

背景技术：

1、目前，随着人工智能技术的飞速发展，人工智能技术的应用越来越广泛，已经被应用于图像分析、语音识别、文字处理、智能推荐、安全检测等多个领域，以联邦学习为代表的隐私计算技术已经成为新的前沿技术热点领域。为了提高模型的稀疏性和鲁棒性，现有的联邦学习技术广泛采用了基于l1范数、l2范数的正则化以及模型剪枝等方法，但是上述方法尚存在较大的优化提升空间。例如，l1范数在模型参数的所有取值空间具有相同的优化权重，并不能针对性的提高模型稀疏性。l2正则化技术在提升模型鲁棒性方面效果明显，但是在提升模型稀疏性方面效果较差。因此，现有的技术方案存在对模型的稀疏性和鲁棒性难以同步提升，以导致模型的训练效果不佳的问题。

技术实现思路

1、本申请实施例的目的是提供一种稀疏鲁棒的联邦学习方法、联邦学习系统及服务器，用以解决现有技术中模型的训练效果不佳的问题。

2、为了实现上述目的，本申请第一方面提供一种稀疏鲁棒的联邦学习方法，应用于服务器，服务器与客户端通信，该方法包括：

3、对全局模型的参数进行初始化处理，以得到初始化参数；

4、分别将初始化参数发送至多个目标客户端节点，以通过客户端根据初始化参数、logl1正则项和l2正则项更新本地模型，从而得到多个本地模型更新参数；

5、接收客户端返回的多个本地模型更新参数；

6、根据多个本地模型更新参数确定全局模型的聚合参数；

7、判断全局模型的聚合参数是否满足预设终止条件；

8、在全局模型的聚合参数满足预设终止条件的情况下，判定全局模型训练完成。

9、在本申请实施例中，更新参数满足公式(1)：

10、

11、其中，i为客户端节点序号，k为模型训练轮数，wik为第k轮、第i个客户端节点的全局模型的更新参数，wk-1为第k-1轮全局模型的参数，w为本地模型参数向量，η为学习率常量，表示求新损失函数li(w)在w＝wk-1处对w的梯度。

12、在本申请实施例中，新损失函数满足公式(2)：

13、

14、其中，li(w)为全局模型原损失函数加上正则项后的新损失函数，fi(w)为全局模型的原损失函数，αk为控制模型稀疏度的权重衰减函数，β为权重常量，||w||1表示w的l1范数，表示w的l2范数的平方。

15、在本申请实施例中，控制模型稀疏度的权重衰减函数满足公式(3)：

16、

17、其中，αk为控制模型稀疏度的权重衰减函数，α为控制模型稀疏度的初始常量，rend为预设的训练周期阈值常量，k为模型训练轮数。

18、在本申请实施例中，判断全局模型的聚合参数是否满足预设终止条件包括：

19、判断全局模型的聚合参数是否收敛；或

20、判断全局模型的训练总轮次是否大于或等于阈值常量。

21、在本申请实施例中，根据多个本地模型更新参数确定全局模型的聚合参数包括：

22、分别获取多个客户端节点的本地存储样本数据集中包含的样本数量和多个本地模型更新参数；

23、分别将每个客户端节点的本地存储样本数据集中包含的样本数量和本地模型更新参数相乘，以得到多个乘积；

24、将多个乘积求和，再除以多个客户端节点的样本数量之和，以得到全局模型的聚合参数。

25、在本申请实施例中，联邦学习方法还包括：

26、在全局模型的聚合参数不满足预设终止条件的情况下，重新对全局模型进行训练。

27、本申请第二方面提供一种服务器，包括：

28、存储器，被配置成存储指令；以及

29、处理器，被配置成从存储器调用指令以及在执行指令时能够实现根据上述的稀疏鲁棒的联邦学习方法。

30、本申请第三方面提供一种稀疏鲁棒的联邦学习系统，包括：

31、根据上述的服务器；

32、客户端，与服务器通信，被配置成根据初始化参数、logl1正则项和l2正则项更新本地模型，从而得到多个本地模型更新参数，并将多个本地模型更新参数发送至服务器。

33、本申请第四方面提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行根据上述的稀疏鲁棒的联邦学习方法。

34、通过上述技术方案，服务器对全局模型的参数进行初始化处理，以得到初始化参数。再分别将初始化参数发送至多个目标客户端节点，以通过客户端根据初始化参数、logl1正则项和l2正则项更新本地模型，从而得到多个本地模型更新参数，并接收客户端返回的多个本地模型更新参数。再根据多个本地模型更新参数确定全局模型的聚合参数。最后判断全局模型的聚合参数是否满足预设终止条件。在全局模型的聚合参数满足预设终止条件的情况下，判定全局模型训练完成，可以在提高模型的稀疏性的同时提高模型鲁棒性，增强了模型的训练效果。

35、本申请实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。

技术特征：

1.一种稀疏鲁棒的联邦学习方法，其特征在于，应用于服务器，所述服务器与客户端通信，所述方法包括：

2.根据权利要求1所述的联邦学习方法，其特征在于，所述本地模型更新参数满足公式(1)：

3.根据权利要求2所述的联邦学习方法，其特征在于，所述新损失函数满足公式(2)：

4.根据权利要求3所述的联邦学习方法，其特征在于，所述控制模型稀疏度的权重衰减函数满足公式(3)：

5.根据权利要求1所述的联邦学习方法，其特征在于，所述判断全局模型的聚合参数是否满足所述预设终止条件包括：

6.根据权利要求1所述的联邦学习方法，其特征在于，所述根据所述多个本地模型更新参数确定所述全局模型的聚合参数包括：

7.根据权利要求1所述的联邦学习方法，其特征在于，所述联邦学习方法还包括：

8.一种服务器，其特征在于，包括：

9.一种稀疏鲁棒的联邦学习系统，其特征在于，包括：

10.一种机器可读存储介质，其特征在于，该机器可读存储介质上存储有指令，该指令用于使得机器执行根据权利要求1至7中任一项所述的稀疏鲁棒的联邦学习方法。

技术总结
本申请公开了一种稀疏鲁棒的联邦学习方法、联邦学习系统及服务。该方法包括：对全局模型的参数进行初始化处理，以得到初始化参数；分别将初始化参数发送至多个目标客户端节点，以通过客户端根据初始化参数、LogL1正则项和L2正则项更新本地模型，从而得到多个本地模型更新参数；接收客户端返回的多个本地模型更新参数；根据多个本地模型更新参数确定全局模型的聚合参数；判断全局模型的聚合参数是否满足预设终止条件；在全局模型的聚合参数满足预设终止条件的情况下，判定全局模型训练完成。本申请通过增加LogL1正则项和L2正则项，可以在提高模型的稀疏性的同时提高模型鲁棒性，增强了模型的训练效果。

技术研发人员：江军,王炜
受保护的技术使用者：北京天融信网络安全技术有限公司
技术研发日：
技术公布日：2024/2/8