一种基于DCT的联邦学习拜占庭参与方检测方法、系统、设备及介质

本发明属于网络空间安全，尤其涉及一种基于dct的联邦学习拜占庭参与方检测方法、系统、设备及介质。

背景技术：

1、联邦学习(federated learning)是一种建立在分布式数据集上，由多个参与方和一个服务器组成的分布式机器学习框架。在该框架中，参与方使用本地数据进行模型训练，每轮训练结束后将本地模型参数上传至服务器，服务器对参与方上传的模型参数进行聚合，并将聚合后的全局模型下发给各个参与方进行下一轮训练，这种模型参数交换聚合方式不仅可以防止数据隐私泄露，还可以有效地解决数据孤岛问题。然而，由于联邦学习的分布式特性，使其容易遭受拜占庭攻击。拜占庭参与方可以在模型训练和上传过程中生成恶意模型，使得恶意模型会与正常模型一起聚合，从而降低全局模型精度或使全局模型无法正常收敛。因此，在联邦学习系统中，需要采取有效的方法来检测和防止拜占庭参与方的行为，以确保联邦学习系统的可靠性和安全性。

2、现有的针对联邦学习系统参与方的投毒攻击检测方案大多对联邦学习系统设置了诸多的约束条件，包括服务器拥有验证数据集，各个参与方的本地数据满足独立同分布(independent and identically distributed，iid)且拜占庭参与方的比例不超过50％等。2020年，[wang y,zhu tq,chang wh,shen s,ren w.model poisoning defense onfederated learning:a validation based approach.in:proc.of the 14th int’lconf.on network and system security.melbourne:springer,2020.207–223.]提出聚合服务器收集小部分验证数据集，验证每个参与方上传模型参数的分类准确率，如果分类准确率低于阈值则被检测为恶意本地模型。[khazbak y,tan tx,cao gh.mlguard:mitigating poisoning attacks in privacy preserving distributed collaborativelearning.in:proc.of the 29th int’l conf.on computer communications andnetworks(icccn).honolulu:ieee,2020.1–9.]根据参与方之间模型参数的余弦相似度计算相似度分数，相似度分数越高说明两个模型参数越接近，最后取分数最高的n-m个参与方进行聚合(m<n/2)。这些约束条件在联邦学习系统的实际应用环境中通常无法满足，导致联邦学习系统在实际应用环境中无法有效检测拜占庭参与方。

技术实现思路

1、为了克服上述现有技术的不足，本发明的目的在于提供一种基于dct的联邦学习拜占庭参与方检测方法、系统、设备及介质，利用dct将模型梯度转换到频域进行分析，并通过分析频谱图的能量分布差异对拜占庭参与方进行检测，从而避免拜占庭参与方生成的恶意模型对全局模型带来的负面影响，以保证全局模型的完整性并提高联邦学习系统的鲁棒性，具有适用性广，可靠性高的优点。

2、为了实现上述目的，本发明采用如下技术方案：

3、一种基于dct(离散余弦变换)的联邦学习拜占庭参与方检测方法，利用dct将本地模型参数基于频率分解成不同幅度和频率的余弦函数之和；通过dct变换，将本地模型参数转换成其对应的频谱图，从而得到该本地模型参数在不同频率下的能量分布情况；然后通过分析频谱图的能量分布差异对拜占庭参与方进行检测。

4、一种基于dct的联邦学习拜占庭参与方检测方法，具有以下假设：

5、1)假设系统中共有n名参与方，参与方集合表示为{u1,u2……un}，拜占庭参与方可以在t>1(t表示当前训练轮数)条件下任意轮发起攻击；

6、2)假设系统中所有参与方的本地模型结构和类型相同；

7、3)假设系统中服务器诚实可信，不会与系统中其他参与方实行共谋。

8、一种基于dct的联邦学习拜占庭参与方检测方法，具体包括以下步骤：

9、步骤1、服务器初始化全局模型，将该全局模型下发给各个参与方；

10、步骤2、参与方基于全局模型使用本地数据进行模型训练，得到更新的本地模型，并将本地模型参数上传至服务器；

11、步骤3、异常检测，服务器接收到各个参与方的本地模型参数后，对本地模型参数信息进行dct计算，得到对应本地模型参数的频谱图；然后计算频谱图的能量分布，将能量分布差异值超过设定阈值的本地模型标记为恶意本地模型，将能量分布差异值未超过设定阈值的本地模型标记为正常参与方；正常参与方信息将被存储在正常参与方列表中；

12、步骤4、服务器根据步骤3中正常参与方列表的信息，将正常参与方上传的本地模型通过联邦平均的聚合规则聚合成全局模型，并将该全局模型下发给各个参与方。

13、所述步骤1具体方法为：服务器指定模型结构、优化器与损失函数，初始化全局模型并将全局模型分发给参与方{u1,u2……un}。

14、所述步骤2具体方法为：接收到步骤1分发的最新的全局模型后，正常的参与方ui使用本地数据di进行模型训练，得到更新后的本地模型；本地模型训练完成后，所有参与方将本地模型参数上传至服务器，其中拜占庭参与方对更新后本地模型参数进行投毒即修改模型信息，以达到降低模型精度这一攻击目的。

15、所述步骤3具体方法为：

16、3.1)服务器接收来自参与方ui的本地模型参数后，对本地模型参数进行dct变换，得到对应的频谱图：

17、3.1.1)假设本地模型参数矩阵是二维矩阵p×q，首先对矩阵行进行分析，将其视为p个采样点组成的离散信号，该离散信号的傅里叶变换表示为：

18、

19、x(k)是傅里叶变换后的系数，将公式(1)中的指数函数展开，得到：

20、

21、本地模型参数矩阵为一个实数的偶函数信号，公式(2)的虚部为一个奇函数，则因此，将公式(2)的正弦函数去掉，得到：

22、

23、再次应用公式(3)对本地模型参数的列进行分析，即完成了对本地模型参数的dct计算，得到的系数看作是本地模型参数在余弦基函数上的投影；

24、3.1.2)利用dct将本地模型参数基于频率分解成不同幅度和频率的余弦函数之和；通过dct变换，将本地模型参数转换成其对应的频谱图，从而得到该本地模型参数在不同频率下的能量分布情况；

25、3.2)在t＝1时，计算参与方ui本地模型参数频谱图的低频能量值e_low1[i]与高频能量值e_high1[i]，并将其保存；

26、当t>1时，根据公式(4)计算第t轮与第1轮上传的本地模型参数频谱图的低频能量比例的差异，根据公式(5)计算第t轮与第1轮上传的本地模型参数频谱图的高频能量比例的差异，根据公式(6)计算第t轮与第1轮上传的本地模型参数频谱图中高频与低频分量总的能量差异值其中α是一个权重因子，用于确定低频分量和高频分量的比重；

27、

28、

29、

30、预定义服务器设置的异常值误差阈值为th，当时，参与方上传的本地模型会被判定为恶意模型；

31、反之，当时，则将其标记为正常参与方；正常参与方信息将被存储在正常参与方列表中。

32、所述步骤4具体方法为：服务器根据步骤3中正常参与方列表，将正常参与方上传的本地模型通过联邦平均的聚合规则聚合成全局模型，并将该全局模型下发给各个参与方；各个参与方基于该全局模型以及本地数据，继续进行本地模型训练，令t＝t+1重复步骤2-4，进行下一轮的模型训练直到模型收敛或达到预设的训练轮数要求：

33、一种基于上述检测方法的联邦学习拜占庭检测系统，包括：

34、模型初始化模块，用于步骤1所述服务器初始化全局模型；

35、本地模型训练模块，用于步骤2所述参与方基于全局模型使用本地数据进行模型训练；

36、异常检测模块，用于步骤3所述服务器对参与方上传的本地模型参数进行异常检测；

37、全局模型聚合模块，用于步骤4所述服务器聚合经过异常检测后的非恶意本地模型。

38、一种基于上述检测方法的联邦学习拜占庭检测设备，包括：

39、存储器，用于存储计算机程序；

40、处理器，用于执行所述计算机程序时实现步骤1至4所述的基于dct的联邦学习拜占庭参与方检测方法。

41、一种计算机可读存储介质，所述计算机可读存储介质用来存储计算机程序，所述计算机程序被处理器执行时能够基于步骤1至4所述的基于dct的联邦学习拜占庭参与方检测方法，进行拜占庭参与方检测。

42、本发明与现有技术相比，具有如下优点：

43、1、本发明提出一种针对联邦学习系统中拜占庭参与方的检测方案，基于dct将模型参数从时域转换到频域进行分析，可以准确检测出在联邦学习系统中，拜占庭参与方进行投毒攻击导致模型参数在频域引起的频谱能量变化。通过检测识别出拜占庭参与方，避免其对全局模型产生负面影响。相较于现有技术，本发明可以在任意拜占庭参与方比例，且参与方本地数据non-iid的条件下依然进行准确检测。

44、2.目前主流的检测方案通常是基于参与方本地模型之间的横向比较，通过对各参与方本地模型进行聚类等方法，将数量较大的类别视为正常参与方。然而，当拜占庭参与方的比例超过50％时，这种检测方案就会失效。此外，如果参与方的本地数据在non-iid的情况下，由于数据异构的原因，参与方训练得到的本地模型会表现出较大的差异性，从而导致误检率增加。本发明采取参与方的异常行为判定基于该参与方上传的当前模型信息与其历史模型信息进行比较，与其他参与方无关，因此，本发明具有较强的鲁棒性和可靠性，不会受到拜占庭参与方比例和数据non-iid的影响。

45、综上，本发明具有适用性好，精确度高的优点。