一种基于同态加密的本地差分隐私联邦学习方法

本发明涉及机器学习数据处理领域，尤其涉及一种基于同态加密的本地差分隐私联邦学习方法。

背景技术：

1、目前联邦学习中主要使用同态加密和差分隐私两种方法增强隐私保护。同态加密是一种允许对加密数据进行代数运算且运算结果解密后与原始数据运算结果相同的加密算法。这种加密方式的特殊性质为数据隐私保护提供了高安全性，同时保持了数据的无损性。差分隐私通过向原始数据添加随机噪声来保护个体隐私，使得攻击者无法从噪声数据中恢复出原始数据。差分隐私技术以其轻量级、可量化和上下文无关的特点，在数据隐私保护领域得到了广泛应用。在联邦学习系统中，差分隐私技术与其它技术相结合，提供了一定程度的隐私保护效果。在联邦学习过程中，通过在参数聚合前添加噪声或在训练期间隐藏客户贡献来保护隐私。在联邦学习过程中，使用同态加密技术加密客户端模型参数后再发送给服务器。采用对称同态加密、弱加密与差分隐私相结合的隐私保护方案。

2、现有技术方案存在的不足：使用单一的差分隐私技术向参数添加噪声，这会导致数据的效用性下降，全局模型精度降低。隐私性和实用性之间难以到达平衡。虽然同态加密具有较高的安全性还能提供无损的数据隐私保护，但是加密运算的时间开销较大，会增加联邦学习的计算开销。组合隐私保护方案需要依赖于可信的管理器，存在信息泄露的风险。

技术实现思路

1、针对现有技术存在的不足，本发明提出一种基于动态加密的本地差分隐私联邦学习方法，所述联邦学习方法包含服务器和n个客户端，其中，服务器负责分发全局模型参数并聚合局部模型，客户端使用本地数据进行训练，服务器与客户端结合使用联邦学习算法训练得到最终全局模型参数，当客户端经过本地训练得到局部模型参数后，采用参数裁剪策略压缩局部模型参数，随后，采用随机选择策略对裁剪后的局部模型参数进行加噪或加密操作，最后将加噪或加密的局部模型参数上传到服务器进行聚合，得到新的全局模型参数，具体包括：

2、步骤1：初始化阶段，服务器初始化全局模型参数w0，并发送给客户端进行本地训练，初始化每轮隐私预算，参数处理中心生成密钥；

3、步骤2：本地训练阶段，客户端基于所述全局模型参数w0对本地数据集进行一轮训练，得到本地模型参数

4、步骤3：客户端计算阶段，每个客户端求出本地模型参数的平均值参数

5、步骤4：遍历本地模型参数，找到低于平均值参数的位置索引windex；

6、步骤5：将低于平均值参数的本地模型参数设置为0，得到裁剪后的本地模型参数

7、步骤6：本地模型参数处理阶段，参数处理中心生成一个来自伯努利分布的随机变量，以便用于后续的随机的加噪和加密操作；

8、步骤7：当随机变量等于1时，使用同态加密函数对裁剪后的本地模型参数中的非0值执行加密操作，得到加密参数

9、步骤8：当随机变量等于0时，对裁剪后的本地模型参数中的非0值添加尺度大小为δf/ε0的拉普拉斯噪声，得到加噪参数

10、步骤9：将加密参数和加噪参数上传到服务器中；

11、步骤10：参数聚合阶段，服务器接受到当前训练轮的所有客户端本地的加密参数和加噪参数信息后，对加密参数进行解密，然后对所有私有的本地模型参数执行联邦平均聚合，得到新的全局模型参数wt+1；

12、步骤11：广播全局模型，服务器向所有客户端广播全局模型参数wt+1，每个客户端接收后再进行新一轮的本地训练；

13、步骤12：重复步骤2至步骤11，直至全局模型收敛。

14、与现有技术相比，本发明方案具有以下技术效果：

15、1、本发明方法采用参数裁剪与安全聚合，通过平均参数裁剪策略，本发明能够有效减少客户端每轮训练后需要传输的模型参数量，降低通信开销，提高模型精度与计算效率。

16、2、本发明采用随机选择策略对裁剪后的参数进行随机加噪或加密，确保了参数的安全聚合。

17、3、协调隐私保护手段，本发明协调了同态加密和差分隐私两种隐私保护方法，解决了单一方法在数据效用性和计算开销上的局限性，这种方法既保持了同态加密的高安全性，又利用了差分隐私的轻量级特性。

技术特征：

1.一种基于动态加密的本地差分隐私联邦学习方法，其特征在于，所述联邦学习方法包含服务器和n个客户端，其中，服务器负责分发全局模型参数并聚合局部模型，客户端使用本地数据进行训练，服务器与客户端结合使用联邦学习算法训练得到最终全局模型参数，当客户端经过本地训练得到局部模型参数后，采用参数裁剪策略压缩局部模型参数，随后，采用随机选择策略对裁剪后的局部模型参数进行加噪或加密操作，最后将加噪或加密的局部模型参数上传到服务器进行聚合，得到新的全局模型参数，具体包括：

技术总结
本发明涉及一种基于同态加密的本地差分隐私联邦学习方法，旨在解决传统联邦学习中存在的隐私泄露问题。本发明首先使用平均参数裁剪策略来减少客户端在每轮训练后需要传输的参数量，通过裁剪低于平均值的参数，有效降低了传输的数据量。随后，采用随机选择策略对裁剪后的参数随机执行加噪或加密操作，以确保在聚合过程中的参数安全，同时解决了传统差分隐私和同态加密方法在数据效用性和计算开销上不足的问题。实验结果表明，本发明方法在不同的隐私需求下表现出了良好的鲁棒性，并且在加密和解密效率上相较于现有方法有显著提升，同时还展现出能抵御梯度泄露攻击的强大隐私保护能力。

技术研发人员：吴涛,邓玉林,周启钊,陈曦,戈文一,王铁军
受保护的技术使用者：成都信息工程大学
技术研发日：
技术公布日：2024/10/14