基于区块链实现隐私保护的拜占庭-鲁棒联邦学习方法

本发明涉及联邦学习、区块链和密码学，尤其涉及基于区块链实现隐私保护的拜占庭-鲁棒联邦学习方法。

背景技术：

1、随着gdpr(general data protection regulation)等隐私保护法案的出现，用户私人数据在中央服务器的直接使用受到了极大限制，人们越来越关注能够保护用户隐私的机器学习方法。2016年，谷歌提出了联邦学习(federated learning,fl)这一新范式。联邦学习可以各参与方能够联合训练机器学习模型，而无需共享他们的本地数据。然而，由于联邦学习框架的中心化和各参与方之间互不信任，传统的联邦学习解决方案很容易受到来自恶意参与方和服务器的中毒攻击。

2、目前已知的克服上述缺陷最好的方案是2022年发表在ieee transactions oninformation forensics and security上的《privacy-preserving byzantine-robustfederated learning via blockchain systems》，以下简称pbfl。pbfl不仅可以抵御投毒攻击，而且还提供了隐私保护机制，但仍存在以下缺陷：1)存在大量的通信开销和计算开销。一方面，pbfl方案虽然使用区块链技术实现了去中心化，但是它依赖2个额外的可信服务器进行梯度的验证和聚合，这与传统的联邦学习理念背道而驰，不仅大大增加了服务器之间的通信开销，而且这2个额外的可信服务器也降低了方案的整体安全性。2)pbfl方案无法抵御中间人攻击。当敌手控制了通信信道时，敌手可以恶意修改参与方上传的梯度，这可能造成参与方的数字货币受到损失。

3、以上方法均设想所有参与方都会遵守协议规则并按照协议执行，并没有考虑到参与方可能会在协议执行过程中篡改数据或者提交假数据的情况。

技术实现思路

1、为解决上述技术问题，本发明提出了基于区块链实现隐私保护的拜占庭-鲁棒联邦学习方法，在pbfl方案的基础上，将pbfl方案中的2个额外的可信服务器合二为一，并且在一次全局模型迭代中，计算服务器仅需2次额外的通信即可完成模型聚合，大大减少了通信开销。

2、为实现上述目的，本发明提供了基于区块链实现隐私保护的拜占庭-鲁棒联邦学习方法，包括：

3、s1、基于秘钥生成中心向计算服务器和参与方分发秘钥，通过所述计算服务器初始化全局模型，将所述初始化全局模型、所述参与方提交的担保品上传至区块链系统；

4、s2、各联邦学习的所述参与方在本地进行当前模型训练，并且将训练获得的梯度进行归一化、同态加密和签名，将所述签名上传至所述区块链系统并把加密后的梯度发送给计算服务器；

5、s3、通过所述计算服务器对所述参与方提交的梯度和签名进行验证；

6、s4、基于所述计算服务器采用加权平均的方法进行梯度聚合，然后更新所述计算服务器初始化全局模型，并将更新后的全局模型上传至区块链；

7、s5、重复所述s2-s4，直至模型收敛，所有参与方均获得精度更高的模型。

8、优选地，所述秘钥生成中心向所述计算服务器和所述参与方分别发放用于同态加密的秘钥对和签名的秘钥对；其中，所述计算服务器只拥有用于同态运算的公钥和用于签名验证的公钥。

9、优选地，各联邦学习的所述参与方在本地进行模型训练，包括：

10、在第i次全局模型迭代过程中，每个联邦学习参与方调用智能合约获取最新的全局模型参数，并将所述最新的全局模型参数解密后的明文作为本次训练的初始化模型参数，最后本地的数据集上使用mbgd算法进行梯度更新，得到更新后的梯度。

11、优选地，将训练获得的梯度进行归一化、同态加密和签名，包括：

12、将所述更新后的梯度归一化为模为1的向量，并将所述更新后的梯度进行同态加密，并将密文发送给所述计算服务器；

13、各参与方将所述密文进行签名，并且将所述密文发送给区块链上的智能合约。

14、优选地，通过所述计算服务器对所述参与方提交的梯度和签名进行验证，包括：

15、签名验证、归一化验证和余弦相似度验证。

16、优选地，进行所述签名验证包括：

17、基于所述计算服务器调用区块链上的智能合约，并对下载后的签名进行验证，若验证通过，则进行归一化验证，否则终止协议并扣除对应参与方的担保品。

18、优选地，进行所述归一化验证包括：

19、通过所述计算服务器随机生成的二元一次方程y＝ax+r，其中，a(a≠0)和r为随机数，x为自身的内积，y为计算服务器经过同态运算得到密文；

20、将(x,y)发送给一个随机的参与方，所述参与方解密后将结果(x,y)发送给所述计算服务器，所述服务器验证x是否为1且y是否等于ax+r；

21、若验证通过，则进行余弦相似度验证，否则终止协议并扣除对应参与方的担保品。

22、优选地，所述余弦相似度验证，包括：

23、计算服务器计算参与方提交的梯度和计算服务器本地获得的梯度之间的余弦值，当所述余弦值大于等于0时，则将通过余弦相似度验证的梯度用于模型更新，当所述余弦值小于0时，则将所述通过余弦相似度验证的梯度对应的权值设为0。

24、优选地，基于所述计算服务器采用加权平均的方法进行梯度聚合，包括：

25、所述计算服务器采用加权平均的方式进行梯度聚合，各梯度对应的权值为余弦相似度验证计算得到的余弦值与各梯度对应余弦值的和的比值，计算服务器接着进行模型更新并将更新后的模型参数上传至区块链上的智能合约。

26、与现有技术相比，本发明具有如下优点和技术效果：

27、1、本发明提出了一种全新的隐私保护的拜占庭-鲁棒联邦学习模型。在pbfl方案的基础上，本发明将pbfl方案中的2个额外的可信服务器合二为一，只使用了一个额外的计算服务器来辅助区块链进行链下计算，并且在一次全局模型迭代中，计算服务器仅需2次额外的通信即可完成模型聚合，大大减少了通信开销。

28、2、本发明提出了一种全新的隐私保护的拜占庭-鲁棒联邦学习协议πdpbfl(decentralized privacy-preserving byzantine-robust federated learning，dpbfl)，不仅实现了隐私保护，去中心化，而且可以抵御中间人攻击，降低了计算服务器的通信开销，提高了方案的整体安全性。

技术特征：

1.基于区块链实现隐私保护的拜占庭-鲁棒联邦学习方法，其特征在于，包括：

2.根据权利要求1所述的基于区块链实现隐私保护的拜占庭-鲁棒联邦学习方法，其特征在于，所述秘钥生成中心向所述计算服务器和所述参与方分别发放用于同态加密的秘钥对和签名的秘钥对；其中，所述计算服务器只拥有用于同态运算的公钥和用于签名验证的公钥。

3.根据权利要求1所述的基于区块链实现隐私保护的拜占庭-鲁棒联邦学习方法，其特征在于，各联邦学习的所述参与方在本地进行模型训练，包括：

4.根据权利要求3所述的基于区块链实现隐私保护的拜占庭-鲁棒联邦学习方法，其特征在于，将训练获得的梯度进行归一化、同态加密和签名，包括：

5.根据权利要求1所述的基于区块链实现隐私保护的拜占庭-鲁棒联邦学习方法，其特征在于，通过所述计算服务器对所述参与方提交的梯度和签名进行验证，包括：

6.根据权利要求5所述的基于区块链实现隐私保护的拜占庭-鲁棒联邦学习方法，其特征在于，进行所述签名验证包括：

7.根据权利要求6所述的基于区块链实现隐私保护的拜占庭-鲁棒联邦学习方法，其特征在于，进行所述归一化验证包括：

8.根据权利要求7所述的基于区块链实现隐私保护的拜占庭-鲁棒联邦学习方法，其特征在于，所述余弦相似度验证，包括：

9.根据权利要求1所述的基于区块链实现隐私保护的拜占庭-鲁棒联邦学习方法，其特征在于，基于所述计算服务器采用加权平均的方法进行梯度聚合，包括：

技术总结
本发明公开了基于区块链实现隐私保护的拜占庭‑鲁棒联邦学习方法，包括：基于秘钥生成中心向计算服务器和参与方分发秘钥，通过计算服务器初始化全局模型，将初始化全局模型、参与方提交的担保品上传至区块链系统；各联邦学习的参与方在本地进行当前模型训练，将训练获得的梯度进行归一化、同态加密和签名，将签名上传至区块链系统并把加密后的梯度发送给计算服务器；通过计算服务器对参与方提交的梯度和签名进行验证；基于计算服务器采用加权平均的方法进行梯度聚合，然后更新计算服务器初始化全局模型，并将更新后的全局模型上传至区块链；重复上述步骤，直至模型收敛。本发明实现了隐私保护，降低了计算服务器的通信开销，提高了整体安全性。

技术研发人员：曾兵,赵熙阳,任森婷,覃丽冰,李东
受保护的技术使用者：华南理工大学
技术研发日：
技术公布日：2024/12/17