一种基于区块链的分层联邦学习激励方法及系统

本发明属于联邦学习，特别是涉及一种基于区块链的分层联邦学习激励方法及系统。

背景技术：

1、众所周知，现今的机器学习依赖于大量的数据，如何合理有效的利用这些分散的数据去服务有价值的人工智能应用，成为当下亟待解决的问题。然而，很多情况下，由于数据隐私问题，客户端并不愿意直接贡献自己的数据。为此，联邦学习技术已经成为机器学习方向的研究热点。联邦学习允许各分散客户端用协作的方式训练模型，客户端不需要上传自身的原始数据，只需上传每个全局轮次训练的模型参数，很好的避免了隐私的泄露，也一定程度上解决了训练数据规模不足的问题。

2、然而，当参与的客户端数量增大到一定程度，必然使得数据的安全性成为一大挑战。区块链的去中心化，防篡改性和审核机制，可以很好的解决联邦学习的安全问题。模型参数的在区块链上的多方存储，有效的防止了单一服务端下，服务端的故障导致的系统瘫痪和服务端的作恶行为导致的不公平性。此外，客户端不会无偿的提供自身的数据和计算能力，有必要采取激励措施去鼓励客户端积极的训练模型。并且，由于客户端本身的异构性，必须设计合适的激励机制，才能使得各方的效益最大化。

3、目前，一般的联邦学习系统对于客户端的数据贡献的衡量不够全面，传统的模型平均聚合算法效果也欠佳。比较常见的联邦学习的激励机制有拍卖理论、契约理论和博弈论等，但是如何较为精确的反映双方的效用目标也是一个难点。此外，基于区块链的联邦学习系统通常缺乏高效的共识机制，导致共识过程会耗费大量的算力和时间。

技术实现思路

1、本发明的目的在于提供一种基于区块链的分层联邦学习激励方法及系统，实现有效的激励机制促进联邦学习服务端和客户端训练的积极性，通过区块链的共识机制使联邦学习系统更加的轻量和高效。

2、实现本发明目的的技术解决方案为：一方面，本发明提供一种基于区块链的分层联邦学习激励方法，步骤如下：

3、步骤1：在联邦学习系统的下层联邦学习层，基于联邦学习框架的任务请求方提供总奖励值，要求联邦学习系统进行训练任务；根据联邦学习的各服务端对训练任务的贡献，总奖励值按比例分配给各服务端；

4、步骤2：各服务端根据各客户端的数据质量类型，为其制定符合所述质量类型的联邦学习任务契约；

5、步骤3：各客户端选择符合其类别的契约进行签订，契约签订完毕后各客户端进入联邦学习模型训练阶段；

6、步骤4：各客户端根据契约中的要求，在本地迭代后，将生成的本地模型参数通过无线信道提交给各服务端；

7、步骤5：各服务端根据契约内容所对应的精度阈值，判断各客户端是否诚实的履行契约任务，验证通过的客户端将收到对应的奖励；

8、步骤6：在联邦学习系统的上层区块链层，提交的本地模型经验证后被发布为学习交易和聚合的全局模型，并被打包进区块；根据基于贡献的共识机制，选择出块的服务端并完成出块；

9、步骤7：联邦学习服务端从区块链中将全局模型，分发给各联邦学习客户端作全局迭代，重复上述步骤4到步骤7直至全局模型收敛。

10、另一方面，本发明还提供一种基于区块链的分层联邦学习激励系统，包括：

11、本地数据训练模块：用于对联邦学习客户端的本地数据进行本地迭代训练生成本地模型更新。

12、本地效用计算模块：用于对联邦学习客户端的成本进行计算，并根据效用函数选择最佳的契约条款。

13、联邦聚合模块：用于对联邦学习服务端收集到的本地模型进行聚合并生成全局模型。

14、契约生成模块：用于对联邦学习服务端的效用进行计算，并生成一系列契约条款。

15、激励分配模块：用于分配联邦学习服务端和出块节点的奖励值。

16、区块链共识模块：用于对联邦学习服务端的贡献和声誉值进行计算，并选出块节点进行出块。

17、区块链账本模块：用于存储联邦学习过程中产生的本地模型和全局模型。

18、一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的区块链的分层联邦学习激励方法。

19、与现有技术相比，本发明的显著进步在于：(1)本发明通过基于客户端贡献的模型联邦学习聚合算法精准反映了客户端的数据贡献，有效提高了联邦学习训练模型的精度；(2)本发明通过设计的基于契约理论的联邦学习激励机制，促进了各方参与训练的积极性，改善了训练精度和训练时延；(3)本发明通过设计的基于服务端贡献和信誉值的共识机制，有效减少了算力的消耗，提升了训练的精度。

20、为更清楚说明本发明的功能特性以及结构参数，下面结合附图及具体实施方式进一步说明。

技术特征：

1.一种基于区块链的分层联邦学习激励方法，其特征在于，具体包括以下步骤：

2.根据权利要求1所述的基于区块链的分层联邦学习激励方法，其特征在于，步骤1中所述的服务端对训练任务的贡献为下属客户端的贡献总和，客户端贡献为：

3.根据权利要求2所述的基于区块链的分层联邦学习激励方法，其特征在于，步骤2中所述的联邦学习任务契约，根据服务端和下属客户端的效用函数联合求解出的关于数据量大小和奖励值的条款；

4.根据权利要求1所述的基于区块链的分层联邦学习激励方法，其特征在于，步骤4中所述的本地迭代为：

5.根据权利要求1所述的基于区块链的分层联邦学习激励方法，其特征在于，所述步骤6包括以下步骤：

6.根据权利要求5所述的基于区块链的分层联邦学习激励方法，其特征在于，步骤6-1中所述学习交易为：

7.根据权利要求5所述的基于区块链的分层联邦学习激励方法，其特征在于，所述步骤6-2中对本地模型更新进行聚合，第t轮的全局聚合的加权平均参数为：

8.根据权利要求5所述的基于区块链的分层联邦学习激励方法，其特征在于，步骤6-3中所述信誉值的计算为：

9.一种基于区块链的分层联邦学习激励系统，其特征在于，包括：

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8任一所述的方法的步骤。

技术总结
本发明公开了一种基于区块链的分层联邦学习激励方法及系统，方法包括：在下层，联邦学习任务的总奖励分给各服务端；各服务端通过求解与客户端的效用最优化问题得到一系列契约条款；各客户端根据自身的效用选择签订提供的契约条款；客户端进行本地训练并上传模型更新到服务端，得到训练奖励；在上层，服务端运行区块链节点，所有本地模型和聚合后的全局模型被打包成块；各服务端根据基于贡献的共识机制选择出块的服务端并完成出块；客户端接收更新的全局模型并进行下一轮本地训练，重复训练阶段直至全局模型收敛。本发明能够有效促进参与方进行模型训练的积极性，增强系统的抗攻击能力，提升系统的模型训练效率和学习质量。

技术研发人员：许志勇,钱玉文,李骏,时龙,梅镇
受保护的技术使用者：南京理工大学
技术研发日：
技术公布日：2024/5/19