一种去中心化机器学习模型训练方法及系统与流程

本发明涉及区块链，特别是涉及一种去中心化机器学习模型训练方法及系统。

背景技术：

1、本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

2、机器学习是综合统计学、概率论、计算机科学等多学科知识，通过计算机系统的自动学习和经验改进来完成某些特定任务的一门学科。机器学习模型从大量的训练数据中学习规律和模式，最终获得对新数据的预测和决策能力。机器学习是典型的数据驱动型任务，模型的最终性能与训练数据的数量和质量紧密相关。传统的机器学习方案通常要求训练方收集大量的数据用于模型训练，这些数据中往往包含各数据提供方的敏感信息，多方数据的集中存储带来了敏感数据隐私泄露的风险。

3、相关研究者针对上述问题进行了一系列深入研究，致力于在保护数据隐私的前提下保证各参与方能够参与数据分析与建模任务。mcmahan等人首次提出了联邦学习框架，允许多方共同进行机器学习模型的联合训练，在训练过程中，各参与方无需向服务器发送任何私有的原始数据，仅通过参数交互的方式便可实现机器学习模型的训练。参与训练任务的各客户端基于本地数据进行本地模型训练，中心服务器负责加权本地模型，从而得到全局模型，经过多轮的迭代训练，最终能够得到一个趋近于集中式机器学习结果的模型。

4、上述方法有效降低了传统训练方式中数据汇集所带来的隐私泄露风险，但仍存在部分缺陷：

5、1、联邦学习的训练过程需要中心服务器的参与，负责各方参数的接收、聚合以及全局模型的分发，在整个架构中处于不可或缺的地位。因此，传统方案面临单点故障以及中心服务器作恶的风险。中心服务器发生故障，或者中心服务器作恶通过某些手段来扭曲全局模型，均会造成不可预计的损失。

6、2、联邦学习通过参数交互的方式进行模型的联合训练，保证各参与方原始训练数据不出本地，但相关研究表明，恶意参与方通过侧信道攻击等手段仍能够从明文模型中推断出部分敏感信息，方案仍面临敏感数据隐私泄露的风险。

技术实现思路

1、为了解决上述问题，本发明提出了一种去中心化机器学习模型训练方法及系统，基于秘密分享和智能合约技术，保证各参与方的敏感数据不出本地，通过模型聚合的相关操作，实现更高层次的敏感数据隐私保护，适用于多个参与方合作进行机器学习模型联合训练的场景。

2、为了实现上述目的，本发明采用如下技术方案：

3、第一方面，本发明提供一种去中心化机器学习模型训练方法，包括：

4、将所有参与方进行分组，每组中包括普通参与方和重构参与方；

5、由重构参与方接收区块链下发的全局模型，并发送至组内的普通参与方；

6、由普通参与方以全局模型作为初始模型进行本地模型的训练，将训练后的本地模型拆分成份额的形式在组内进行分发，以使各普通参与方接收到组内其他普通参与方的模型份额后进行聚合，并将聚合结果发送至重构参与方；

7、由重构参与方将组内的聚合结果进行重构，将得到的小组模型上传到区块链，以使区块链对各组的小组模型再次进行聚合，并将得到的当前轮次的全局模型下发至重构参与方作为下一轮训练的初始模型。

8、作为可选择的实施方式，在组内分发模型份额时，每个普通参与方仅接收到其中一个模型份额。

9、作为可选择的实施方式，普通参与方通过秘密分享的分享算法将本地模型拆分成份额的形式，拆分份额的数目为n-1，n为普通参与方的总数。

10、作为可选择的实施方式，各普通参与方对组内其他普通参与方的模型份额进行聚合后，得到小组模型份额：其中，n为普通参与方的总数，为模型份额，g为小组。

11、作为可选择的实施方式，所述小组模型为明文形式。

12、第二方面，本发明提供一种去中心化机器学习模型训练方法，应用于区块链节点，包括：

13、接收当前轮次中各训练小组的小组模型；

14、对各训练小组的小组模型进行聚合；

15、将聚合得到的当前轮次的全局模型下发至重构参与方，以使重构参与方发送至组内的普通参与方；

16、其中，所述小组模型由重构参与方对组内的聚合结果进行重构得到，所述聚合结果为组内的普通参与方以全局模型作为初始模型进行本地模型的训练后，将本地模型拆分成份额的形式在组内进行分发，且各普通参与方接收到组内其他普通参与方的模型份额后进行聚合得到。

17、作为可选择的实施方式，所述区块链节点上部署智能合约，当接收的小组模型数目达到设定阈值后，智能合约自动调用并聚合小组模型，从而得到当前轮次的全局模型，将当前轮次的全局模型上传至区块链节点，以作为下一轮训练的初始模型。

18、第三方面，本发明提供一种客户端，包括：

19、分组模块，被配置为将所有参与方进行分组，每组中包括普通参与方和重构参与方；

20、接收模块，被配置为由重构参与方接收区块链下发的全局模型，并发送至组内的普通参与方；

21、本地训练模块，被配置为由普通参与方以全局模型作为初始模型进行本地模型的训练，将训练后的本地模型拆分成份额的形式在组内进行分发，以使各普通参与方接收到组内其他普通参与方的模型份额后进行聚合，并将聚合结果发送至重构参与方；

22、重构模块，被配置为由重构参与方将组内的聚合结果进行重构，将得到的小组模型上传到区块链，以使区块链对各组的小组模型再次进行聚合，并将得到的当前轮次的全局模型下发至重构参与方作为下一轮训练的初始模型。

23、第四方面，本发明提供一种区块链节点，包括：

24、接收模块，被配置为接收当前轮次中各训练小组的小组模型；

25、聚合模块，被配置为对各训练小组的小组模型进行聚合；

26、发送模块，被配置为将聚合得到的当前轮次的全局模型下发至重构参与方，以使重构参与方发送至组内的普通参与方；

27、其中，所述小组模型由重构参与方对组内的聚合结果进行重构得到，所述聚合结果为组内的普通参与方以全局模型作为初始模型进行本地模型的训练后，将本地模型拆分成份额的形式在组内进行分发，且各普通参与方接收到组内其他普通参与方的模型份额后进行聚合得到。

28、第五方面，本发明提供一种去中心化机器学习模型训练系统，包括：客户端和区块链节点；

29、所述客户端，用于将所有参与方进行分组，每组中包括普通参与方和重构参与方；由重构参与方接收区块链下发的全局模型，并发送至组内的普通参与方；由普通参与方以全局模型作为初始模型进行本地模型的训练，将训练后的本地模型拆分成份额的形式在组内进行分发，以使各普通参与方接收到组内其他普通参与方的模型份额后进行聚合，并将聚合结果发送至重构参与方；由重构参与方将组内的聚合结果进行重构，将得到的小组模型上传到区块链；

30、所述区块链节点，用于对各组的小组模型再次进行聚合，并将得到的当前轮次的全局模型下发至重构参与方作为下一轮训练的初始模型。

31、与现有技术相比，本发明的有益效果为：

32、本发明基于秘密分享和智能合约实现去中心化机器学习模型的训练，保证各参与方的敏感数据不出本地，同时引入智能合约方法实现模型聚合的相关操作，取代联邦学习方案中的中心服务器，实现更高层次的敏感数据隐私保护，适用于多个参与方合作进行机器学习模型联合训练的场景。

33、本发明通过秘密分享的方式进行模型份额的分发，任何参与方无法获得其他任意单个参与方的明文模型，各参与方也无需公开本地训练数据，仅通过中间参数交互的方式便能实现机器学习模型的联合训练，有效保证各参与方模型数据的安全及敏感信息的隐私保护，避免通过差分隐私、同态加密等技术来保护模型参数所带来的模型性能下降以及计算量过大等诸多问题。

34、本发明将参与方划分为多个联邦学习训练小组，能够有效减少份额划分的数目，同时减少各参与方之间信息交互所带来的通信代价；其次，在整个过程中没有任何一个参与方的明文模型会被重构出来，被重构出来的只是小组模型或者全局模型，实现了对单个参与方模型的有效保护。

35、本发明引入区块链和智能合约来替代传统联邦学习中的中心服务器，实现了去中心化的机器学习模型训练，有效解决了中心化服务器所导致的服务器单点故障以及恶意服务器作恶的问题。

36、本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。