联邦学习方法、装置、设备、计算机存储介质及程序产品与流程

本技术属于大数据，尤其涉及一种联邦学习方法、装置、设备、计算机存储介质及程序产品。

背景技术：

1、目前在传统联邦学习过程中，如果某一计算机构故障没有恢复，模型汇总节点没有收到该计算机构的梯度，在等待一段时间后，会向所有计算机构发出time out(暂停)，宣布本次计算无效，所有节点重新计算，如果该计算机构故障一直无法恢复，则本次纵向联邦学习无法正常进行。也即，传统联邦学习方法缺少一种当某些计算机构(数据所有者)出现故障后，保证安全计算可以继续高效执行的故障容错机制。

2、基于此，业界仍然亟待一种新型的纵向联邦学习方案，以在当某些计算机构出现故障后，依然可以进行联邦学习地高效安全计算，从而有效达到提升联邦学习效率和算力资源利用率的目的。

技术实现思路

1、本技术实施例提供一种联邦学习方法、装置、设备、计算机存储介质及程序产品，在当某些数据所有者出现故障后，仍然能够充分保障联邦学习的安全计算以及高效执行，从而有效达到提升联邦学习效率和算力资源利用率的目的。

2、第一方面，本技术实施例提供一种联邦学习方法，该联邦学习方法包括：

3、在n个联邦参与节点中的目标联邦参与节点出现故障的情况下，从m个参考特征向量中确定与目标联邦参与节点的历史特征向量相关性大于预设阈值的目标特征向量；其中，n、m为正整数，m个参考特征向量为n个联邦参与节点中除目标联邦参与节点之外的联邦参与节点的特征向量；

4、基于目标特征向量，生成目标联邦参与节点对应的模拟梯度数据；

5、基于模拟梯度数据以及n个联邦参与节点中除目标联邦参与节点之外的联邦参与节点的n-1个梯度数据，确定联邦学习计算结果。

6、在一些可能的实施方式中，从m个参考特征向量中确定与目标联邦参与节点的历史特征向量相关性大于预设阈值的目标特征向量，包括：

7、基于梯度生成模型，从m个参考特征向量中确定目标特征向量；

8、其中，梯度生成模型预先基于n个联邦参与节点的历史梯度数据生成信息训练得到。

9、在一些可能的实施方式中，在基于目标特征向量，生成目标联邦参与节点对应的模拟梯度数据之后，方法还包括：

10、将模拟梯度数据代入正则化线性回归方程，计算得到模拟梯度数据对应的评价结果；

11、其中，正则化线性方程基于目标联邦参与节点的梯度线性回归关系进行正则化处理得到；梯度线性回归关系基于联邦模型汇总节点以及n个联邦参与节点的历史联邦学习信息确定得到；

12、基于模拟梯度数据以及n个联邦参与节点中除目标联邦参与节点之外的联邦参与节点的梯度数据，确定联邦学习计算结果，包括：

13、在评价结果满足预设条件的情况下，基于模拟梯度数据以及n-1个梯度数据，确定联邦学习计算结果。

14、在一些可能的实施方式中，正则化线性回归方程中包括正则化参数，正则化参数的值基于方差扩大因子法估计得到。

15、在一些可能的实施方式中，在将模拟梯度数据代入正则化线性回归方程，计算得到模拟梯度数据对应的评价结果之后，该联邦学习方法还包括：

16、在评价结果不满足预设条件的情况下，利用梯度下降法更新模拟梯度数据。

17、在一些可能的实施方式中，在从m个参考特征向量中确定与目标联邦参与节点的历史特征向量相关性大于预设阈值的目标特征向量之前，该联邦学习方法还包括：

18、计算m个参考特征向量以及目标联邦参与节点的历史特征向量中任意两个特征向量之间的相关性，得到相关性结果；

19、计算m个参考特征向量以及目标联邦参与节点的历史特征向量中任意两个特征向量之间的相关性，得到相关性结果；

20、从m个参考特征向量中确定与目标联邦参与节点的历史特征向量相关性大于预设阈值的目标特征向量，包括：

21、基于相关性结果，从m个参考特征向量中选取与历史特征向量的相关性大于预设阈值的目标特征向量。

22、在一些可能的实施方式中，基于目标特征向量，生成目标联邦参与节点对应的模拟梯度数据，包括：

23、基于目标特征向量与预设均值比例的乘积，确定模拟梯度数据；

24、其中，预设均值比例为历史特征向量的历史取值的均值与目标特征向量的历史取值的均值之间的比例。

25、在一些可能的实施方式中，基于模拟梯度数据以及n个联邦参与节点中除目标联邦参与节点之外的联邦参与节点的n-1个梯度数据，确定联邦学习计算结果，包括：

26、分别对n-1个梯度数据以及模拟梯度数据进行同态加密处理；

27、分别基于同态加密处理后的n-1个梯度数据和模拟梯度数据，确定联邦学习计算结果。

28、基于相同的发明构思，第二方面，本技术实施例提供了一种联邦学习装置，该联邦学习装置包括：

29、第一确定模块，用于在n个联邦参与节点中的目标联邦参与节点出现故障的情况下，从m个参考特征向量中确定与目标联邦参与节点的历史特征向量相关性大于预设阈值的目标特征向量；其中，n、m为正整数，m个参考特征向量为n个联邦参与节点中除目标联邦参与节点之外的联邦参与节点的特征向量；

30、第一生成模块，用于基于目标特征向量，生成目标联邦参与节点对应的模拟梯度数据；

31、第二确定模块，用于基于模拟梯度数据以及n个联邦参与节点中除目标联邦参与节点之外的联邦参与节点的n-1个梯度数据，确定联邦学习计算结果。

32、第三方面，本技术实施例提供了一种联邦学习设备，该联邦学习设备包括：

33、处理器以及存储有计算机程序指令的存储器；

34、所述处理器执行所述计算机程序指令时实现如上述本技术实施例中任意一项提供的联邦学习方法。

35、第四方面，本技术实施例提供了一种计算机存储介质，该计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如上述本技术实施例中任意一项提供的联邦学习方法。

36、第五方面，本技术实施例提供了一种计算机程序产品，计算机程序产品中的指令由电子设备的处理器执行时，使得所述电子设备执行如上述本技术实施例中任意一项提供的联邦学习方法。

37、本技术实施例提供的一种联邦学习方法、装置、设备、计算机存储介质及程序产品，通过在n个联邦参与节点中的目标联邦参与节点出现故障的情况下，从m个参考特征向量中确定与目标联邦参与节点的历史特征向量相关性大于预设阈值的目标特征向量。上述m个参考特征向量为n个联邦参与节点中除目标联邦参与节点之外的联邦参与节点的特征向量。如此，基于目标特征向量，生成目标联邦参与节点对应的模拟梯度数据。然后再基于模拟梯度数据以及n个联邦参与节点中除目标联邦参与节点之外的联邦参与节点的n-1个梯度数据，确定联邦学习计算结果。通过上述描述可知，本技术实施例的一种联邦学习方法、装置、设备、计算机存储介质及程序产品，通过选取相关性高的特征向量来确定故障联邦参与节点的模拟梯度向量，这样在当某些数据所有者出现故障后，仍然能够充分保障联邦学习的安全计算以及高效执行，从而有效达到提升联邦学习效率和算力资源利用率的目的。