联邦学习模型的处理方法、装置、电子设备和存储介质与流程

1.本发明实施例涉及联邦学习技术领域，尤其涉及一种联邦学习模型的处理方法、装置、电子设备和存储介质。


背景技术：

2.联邦学习在进行复杂模型（例如深度学习）计算的时候，中间梯度数据通讯传输量较大，该中间梯度数据需要在不同节点之间传递，传输的时间较长，会导致训练效率降低。


技术实现要素：

3.基于现有技术的上述情况，本发明实施例的目的在于提供一种联邦学习模型的处理方法、装置、电子设备和存储介质，能够在保护联邦学习模型的情况下，减少中间梯度数据量，达到降低通信量提高训练效率的效果。
4.为达到上述目的，根据本发明的一个方面，提供了一种联邦学习模型的处理方法，应用在服务端，所述方法包括：确定与服务端连接进行联邦学习模型训练的计算节点，并确定不同计算节点的梯度数据之间的数据相关性，计算节点的梯度数据依据计算节点的训练数据对联邦学习模型在计算节点的节点模型进行训练生成；依据所述数据相关性确定各计算节点的节点数据处理规则，并下发至对应的计算节点，所述节点数据处理规则包括信源编码矩阵和压缩率，以使所述计算节点依据本地的训练数据对联邦学习模型在本地的节点模型进行训练，形成第一梯度数据，并依据信源编码矩阵对第一梯度数据进行转换，形成第一转换数据，并依据压缩率对第一转换数据进行压缩，得到第一压缩数据；接收计算节点上传的第一压缩数据，并依据计算节点的梯度数据之间的数据相关性，对各计算节点的第一压缩数据进行还原，形成还原数据；依据所述还原数据对服务端的联邦学习模型进行调整，以确定训练好的联邦学习模型。
5.进一步的，所述方法还包括：依据服务端更新后的联邦学习模型，确定各计算节点的节点模型的本地梯度更新；对服务端更新后的联邦学习模型进行压缩，形成第二压缩数据，并下发至对应的计算节点；其中，所述第二压缩数据作为计算节点对节点模型调整的依据，以使得计算节点依据调整后的节点模型和本地的训练数据进行训练，更新所述第一梯度数据。
6.进一步的，所述依据计算节点的梯度数据之间的数据相关性，对各计算节点的第一压缩数据进行还原，形成还原数据，包括：依据目标计算节点的信源编码矩阵和各计算节点的梯度数据之间的数据相关性对第一压缩数据进行数据还原，得到各计算节点的还原数据。
7.进一步的，所述方法还包括：在目标计算节点的第一压缩数据还原失败时，发送扩增数据获取指令至目标计算节点，以使得所述目标计算节点依据扩增数据获取指令从第一转换数据中获取扩增压缩数据；接收目标计算节点上传的扩增压缩数据，以更新第一压缩数据来完成目标计算节点的数据还原。
8.进一步的，所述方法还包括：确定联邦学习模型的数据量化规则，所述数据量化规则依据联邦学习模型的精度确定；将数据量化规则添加到节点数据处理规则中，以使得所述计算节点依据数据量化规则对第一梯度数据进行量化处理，并依据量化处理后的第一梯度数据和信源编码矩阵确定第一转换数据。
9.进一步的，所述方法还包括：确定所述第一压缩数据对服务端中的联邦学习模型的梯度调整信息；依据所述梯度调整信息，确定各计算节点的目标压缩率；下发目标压缩率至目标计算节点，以更新目标计算节点中的压缩率。
10.进一步的，所述方法还包括：下发初始学习比例信息至计算节点，以使所述计算节点按照初始学习比例信息，从训练数据中截取第一数据；服务端联合至少一个计算节点，采用第一数据对联邦学习模型进行联邦学习，得到初步训练的联邦学习模型作为所述服务端的联邦学习模型。
11.进一步的，所述确定不同计算节点的训练数据之间的数据相关性，包括：下发相关关系分析指令至计算节点，以使得所述计算节点从训练数据中截取目标数据并进行加密，以形成加密数据；获取计算节点上传的加密数据，并解密得到目标数据；依据各计算节点的目标数据和联邦学习模型的模型信息进行相关性分析，确定不同计算节点的梯度数据之间数据相关性。进一步的，所述确定不同计算节点的梯度数据之间的数据相关性，包括：提供相关性配置页面，以展示各计算节点存储的数据的数据描述信息和联邦学习模型的模型信息；依据基于相关性配置页面获取的相关关系配置信息，确定不同计算节点的梯度数据之间的数据相关性。
12.根据本发明的第二个方面，提供了一种联邦学习模型的处理方法，应用在计算节点，所述方法包括：获取服务端下发的节点数据处理规则；所述节点数据处理规则依据进行联邦学习的计算节点的梯度数据之间的数据相关性确定，所述节点数据处理规则包括：信源编码矩阵和压缩率，计算节点的梯度数据依据计算节点的训练数据对联邦学习模型在计算节点的节点模型进行训练生成；依据本地的训练数据对联邦学习模型在本地的节点模型进行训练，形成第一梯度数据；依据信源编码矩阵对第一梯度数据进行转换，形成第一转换数据；依据压缩率对第一
转换数据进行压缩，得到第一压缩数据；上传所述第一压缩数据至服务端，以使所述服务端依据计算节点的梯度数据之间的数据相关性，对各计算节点的第一压缩数据进行还原，形成还原数据，并依据还原数据对服务端的联邦学习模型进行调整，以确定训练好的联邦学习模型。
13.进一步的，所述方法还包括：接收服务端下发的第二压缩数据，所述第二压缩数据在服务端通过对更新后的联邦学习模型进行压缩后得到，所述本地计算节点的节点模型的本地梯度依据更新后的联邦学习模型确定；对第二压缩数据进行解压，并对计算节点的节点模型进行调整，以依据调整后的节点模型和本地的训练数据进行训练，更新第一梯度数据。
14.进一步的，所述方法还包括：接收服务端下发的目标压缩率；所述目标压缩率依据第一压缩数据对服务端中的联邦学习模型的梯度调整信息确定；依据目标压缩率，更新计算节点中的压缩率。
15.进一步的，所述方法还包括：接收服务端下发的扩增数据获取指令；所述扩增数据获取指令在目标计算节点的第一压缩数据还原失败时生成；依据扩增数据获取指令从第一转换数据中获取扩增压缩数据；上传所述扩增压缩数据，以使得服务端更新第一压缩数据来完成目标计算节点的数据还原。
16.进一步的，所述方法还包括：接收服务端下发的初始学习比例信息；按照所述初始学习比例信息，从训练数据中截取第一数据；联合服务端采用所述第一数据对联邦学习模型进行联邦学习，得到初步训练的联邦学习模型作为所述服务端的联邦学习模型。
17.根据本发明的第三个方面，提供了一种联邦学习模型的处理方法，应用在服务端，所述方法包括：获取训练好的联邦学习模型相关的待分析数据；将待分析数据输入到训练好的联邦学习模型中，确定分析结果；输出分析结果；其中，所述训练好的联邦学习模型依据服务端与计算节点之间的联邦学习得到，所述联邦学习过程包括：服务端向计算节点发送节点数据处理规则，以使得计算节点依据本地的训练数据对联邦学习模型在本地的节点模型进行训练，形成第一梯度数据，并依据信源编码矩阵对第一梯度数据进行转换，形成第一转换数据，并依据压缩率对第一转换数据进行压缩，得到第一压缩数据；所述节点数据处理规则包括信源编码矩阵和压缩率，所述节点数据处理规则依据不同计算节点的梯度数据之间的数据相关性确定；接收计算节点上传的第一压缩数据，并依据计算节点的梯度数据之间的数据相关性，对各计算节点的第一压缩数据进行还原，形成还原数据；
依据所述还原数据对服务端的联邦学习模型进行调整，以确定训练好的联邦学习模型。
18.根据本发明的第四个方面，提供了一种联邦学习模型的处理方法，应用在服务端，所述方法包括：获取训练好的联邦学习模型；将训练好的联邦学习模型部署到终端，以通过训练好的联邦学习模型对待分析数据进行分析，确定并输出分析结果；其中，所述训练好的联邦学习模型依据服务端与计算节点之间的联邦学习得到，所述联邦学习过程包括：服务端向计算节点发送节点数据处理规则，以使得计算节点依据本地的训练数据对联邦学习模型在本地的节点模型进行训练，形成第一梯度数据，并依据信源编码矩阵对第一梯度数据进行转换，形成第一转换数据，并依据压缩率对第一转换数据进行压缩，得到第一压缩数据；所述节点数据处理规则包括信源编码矩阵和压缩率，所述节点数据处理规则依据不同计算节点的梯度数据之间的数据相关性确定；接收计算节点上传的第一压缩数据，并依据计算节点的梯度数据之间的数据相关性，对各计算节点的第一压缩数据进行还原，形成还原数据；依据所述还原数据对服务端的联邦学习模型进行调整，以确定训练好的联邦学习模型。
19.根据本发明的第五个方面，提供了一种联邦学习模型的处理方法，应用在服务端，所述方法包括：确定与服务端连接进行联邦学习模型训练的计算节点，并确定不同计算节点的梯度数据之间的数据相关性，计算节点的梯度数据依据计算节点的训练数据对联邦学习模型在计算节点的节点模型进行训练生成；所述训练数据包含医疗训练数据、交通相关训练数据、以及金融相关训练数据； 依据所述数据相关性确定各计算节点的节点数据处理规则，并下发至对应的计算节点，所述节点数据处理规则包括信源编码矩阵和压缩率，以使所述计算节点依据本地的训练数据对联邦学习模型在本地的节点模型进行训练，形成第一梯度数据，并依据信源编码矩阵对第一梯度数据进行转换，形成第一转换数据，并依据压缩率对第一转换数据进行压缩，得到第一压缩数据；接收计算节点上传的第一压缩数据，并依据计算节点的梯度数据之间的数据相关性，对各计算节点的第一压缩数据进行还原，形成还原数据；依据所述还原数据对服务端的联邦学习模型进行调整，以确定训练好的联邦学习模型。
20.根据本发明的第六个方面，提供了一种联邦学习模型的处理方法，应用在服务端，所述方法包括：确定与服务端连接进行联邦学习模型训练的计算节点，并确定不同计算节点的梯度数据之间的数据相关性，计算节点的梯度数据依据计算节点的训练数据对联邦学习模型在计算节点的节点模型进行训练生成；所述计算节点包括车辆端，所述训练数据依据导航相关数据进行格式统一后得到；依据所述数据相关性确定各计算节点的节点数据处理规则，并下发至对应的计算节点，所述节点数据处理规则包括信源编码矩阵和压缩率，以使所述计算节点依据本地的
训练数据对联邦学习模型在本地的节点模型进行训练，形成第一梯度数据，并依据信源编码矩阵对第一梯度数据进行转换，形成第一转换数据，并依据压缩率对第一转换数据进行压缩，得到第一压缩数据；接收计算节点上传的第一压缩数据，并依据计算节点的梯度数据之间的数据相关性，对各计算节点的第一压缩数据进行还原，形成还原数据；依据所述还原数据对服务端的联邦学习模型进行调整，以确定训练好的联邦学习模型。根据本发明的第七个方面，提供了一种联邦学习模型的处理方法，应用在车辆端，所述方法包括：获取训练好的联邦学习模型相关的待分析数据，所述待分析数据包括车辆行驶视频、车辆位置信息；将待分析数据输入到训练好的联邦学习模型中，确定导航分析结果；输出导航分析结果；其中，所述训练好的联邦学习模型依据服务端与车辆端之间的联邦学习得到，所述联邦学习过程包括：服务端向车辆端发送节点数据处理规则，以使得车辆端依据本地的历史导航相关数据对联邦学习模型在本地的节点模型进行训练，形成第一梯度数据，并依据信源编码矩阵对第一梯度数据进行转换，形成第一转换数据，并依据压缩率对第一转换数据进行压缩，得到第一压缩数据；所述节点数据处理规则包括信源编码矩阵和压缩率，所述节点数据处理规则依据不同计算节点的梯度数据之间的数据相关性确定；接收计算节点上传的第一压缩数据，并依据车辆端的梯度数据之间的数据相关性，对各计算节点的第一压缩数据进行还原，形成还原数据；依据所述还原数据对服务端的联邦学习模型进行调整，以确定训练好的联邦学习模型。
21.根据本发明的第八个方面，提供了一种处理联邦学习模型的服务器，包括：数据相关性确定模块，用于确定与服务端连接进行联邦学习模型训练的计算节点，并确定不同计算节点的梯度数据之间的数据相关性，计算节点的梯度数据依据计算节点的训练数据对联邦学习模型在计算节点的节点模型进行训练生成；节点数据处理规则确定模块，用于依据所述数据相关性确定各计算节点的节点数据处理规则，并下发至对应的计算节点，所述节点数据处理规则包括信源编码矩阵和压缩率，以使所述计算节点依据本地的训练数据对联邦学习模型在本地的节点模型进行训练，形成第一梯度数据，并依据信源编码矩阵对第一梯度数据进行转换，形成第一转换数据，并依据压缩率对第一转换数据进行压缩，得到第一压缩数据；还原数据生成模块，用于接收计算节点上传的第一压缩数据，并依据计算节点的梯度数据之间的数据相关性，对各计算节点的第一压缩数据进行还原，形成还原数据；联邦学习模型确定模块，用于依据所述还原数据对服务端的联邦学习模型进行调整，以确定训练好的联邦学习模型。
[0022] 根据本发明的第九个方面，提供了一种电子设备，包括：处理器；和 存储器，其上存储有可执行代码，当所述可执行代码被处理器执行时，执行如本
发明第一个方面所述的方法。
[0023]
根据本发明的第十个方面，提供了一个或多个机器可读存储介质，其上存储有可执行代码，当所述可执行代码被处理器执行时，执行如本发明第一个方面所述的方法。
[0024]
综上所述，本发明实施例提供了一种联邦学习模型的处理方法、装置、电子设备和存储介质，该方法包括：确定与服务端连接进行联邦学习模型训练的计算节点，并确定不同计算节点的梯度数据之间的数据相关性；依据所述数据相关性确定各计算节点的节点数据处理规则，并下发至对应的计算节点，所述节点数据处理规则包括信源编码矩阵和压缩率，以使得所述计算节点依据本地的训练数据对联邦学习模型在本地的节点模型进行训练，形成第一梯度数据，并依据信源编码矩阵对第一梯度数据进行转换，形成第一转换数据，并依据压缩率对第一转换数据进行压缩，得到第一压缩数据；接收计算节点上传的第一压缩数据，并依据计算节点的梯度数据之间的数据相关性，对各计算节点的第一压缩数据进行还原，形成还原数据；依据所述还原数据对服务端的联邦学习模型进行调整，以确定训练好的联邦学习模型。本发明实施例的技术方案，可以按照多个计算节点的梯度数据的数据相关性，确定计算节点的数据处理规则，从而可以利用多个参与方交换的信息中的冗余进行梯度数据的压缩，减少了部分计算节点（数据冗余的节点）传输的梯度数据的数据量，从而提升了计算效率。
附图说明
[0025]
图1是本发明一实施例提供的联邦学习模型的处理方法的流程图；图2是本发明另一实施例提供的联邦学习模型的处理方法的流程图；图3是本发明又一实施例提供的联邦学习模型的处理方法的流程图；图4是本发明又一实施例提供的联邦学习模型的处理方法的流程图；图5是本发明又一实施例提供的联邦学习模型的处理方法的流程图；图6是本发明又一实施例提供的联邦学习模型的处理方法的流程图；图7是本发明又一实施例提供的联邦学习模型的处理方法的流程图；图8是本发明一实施例提供的联邦学习模型的服务器的结构示意图；图9是本发明一实施例提供的联邦学习模型的计算节点的结构示意图；图10是本发明一实施例提供的电子设备的结构示意图。
具体实施方式
[0026]
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
[0027]
需要说明的是，除非另外定义，本发明一个或多个实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本发明一个或多个实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物
件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。
[0028]
隐私保护计算中的一种解决方案是联邦学习，联邦学习是一种较普遍的技术，但是在实践中，联邦学习的参数服务器与联邦学习的计算节点之间存在信息的传递，所传递信息的数据量是由进行计算训练的算法确定的，当该数据量过大时会影响整体的计算效率。特别是当进行深度学习的时候，由于模型较大、传输的信息较多、传输的时间较长，会严重影响整体的性能和系统部署灵活性。而联邦学习在多方进行联合分析时，各方的数据会有一定的相似性，利用该相似性进行梯度数据的压缩，能够大大减少节点之间数据传输量。根据以上原理，本发明实施例提出了一种联邦学习模型的处理方法，通过利用多个参与方交换的信息中的冗余来进行分布式信源编码，从而降低联邦学习中所需要的通讯量。
[0029]
下面结合附图对本发明的技术方案进行详细说明。分布式信源编码（distributed source coding，以下简称“dsc”）是对信息互相关联但不互相通信的信源的一种信息压缩方式。dsc与其他信源编码不同的是，其使用的是信道码，最主要的特点有两条，第一，编码计算非常简单（数据源方计算节点负担小，效率高），解码相对比较复杂（参数服务器汇总后完成解码）；第二，互不通信的信息相关的信源压缩可以达到有互相通信的压缩效率。从而可以实现在联邦学习节点之间不需要相互通信，保护隐私的前提下，充分利用不同节点之间参数梯度的相关性，提供压缩效率。
[0030]
dsc作为信息论的一个分支，david slepian和jack k. wolf于1973年利用信息熵提出针对于两个信息互相关联信源无损压缩的理论极限，称之为斯理篇-伍夫界限（slepian-wolf bound），证明了两个互不通信的信息相关的信源压缩可以达到有互相通信的压缩效率。该压缩界限后来被thomas cover扩展到了多个相关信源的情况。a.wyner和j. ziv于1976年在考虑高斯信源的有损压缩时得到了类似的结果。
[0031]
假设对于第个联邦学习计算节点需要和参数服务器交换的信息（如模型的梯度信息）用表示，其中,是所有参与计算的数据节点数。传统模式下，如果每个联邦学习的计算节点单独压缩，其压缩后的数据的最大压缩率至少需要，其中代表的墒。但是由于在联邦学习状态下，各个数据计算节点和参数服务器交换的信息（如模型的梯度信息）存在较强的相关性，如果可以联合利用各个节点的信息，可以大大的提高信息的压缩效率，其压缩后的数据的最大压缩率至少需要。当之间是高度相关的情况下，，因此可以节约大量的通讯带宽。
[0032]
图1是本发明一实施例的联邦学习模型的处理方法100的流程图，如图1所示，该方法应用于服务端，包括如下步骤： s110、确定与服务端连接进行联邦学习模型训练的计算节点，并确定不同计算节点的梯度数据之间的数据相关性，计算节点的梯度数据依据计算节点的训练数据对联邦学习模型在计算节点的节点模型进行训练生成。本发明实施例中与服务端连接进行联邦学习模型训练的计算节点可以为多个，在每个计算节点的本地均有能够进行联邦学习模型训练的训练数据和节点模型，训练数据的类型可以为图像、文字、音频等可能的数据类型。本发
明实施例中，节点模型是指联邦学习模型部署的计算节点的部分，例如可以采用随机梯度下降的方法生成。梯度数据是指模型的梯度，联邦学习模型具有初始的模型梯度，随着采用训练数据对模型进行训练，梯度数据会发生变化，而本发明实施例的技术方案中，将通过迭代发生变化的梯度发送至服务端，以更新服务端的联邦学习模型。该实施例中，计算节点可以上传梯度数据至服务端，无需上传训练数据至服务端，能够提升训练数据的安全性。其中，梯度数据可以加密后上传，在服务端中可以设置可信执行环境，在可信执行环境中对梯度数据进行解密后完成对联邦学习模型的调整。
[0033]
不同计算节点的梯度数据之间的相关性可以依据不同计算节点的训练数据的相关性、联邦学习模型的模型信息（如模型的算法、精度等信息）确定。在分析不同计算节点的梯度数据相关性时，一组梯度数据之间的相关性可以随时间动态变化的，例如第一时段梯度数据之间的相关性符合高斯分布，第二时段梯度数据之间的相关性符合拉普帕斯分布等。在分析不同计算节点之间的数据相关性时，可以分别从不同计算节点获取一部分数据来计算，也可以依据经验来进行人工输入。具体来说，确定不同计算节点的梯度数据之间的数据相关性，可以采用如下步骤： s1101、下发相关关系分析指令至计算节点，以使得所述计算节点从训练数据中截取目标数据并进行加密，以形成加密数据； s1102、获取计算节点上传的加密数据，并解密得到目标数据； s1103、依据各计算节点的目标数据进行相关性分析，确定不同计算节点的训练数据之间计算数据相关性。需要说明的是，上述对相关关系的分析过程可以在可信执行环境中完成，以对数据进行保护。
[0034]
上述确定数据相关性的过程中，计算节点依据分析指令上传的训练数据来作为数据相关性分析的基础，根据某些实施例，也可以提供数据输入页面来定义数据相关性分析的规则，可以采用如下步骤： s1111、提供相关性配置页面，以展示各计算节点存储的数据的数据描述信息； s1112、依据基于相关性配置页面获取的相关关系配置信息，确定不同计算节点的梯度数据之间的数据相关性。
[0035] s120、依据所述数据相关性确定各计算节点的节点数据处理规则，并下发至对应的计算节点。服务端通过确定多个不同计算节点的梯度数据之间的数据相关性来确定各计算节点的节点数据处理规则。所述节点数据处理规则包括信源编码矩阵和压缩率，以使得所述计算节点依据本地的训练数据对联邦学习模型在本地的节点模型进行训练，形成第一梯度数据，并依据信源编码矩阵对第一梯度数据进行转换，形成第一转换数据，并依据压缩率对第一转换数据进行压缩，得到第一压缩数据。
[0036]
该节点数据处理规则通过多个不同计算节点的梯度数据之间的数据相关性、各个联邦学习节点需要交换的信息的相关性强弱和节点间的关系等信息来确定，可以通过如下步骤： s1201、服务端为计算节点评估交换信息相关性，该交换信息相关性可以根据实际的情况选取，如高斯分布、拉普拉斯分布、以及指数分布等，选取原则可以根据对于所需要训练的模型的梯度的预先估计或者根据收到的数据进行评估获得。
[0037] s1202、服务端与计算节点协商初始压缩率,具体选取规则根据对于各个联邦学习节点需要交换的信息的相关性强弱和节点间的关系，其中需要满足，其中,表示从集合中除去。该压缩率可以动态更新，以达到最优的通讯量。例如先按照熵率传输部分数据并进行解压缩还原，如果解压缩不成功，可以动态增加一些信息，更新后的压缩率为，每次动态增加一点传输量，一直到解码成功，从而可以避免浪费带宽。服务端可以依据解压后的信息和更新后的模型信息计算相关性，进而确定新的压缩率，并发送给计算节点。
[0038] s1203、服务端为各个计算节点分发信源编码矩阵,以用于计算节点生成压缩数据，该信源编码矩阵的大小为，代表矩阵的行数，代表矩阵的列数。
[0039] s130、接收计算节点上传的第一压缩数据，并依据计算节点的梯度数据之间的数据相关性，对各计算节点的第一压缩数据进行还原，形成还原数据。即依据目标计算节点的信源编码矩阵和各计算节点的梯度数据之间的数据相关性对第一压缩数据进行数据还原，得到各计算节点的还原数据。在还原过程中，服务端在收到计算节点发来的第一压缩数据后，通过推理算法，例如可采用置信传播算法，结合信源编码矩阵，信息相关性等信息，尝试进行解压缩。还原过程包括： s1301、依据目标计算节点的信源编码矩阵对第一压缩数据进行转换，得到第二转换数据。
[0040] s1302、依据各计算节点的梯度数据之间的数据相关性对第二转换数据进行数据还原，得到还原数据。
[0041]
该步骤通过综合分析各个计算节点的数据来进行数据还原，例如，当计算节点的训练数据是获取自监控摄像头时，如果两个相邻的监控摄像头拍摄的图像有一半是重合的，那么其中一个摄像头可以只上传未重复的一半的图像对应的梯度，由服务器端依据两个摄像头的梯度对各自的数据进行还原。
[0042]
在一些实施例中，可以在数据还原的过程中添加校验码，即各计算节点在上传第一压缩数据的同时上传第一压缩数据的校验码，则服务端在对第一压缩数据进行还原时，可以利用该校验码校验恢复的数据是否准确。在其他实施例中还可以通过采用预先训练的数据还原模型对第一压缩数据进行还原以提高数据还原的速度和准确度。
[0043] s140、依据所述还原数据对服务端的联邦学习模型进行调整，以确定训练好的联邦学习模型。该调整步骤可以循环多次进行，直至联邦学习模型达到预设的收敛条件，服务端停止对联邦学习模型的调整，至此完成训练，得到训练好的联邦学习模型。
[0044]
上述实施例中，为了提高训练过程的效率和准确度，可以把训练过程分为两个部分，第一部分进行预训练，采用快读的方式以提高效率；第二部分进行正式训练，正式训练的过程中对模型的参数进行细化，从而得到准确度更高的模型。
[0045]
在一些实施例中，该方法还可以包括对梯度数据进行更新的步骤： s1501、依据服务端更新后的联邦学习模型，确定各计算节点的节点模型的本地梯度更新。例如，服务端根据各个计算节点的本地模型与要发送的更新后的联邦学习模
型信息计算相关性，并计算墒作为压缩的参考压缩率。
[0046] s1502、对服务端更新后的联邦学习模型进行压缩，形成第二压缩数据，并下发至对应的计算节点，所述第二压缩数据作为计算节点对节点模型调整的依据，以使得所述计算节点依据调整后的节点模型和本地的训练数据进行训练，更新所述第一梯度数据。基于上述相关性，对于更新后的模型信息进行压缩，并将压缩后的模型发送至对应的计算节点。该第二压缩数据，由服务端依据更新后的联邦学习模型进行压缩后得到，压缩过程可以采取计算节点对应的节点压缩率进行压缩，节点压缩率也可以是动态变化的。节点压缩率的变化量可以依据计算节点的第一压缩数据对联邦学习模型的影响量确定。若影响量较低，可以降低该节点压缩率，相反，若影响量较高，则可以提高节点压缩率。节点压缩率的变化量也可以依据计算节点的梯度数据之间的相关性确定，相关性较高时，可以提高节点压缩率，相关性较低时，则可以降低节点压缩率。
[0047]
在一些实施例中，该方法还可以包括对于第一压缩数据还原失败时的处理，即当收到的第一压缩数据不足以满足解码需求的时候，服务端可以要求对应的某个计算节点通过增补的方式发送额外的信息帮助解码，步骤如下： s1601、在目标计算节点的第一压缩数据还原失败时，发送扩增数据获取指令至目标计算节点，以使得所述目标计算节点依据扩增数据获取指令从第一转换数据中获取扩增压缩数据。例如，当某个计算节点收到扩增数据获取指令后，其发送扩增压缩数据至服务端，其中，的大小根据服务端与计算节点协商确定，是指上一次获取的第一压缩数据的量，是指第一转换数据的数据量。
[0048] s1602、接收目标计算节点上传的扩增压缩数据，以确定第一压缩数据来完成目标计算节点的数据还原。依据扩增压缩数据更新的第一压缩数据的量可以为，服务端根据扩增压缩数据，更新第一压缩数据，并尝试重新解压数据，如果解压缩不成功，重复步骤上述步骤s1601和s1602，直至解压成功。需要说明的是，该实施例还可以依据目标计算节点上次总扩增的数据量，确定目标计算节点新的压缩率，以发送给目标计算节点来更新目标计算节点的压缩率，计算节点的压缩率可以动态更新，可以达到节省带宽的效果。另外，本技术实施例也可以在服务端对目标计算节点的第一压缩数据进行缩减，如减少预设数量的数据，并进行数据还原，若是还原成功，则依据缩减后的第一压缩数据确定新的压缩率，以更新目标计算节点的压缩率。
[0049]
在一些实施例中，该方法还可以包括在节点数据处理规则中增加数据量化规则的步骤，包括： s1701、确定联邦学习模型的数据量化规则，数据量化规则可以包括四舍五入、数据截取等规则，具体选取规则可以根据模型需求，例如考虑精度、收敛速度等方面的需求。
[0050] s1702、将数据量化规则添加到节点数据处理规则中，以使得所述计算节点依据数据量化规则对第一梯度数据进行量化处理，并依据量化处理后的第一梯度数据和信源编码矩阵确定第一转换数据。
[0051]
在一些实施例中，该方法还可以包括根据梯度调整信息调节节点数据处理规则的步骤：
ꢀ
s1801、确定所述第一压缩数据对服务端中的联邦学习模型的梯度调整信息。
[0052] s1802、依据所述梯度调整信息，确定各计算节点的目标压缩率。
[0053] s1803、下发目标压缩率至目标计算节点，以更新目标计算节点中的压缩率。可以记录训练数据对梯度数据的影响情况作为梯度调整信息，以确定目标压缩率。例如，服务端根据收到的各个计算节点发来的还原数据信息与要发送的更新后的联邦学习模型信息计算相关性，并计算墒作为压缩的参考压缩率（即目标压缩率）。通过上述各步骤可以实现动态更新计算节点的压缩率，以更加合理的各计算节点的梯度数据进行压缩，更加合理的对带宽进行使用，使得模型的处理过程更加灵活。其中，计算节点的压缩率可以在计算节点每轮迭代之前动态更新，也可以迭代多次后更新，也可以在服务器获取扩增压缩数据后更新。
[0054]
在一些实施例中，该方法还可以包括按照初始学习比例的训练数据对模型训练的步骤： s1901、下发初始学习比例信息至计算节点，以使所述计算节点按照初始学习比例信息，从训练数据中截取第一数据。
[0055] s1902、服务端联合至少一个计算节点，采用第一数据对联邦学习模型进行联邦学习，得到初步训练的联邦学习模型作为所述服务端的联邦学习模型。
[0056]
上述各步骤可以在进行基于训练数据的联邦学习过程之前进行，通过训练数据中的部分数据进行初始训练以得到初步训练的联邦学习模型，设置于服务端作为服务端的联邦学习模型，通过对联邦学习模型进行初始训练，提升了后续联邦学习模型的学习速度。
[0057]
图2所示为本发明另一实施例提供的联邦学习模型的处理方法200，应用在计算节点，如图2所示，所述处理方法200包括如下步骤： s210、获取服务端下发的节点数据处理规则；所述节点数据处理规则依据进行联邦学习的计算节点的梯度数据之间的数据相关性确定，所述节点数据处理规则包括：信源编码矩阵和压缩率；计算节点的梯度数据依据计算节点的训练数据对联邦学习模型在计算节点的节点模型进行训练生成。
[0058] s220、依据本地的训练数据对联邦学习模型在本地的节点模型进行训练，形成第一梯度数据；依据信源编码矩阵对第一梯度数据进行转换，形成第一转换数据；依据压缩率对第一转换数据进行压缩，得到第一压缩数据。例如，根据收到的信源编码矩阵，计算第一转换数据，其中为的向量表示量化后需要传输的信息，即第一梯度数据，其中为的压缩后的信息；根据接收到的压缩率，发送对应该压缩率的第一压缩数据到参数服务器,其中，是取向量1～的元素，压缩率正比于,表示第一梯度数据的数据量，表示转换后的第一转换数据的数据量，表示按照压缩率进行压缩后的数据量，。
[0059] s230、上传所述第一压缩数据至服务端，以使所述服务端依据计算节点的梯度数据之间的数据相关性，对各计算节点的第一压缩数据进行还原，形成还原数据，并依据还原数据对服务端的联邦学习模型进行调整，以确定训练好的联邦学习模型。该还原过程与本
发明上述实施例中涉及的还原过程相同。
[0060]
在一些实施例中，该方法还可以包括对梯度数据进行更新的步骤： s2401、接收服务端下发的第二压缩数据，所述第二压缩数据在服务端通过更新后的联邦学习模型进行压缩后得到，所述本地计算节点的节点模型的本地梯度依据更新后的联邦学习模型确定。
[0061] s2402、对第二压缩数据进行解压，并对计算节点的节点模型进行调整，以依据调整后的节点模型和本地的训练数据进行训练，更新第一梯度数据。
[0062]
在一些实施例中，该方法还可以包括根据目标压缩率对计算节点中的压缩率进行更新的步骤： s2501、接收服务端下发的目标压缩率；所述目标压缩率依据第一压缩数据对服务端中的联邦学习模型的梯度调整信息确定。
[0063] s2502、依据目标压缩率，更新计算节点中的压缩率。
[0064]
在一些实施例中，该方法还可以包括对于第一压缩数据还原失败时的处理步骤： s2601、接收服务端下发的扩增数据获取指令；所述扩增数据获取指令在目标计算节点的第一压缩数据还原失败时生成。
[0065] s2602、依据扩增数据获取指令从第一转换数据中获取扩增压缩数据。
[0066] s2603、上传所述扩增压缩数据，以使得服务端确定第一压缩数据来获取目标计算节点的还原数据。
[0067]
在一些实施例中，该方法还可以包括在进行基于训练数据的联邦学习过程之前获得初步训练的联邦学习模型的步骤： s2701、接收服务端下发的初始学习比例信息。
[0068] s2702、按照所述初始学习比例信息，从训练数据中截取第一数据。
[0069] s2703、联合服务端采用所述第一数据对联邦学习模型进行联邦学习，得到初步训练的联邦学习模型作为所述服务端的联邦学习模型。
[0070]
图3所示为本发明另一实施例提供的联邦学习模型的处理方法300，应用在服务端，如图3所示，所述处理方法300包括如下步骤： s310、获取训练好的联邦学习模型相关的待分析数据。在一些可选的实施例中，服务端可以提供交互页面，用户可以在交互页面中输入待分析数据，以进行分析。在另一些可选的实施例中，服务端可以提供数据接口，以基于数据接口获取待分析数据，例如训练好的联邦学习模型（如导航相关的学习模型）可以部署在车辆端，训练好的联邦学习模型可以提供数据接口，以获取车辆行驶图像、车辆位置等信息。
[0071] s320、将待分析数据输入到训练好的联邦学习模型中，确定分析结果。
[0072] s330、输出分析结果。
[0073]
其中，所述训练好的联邦学习模型依据服务端与计算节点之间的联邦学习得到，联邦学习过程包括如下步骤：服务端向计算节点发送节点数据处理规则，所述节点数据处理规则包括信源编码矩阵和压缩率，所述节点数据处理规则依据不同计算节点的梯度数据之间的数据相关性确定，计算节点的梯度数据依据计算节点的训练数据对联邦学习模型在计算节点的节点模型进行训练生成；以使所述计算节点依据本地的训练数据对联邦学习模型在本地的节点模型
进行训练，形成第一梯度数据，并依据信源编码矩阵对第一梯度数据进行转换，形成第一转换数据，并依据压缩率对第一转换数据进行压缩，得到第一压缩数据；服务端接收计算节点上传的第一压缩数据，并依据计算节点的梯度数据之间的数据相关性，对各计算节点的第一压缩数据进行还原，形成还原数据；依据所述还原数据对服务端的联邦学习模型进行调整，以确定训练好的联邦学习模型。
[0074]
图4所示为本发明另一实施例提供的联邦学习模型的处理方法400，应用在服务端，如图4所示，所述处理方法400包括如下步骤： s410、获取训练好的联邦学习模型。该训练好的联邦学习模型可以根据本发明上述实施例中提供的基于训练数据的联邦学习过程获取。
[0075] s420、将训练好的联邦学习模型部署到终端，以通过训练好的联邦学习模型对待分析数据进行分析，确定并输出分析结果。该终端根据方法应用的场景不同有所不同，例如可以为医疗领域的医疗检查终端、金融领域的银行端或者用户端、交通领域的车辆端等终端。
[0076]
其中，所述训练好的联邦学习模型依据服务端与计算节点之间的联邦学习得到，所述联邦学习过程包括：服务端向计算节点发送节点数据处理规则，所述节点数据处理规则包括信源编码矩阵和压缩率，所述节点数据处理规则依据不同计算节点的梯度数据之间的数据相关性确定；计算节点的梯度数据依据计算节点的训练数据对联邦学习模型在计算节点的节点模型进行训练生成；以使所述计算节点依据本地的训练数据对联邦学习模型在本地的节点模型进行训练，形成第一梯度数据，并依据信源编码矩阵对第一梯度数据进行转换，形成第一转换数据，并依据压缩率对第一转换数据进行压缩，得到第一压缩数据；服务端接收计算节点上传的第一压缩数据，并依据计算节点的梯度数据之间的数据相关性，对各计算节点的第一压缩数据进行还原，形成还原数据；依据所述还原数据对服务端的联邦学习模型进行调整，以确定训练好的联邦学习模型。
[0077]
图5所示为本发明另一实施例提供的联邦学习模型的处理方法500，应用在服务端，如图5所示，所述处理方法500包括如下步骤： s510、确定与服务端连接进行联邦学习模型训练的计算节点，并确定不同计算节点的梯度数据之间的数据相关性，计算节点的梯度数据依据计算节点的训练数据对联邦学习模型在计算节点的节点模型进行训练生成。所述训练数据包含医疗训练数据、交通相关训练数据、金融相关训练数据等。本发明该实施例可以确定不同计算节点的梯度数据之间的数据相关性，其中，不同计算节点的梯度数据之间的数据相关性依据不同计算节点的训练数据之间的相关性和联邦学习模型的模型信息确定。具体的，训练数据之间的相关性可以依据具体的应用领域来确定，例如，在将该方法应用于医疗领域时，训练数据为医疗训练数据，可以为医疗检查中获取的图像数据、文字数据等类型的数据，其数据的相关性包括针对同一检查对象的图像之间的相似性，或者同一检查过程所得到的图像之间的相似性；在将该方法应用于交通领域时，训练数据为交通相关训练数据，可以为从道路上或者汽车上的监控摄像头获取的图像数据等，这些训练数据可能会有部分重复的内容或者针对同一拍摄对象不同角度的图像数据；在将该方法应用于金融领域时，训练数据为金融相关训练数据，可以为从银行终端获取的金融产品相关数据，以及从用于终端获取的用户行为数据等
训练数据。训练数据之间的相关性是指各组训练数据之间满足某些数据相似函数关系，例如可以从图像数据的结构分布、色彩分布、线条分布等方面，从信息数据的概率分布等方面来考察数据之间的相关性。
[0078] s520、依据数据相关性，确定各计算节点的节点数据处理规则，并下发至对应的计算节点，所述节点数据处理规则包括：信源编码矩阵和压缩率。
[0079] s530、接收各计算节点上传的第一压缩数据，并依据计算节点的训练数据之间的数据相关性，对各计算节点的第一压缩数据进行还原，形成还原数据。
[0080] s540、依据还原数据对服务端的联邦学习模型进行调整，以确定训练好的联邦学习模型。
[0081]
其中，所述第一压缩数据通过计算节点依据本地的训练数据对联邦学习模型在本地的节点模型进行训练形成的第一梯度数据得到。
[0082]
图6所示为本发明另一实施例提供的联邦学习模型的处理方法600，应用在服务端，如图6所示，所述处理方法600包括如下步骤： s610、确定与服务端连接进行联邦学习模型训练的计算节点，并确定不同计算节点的梯度数据之间的数据相关性，计算节点的梯度数据依据计算节点的训练数据对联邦学习模型在计算节点的节点模型进行训练生成；所述计算节点包括车辆端，所述训练数据依据导航相关数据进行格式统一后得到。
[0083] s620、依据数据相关性，确定各计算节点的节点数据处理规则，并下发至对应的计算节点，所述节点数据处理规则包括信源编码矩阵和压缩率。
[0084] s630、接收计算节点上传的第一压缩数据，并依据计算节点的训练数据之间的数据相关性，对各计算节点的第一压缩数据进行还原，形成还原数据。
[0085] s640、依据还原数据对服务端的联邦学习模型进行调整，以确定训练好的联邦学习模型。
[0086]
其中，所述第一压缩数据通过计算节点依据本地的训练数据对联邦学习模型在本地的节点模型进行训练形成的第一梯度数据得到。
[0087]
本发明该实施例中，可以将车辆端等交通应用场景下的终端作为联邦学习模型训练的计算节点与服务端交互，以确定训练好的联邦学习模型，从而得到适用于交通应用场景下使用的联邦学习模型。该实施例的其他内容与上述实施例中涉及的内容类似，具体实施方式可以参考上述实施例的实施方式，此处不再赘述。
[0088]
图7所示为本发明另一实施例提供的联邦学习模型的处理方法700，应用在车辆端，如图7所示，所述处理方法700包括如下步骤： s710、获取训练好的联邦学习模型相关的待分析数据，所述待分析数据包括车辆行驶视频、车辆位置信息。
[0089] s720、将待分析数据输入到训练好的联邦学习模型中，确定导航分析结果。所述导航分析结果包括导航提示信息、导航控制信息中的至少一个。
[0090] s730、输出导航分析结果。
[0091]
其中，所述训练好的联邦学习模型依据服务端与车辆端之间的联邦学习得到，所述联邦学习过程包括：服务端向车辆端发送节点数据处理规则，以使得车辆端依据本地的历史导航相关
数据对联邦学习模型在本地的节点模型进行训练，形成第一梯度数据，并依据信源编码矩阵对第一梯度数据进行转换，形成第一转换数据，并依据压缩率对第一转换数据进行压缩，得到第一压缩数据；所述节点数据处理规则包括信源编码矩阵和压缩率，所述节点数据处理规则依据不同计算节点的梯度数据之间的数据相关性确定；接收计算节点上传的第一压缩数据，并依据车辆端的梯度数据之间的数据相关性，对各计算节点的第一压缩数据进行还原，形成还原数据；依据所述还原数据对服务端的联邦学习模型进行调整，以确定训练好的联邦学习模型。对于训练好的联邦学习模型，可以将联邦学习模型部署在车辆端，在车辆端可以对例如行车记录仪等设备获取的体现道路拥堵状况、道路安全状态、交通提示信息、以及导航等信息的图像数据进行分析，进而形成相应的提示至车辆端的用户。通过将模型部署在车辆端，车辆端获取的数据无需上传至服务端即可获得分析结果，能够减少车辆端数据泄露的概率，提高了数据处理的安全性和可靠性，并且可以减少传输的压缩数据的数据量，提升了训练效率。
[0092]
另外，本发明该实施例除了可以将训练好的模型部署在车辆端之外，还可以将训练好的模型部署在服务端；或者可以将训练好的模型的一部分（如与隐私相关的数据）部署在车辆端、另一部分部署在服务端，从而在提高数据处理效率的同时保证了数据的安全性。该实施例的其他内容与上述实施例中涉及的内容类似，具体实施方式可以参考上述实施例的实施方式，此处不再赘述。
[0093]
本发明上述各实施例中提供的处理方法中，对于模型的训练过程均在可信执行环境中完成，以实现数据隐私保护的目的。
[0094]
图8所示为本发明另一实施例提供的联邦学习模型的服务器800的结构示意图，如图8所示，所述服务器800包括：数据相关性确定模块801，用于确定与服务端连接进行联邦学习模型训练的计算节点，并确定不同计算节点的梯度数据之间的数据相关性，计算节点的梯度数据依据计算节点的训练数据对联邦学习模型在计算节点的节点模型进行训练生成。该数据相关性确定模块801还可以用于下发相关关系分析指令至计算节点，以使得所述计算节点从训练数据中截取目标数据并进行加密，以形成加密数据；获取计算节点上传的加密数据，并解密得到目标数据；以及，依据各计算节点的目标数据进行相关性分析，确定不同计算节点的梯度数据之间的数据相关性；还可以用于提供相关性配置页面，以展示各计算节点存储的数据的数据描述信息；以及，依据基于相关性配置页面获取的相关关系配置信息，确定不同计算节点的梯度数据之间的数据相关性。
[0095]
节点数据处理规则确定模块802，用于依据所述数据相关性确定各计算节点的节点数据处理规则，并下发至对应的计算节点，所述节点数据处理规则包括信源编码矩阵和压缩率。
[0096]
还原数据生成模块803，用于接收计算节点上传的第一压缩数据，并依据计算节点的梯度数据之间的数据相关性，对各计算节点的第一压缩数据进行还原，形成还原数据。该还原数据生成模块803，还可以用于依据目标计算节点的信源编码矩阵和各计算节点的梯度数据之间的数据相关性对第一压缩数据进行数据还原，得到各计算节点的还原数据。在
目标计算节点的第一压缩数据还原失败时，该还原数据生成模块803用于发送扩增数据获取指令至目标计算节点，以使得所述目标计算节点依据扩增数据获取指令从第一转换数据中获取扩增压缩数据；以及，接收目标计算节点上传的扩增压缩数据，以确定第一压缩数据来获得目标计算节点的还原数据。其中，所述第一转换数据由所述第一梯度数据依据信源编码矩阵进行转换得到。
[0097]
联邦学习模型确定模块804，用于依据所述还原数据对服务端的联邦学习模型进行调整，以确定训练好的联邦学习模型。
[0098]
其中，所述第一压缩数据通过计算节点依据本地的训练数据对联邦学习模型在本地的节点模型进行训练形成的第一梯度数据得到。
[0099]
在一些实施例中，该服务器还可以包括：第二压缩数据确定模块805，用于依据更新后的联邦学习模型，确定各计算节点的节点模型的本地梯度；以及，对更新后的模型进行压缩，形成第二压缩数据，并下发至对应的计算节点。其中，所述第二压缩数据作为计算节点对节点模型调整的依据，以使得计算节点依据调整后的节点模型和本地的训练数据进行训练，更新所述第一梯度数据。
[0100]
数据量化规则确定模块806，用于确定联邦学习模型的数据量化规则，所述数据量化规则依据联邦学习模型的精度确定；以及，将数据量化规则添加到节点数据处理规则中，以使得所述计算节点依据数据量化规则对第一梯度数据进行量化处理，并依据量化处理后的第一梯度数据确定第一转换数据。
[0101]
压缩率确定模块807，用于确定所述第一压缩数据对服务端中的联邦学习模型的梯度调整信息；以及依据所述梯度调整信息，确定各计算节点的目标压缩率。
[0102]
初始联邦学习模型生成模块808，用于下发初始学习比例信息至计算节点，以使所述计算节点按照初始学习比例信息，从训练数据中截取第一数据；以及，联合至少一个计算节点，采用第一数据对联邦学习模型进行联邦学习，得到初步训练的联邦学习模型作为所述服务端的联邦学习模型。
[0103]
图9所示为本发明另一实施例提供的联邦学习模型的计算节点900，该计算节点900例如可以为医疗领域的医疗检查终端、金融领域的银行端或者用户端、交通领域的车辆端等终端，这些终端作为联邦学习模型的计算节点可以提供训练数据参与联邦学习模型的训练。如图9所示，所述计算节点900包括：节点数据处理规则获取模块901，用于获取服务端下发的节点数据处理规则；所述节点数据处理规则依据进行联邦学习的计算节点的梯度数据之间的数据相关性确定，计算节点的梯度数据依据计算节点的训练数据对联邦学习模型在计算节点的节点模型进行训练生成，所述节点数据处理规则包括：信源编码矩阵和压缩率。
[0104]
第一压缩数据生成模块902，用于依据本地的训练数据对联邦学习模型在本地的节点模型进行训练，形成第一梯度数据；依据信源编码矩阵对第一梯度数据进行转换，形成第一转换数据；以及依据压缩率对第一转换数据进行压缩，得到第一压缩数据。该第一压缩数据生成模块902，还可以用于接收服务端下发的第二压缩数据，所述第二压缩数据在服务端通过对更新后的模型进行压缩后得到，所述本地计算节点的节点模型的本地梯度依据更新后的联邦学习模型确定；以及对第二压缩数据进行解压，并对计算节点的节点模型进行调整，以依据调整后的节点模型和本地的训练数据进行训练，确定第一梯度数据。
[0105]
数据上传模块903，用于上传所述第一压缩数据至服务端，以使所述服务端依据计算节点的梯度数据之间的数据相关性，对各计算节点的第一压缩数据进行还原，形成还原数据，并依据还原数据对服务端的联邦学习模型进行调整，以确定训练好的联邦学习模型。
[0106]
在一些实施例中，该计算节点900还可以包括：压缩率更新模块904，用于接收服务端下发的目标压缩率；所述目标压缩率依据第一压缩数据对服务端中的联邦学习模型的梯度调整信息确定；以及，依据目标压缩率，更新计算节点中的压缩率。
[0107]
扩增压缩数据获取模块905，用于接收服务端下发的扩增数据获取指令；所述扩增数据获取指令在目标计算节点的第一压缩数据还原失败时生成；以及，依据扩增数据获取指令从第一转换数据中获取扩增压缩数据。
[0108]
初始联邦学习模型生成模块906，用于按照服务端下发的初始学习比例信息从训练数据中截取第一数据；以及，联合服务端采用所述第一数据对联邦学习模型进行联邦学习，得到初步训练的联邦学习模型作为所述服务端的联邦学习模型。
[0109]
本发明上述实施例提供的联邦学习模型的服务器和计算节点中各个模块实现其功能的具体过程与本发明上述实施例提供的联邦学习模型的处理方法的各步骤相同，在此不再一一赘述。
[0110]
图10所示为本发明一实施例提供的电子设备的结构示意图。如图10所示，该电子设备1000包括：一个或多个处理器1001和存储器1002；以及存储在存储器1002中的计算机程序指令，计算机程序指令在被处理器1001运行时使得处理器1001执行如上述任一实施例的联邦学习模型的处理方法。处理器1001可以是中央处理单元（cpu）或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以执行期望的功能。
[0111]
存储器1002可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器1001可以运行程序指令，以实现上文的本发明的各个实施例的联邦学习模型的处理方法中的步骤以及/或者其他期望的功能。
[0112]
在一些实施例中，电子设备1000还可以包括：输入装置1003和输出装置1004，这些组件通过总线系统和/或其他形式的连接机构（图10中未示出）互连。例如，在该电子设备是单机设备时，该输入装置1003可以是通信网络连接器，用于从外部的可移动设备接收所采集的输入信号。此外，该输入设备1003还可以包括例如键盘、鼠标、麦克风等。该输出装置1004可以向外部输出各种信息，例如可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等。
[0113]
除了上述方法和设备以外，本发明的实施例还可以是计算机程序产品，包括计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行如上述任一实施例的联邦学习模型的处理方法中的步骤。
[0114]
计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本发明实施例操作的程序代码，程序设计语言包括面向对象的程序设计语言，诸如java、c++
等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
[0115]
此外，本发明的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行本发明的各个实施例的联邦学习模型的处理方法中的步骤。
[0116]
计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（ram）、只读存储器（rom）、可擦式可编程只读存储器（eprom或闪存）、光纤、便携式紧凑盘只读存储器（cd-rom）、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0117] 应理解，本发明实施例中的处理器可以为中央处理单元（central processing unit，cpu），该处理器还可以是其他通用处理器、数字信号处理器（digital signal processor，dsp）、专用集成电路（application specific integrated circuit，asic）、现成可编程门阵列（field programmable gate array，fpga）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0118]
综上所述，本发明实施例涉及一种联邦学习模型的处理方法、装置、电子设备和存储介质，该方法包括：确定与服务端连接进行联邦学习模型训练的计算节点，并确定不同计算节点的梯度数据之间的数据相关性；依据所述数据相关性确定各计算节点的节点数据处理规则，并下发至对应的计算节点，所述节点数据处理规则包括信源编码矩阵和压缩率，以使得所述计算节点依据本地的训练数据对联邦学习模型在本地的节点模型进行训练，形成第一梯度数据，并依据信源编码矩阵对第一梯度数据进行转换，形成第一转换数据，并依据压缩率对第一转换数据进行压缩，得到第一压缩数据；接收计算节点上传的第一压缩数据，并依据计算节点的梯度数据之间的数据相关性，对各计算节点的第一压缩数据进行还原，形成还原数据；依据所述还原数据对服务端的联邦学习模型进行调整，以确定训练好的联邦学习模型。本发明实施例的技术方案，通过利用多个参与方交换的信息中的冗余来进行分布式信源编码，从而降低联邦学习中所需要的通讯量，能够在保护联邦学习模型的情况下，减少中间梯度数据量，达到降低通信量提高计算速度的效果。
[0119]
应当理解的是，以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明的范围（包括权利要求）被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明一个或多个实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。