联邦学习方法和装置与流程

本技术涉及人工智能(artificial intelligence，ai)中的联邦学习，尤其涉及一种联邦学习方法和装置。

背景技术：

1、联邦学习(federated learning)是一个机器学习框架，能有效帮助多个参与者在满足用户隐私保护、数据安全和政府法规的要求下，进行数据使用和机器学习建模。联邦学习作为分布式的机器学习范式，可以有效解决数据孤岛问题，让参与者在不共享数据的基础上联合建模，能从技术上打破数据孤岛，实现ai协作。

2、随着ai技术的不断发展，计算机视觉(computer vision，cv)技术也已经被广泛应用于不同的生产领域(例如电力、制造、能源等)。通常每个生产领域中都包含大量的规范，如果针对每个规范构建单独的计算机视觉模型将会带来巨大的负担。因此，将联邦学习与计算机视觉技术相结合，来构建统一的视觉大模型解决不同规范所对应不同场景下的生产问题便成为当前本领域研究人员所研究的热点问题。

3、现有技术中，部分研究人员提出了利用横向联邦学习来进行视觉模型的训练，具体而言，通过众包的方式进行各参与者上训练数据的标注，服务器侧负责模型参数更新、模型聚合和模型参数的下发。

4、然而，上述方式中由于各参与者上训练数据存在差异，导致参与者上模型收敛速度较慢。此外，由于生产领域的数据量庞大，众包标注难以及时应对；且各生产领域专业性较强，众包标注也无法保证标注的准确性。

技术实现思路

1、本技术实施例提供了一种联邦学习方法和装置，可以使各参与者上训练数据分布趋于一致，从而加快参与者上视觉模型的收敛速度；同时通过对数据进行多轮次自动标注，可以有效提升标注准确率，并降低人工成本。

2、第一方面，本技术提供了一种联邦学习方法，所述联邦学习方法应用于联邦学习框架，所述联邦学习框架包括协调者和n个参与者，所述n个参与者中包括第一参与者，所述第一参与者上包含第一数据集和目标检测模型，n为大于或等于2的正整数，所述方法包括：所述第一参与者将所述第一数据集划分为n个子集，所述n个子集与所述n个参与者一一对应，所述n个子集中包括第一子集，所述第一子集中包含m张图像和与所述m张图像分别对应的m个标签，m为正整数；所述第一参与者向其余n-1个参与者分别发送一份特征数据；其中，所述其余n-1个参与者中包括第二参与者，所述第二参与者与所述第一子集相对应，所述第一参与者向所述第二参与者发送的一份特征数据包括m个特征矩阵和所述m个标签，所述m个特征矩阵是利用所述目标检测模型中的特征提取网络对所述m张图像分别进行特征提取得到的；所述第一参与者接收n-1份特征数据，所述n-1份特征数据是由所述其余n-1个参与者分别发送的；所述第一参与者基于所述n-1份特征数据和第二子集对所述目标检测模型进行训练，得到第一梯度；其中，所述第二子集为所述第一参与者在所述n个子集中对应的子集；所述第一参与者将所述第一梯度发送给所述协调者。

3、其中，第一参与者为上述n个参与者中任意一个参与者。

4、从技术效果上看，每个参与者通过将本侧的训练数据划分成n份，然后分别发送给对应的其余n-1个参与者，使得每个参与者上的训练数据的分布趋于一致，从而降低每个参与者上计算得到的梯度的差异，使得后续协调者上融合得到的梯度与各参与者发送的梯度较为接近，进而协调者基于融合后的梯度更新得到的目标检测模型参数与各参与方上目标检测模型的参数差异也较小。因此，在协调者将更新后的目标检测模型参数发送给各参与者进行模型参数更新后，各参与者上由于更新后的目标检测模型参数与更新前差异较小，且各参与者上训练数据分布趋于一致且每个参与者上训练数据分布更加广泛所以各参与者在下次目标检测模型的训练/迭代过程中，能快速收敛，进而能有效提升联邦学习架构下视觉大模型的实用性。

5、在一种可行的实施方式中，所述方法还包括：所述第一参与者接收所述协调者发送的参与者公钥；所述第一参与者在向所述其余n-1个参与者分别发送一份特征数据之前，利用所述参与者公钥对所述一份特征数据进行加密。

6、从技术效果上看，各参与者通过对向其它参与者发送的特征数据进行加密，可以有效保证各参与者之间数据交互的安全性。

7、在一种可行的实施方式中，在所述第一参与者接收n-1份特征数据之后，所述方法还包括：所述第一参与者利用本地私钥对所述n-1份特征数据进行解密，所述本地私钥与所述参与者公钥相匹配。

8、从技术效果上看，各参与者通过私钥对接收到的特征数据进行解密，可以防止特征数据被窃取后被破解，保证数据安全。

9、在一种可行的实施方式中，所述方法还包括：所述第一参与者接收所述协调者发送的协调者公钥；所述第一参与者利用所述协调者公钥对所述第一梯度进行加密。

10、从技术效果上看，各参与者通过协调者公钥对梯度进行加密，可以有效保证参与者与协调者之间数据交互的安全性。

11、在一种可行的实施方式中，所述m个特征矩阵是由所述特征提取网络中的前k层网络分别对所述m个特征图进行特提取得到的，k为正整数。

12、从技术效果上看，各参与者方通过发送对图像进行特征提取后的特征矩阵，而不是直接发送图像数据，可以进一步保证各参与者之间数据交互中的数据安全。

13、在一种可行的实施方式中，所述第一数据集为已标注数据集，所述第一数据集中包括第一图像，所述第一图像的标签为第一标签，所述第一标签对应第一置信度；所述方法还包括：所述第一参与方利用所述目标检测模型对所述第一图像进行目标检测，得到第二置信度；当所述第二置信度小于第一阈值时，将所述第一图像从所述第一数据集中移除；当所述第二置信度大于或等于第一阈值时，将所述第一置信度和所述第二置信度中的较大者作为所述第一标签对应的置信度。

14、从技术效果上看，对于已标注的图像，在每次模型训练之前，仍要再进行一次标注，即通过多轮次标注，将每次标注结果的置信度都满足第一阈值的结果作为目标检测模型的训练数据，一方面可以提升自动标注的准确性，另一方面，也能提升训练所得到模型的预测精度。

15、在一种可行的实施方式中，所述第一参与者上还包括第二数据集，所述第二数据集为未标注数据集，所述第二数据集中包括第二图像；所述方法还包括：所述第一参与者利用所述目标检测模型对所述第二图像进行目标检测，得到所述第二图像对应的第二标签，以及所述第二标签对应的第三置信度；当所述第三置信度大于或等于所述第一阈值时，将所述第二图像加入所述第一数据集。

16、从技术效果上看，对于未标注图像，只有当其预测所得标签的置信度大于或等于第一阈值时，才能将其作为目标检测模型的训练数据，以有效保证训练后所得模型的预测精度。

17、第二方面，本技术提供了一种联邦学习装置，所述联邦学习装置为联邦学习框架中的第一参与者，所述联邦学习框架包括协调者和n个参与者，第一参与者为所述n个参与者中的任意一个，所述第一参与者上包含第一数据集和目标检测模型，n为大于或等于2的正整数；所述联邦学习装置包括：处理单元，用于将所述第一数据集划分为n个子集，所述n个子集与所述n个参与者一一对应，所述n个子集中包括第一子集，所述第一子集中包含m张图像和与所述m张图像分别对应的m个标签，m为正整数；发送单元，用于向其余n-1个参与者分别发送一份特征数据；其中，所述其余n-1个参与者中包括第二参与者，所述第二参与者与所述第一子集相对应，所述第一参与者向所述第二参与者发送的一份特征数据包括m个特征矩阵和所述m个标签，所述m个特征矩阵是利用所述目标检测模型中的特征提取网络对所述m张图像分别进行特征提取得到的；接收单元，用于接收n-1份特征数据，所述n-1份特征数据是由所述其余n-1个参与者分别发送的；所述处理单元，还用于基于所述n-1份特征数据和第二子集对所述目标检测模型进行训练，得到第一梯度；其中，所述第二子集为所述第一参与者在所述n个子集中对应的子集；所述发送单元，还用于将所述第一梯度发送给所述协调者。

18、在一种可行的实施方式中，所述接收单元，还用于接收所述协调者发送的参与者公钥；所述处理单元，还用于在向所述其余n-1个参与者分别发送一份特征数据之前，利用所述参与者公钥对所述一份特征数据进行加密。

19、在一种可行的实施方式中，在所述第一参与者接收n-1份特征数据之后，所述处理单元还用于：利用本地私钥对所述n-1份特征数据进行解密，所述本地私钥与所述参与者公钥相匹配。

20、在一种可行的实施方式中，所述m个特征矩阵是由所述特征提取网络中的前k层网络对所述m张图像分别进行特提取得到的，k为正整数。

21、在一种可行的实施方式中，所述第一数据集为已标注数据集，所述第一数据集中包括第一图像，所述第一图像的标签为第一标签，所述第一标签对应第一置信度；所述处理单元还用于：利用所述目标检测模型对所述第一图像进行目标检测，得到第二标签和所述第二标签对应的第二置信度；当所述第二置信度小于第一阈值时，将所述第一图像从所述第一数据集中移除；当所述第二置信度大于或等于第一阈值时，且所述第二置信度大于所述第一置信度时，利用所述第二标签和所述第二置信度更新所述第一标签和所述第一置信度。

22、在一种可行的实施方式中，所述第一参与者上还包括第二数据集，所述第二数据集为未标注数据集，所述第二数据集中包括第二图像；所述处理单元还用于：利用所述目标检测模型对所述第二图像进行目标检测，得到第三标签和所述第三标签对应的第三置信度；当所述第三置信度大于或等于所述第一阈值时，将所述第二图像加入所述第一数据集。

23、第三方面，本技术提供了一种计算机设备，所述计算机设备包括至少一个处理器，存储器和接口电路，所述存储器、所述接口电路和所述至少一个处理器通过线路互联，所述至少一个存储器中存储有指令；所述指令被所述处理器执行时，上述第一方面中任一所述的方法得以实现。

24、第四方面，本技术提供了一种联邦学习框架，所述联邦学习框架包括协调者和n个参与者，所述n个参与者中的每个参与者用于执行前述第一方面中任意一项所述的方法。

25、第五方面，本技术实施例提供了一种芯片系统，所述芯片系统包括至少一个处理器，存储器和接口电路，所述存储器、所述接口电路和所述至少一个处理器通过线路互联，所述至少一个存储器中存储有指令；所述指令被所述处理器执行时，上述第一方面中任一所述的方法得以实现。

26、第六方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，该计算机程序被执行时，上述第一方面中任意一项所述的方法得以实现。

27、第七方面，本技术实施例提供了一种计算机程序，该计算机程序包括指令，当该计算机程序被执行时，上述第一方面中任意一项所述的方法得以实现。