基于解耦迁移的联邦学习方法在计算机视觉上的应用

1.本发明涉及计算机视觉技术领域，具体为基于解耦迁移的联邦学习方法在计算机视觉上的应用。


背景技术：

2.计算机视觉技术是一门随着深度学习的发展而逐渐进步的技术，包括人脸识别、目标检测、医学影像识别等。相比于传统的图像处理方法，深度学习的方式不仅可以提高图像识别的准确率，而且在实际应用中由于其优秀的端到端特性，可以方便快捷地部署在端节点设备上，因此在日常生活、经济医疗等领域得到广泛应用，并且在某些领域的识别任务中甚至超过专家经验的识别效果。
3.然而这种基于深度学习的方法极大程度上依赖于用于提供训练模型的数据，进一步说依赖于高质量、大数量的数据，而实际中搜集这些数据往往非常困难，甚至开销巨大。因此，其应用目前也只局限于少部分，要么数据搜集容易、处理简单，比如人脸识别，要么数据搜集依赖于拥有大量数据资源或庞大用户集体的数据中心，如医院的医学影像识别等。
4.如今大数据时代，人人都是数据的生产者，数据的分布往往呈现一种少量多处的分布态势，并且数据本身与个人的隐私性紧密相关。数据分散难以搜集，这就导致传统集中式的模型训练方法难以执行，亟需一种不接触原始数据进行分布式训练的技术手段。
5.此外，数据来源多样导致的数据非独立同分布也是一大挑战难题，不同的客户端持有的数据分布具有个性化特征，例如手写体数字识别任务中，每个人书写的笔画风格都不一样，书写时使用的工具不同也会导致最终呈现的图像特征不一样。由于数据分布差异的存在，直接将基于某个客户端的数据域上训练的模型应用在其它客户端上往往不能取得良好的识别效果，如何联合训练出一个可以共享的、通用的模型也是一大挑战。
6.实际中，由于各个公司或实体采集数据的目的不同，或是数据本身产生的难度、概率不同，各个类别的数据往往数量不均衡，这种非均衡的分布情况不仅表现在各个客户端上，整体来看全局数据的分布也往往非均衡。例如，某些任务聚焦于车辆的识别任务，在高速路上采集图像数据和城市道路上采集图像数据的分布就不相同，城市道路上轿车的数量大于卡车。再比如工厂中设备运维场景中，用图像识别技术检测零件质量时，正常的零件图片数据远大于故障类别的数量。在深度学习中，由于类别数量不均衡，分类器会偏向于多数类别的分类结果，如何缓解这种劣化的影响也是亟待解决的问题。


技术实现要素：

7.本发明的目的在于提供基于解耦迁移的联邦学习方法在计算机视觉上的应用，以解决上述背景技术中提出的问题。
8.为实现上述目的，本发明提供如下技术方案：基于解耦迁移的联邦学习方法在计算机视觉上的应用，其应用方法包括如下步骤：
9.s1、各个客户端ci初始化各自的本地模型，包括特征提取器fi和分类器hi，使用本
地原始非均衡数据进行本地模型第一阶段初始训练，使用特征提取器提取图像特征信息，并在服务端进行全局聚合，再回传更新本地特征提取器，各个客户端本地模型训练完毕后，上传本地特征提取器fi到中心服务器，执行模型聚合；
10.s2、中心服务器将全局特征提取器fg回传给各个客户端，更新各自的本地特征提取器，即fi＝fg。各个客户端将本地数据进行均衡处理，并固定本地特征提取器执行本地模型第二阶段训练；
11.s3、各个客户端执行本地模型第一阶段训练，解开固定的本地特征提取器，固定来自其它客户端的分类器，使用原始非均衡数据，通过特征提取器和本地分类器计算得到本地分类损失l
ce
。将原始数据进行随机数据增强，通过其他分类器计算得到参考分类损失lc'e；
12.s4、返回步骤s2，继续执行循环。
13.优选的，所述步骤s1中，本地训练直接使用原始未经过均衡处理的数据，本地训练步骤持续次。
14.优选的，所述步骤s1中，各个客户端同时上传本地数据的数量信息，客户端根据数据量大小计算聚合权重wi，之后将各个本地特征提取器进行加权聚合，得到全局特征提取器fg。
15.优选的，所述步骤s1中，得到各个类别的判别概率是依据特征数据使用分类器来判别图像类别。
16.优选的，所述步骤s2中，固定特征提取器对原始非均衡数据进行过采样处理，使用分类损失更新分类器。
17.优选的，所述步骤s2中，本地第二轮训练持续次。
18.优选的，所述步骤s2中，各个客户端执行完本地第二轮训练后，将各自的分类器上传给所有其它参与联邦训练的客户端。
19.优选的，所述步骤s3中，通过特征提取器和其它分类器得到参考分类损失lc'e，并使用两类损失更新本地模型。
20.优选的，所述步骤s4中，一共执行全局训练次。
21.优选的，所述步骤s4中，全部流程执行完毕后，各个本地客户端使用本地模型执行图像识别任务。
22.与现有技术相比，本发明的有益效果如下：
23.本发明研究在基本的计算机视觉任务中，基于隐私保护的分布式计算场景下，将解耦表征与领域泛化迁移学习结合，提出一种有效的多方联邦学习技术，通过表征分解、分类器集成等策略来提升模型在多数据域下的泛化性能，并缓解非均衡数据引发的分类偏差问题。
附图说明
24.图1为本发明方法的步骤流程图。
具体实施方式
25.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
26.实施例一：
27.基于解耦迁移的联邦学习方法在计算机视觉上的应用，其应用方法包括如下步骤：
28.s1、各个客户端ci初始化各自的本地模型，包括特征提取器fi和分类器hi，使用本地原始非均衡数据进行本地模型第一阶段初始训练，本地训练直接使用原始未经过均衡处理的数据，本地训练步骤持续次，使用特征提取器提取图像特征信息，并在服务端进行全局聚合，再回传更新本地特征提取器，各个客户端本地模型训练完毕后，上传本地特征提取器fi到中心服务器，执行模型聚合；
29.s2、中心服务器将全局特征提取器fg回传给各个客户端，更新各自的本地特征提取器，即fi＝fg。各个客户端将本地数据进行均衡处理，并固定本地特征提取器执行本地模型第二阶段训练，固定特征提取器对原始非均衡数据进行过采样处理，使用分类损失更新分类器；
30.s3、各个客户端执行本地模型第一阶段训练，解开固定的本地特征提取器，固定来自其它客户端的分类器，使用原始非均衡数据，通过特征提取器和本地分类器计算得到本地分类损失l
ce
。将原始数据进行随机数据增强，通过其他分类器计算得到参考分类损失lc'e，并使用两类损失更新本地模型；
31.s4、返回步骤s2，继续执行循环。
32.实施例二：
33.基于解耦迁移的联邦学习方法在计算机视觉上的应用，其应用方法包括如下步骤：
34.s1、各个客户端ci初始化各自的本地模型，包括特征提取器fi和分类器hi，使用本地原始非均衡数据进行本地模型训练，本地训练步骤持续次，使用特征提取器提取图像特征信息，并在服务端进行全局聚合，再回传更新本地特征提取器，各个客户端本地模型训练完毕后，上传本地特征提取器fi到中心服务器，执行模型聚合，各个客户端同时上传本地数据的数量信息，客户端根据数据量大小计算聚合权重wi，之后将各个本地特征提取器进行加权聚合，得到全局特征提取器fg；
35.s2、中心服务器将全局特征提取器fg回传给各个客户端，更新各自的本地特征提取器，即fi＝fg。各个客户端将本地数据进行均衡处理，并固定本地特征提取器执行本地模型第二阶段训练，本地第二轮训练持续次，固定特征提取器对原始非均衡数据进行过采样处理，使用分类损失更新分类器；
36.s3、各个客户端执行本地模型第一阶段训练，解开固定的本地特征提取器，固定来自其它客户端的分类器，使用原始非均衡数据，通过特征提取器和本地分类器计算得到本地分类损失l
ce
。将原始数据进行随机数据增强，通过其他分类器计算得到参考分类损失
lc'e，并使用两类损失更新本地模型；
37.s4、返回步骤s2，继续执行循环，一共执行全局训练次。
38.实施例三：
39.基于解耦迁移的联邦学习方法在计算机视觉上的应用，其应用方法包括如下步骤：
40.s1、各个客户端ci初始化各自的本地模型，包括特征提取器fi和分类器hi，使用本地原始非均衡数据进行本地模型训练，本地训练步骤持续次，使用特征提取器提取图像特征信息，依据特征数据使用分类器来判别图像类别，并在服务端进行全局聚合，再回传更新本地特征提取器，各个客户端本地模型训练完毕后，上传本地特征提取器fi到中心服务器，执行模型聚合，各个客户端同时上传本地数据的数量信息，客户端根据数据量大小计算聚合权重wi，之后将各个本地特征提取器进行加权聚合，得到全局特征提取器fg；
41.s2、中心服务器将全局特征提取器fg回传给各个客户端，更新各自的本地特征提取器，即fi＝fg。各个客户端将本地数据进行均衡处理，并固定本地特征提取器执行本地模型第二阶段训练，本地第二轮训练持续次，各个客户端执行完本地第二轮训练后，将各自的分类器上传给所有其它参与联邦训练的客户端，固定特征提取器对原始非均衡数据进行过采样处理，使用分类损失更新分类器；
42.s3、各个客户端执行本地模型第一阶段训练，解开固定的本地特征提取器，固定来自其它客户端的分类器，使用原始非均衡数据，通过特征提取器和本地分类器计算得到本地分类损失l
ce
。将原始数据进行随机数据增强，通过其他分类器计算得到参考分类损失lc'e，并使用两类损失更新本地模型；
43.s4、返回步骤s2，继续执行循环，一共执行全局训练次，全部流程执行完毕后，各个本地客户端使用本地模型执行图像识别任务。
44.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。