模型训练的方法、装置、数据处理系统及服务器与流程

1.本技术涉及人工智能技术领域，更具体地，涉及一种模型训练的方法、装置、数据处理系统、服务器以及存储介质。


背景技术：

2.联邦学习(federated learning，fl)又名联邦机器学习、联合学习、联盟学习。联邦学习是一种基于云技术的分布式系统的机器学习框架，在联邦学习架构中，包含服务器和多个客户端设备，每个客户端设备在本地存储有各自的训练数据，且服务器和各客户端设备中都设置有模型架构相同的模型，通过联邦学习架构进行机器学习模型的训练，可以有效解决数据孤岛问题，让参与方在不共享数据的基础上联合建模，能从技术上打破数据孤岛，实现ai协作。然而，相关的联邦学习架构中，客户端侧因算力较低只能部署比较小的模型，且客户端侧的模型难以在数据无标注的场景下训练；而服务器端在客户端的数据不可见的限制下难以与客户端的模型进行聚合，影响了模型的性能。


技术实现要素：

3.鉴于上述问题，本技术提出了一种模型训练的方法、装置、数据处理系统、服务器以及存储介质，以改善上述问题。
4.第一方面，本技术实施例提供了一种模型训练的方法，应用于数据处理系统的服务器，所述服务器与多个客户端设备连接，所述方法包括：获取基于所述多个客户端设备各自对应的模型确定的多个相似度矩阵，所述多个客户端设备各自对应的模型为基于未标注的训练数据训练得到；利用由所述多个相似度矩阵集成得到的集成相似度矩阵对所述服务器对应的待处理模型进行训练，得到目标模型；将所述目标模型对应的模型参数发送至所述多个客户端设备，并指示所述多个客户端设备基于所述模型参数对所述各自对应的模型进行更新。
5.第二方面，本技术实施例提供了一种模型训练的方法，应用于数据处理系统的客户端设备，所述数据处理系统还包括服务器，所述服务器与多个客户端设备连接，所述方法包括：采用未标注的训练数据对客户端模型进行训练，得到指定模型；将指定数据输入所述指定模型，输出得到模型特征；基于所述模型特征获取相似度矩阵，并将所述相似度矩阵发送至所述服务器；接收所述服务器发送的目标模型对应的模型参数，所述目标模型为利用由多个相似度矩阵集成得到的集成相似度矩阵训练得到；基于所述模型参数对所述指定模型进行更新。
6.第三方面，本技术实施例提供了一种模型训练的装置，运行于数据处理系统的服务器，所述服务器与多个客户端设备连接，所述装置包括：数据获取模块，用于获取基于所述多个客户端设备各自对应的模型确定的多个相似度矩阵，所述多个客户端设备各自对应的模型为基于未标注的训练数据训练得到；模型训练模块，用于利用由所述多个相似度矩阵集成得到的集成相似度矩阵对所述服务器对应的待处理模型进行训练，得到目标模型；
数据发送模块，用于将所述目标模型对应的模型参数发送至所述多个客户端设备，并指示所述多个客户端设备基于所述模型参数对所述各自对应的模型进行更新。
7.第四方面，本技术实施例提供了一种模型训练的装置，运行于数据处理系统的客户端设备，所述数据处理系统还包括服务器，所述服务器与多个客户端设备连接，所述装置包括：模型训练单元，用于采用未标注的训练数据对客户端模型进行训练，得到指定模型；模型特征获取单元，用于将指定数据输入所述指定模型，输出得到模型特征；数据处理单元，用于基于所述模型特征获取相似度矩阵，并将所述相似度矩阵发送至所述服务器；数据接收单元，用于接收所述服务器发送的目标模型对应的模型参数，所述目标模型为利用由多个相似度矩阵集成得到的集成相似度矩阵训练得到；模型更新单元，用于基于所述模型参数对所述指定模型进行更新。
8.第五方面，本技术实施例提供了一种数据处理系统，包括服务器以及多个客户端设备：所述服务器包括一个或多个处理器、存储器、一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序被配置为用于执行上述第一方面所述的方法；所述客户端设备包括一个或多个处理器、存储器、一个或多个应用程序，其中所述客户端设备中的所述一个或多个应用程序被存储在客户端设备的存储器中，并被配置为由客户端设备中的所述一个或多个处理器执行，所述客户端设备中的一个或多个应用程序被配置为用于执行上述第二方面所述的方法。
9.第六方面，本技术提供了一种服务器，包括一个或多个处理器以及存储器；一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述第一方面所述的方法。
10.第七方面，本技术提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码运行时执行上述的方法。
11.本技术提供的一种模型训练的方法、装置、数据处理系统、服务器以及存储介质，通过获取基于所述多个客户端设备各自对应的模型确定的多个相似度矩阵，所述多个客户端设备各自对应的模型为基于未标注的训练数据训练得到；利用由所述多个相似度矩阵集成得到的集成相似度矩阵对所述服务器对应的待处理模型进行训练，得到目标模型；将所述目标模型对应的模型参数发送至所述多个客户端设备，并指示所述多个客户端设备基于所述模型参数对所述各自对应的模型进行更新。从而通过上述方式实现了能够根据客户端设备中的无标注数据训练得到的模型所确定的相似度矩阵，对服务器对应的待处理模型进行训练，进而得到目标模型，避免了因训练数据难以标注而无法训练模型，同时提升了服务器对应的待处理模型的性能；进一步的，通过将目标模型对应的模型参数发送至多个客户端设备，并指示多个客户端设备基于所述模型参数对各自对应的模型进行更新，可以便于提升各个客户端各自对应的模型的性能，从而实现从整体上提升端云联动场景下模型的性能。
附图说明
12.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于
本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
13.图1示出了本技术实施例提供的现有技术中客户端设备与数据中心之间的数据处理障碍示例图。
14.图2示出了本技术实施例提供的模型训练的方法、装置所涉及的应用环境的示意图。
15.图3示出了本技术一实施例提供的模型训练的方法的流程图。
16.图4示出了本技术实施例提供的端云联动聚合方案的数据处理流程示意图。
17.图5示出了本技术另一实施例提供的模型训练的方法的流程图。
18.图6示出了本技术又一实施例提供的模型训练的方法的流程图。
19.图7示出了本技术实施例提供的一模型训练的装置的结构框图。
20.图8示出了本技术实施例提供的另一模型训练的装置的结构框图。
21.图9示出了本技术实施例提供的一种数据处理系统的结构框图。
22.图10示出了本技术实施例的用于执行根据本技术实施例的模型训练的方法的服务器的结构框图。
23.图11是本技术实施例的用于保存或者携带实现根据本技术实施例的模型训练的方法的程序代码的存储单元。
具体实施方式
24.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
25.为了方便理解，下面对本技术实施例中涉及的名词进行简要说明。
26.(1)自监督学习(self-supervised learning，ssl)
27.自监督学习，指不使用人工标注的标签，构造前置任务进行模型训练的方法。
28.(2)知识蒸馏(knowledge distillation，kd)
29.知识蒸馏，指将已有模型的输出作为(部分)监督信号引导新模型训练的模型训练方法。
30.(3)联邦学习(federated learning，fl)
31.联邦学习，指在不同机构、设备保证数据隐私的情况下进行协同训练的方法。联邦学习可以包括横向联邦学习(horizontal federated learning，hfl)、纵向联邦学习(vertical federated learning，vfl)和联邦迁移学习(federated transfer learning，ftl)，构成联邦学习的三要素分别是数据源、联邦学习系统以及用户，其中，横向联邦学习的业态相同或相似，特征重叠多以及用户重叠少；纵向联邦学习是触达用户相同或相似，特征重叠少以及用户重叠多；联邦迁移学习是业态、用户均交集较少，特征重叠少以及用户重叠少。
32.随着人工智能技术的不断发展，以及用户对隐私要求的不断提高，数据孤岛问题逐渐进入人们的视野。数据在模型训练中占有极其重要的地位，更多维、更丰富的数据有利
于训练出更精准、性能更好的模型，但是多维的数据一般分布于不同用户，例如，一个园林工程师的手机相册中往往有很多的植物图像，而一个动物园管理员的手机中会有很多动物图像，而如果进行数据共享则可能会存在一定隐私安全问题。可见，由于隐私保护及数据壁垒等问题，很难在保护用户隐私数据的前提下，安全、全面的利用多用户的隐私数据联合训练模型。
33.为了解决上述问题，相关的联邦学习方案中，可以采用联邦集成蒸馏(ensemble distillation for robust model fusion in federated learning，feddf)解决有监督视觉分类场景下异构模型聚合的问题，或者可以采用由联邦学习经典方法fedavg(视觉表示的对比学习框架)和自监督学习经典方法simclr结合得到的方法fedsimclr解决数据无标注但不同设备间拥有同构网络的场景下的问题。
34.然而，发明人发现，联邦集成蒸馏没有考虑到现实场景下客户端设备往往会有大量未经标注的数据，请参阅图1，示出了现有技术中客户端设备与数据中心之间的数据处理障碍示例图，如图1所示，客户端设备部署的是轻量级的小模型，出于对用户隐私的保护客户端设备的数据被限制传输回数据中心，使得客户端设备的总的数据量过大，并且客户端设备的数据基本都是无标注的数据；而数据中心存放的是大模型以及共有数据(无隐私限制)。在这种情况下联邦集成蒸馏的学习无法有效利用大量未标注数据的信息，从而限制模型的效果。并且联邦集成蒸馏的模型聚合方法只适用于特定有监督任务(task-specific)。在复杂的无监督联邦学习中无法利用该方法进行模型聚合。而fedsimclr只是简单套用了自监督学习的训练方式，使用“权重平均”方法进行客户端侧和服务器侧的模型聚合，该方法没有关注到自监督学习在非独立同分布(non-i.i.d)的数据分布上表现出的鲁棒性，可能对模型表现有负面影响；并且该方法限制不同客户端必须运行同构模型，在端云实际应用场景中并不适用。也即，现阶段联邦学习主要研究的是有监督任务上如何保证不同客户端的数据隐私，一方面忽视了客服端数据在无标签前提下如何工作，另一方面，未考虑到客户端侧和云端计算能力差距导致的模型异构问题。
35.因此，为了改善上述问题，发明人经过长时间的研究并提出了本技术实施例提供的模型训练的方法、装置、数据处理系统、服务器以及存储介质，通过获取基于所述多个客户端设备各自对应的模型确定的多个相似度矩阵，所述多个客户端设备各自对应的模型为基于未标注的训练数据训练得到；利用由所述多个相似度矩阵集成得到的集成相似度矩阵对所述服务器对应的待处理模型进行训练，得到目标模型；将所述目标模型对应的模型参数发送至所述多个客户端设备，并指示所述多个客户端设备基于所述模型参数对所述各自对应的模型进行更新。从而通过上述方式实现了能够根据客户端设备中的无标注数据训练得到的模型所确定的相似度矩阵，对服务器对应的待处理模型进行训练，进而得到目标模型，避免了因训练数据难以标注而无法训练模型，同时提升了服务器对应的待处理模型的性能；进一步的，通过将目标模型对应的模型参数发送至多个客户端设备，并指示多个客户端设备基于所述模型参数对各自对应的模型进行更新，可以便于提升各个客户端各自对应的模型的性能，从而实现从整体上提升端云联动场景下模型的性能。
36.下面先对本技术实施例提供的模型训练的方法、装置所涉及的应用环境进行介绍。
37.请参阅图2，在图2涉及的应用环境10中包括服务器100以及多个客户端设备(图中
仅示出两个)620。其中，在某些场景中服务器100可以被称为中心服务器(本技术中可以理解为数据中心)，可选的，服务器100可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn(content delivery network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。客户端设备620可以为手机、平板电脑、pc电脑、智能穿戴设备等设备，或者可以是其他具备移动通信功能的设备。服务器100以及客户端设备620可以通过有线网络或无线网络的通信方式进行直接或间接地连接，具体网络连接方式可以不做限定。
38.本技术实施例涉及的模型训练的方法适用于联邦迁移学习场景，具体可以应用于客户端和服务器端的视觉结合场景，该视觉结合场景的特点为客户端的数据不可传入服务器端且无标注，同时客户端侧的模型与服务器端侧的模型是异构的。
39.下面将结合附图具体描述本技术的各实施例。
40.请参阅图3，示出了本技术一实施例提供的模型训练的方法的流程图。本技术实施例提供了一种模型训练的方法，应用于数据处理系统的服务器，所述数据处理系统还包括多个客户端设备，所述服务器与所述多个客户端设备连接，所述方法包括：
41.步骤s110：获取基于所述多个客户端设备各自对应的模型确定的多个相似度矩阵，所述多个客户端设备各自对应的模型为基于未标注的训练数据训练得到。
42.其中，多个客户端设备中的每一个客户端设备均对应有一个模型，该模型可以为基于未标注的训练数据训练得到的小模型。其中，训练数据的具体类型可以不作限定，例如，训练数据可以为图像数据或者文本数据等。若训练数据为图像数据，那么前述基于未标注的训练数据训练得到的小模型可以为视觉模型。本技术实施例中，相似度矩阵为每个客户端基于对应的模型以及指定数据获取得到，其中，指定数据可以为不涉及用户隐私且能够回传给服务器(数据中心)的公共数据。
43.其中，该指定数据集可以包括多个相同或者不同的指定数据，每个指定数据至少包括一个数据点。
44.作为一种实现方式，每一个模型分别对应有一个该指定数据，通过将指定数据输入所述模型，可以学习到该模型的知识，进而可以根据模型输出的特征获取相似度矩阵，从而得到多个相似度矩阵。本技术实施例中，多个客户端设备各自对应的模型的架构与服务器对应的待处理模型的架构不同。
45.步骤s120：利用由所述多个相似度矩阵集成得到的集成相似度矩阵对所述服务器对应的待处理模型进行训练，得到目标模型。
46.本技术实施例中，将服务器侧部署的模型称之为待处理模型。请参阅图4，示出了本技术实施例提供的端云联动聚合方案的数据处理流程示意图。如图4所示，当服务器端(即图4中所示的数据中心)获取到基于多个客户端设备各自对应的模型确定的多个相似度矩阵后，可以利用由多个相似度矩阵集成得到的集成相似度矩阵对服务器对应的待处理模型进行训练，从而得到目标模型。
47.作为一种实现方式，可以先对多个相似度矩阵进行均值处理，再将均值处理后的结果进行归一化处理，从而得到集成相似度矩阵，其中，均值处理以及归一化处理的具体原理与实现在此不再赘述。在这种方式下，可以基于该集成相似度矩阵以及前述的指定数据
(即图4所示的公共数据)对服务器对应的待处理模型进行训练，得到目标模型。具体的，可以将该指定数据作为训练样本，将集成相似度矩阵作为训练样本间关系的目标(或者可以理解为将集成相似度矩阵作为关系蒸馏的蒸馏信号)对服务器对应的待处理模型进行关系蒸馏，进而得到目标模型，其中，关系蒸馏中的“关系”指样本之间的关系，也可以理解为各个相似度矩阵之间的关系(例如，相似关系)，而“蒸馏”指把相似度矩阵中的知识拷贝给待处理模型。
48.未标注的训练数据因涉及用户的隐私安全而无法直接上传至服务器，本实施例中，一方面，集成相似度矩阵的获取过程是不涉及用户的隐私数据的，并且，集成相似度矩阵集成了多个客户端设备中的每一个客户端设备对应的模型特征，另一方面，指定数据是不涉及用户隐私且能够回传给服务器(数据中心)的公共数据，在这种方式下，服务器通过基于集成相似度矩阵以及指定数据对待处理模型进行训练，得到目标模型，使得能够在保护用户数据隐私安全的前提下，广泛利用不同客户端设备中的无标注数据，进行模型的训练，从而可以提升服务器对应的待处理模型的性能，进而给用户更好的智能体验。
49.本实施方式中，目标模型的精度较之关系蒸馏前的模型的精度更好，且目标模型的性能较之关系蒸馏前的模型的性能更佳。
50.在一些其他实施方式中，本实施例中的模型训练的方法不限于采用集成蒸馏(即关系蒸馏)的方法，也可采用其他的迁移学习方案，具体方案可以不作限定。
51.步骤s130：将所述目标模型对应的模型参数发送至所述多个客户端设备，并指示所述多个客户端设备基于所述模型参数对所述各自对应的模型进行更新。
52.其中，关系蒸馏后得到的目标模型对应的模型参数较之关系蒸馏前有所更新，通过将关系蒸馏后得到的目标模型的模型参数发送至多个客户端设备，并指示多个客户端设备基于模型参数对各自对应的模型进行更新，可以实现在提升服务器端的模型的精度以及性能的同时，提升多个客户端各自对应的模型的精度以及性能。
53.本技术提供的一种模型训练的方法，通过获取基于所述多个客户端设备各自对应的模型确定的多个相似度矩阵，所述多个客户端设备各自对应的模型为基于未标注的训练数据训练得到；利用由所述多个相似度矩阵集成得到的集成相似度矩阵对所述服务器对应的待处理模型进行训练，得到目标模型；将所述目标模型对应的模型参数发送至所述多个客户端设备，并指示所述多个客户端设备基于所述模型参数对所述各自对应的模型进行更新。从而通过上述方式实现了能够根据客户端设备中的无标注数据训练得到的模型所确定的相似度矩阵，对服务器对应的待处理模型进行训练，进而得到目标模型，避免了因训练数据难以标注而无法训练模型，同时提升了服务器对应的待处理模型的性能；进一步的，通过将目标模型对应的模型参数发送至多个客户端设备，并指示多个客户端设备基于所述模型参数对各自对应的模型进行更新，可以便于提升各个客户端各自对应的模型的性能，从而实现从整体上提升端云联动场景下模型的性能。
54.请参阅图5，本技术实施例提供了一种模型训练的方法，应用于数据处理系统的客户端设备，所述数据处理系统还包括服务器，所述服务器与多个客户端设备连接，所述方法包括：
55.步骤s210：采用未标注的训练数据对客户端模型进行训练，得到指定模型。
56.其中，训练数据可以是通过客户端设备访问或下载的图片，或者可以是通过客户
端设备拍摄的照片，或者是通过客户端设备访问或下载的文本，训练数据的具体类型以及内容可以不作限定。本实施例以训练数据为图像数据为例进行说明，当训练数据为图像数据时，对应的客户端模型可以为视觉模型，不同于推荐系统，可通过与用户的交互对数据进行标注，从而利用用户的自动化标注在客户端侧进行模型训练，视觉系统是难以与用户进行交互标注的，即本实施例中客户端设备侧的图像数据是无标签(即未标注)的。
57.本实施例中的图像数据可以存储于本地，作为一种方式，客户端设备侧可以采用未标注的图像数据对客户端模型进行训练，具体的，可以采用未标注的图像数据对客户端模型进行自监督任务训练(自监督训练是无监督训练的一种方式)。其中，可以根据不同设备的不同性质(例如，设备的计算力、内存等性质)决定无监督(自监督)训练的方式和模型结构，例如，设备的计算力越好对应的无监督训练方式可以越复杂，设备的内存越大对应的模型越大等。需要注意的是，大模型经过无监督训练得到的模型的精度越高，但小模型经过无监督训练得到的模型的精度较差，在这种方式下，可以根据设备芯片的性能强弱来选择模型的大小，例如，对于性能强的芯片可以选择较大模型，这样训练得到的模型的精度更高并且能够在客户端侧运行，而对于性能弱的芯片可以采用加大无监督训练的难度(如构建正样本难度、加大数据增强强度、或者是更换较好的初始参数等方式中的至少一种，具体实现方式可以根据实际需要进行调整)的方式实现提升训练后的模型的精度。
58.本实施例中，自监督任务训练的方式可以采用动量对比(momentum contrast，moco)的方法，该训练方式对模型性能要求不高且更稳定，或者其他更优的算法方案，进而得到指定模型。
59.在一个具体的应用场景中，如图4所示，客户端设备可以以一定频率在本地数据上进行模型更新，进而得到指定模型。
60.在一些实施方式中，若客户端设备侧的计算性能高于预设指标(预设指标的具体数值可以根据实际需求进行设定)，可以在客户端设备侧同时部署一个大模型和一个小模型，采用蒸馏训练的方式，通过该大模型指导小模型的训练，从而得到指定模型。
61.步骤s220：将指定数据输入所述指定模型，输出得到模型特征。
62.其中，通过将不包含隐私数据的公共数据输入指定模型，可以实现在保护用户隐私的前提下学习到通过指定模型处理图像数据后输出的模型特征。
63.步骤s230：基于所述模型特征获取相似度矩阵，并将所述相似度矩阵发送至所述服务器。
64.作为一种方式，可以构建模型特征的向量表示，进而获取到表现模型特征的相似度矩阵。其中，在将相似度矩阵发送至服务器时，可以按照预设规则将相似度矩阵变换形式后发送至服务器，预设规则可以为预先定义的数据格式，本实施例中，预设规则可以包括指定数据集上每个数据点的表征向量、指定数据集上各个数据点之间的相似度矩阵以及指定数据集上各个数据点经过k-近邻离散化后的稀疏相似度矩阵等数据格式，其中，表征向量的形状为|d|*d，数据点之间的相似度矩阵的形状为|d|*|d|，经过k-近邻离散化后的稀疏相似度矩阵的形状为|d|*|d|，|d|表征公共数据集的样本数量，d表征向量的维度。
65.可选的，若预设规则为指定数据集上每个数据点的表征向量的数据格式，那么客户端设备可以先将相似度矩阵转化为表征向量之后再发送至服务器，若预设规则为指定数据集上各个数据点之间的相似度矩阵的数据格式，那么客户端设备可以先将相似度矩阵转
化为数据点之间的相似度矩阵之后再发送至服务器，若预设规则为指定数据集上各个数据点经过k-近邻离散化后的稀疏相似度矩阵的数据格式，那么客户端设备可以先将相似度矩阵转化为经过k-近邻离散化后的稀疏相似度矩阵之后再发送至服务器，其中，关于将相似度矩阵转化为预设规则的各类数据格式的转化原理以及转化流程在此不再赘述。
66.步骤s240：接收所述服务器发送的目标模型对应的模型参数，所述目标模型为利用由多个相似度矩阵集成得到的集成相似度矩阵训练得到。
67.步骤s250：基于所述模型参数对所述指定模型进行更新。
68.本技术提供的一种模型训练的方法，通过采用未标注的训练数据对客户端模型进行训练，得到指定模型，将指定数据输入所述指定模型，输出得到模型特征，基于所述模型特征获取相似度矩阵，并将所述相似度矩阵发送至所述服务器，接收所述服务器发送的目标模型对应的模型参数，所述目标模型为利用由多个相似度矩阵集成得到的集成相似度矩阵训练得到，基于所述模型参数对所述指定模型进行更新，从而通过上述方式实现了能够根据客户端设备中的无标注数据训练得到的模型所确定的相似度矩阵，对服务器对应的待处理模型进行训练，进而得到目标模型，避免了因训练数据难以标注而无法训练视觉模型，同时提升了服务器对应的待处理模型的性能；进一步的，通过将目标模型对应的模型参数发送至多个客户端设备，并指示多个客户端设备基于所述模型参数对各自对应的模型进行更新，可以便于提升各个客户端各自对应的模型的性能，从而实现从整体上提升端云联动场景下模型的性能。
69.请参阅图6，本技术实施例提供了一种模型训练的方法，应用于数据处理系统的客户端设备，所述数据处理系统还包括服务器，所述服务器与多个客户端设备连接，所述方法包括：
70.步骤s310：采用未标注的训练数据对客户端模型进行训练，得到指定模型。
71.步骤s320：将指定数据输入所述指定模型，输出得到模型特征。
72.步骤s330：在通信开销要求满足预设条件的情况下，基于所述模型特征获取相似度矩阵，并将所述相似度矩阵发送至所述服务器。
73.本实施例中，可以在基于模型特征获取相似度矩阵之前，判断客户端设备的通信开销要求是否严格，作为一种实现方式，可以在通信开销要求满足预设条件的情况下，开始基于模型特征获取相似度矩阵，其中，预设条件可以为通信开销严格。
74.例如，在一个具体的应用场景中，假设在整个网络上有m种不同的网络结构，k个客户端设备，每个客户端设备在本地数据上更新轮数为e，中心服务端有不涉及隐私的公共数据集d，中心服务端聚合不同客户端模型时的采样率为c。该方法每一次中心服务端更新时，可以随机挑选c*k个客户端模型进行本地自监督任务训练；与此同时，可以判断客户端设备的通信开销要求是否严格，其中，通信开销要求不同，基于模型特征获取到的内容可以不同，例如，若通信开销要求满足预设条件，可以基于模型特征获取到相似度矩阵，该相似度矩阵为经过k-近邻离散化后的稀疏相似度矩阵；可选的，若通信开销要求不满足预设条件，可以基于模型特征获取到数据点之间的相似度矩阵，形状为|d|*|d|，或者是基于模型特征获取到表征向量，形状为|d|*d，其中，|d|表征公共数据集的样本数量，d表征向量的维度。在这种方式下，在基于模型特征获取到数据点之间的相似度矩阵或者是表征向量时，可以将数据点之间的相似度矩阵或者是表征向量发送至服务器，以便于服务器根据该数据点之
间的相似度矩阵或者是表征向量对服务器对应的待处理模型进行训练。
75.步骤s340：接收所述服务器发送的目标模型对应的模型参数，所述目标模型为利用由多个相似度矩阵集成得到的集成相似度矩阵训练得到。
76.步骤s350：基于所述模型参数对所述指定模型进行更新。
77.本技术提供的一种模型训练的方法，实现了能够根据客户端设备中的无标注数据训练得到的模型所确定的相似度矩阵，对服务器对应的待处理模型进行训练，进而得到目标模型，避免了因训练数据难以标注而无法训练视觉模型，同时提升了服务器对应的待处理模型的性能；进一步的，通过将目标模型对应的模型参数发送至多个客户端设备，并指示多个客户端设备基于所述模型参数对各自对应的模型进行更新，可以便于提升各个客户端各自对应的模型的性能，从而实现从整体上提升端云联动场景下模型的性能。
78.请参阅图7，本技术实施例提供了一种模型训练的装置400，运行于数据处理系统的服务器，所述数据处理系统还包括多个客户端设备，所述服务器与多个客户端设备连接，所述装置400包括：
79.数据获取模块410，用于获取基于所述多个客户端设备各自对应的模型确定的多个相似度矩阵，所述多个客户端设备各自对应的模型为基于未标注的训练数据训练得到。
80.本技术实施例中，多个客户端设备各自对应的模型的架构与所述服务器对应的待处理模型的架构不同。
81.模型训练模块420，用于利用由所述多个相似度矩阵集成得到的集成相似度矩阵对所述服务器对应的待处理模型进行训练，得到目标模型。
82.作为一种方式，模型训练模块420具体可以用于对所述多个相似度矩阵进行均值处理，将所述均值处理后的结果进行归一化处理，得到集成相似度矩阵；基于所述集成相似度矩阵以及指定数据对所述服务器对应的待处理模型进行训练，得到目标模型。其中，所述基于所述集成相似度矩阵以及指定数据对所述服务器对应的待处理模型进行训练，得到目标模型的步骤可以包括：将所述指定数据作为训练样本，将所述集成相似度矩阵作为训练样本间关系的目标对所述服务器对应的待处理模型进行关系蒸馏，得到目标模型。
83.数据发送模块430，用于将所述目标模型对应的模型参数发送至所述多个客户端设备，并指示所述多个客户端设备基于所述模型参数对所述各自对应的模型进行更新。
84.请参阅图8，本技术实施例提供了一种模型训练的装置500，运行于数据处理系统的客户端设备，所述数据处理系统还包括服务器，所述服务器与多个客户端设备连接，所述装置500包括：
85.模型训练单元510，用于采用未标注的训练数据对客户端模型进行训练，得到指定模型。
86.模型特征获取单元520，用于将指定数据输入所述指定模型，输出得到模型特征。
87.数据处理单元530，用于基于所述模型特征获取相似度矩阵，并将所述相似度矩阵发送至所述服务器。
88.在一种实现方式中，数据处理单元530具体可以在通信开销要求满足预设条件的情况下，基于所述模型特征获取相似度矩阵。
89.在另一种实现方式中，数据处理单元530具体可以基于所述模型特征获取相似度矩阵，并按照预设规则将所述相似度矩阵变换形式后发送至所述服务器。
90.数据接收单元540，用于接收所述服务器发送的目标模型对应的模型参数，所述目标模型为利用由多个相似度矩阵集成得到的集成相似度矩阵训练得到。
91.模型更新单元550，用于基于所述模型参数对所述指定模型进行更新。
92.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
93.在本技术所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。
94.另外，在本技术各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
95.请参阅图9，示出了本技术实施例提供的一种数据处理系统600的结构框图。本技术中的数据处理系统600可以包括服务器100以及客户端设备620。
96.其中，服务器100包括一个或多个如下部件：第一处理器104、第一存储器102、以及一个或多个应用程序，其中一个或多个应用程序可以被存储在第一存储器102中并被配置为由一个或多个第一处理器104执行，一个或多个应用程序被配置为用于执行如前述方法实施例所描述的方法。
97.第一处理器104可以包括一个或者多个处理核。第一处理器104利用各种接口和线路连接整个服务器100内的各个部分，通过运行或执行存储在第一存储器102内的指令、程序、代码集或指令集，以及调用存储在第一存储器102内的数据，执行服务器100的各种功能和处理数据。可选地，第一处理器104可以采用数字信号处理(digital signal processing，dsp)、现场可编程门阵列(field－programmable gate array，fpga)、可编程逻辑阵列(programmable logic array，pla)中的至少一种硬件形式来实现。第一处理器104可集成中央处理器(central processing unit，cpu)、图像处理器(graphics processing unit，gpu)和调制解调器等中的一种或几种的组合。其中，cpu主要处理操作系统、用户界面和应用程序等；gpu用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到第一处理器104中，单独通过一块通信芯片进行实现。
98.第一存储器102可以包括随机存储器(random access memory，ram)，也可以包括只读存储器(read-only memory)。第一存储器102可用于存储指令、程序、代码、代码集或指令集。第一存储器102可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储服务器100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
99.客户端设备620可以是智能手机、平板电脑、pc电脑等能够运行应用程序的电子设备，其可以包括一个或多个第二处理器622、第二存储器621、一个或多个应用程序，其中客户端设备620中的所述一个或多个应用程序被存储在客户端设备620的存储器622中，并被配置为由客户端设备620中的所述一个或多个处理器621执行，所述客户端设备620中的一个或多个应用程序被配置为用于执行如前述方法实施例所描述的方法。
100.下面将结合图10对本技术提供的一种服务器进行说明。
101.请参阅图10，基于上述的模型训练的方法、装置，本技术实施例还提供的另一种可以执行前述模型训练的方法的服务器100。服务器100包括相互耦合的一个或多个(图中仅示出一个)处理器104以及存储器102。其中，该存储器102中存储有可以执行前述实施例中内容的程序，而处理器104可以执行该存储器102中存储的程序，存储器102包括前述实施例中所描述的装置400或者是装置500。
102.其中，处理器104可以包括一个或者多个处理核。处理器104利用各种接口和线路连接整个电子设备200内的各个部分，通过运行或执行存储在存储器102内的指令、程序、代码集或指令集，以及调用存储在存储器102内的数据，执行电子设备200的各种功能和处理数据。可选地，处理器104可以采用数字信号处理(digital signal processing，dsp)、现场可编程门阵列(field－programmable gate array，fpga)、可编程逻辑阵列(programmable logic array，pla)中的至少一种硬件形式来实现。处理器104可集成中央处理器(central processing unit，cpu)、视频图像处理器(graphics processing unit，gpu)和调制解调器等中的一种或几种的组合。其中，cpu主要处理操作系统、用户界面和应用程序等；gpu用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器104中，单独通过一块通信芯片进行实现。
103.存储器102可以包括随机存储器(random access memory，ram)，也可以包括只读存储器(read-only memory)。存储器102可用于存储指令、程序、代码、代码集或指令集。存储器102可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、视频图像播放功能等)、用于实现上述各个方法实施例的指令等。存储数据区还可以存储服务器100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
104.请参考图11，其示出了本技术实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质700中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
105.计算机可读存储介质700可以是诸如闪存、eeprom(电可擦除可编程只读存储器)、eprom、硬盘或者rom之类的电子存储器。可选地，计算机可读存储介质700包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质700具有执行上述方法中的任何方法步骤的程序代码710的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码710可以例如以适当形式进行压缩。
106.本技术提供的一种模型训练的方法、装置、数据处理系统、服务器以及存储介质，通过获取基于所述多个客户端设备各自对应的模型确定的多个相似度矩阵，所述多个客户端设备各自对应的模型为基于未标注的训练数据训练得到；利用由所述多个相似度矩阵集成得到的集成相似度矩阵对所述服务器对应的待处理模型进行训练，得到目标模型；将所述目标模型对应的模型参数发送至所述多个客户端设备，并指示所述多个客户端设备基于所述模型参数对所述各自对应的模型进行更新。从而通过上述方式实现了能够根据客户端设备中的无标注数据训练得到的模型所确定的相似度矩阵，对服务器对应的待处理模型进行训练，进而得到目标模型，避免了因训练数据难以标注而无法训练模型，同时提升了服务器对应的待处理模型的性能；进一步的，通过将目标模型对应的模型参数发送至多个客户
端设备，并指示多个客户端设备基于所述模型参数对各自对应的模型进行更新，可以便于提升各个客户端各自对应的模型的性能，从而实现从整体上提升端云联动场景下模型的性能。
107.最后应说明的是：以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。