使用数据摘要的联邦学习系统及其方法与流程

本发明涉及联邦学习，特别是一种使用数据摘要的联邦学习系统及其方法。

背景技术：

1、联邦学习(federated learning，fl)通过透过中央协作(orchestration)的跨设备及分布式学习(distributed learning)解决许多隐私和资料共享的问题。现有的联邦学习系统大多假设客户之间的协作设置可以容忍客户(moderator)临时断开其与协调者(moderator)之间的连接。

2、然而，实务上，由于商业竞争或其他非技术性原因，可能会发生客户长时间缺席或离开的情况。当数据在客户之间不平衡、偏斜(skewed)或非独立且相同分布(nonindependent and identically distributed，non-iid)时，性能下降可能会很严重。

3、当协调者需要评估模型并将其发布给消费者时会出现另一个问题。由于协调者无法存取私人的客户数据，当客户停止协作时，代表性数据将丢失，从而导致联邦学习的梯度更新大幅度的偏差和长期训练退化。在训练过程中记住梯度的简单方法不是一个合适的解决方案，因为随着迭代的进行，梯度很快地变得不具代表性。

4、总体而言，目前的联邦学习仍无法在以下三种场景的组合中具有良好的表现：(1)不可靠的客户；(2)删除客户后的训练；及(3)增加客户后的训练。

技术实现思路

1、有鉴于此，本发明提出一种使用数据摘要(digest)的联邦学习系统及其方法，这是一种联邦学习框架，通过在协调者处合成代表性客户资料解决客户离开的问题。本发明解决了摘要带来的隐私问题，并提出一种特征混合的解决方案以减少隐私问题。

2、依据本发明实施例的一种使用数据摘要的联邦学习方法包括下列步骤：协调装置发送通用模型至多个客户装置，每个客户装置执行摘要生成器，从而依据多个原始数据产生多个编码特征，每个客户装置执行训练程序，训练程序包括：「依据原始数据、编码特征、对应编码特征的多个标签及出席客户损失函数更新通用模型以产生客户模型，当收到摘要请求时，选择至少二编码特征计算特征加权和、选择至少二标签计算标签加权和，将特征加权和及标签加权和作为摘要发送至协调装置，及发送客户模型的更新参数至协调装置」，以及协调装置执行下列步骤：「判断客户装置中的缺席客户及出席客户，依据通用模型、缺席客户的摘要及缺席客户损失函数产生替代模型，依据出席客户的客户模型的更新参数及替代模型的更新参数执行聚合运算以产生聚合模型，及依据协调装置损失函数训练聚合模型以更新通用模型」。

3、较佳的是，其中所述通用模型包括第一特征撷取器、第二特征撷取器及分类器；且依据所述多个原始数据、所述多个编码特征、对应所述多个编码特征的所述多个标签及所述出席客户损失函数更新所述通用模型以产生所述客户模型包括：输入所述些原始数据至所述第一特征撷取器以产生第一特征；输入所述些编码特征至所述第二特征撷取器以产生第二特征；将所述第一特征及所述第二特征的连接结果输入至所述分类器以产生预测结果；以及输入所述预测结果及实际结果至所述出席客户损失函数，并依据所述出席客户损失函数的输出调整所述第一特征撷取器、所述第二特征撷取器及所述分类器中至少一个的权重。

4、较佳的是，其中所述通用模型包括第一特征撷取器、第二特征撷取器及分类器；且依据所述缺席客户的所述摘要及缺席客户损失函数产生所述替代模型包括：输入所述缺席客户的所述摘要至导引生成器以产生导引；输入所述导引至所述第一特征撷取器以产生第一特征；输入所述缺席客户的所述摘要至第二特征撷取器以产生第二特征；将所述第一特征及所述第二特征的连接结果输入至所述分类器以产生预测结果；以及输入所述预测结果及实际结果至所述缺席客户损失函数，并依据所述缺席客户损失函数的输出调整所述第一特征撷取器、所述第二特征撷取器及所述分类器中至少一个的权重，其中所述替代模型为更新权重后的所述通用模型。

5、较佳的是，其中依据所述出席客户的所述客户模型的所述更新参数及所述替代模型的所述更新参数执行所述聚合运算以产生所述聚合模型包括：计算所述出席客户的所述客户模型的所述更新参数及第一权重的第一加权和；计算所述替代模型的所述更新参数及第二权重的第二加权和，其中所述第一权重及所述第二权重的总和为固定值；以及加总所述通用模型的参数、所述第一加权和及所述第二加权和以产生所述聚合模型的参数。

6、较佳的是，其中依据协调装置损失函数训练所述聚合模型以更新所述通用模型包括：输入所述多个客户装置的每一个的所述摘要至导引生成器以产生导引；输入所述导引及所述多个客户装置的每一个的所述摘要至所述聚合模型以产生预测结果；以及输入所述预测结果及实际结果至所述协调装置损失函数，并依据所述协调装置损失函数的输出调整所述聚合模型的参数。

7、依据本发明实施例的一种使用数据摘要的联邦学习系统包括多个客户装置及一协调装置。每个客户装置包括第一处理器及第一通讯电路。第一处理器用于执行摘要生成器，从而依据多个原始数据产生多个编码特征。第一处理器更用于依据原始数据、编码特征、对应编码特征的多个标签及出席客户损失函数更新通用模型以产生客户模型。当收到摘要请求时，第一处理器更用于选择至少二编码特征计算特征加权和、选择至少二标签中计算标签加权和。第一通讯电路电性连接于第一处理器。第一通讯电路用于将特征加权和及标签加权和作为摘要发送至协调装置，以及发送客户模型的更新参数至协调装置。协调装置通讯连接每个客户装置。协调装置包括第二通讯电路及第二处理器。第二通讯电路用于发送通用模型至每个客户装置。第二处理器电性连接于第二通讯电路。第二处理器用于判断客户装置中的缺席客户及出席客户，依据通用模型、缺席客户的摘要及缺席客户损失函数产生替代模型，依据出席客户的客户模型的更新参数及替代模型的更新参数执行聚合运算以产生聚合模型，以及依据协调装置损失函数训练聚合模型以更新通用模型。

8、较佳的是，其中所述通用模型包括第一特征撷取器、第二特征撷取器及分类器，且所述第一处理器更用于：输入所述多个原始数据至所述第一特征撷取器以产生第一特征；输入所述多个编码特征至所述第二特征撷取器以产生第二特征；将所述第一特征及所述第二特征的连接结果输入至所述分类器以产生预测结果；以及输入所述预测结果及实际结果至所述出席客户损失函数，并依据所述出席客户损失函数的输出调整所述第一特征撷取器、所述第二特征撷取器及所述分类器中至少一个的权重。

9、较佳的是，其中所述通用模型包括第一特征撷取器、第二特征撷取器及分类器，且所述第二处理器更用于：输入所述缺席客户的所述摘要至导引生成器以产生导引；输入所述导引至所述第一特征撷取器以产生第一特征；输入所述缺席客户的所述摘要至第二特征撷取器以产生第二特征；将所述第一特征及所述第二特征的连接结果输入至所述分类器以产生预测结果；以及输入所述预测结果及实际结果至所述缺席客户损失函数，并依据所述缺席客户损失函数的输出调整所述第一特征撷取器、所述第二特征撷取器及所述分类器中至少一个的权重，其中所述替代模型为更新权重后的所述通用模型。

10、较佳的是，其中所述第二处理器更用于：计算所述多个出席客户的所述客户模型的所述更新参数及第一权重的第一加权和；计算所述替代模型的所述更新参数及第二权重的第二加权和，其中所述第一权重及所述第二权重的总和为固定值；以及加总所述通用模型的参数、所述第一加权和及所述第二加权和以产生所述聚合模型的参数。

11、较佳的是，其中所述第二处理器更用于：输入所述多个客户装置的每一个的所述摘要至导引生成器以产生导引；输入所述导引及所述些客户装置的每一个的所述摘要至所述聚合模型以产生预测结果；以及输入所述预测结果及实际结果至所述协调装置损失函数，并依据所述协调装置损失函数的输出调整所述聚合模型的参数。

12、以上的关于本技术内容的说明及以下的实施方式的说明是用以示范与解释本发明的精神与原理，并且提供本发明的权利要求书更进一步的解释。