一种联邦学习多任务调度方法及装置

本发明涉及联邦学习，尤其涉及一种联邦学习多任务调度方法及装置。

背景技术：

1、随着人工智能和大数据技术的飞速发展，数据作为生产要素发挥着重要作用。人工智能技术需要对数据进行集中处理，但由于日益增长的数据隐私问题，传统人工智能不适用于隐私保护场景。联邦机器学习是一种新型的分布式机器学习方法，允许在边缘隐私敏感设备上进行机器学习训练而无需数据向外传输，避免因数据集中到服务器产生的隐私泄露风险。通过联邦机器学习技术进行数据的隐私保护，可以使人工智能在现实场景中进一步应用。边缘设备存有多种业务数据，可以并发参与多种联邦机器学习训练任务，实现数据资产收益最大化。

2、现有技术中，可以通过初始化候选调度方案列表，其中，候选调度方案用于为多个机器学习任务中的每个机器学习任务分配用于训练的终端设备；对于候选调度方案列表中的每个候选调度方案，对候选调度方案进行扰动，生成新的调度方案；基于候选调度方案的适应值以及新的调度方案的适应值，确定是否以新的调度方案替换候选调度方案，生成新的调度方案列表；基于新的调度方案列表中的每个新的调度方案的适应值，确定目标调度方案。该现有技术提供的多任务调度方法提高了服务调度的效率，也提高了多任务联邦机器学习的训练效率，其根据终端设备的资源状态进行调度方案的生成，但是没有涉及对联邦机器学习任务细分事件所需资源存在异构性的考虑，缺少针对任务细分事件属性进行资源适配的设计。

3、联邦机器学习也可以通过s1、构建多任务联邦机器学习的系统模型；s2、建立以最小化多任务联邦机器学习过程的时间为目标的优化问题；s3、调度设备参与联邦机器学习任务训练过程；s4、将设备调度过程转化为多臂赌博机和匹配过程；s5、设计设备调度算法。该现有技术为联邦机器学习中的每个任务调度最合适的设备，从而最小化多任务联邦机器学习过程的时延。其使用了多臂赌博机和匹配进行设备调度的方法，但仅针对不同的任务构建可用设备偏好列表，没有根据任务的动态优先级进行资源的优先分配，存在高优先级任务无法快速执行的缺点。

4、联邦机器学习还可以通过在联邦机器学习管控平台和联邦机器学习参与方计算设备上部署联邦机器学习应用模块。其使得各联邦机器学习参与方可以在使用异构计算设备的情况下，通过注册审批的形式加入联邦，在管控平台的调度下，使用适配于异构计算设备的通用联邦机器学习应用模块执行联邦机器学习建模任务及预测任务，使得有意愿加入联邦的参与方在能满足基本需求的情况下灵活、按需选择计算设备，并且降低部署和运维难度。上述现有技术应用于异构计算设备的联邦机器学习系统调度机制，使用适配于异构计算设备的通用联邦机器学习应用模块使得有意愿加入联邦的参与方按设备属性选择计算设备，但是没有考虑针对联邦机器学习并发任务进行调度优化设计。

5、综上所述，边缘设备可提供的计算资源和通信资源有限，同时当前联邦机器学习系统在多任务并发执行状态下边缘设备计算任务负载不均衡，导致整体联邦机器学习任务执行缓慢以及系统资源利用率低。因此在资源受限的状态下设计多任务调度机制，实现多个联邦机器学习任务并发高效执行成为当前联邦机器学习系统急需解决的问题。

技术实现思路

1、本发明提供一种联邦学习多任务调度方法及装置，用以解决上述问题。

2、本发明提供一种联邦学习多任务调度方法，包括：

3、获取目标联邦学习任务以及所述目标联邦学习任务的当前事件，其中，所述目标联邦学习任务包括多个事件，所述事件根据事件执行时间以及所需资源对所述目标联邦学习任务进行阶段划分得到；

4、根据所述目标联邦学习任务的属性信息以及所述当前事件的类型确定事件优先级比率；

5、根据所述事件优先级比率以及所述当前事件进入调度队列的时间确定所述当前事件对应的累积优先级；

6、利用预定义的自适应资源分配算法为所述当前事件分配计算节点，基于所述计算节点并按照所述累积优先级执行所述当前事件。

7、根据本发明提供的一种联邦学习多任务调度方法，所述根据所述目标联邦学习任务的属性信息以及所述当前事件的类型确定事件优先级比率，包括：

8、根据所述当前事件的类型获取对应的事件权重；

9、根据所述事件权重以及属性信息中目标联邦学习任务的优先级计算得到事件优先级比率。

10、根据本发明提供的一种联邦学习多任务调度方法，所述根据所述事件权重以及属性信息中目标联邦学习任务的优先级信息计算得到事件优先级比率，包括：

11、根据所述事件权重αe(i)以及属性信息中目标联邦学习任务的优先级pr计算得到事件优先级比率βi：

12、

13、其中，cw为目标联邦学习任务的优先级权重常数。

14、根据本发明提供的一种联邦学习多任务调度方法，在所述据所述目标联邦学习任务的属性信息以及所述当前事件的类型确定事件优先级比率之后，该方法还包括：

15、根据所述事件优先级比率确定所述当前事件在调度队列中的队列序号；

16、相应地，所述根据所述事件优先级比率以及所述当前事件进入调度队列的时间确定所述当前事件对应的累积优先级，包括：

17、获取所述当前事件进入调度队列的时间；

18、根据所述队列序号以及所述时间计算得到累积优先级。

19、根据本发明提供的一种联邦学习多任务调度方法，所述根据所述事件优先级比率确定所述当前事件在调度队列中的队列序号，包括：

20、根据所述事件优先级比率βi确定所述当前事件在调度队列中的队列序号qi：

21、

22、其中，βthreshold为事件优先级阈值，nqueue为调度队列的队列序号阈值。

23、相应地，所述根据所述队列序号以及所述时间计算得到累积优先级，包括：

24、根据所述队列序号qi以及所述时间ti计算得到累积优先级pi(t)：

25、

26、其中，t为当前时间，ti为每个事件到达调度序列的时间。

27、根据本发明提供的一种联邦学习多任务调度方法，所述基于所述计算节点并按照所述累积优先级执行所述当前事件，包括：

28、在至少两个事件对应的累积优先级相等的情况下，根据当前事件进入调度队列的时间确定执行所述当前事件的顺序；

29、基于所述计算节点以及所述顺序执行所述当前事件。

30、根据本发明提供的一种联邦学习多任务调度方法，所述利用预定义的自适应资源分配算法为所述当前事件分配计算节点，包括：

31、根据历史计算资源信息以及历史数据集信息确定训练时间基准；

32、根据所述训练时间基准以及时间阈值确定训练时间范围，根据所述训练时间范围确定可用计算节点，所有可用计算节点构成计算资源集合；

33、对计算资源中每一可用计算节点进行资源评分，并按照评分结果对所述可用计算节点进行排序，以获得排序后的计算资源集合；

34、根据所述排序后的计算资源集合为所述当前事件分配计算节点。

35、根据本发明提供的一种联邦学习多任务调度方法，所述排序后的计算资源集合为按照评分结果从大到小对所述可用计算节点进行排序后得到；

36、相应地，所述根据所述排序后的计算资源集合为所述当前事件分配计算节点，包括：

37、将所述排序后的计算资源集合中的可用计算节点依次分配给所述当前事件，直到分配给所述当前事件的可用计算节点数量等于预设的数量阈值或所述排序后的计算资源集合中无可用计算节点可分配。

38、根据本发明提供的一种联邦学习多任务调度方法，所述当前事件为机器学习任务的本地训练事件、模型评估事件或全局模型更新事件中的一种。

39、本发明还提供一种多任务调度装置，包括：

40、任务与事件获取模块，用于获取目标联邦学习任务以及所述目标联邦学习任务的当前事件，其中，所述目标联邦学习任务包括多个事件，所述事件根据事件执行时间以及所需资源对所述目标联邦学习任务进行阶段划分得到；

41、事件优先级比率确定模块，用于根据所述目标联邦学习任务的属性信息以及所述当前事件的类型确定事件优先级比率；

42、累积优先级确定模块，用于根据所述事件优先级比率以及所述当前事件进入调度队列的时间确定所述当前事件对应的累积优先级；

43、节点分配与执行模块，用于利用预定义的自适应资源分配算法为所述当前事件分配计算节点，基于所述计算节点并按照所述累积优先级执行所述当前事件。

44、本发明提供的联邦学习多任务调度方法及装置，通过将联邦机器学习任务细分为多个联邦机器学习事件，每一事件对应有事件权重，且结合任务的属性信息以及事件的等待时长等因素对当前事件进行优先级动态累积并生成待执行任务队列，确保任务执行过程的公平性，解决联邦机器学习系统并发任务执行时间长的问题。并利用自适应资源分配算法为事件合理分配计算资源，减少边缘设备资源闲置，提高系统资源利用率。