异构任务调度策略的优化方法、装置及相关产品与流程

1.本技术涉及异构技术领域，特别是涉及一种异构任务调度策略的优化方法、装置及相关产品。


背景技术：

2.但随着云计算领域技术的不断发展，各种云平台产品也不断丰富，不同的云服务厂商在私有云，公有云，社区云领域都推出自己的基础社区云平台产品。随着选择越来越多，越来越多的云计算用户也将自身业务部署到不同的云平台之上，呈现混合云，多云部署的发展趋势。
3.发明人在实现本发明的过程中发现，现有技术中心，混合云，多云部署导致异构任务调度策略的优化存在很大的开销，为此如何对异构任务调度策略的优化进行优化成为亟待解决的问题之一。


技术实现要素：

4.基于上述问题，本技术实施例提供了一种异构任务调度策略的优化方法、装置及相关产品。
5.本技术实施例公开了如下技术方案：
6.一种异构任务调度策略的优化方法，其包括：
7.根据所述异构任务中若干子任务之间进行通信的数据量，生成对所述若干个子任务进行调度的异构任务调度策略，在所述异构任务调度策略中制定了每个子任务和可执行每个子任务的资源之间的映射关系；
8.根据预估的平均资源利用率，对所述异构任务调度策略中所述映射关系进行迭代筛选，以对所述异构任务调度策略进行优化。
9.一种异构任务调度策略的优化装置，其包括：
10.调度策略生成单元，用于根据所述异构任务中若干子任务之间进行通信的数据量，生成对所述若干个子任务进行调度的异构任务调度策略，在所述异构任务调度策略中制定了每个子任务和可执行每个子任务的资源之间的映射关系；
11.调度策略优化单元，用于根据预估的平均资源利用率，对所述异构任务调度策略中所述映射关系进行迭代筛选，以对所述异构任务调度策略进行优化。
12.8.一种电子设备，其包括：存储器以及处理器，所述存储器上存储有计算机可执行程序，所述处理器用于执行所述计算机可执行程序以实施本技术任一实施例所述的方法。
13.9.一种计算机存储介质，所述计算机存储介质上存储有计算机可执行程序，所述计算机可执行程序被运行时实施本技术任一实施例所述的方法。
14.一种数据系统，其包括本技术任一实施例所述的电子设备。
15.本技术实施例的技术方案中，根据所述异构任务中若干子任务之间进行通信的数据量，生成对所述若干个子任务进行调度的异构任务调度策略，在所述异构任务调度策略
中制定了每个子任务和可执行每个子任务的资源之间的映射关系；根据预估的平均资源利用率，对所述异构任务调度策略中所述映射关系进行迭代筛选，以对所述异构任务调度策略进行优化，从而实现了对异构任务调度策略的优化优化，提高了任务调度的效率，比如降低了时间开销、通信开销等。
附图说明
16.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
17.图1为本技术实施例一中异构任务调度策略的优化方法流程示意图；
18.图2为本技术实施例二中异构任务调度策略的优化方法流程示意图；
19.图3为本技术实施例四中异构任务调度策略的优化方法流程示意图；
20.图4为本技术实施例四中异构任务调度策略的优化方法流程示意图；
21.图5为本技术实施例五中异构任务调度策略的优化装置的结构示意图；
22.图6为本技术实施例六中异构任务调度策略的优化装置的结构示意图；
23.图7为本技术实施例七中异构任务调度策略的优化装置的结构示意图；
24.图8为本技术实施例八中异构任务调度策略的优化装置的结构示意图；
25.图9为本技术实施例九中电子设备的结构示意图；
26.图10为本技术实施例十中电子设备的硬件结构示意图；
27.图11为本技术实施例十一中计算机存储介质的结构示意图。
具体实施方式
28.实施本技术实施例的任一技术方案必不一定需要同时达到以上的所有优点。
29.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
30.本技术实施例的技术方案中，根据所述异构任务中若干子任务之间进行通信的数据量，生成对所述若干个子任务进行调度的异构任务调度策略，在所述异构任务调度策略中制定了每个子任务和可执行每个子任务的资源之间的映射关系；根据预估的平均资源利用率，对所述异构任务调度策略中所述映射关系进行迭代筛选，以对所述异构任务调度策略进行优化，从而实现了对异构任务调度策略的优化优化，提高了任务调度的效率，比如降低了时间开销、通信开销等。
31.图1为本技术实施例一中异构任务调度策略的优化方法流程示意图；如图1所示，其包括：
32.s101、根据所述异构任务中若干子任务之间进行通信的数据量，生成对所述若干个子任务进行调度的异构任务调度策略，在所述异构任务调度策略中制定了每个子任务和可执行每个子任务的资源之间的映射关系；
33.可选地，在一种应用场景中，步骤s101中根据所述异构任务中若干子任务之间进行通信的数据量，生成对所述若干个子任务进行调度的异构任务调度策略时，具体可以包括
34.s111、对所述异构任务进行解析，以确定所述异构任务包括的若干子任务；
35.可选地，在一具体应用场景中，具体可以通过对所述异构任务的代码进行解析，以确定所述异构任务包括的若干子任务，从而提高了解析的时效性。
36.s121、根据所述若干子任务之间的逻辑关系，计算所述若干个子任务之间进行通信的数据量；
37.可选地，在一具体应用场景中，所述逻辑关系包括子任务之间的相互依赖关系(或者又称之为调用关系)以及子任务之间的时序关系，因此，通过步骤s121对子任务之间的依赖关系、时序关系进行分析，从而准确、全面的计算出子任务之间进行通信的数据量。
38.s131、根据所述异构任务中若干子任务之间进行通信的数据量，生成对所述若干个子任务进行调度的异构任务调度策略。
39.可选地，在一具体应用场景中，步骤s131中，根据所述异构任务中若干子任务之间进行通信的数据量，生成对所述若干个子任务进行调度的异构任务调度策略，可以包括：通过子任务之间进行通信的数据量的大小对子任务进行分组，基于所述分组的结果，生成对所述若干个子任务进行调度的异构任务调度策略。
40.可选地，在一具体应用场景中，基于所述分组的结果，生成对所述若干个子任务进行调度的异构任务调度策略，具体可以包括：按照可将具有相同或者相近数据量的子任务映射到同一个资源设备上进行执行(通过子任务和资源设备的映射关系来定义，该映射关系比如具体包括通过表格或者树结构体现)，从而生成对所述若干个子任务进行调度的异构任务调度策略。
41.s102、根据预估的平均资源利用率，对所述异构任务调度策略中所述映射关系进行迭代筛选，以对所述异构任务调度策略进行优化。
42.可选地，在一具体应用场景中，可以基于遗传算法，根据预估的平均资源利用率，对所述异构任务调度策略中所述映射关系进行迭代筛选，以对所述异构任务调度策略进行优化，从而可以适用于各种复杂的应用场景。
43.进一步地，在一具体应用场景中，可以通过遗传算法以调度最优化为目标，对所述异构任务调度策略中所述映射关系进行迭代筛选，以对所述异构任务调度策略进行优化，从而快速地实现优化。
44.进一步地，在一具体应用场景中，可以定义遗传函数，该函数的自变量为预估的平均资源利用率，遗传函数的输出则为调度结果，通过不断修正上述子任务的分组，从而调整预估的平均资源利用率，将可得到最优调度结果的分组所对应的任务调度策略作为优化后的异构任务调度策略。
45.图2为本技术实施例二中异构任务调度策略的优化方法流程示意图；如图2所示，其包括：
46.s201、根据所述异构任务中若干子任务之间进行通信的数据量，生成对所述若干个子任务进行调度的异构任务调度策略，在所述异构任务调度策略中制定了每个子任务和可执行每个子任务的资源之间的映射关系；
47.本实施例中，步骤s201类似上述步骤s101。
48.s202、根据预估的平均资源利用率，对所述异构任务调度策略中所述映射关系进行迭代筛选，以对所述异构任务调度策略进行优化。
49.可选地，在一具体应用场景中，步骤s202中，所述根据预估的平均资源利用率，对所述异构任务调度策略中所述映射关系进行迭代筛选，以对所述异构任务调度策略进行优化，可以包括：
50.s212、根据预估的平均资源利用率，生成迭代筛选模型；
51.s222、根据所述迭代筛选模型，对所述异构任务调度策略中所述映射关系进行迭代筛选，以对所述异构任务调度策略进行优化。
52.可选地，在一具体应用场景中，所述遗传函数具体为适应度函数，将所述适应度函数作为所述迭代筛选模型。
53.图3为本技术实施例四中异构任务调度策略的优化方法流程示意图；如图3所示，其包括：
54.s301、根据所述异构任务中若干子任务之间进行通信的数据量，生成对所述若干个子任务进行调度的异构任务调度策略，在所述异构任务调度策略中制定了每个子任务和可执行每个子任务的资源之间的映射关系；
55.s302、根据执行所述异构任务的时间总估计开销以及每个子任务的时间估计开销，生成所述预估的平均资源利用率；
56.s303、根据预估的平均资源利用率，对所述异构任务调度策略中所述映射关系进行迭代筛选，以对所述异构任务调度策略进行优化。
57.进一步地，在一具体应用场景中，所述根据预估的平均资源利用率，对所述异构任务调度策略中所述映射关系进行迭代筛选，以对所述异构任务调度策略进行优化包括：
58.s313、对所述映射关系进行编码，生成任务调度序列；
59.s323、根据预估的平均资源利用率，对所述任务调度序列进行迭代筛选，以对所述异构任务调度策略进行优化。
60.可选地，在一具体应用场景中，所述任务调度序列具体可以为树状拓扑结构，在该星状拓扑结构中分在同一组的多个子任务位于同一树杈上，在优化时，通过调整子任务在树杈上的位置，或者调整到其他树杈上。
61.图4为本技术实施例四中异构任务调度策略的优化方法流程示意图；如图4所示，其包括：
62.s401、根据所述异构任务中若干子任务之间进行通信的数据量，生成对所述若干个子任务进行调度的异构任务调度策略，在所述异构任务调度策略中制定了每个子任务和可执行每个子任务的资源之间的映射关系；
63.s402、根据预估的平均资源利用率，对所述异构任务调度策略中所述映射关系进行迭代筛选，以对所述异构任务调度策略进行优化。
64.进一步地，在一具体应用场景中，在上述图3实施例的基础上，所述根据预估的平均资源利用率，对所述异构任务调度策略中所述映射关系进行迭代筛选，以对所述异构任务调度策略进行优化包括：对所述映射关系进行编码，生成任务调度序列；根据预估的平均资源利用率，对所述任务调度序列进行迭代筛选，以对所述异构任务调度策略进行优化。
65.可选地，在一应用场景中，所述根据预估的平均资源利用率，对所述任务调度序列进行迭代筛选，以对所述异构任务调度策略进行优化，包括：根据预估的平均资源利用率，通过交叉调换操作，对所述任务调度序列进行迭代筛选。比如，如前所述，调整子任务在树杈上的位置，或者在树杈之间相互调换子任务。
66.可选地，在一应用场景中，所述根据预估的平均资源利用率，对所述任务调度序列进行迭代筛选，以对所述异构任务调度策略进行优化，包括：
67.根据预估的平均资源利用率，通过交叉调换操作，对所述任务调度序列进行迭代筛选，生成满足任务调度约束条件的任务调度优化序列；
68.根据所述任务调度优化序列，生成新的异构任务调度策略。
69.本实施例中，为了实现调度的最优化，在进行迭代筛选时，增加了任务调度约束条件去约束优化调度的程度，从而提高了优化的效率。
70.图5为本技术实施例五中异构任务调度策略的优化装置的结构示意图；如图5所示，其包括：
71.调度策略生成单元501，用于根据所述异构任务中若干子任务之间进行通信的数据量，生成对所述若干个子任务进行调度的异构任务调度策略，在所述异构任务调度策略中制定了每个子任务和可执行每个子任务的资源之间的映射关系；
72.调度策略优化单元502，用于根据预估的平均资源利用率，对所述异构任务调度策略中所述映射关系进行迭代筛选，以对所述异构任务调度策略进行优化。
73.可选地，在一具体应用场景中，所述调度策略生成单元在根据所述异构任务中若干子任务之间进行通信的数据量，生成对所述若干个子任务进行调度的异构任务调度策略时，对所述异构任务进行解析，以确定所述异构任务包括的若干子任务；根据所述若干子任务之间的逻辑关系，计算所述若干个子任务之间进行通信的数据量；根据所述异构任务中若干子任务之间进行通信的数据量，生成对所述若干个子任务进行调度的异构任务调度策略。
74.可选地，在一具体应用场景中，所述调度策略生成单元501可以包括：
75.解析模块511，用于对所述异构任务进行解析，以确定所述异构任务包括的若干子任务；
76.数据量计算模块521，用于根据所述若干子任务之间的逻辑关系，计算所述若干个子任务之间进行通信的数据量；
77.策略生成模块531，用于根据所述异构任务中若干子任务之间进行通信的数据量，生成对所述若干个子任务进行调度的异构任务调度策略。
78.可选地，在一具体应用场景中，具体可以通过对所述异构任务的代码进行解析，以确定所述异构任务包括的若干子任务，从而提高了解析的时效性。
79.可选地，在一具体应用场景中，所述逻辑关系包括子任务之间的相互依赖关系(或者又称之为调用关系)以及子任务之间的时序关系，因此，通过对子任务之间的依赖关系、时序关系进行分析，从而准确、全面的计算出子任务之间进行通信的数据量。
80.可选地，在一具体应用场景中，所述调度策略生成单元根据所述异构任务中若干子任务之间进行通信的数据量，生成对所述若干个子任务进行调度的异构任务调度策略时，可以通过子任务之间进行通信的数据量的大小对子任务进行分组，基于所述分组的结
果，生成对所述若干个子任务进行调度的异构任务调度策略。
81.可选地，在一具体应用场景中，所述调度策略生成单元基于所述分组的结果，生成对所述若干个子任务进行调度的异构任务调度策略，具体可以按照可将具有相同或者相近数据量的子任务映射到同一个资源设备上进行执行(通过子任务和资源设备的映射关系来定义，该映射关系比如具体包括通过表格或者树结构体现)，从而生成对所述若干个子任务进行调度的异构任务调度策略。
82.可选地，在一具体应用场景中，可以基于遗传算法，根据预估的平均资源利用率，对所述异构任务调度策略中所述映射关系进行迭代筛选，以对所述异构任务调度策略进行优化，从而可以适用于各种复杂的应用场景。
83.进一步地，在一具体应用场景中，调度策略优化单元502可以通过遗传算法以调度最优化为目标，对所述异构任务调度策略中所述映射关系进行迭代筛选，以对所述异构任务调度策略进行优化，从而快速地实现优化。
84.进一步地，在一具体应用场景中，调度策略优化单元502可以定义遗传函数，该函数的自变量为预估的平均资源利用率，遗传函数的输出则为调度结果，通过不断修正上述子任务的分组，从而调整预估的平均资源利用率，将可得到最优调度结果的分组所对应的任务调度策略作为优化后的异构任务调度策略。
85.图6为本技术实施例六中异构任务调度策略的优化装置的结构示意图；如图6所示，其包括：
86.调度策略生成单元601，用于根据所述异构任务中若干子任务之间进行通信的数据量，生成对所述若干个子任务进行调度的异构任务调度策略，在所述异构任务调度策略中制定了每个子任务和可执行每个子任务的资源之间的映射关系；
87.调度策略优化单元602，用于根据预估的平均资源利用率，对所述异构任务调度策略中所述映射关系进行迭代筛选，以对所述异构任务调度策略进行优化。
88.可选地，在一具体应用场景中，所述调度策略优化单元602在根据预估的平均资源利用率，对所述异构任务调度策略中所述映射关系进行迭代筛选，以对所述异构任务调度策略进行优化时，根据预估的平均资源利用率，生成迭代筛选模型；根据所述迭代筛选模型，对所述异构任务调度策略中所述映射关系进行迭代筛选，以对所述异构任务调度策略进行优化。
89.可选地，在一具体应用场景中，所述遗传函数具体为适应度函数，将所述适应度函数作为所述迭代筛选模型。
90.所述调度策略优化单元602可以包括：
91.模型生成模块612，用于根据预估的平均资源利用率，生成迭代筛选模型；
92.策略优化模块622，用于根据所述迭代筛选模型，对所述异构任务调度策略中所述映射关系进行迭代筛选，以对所述异构任务调度策略进行优化。
93.图7为本技术实施例七中异构任务调度策略的优化装置的结构示意图；如图7所示，其包括：
94.调度策略生成单元701，用于根据所述异构任务中若干子任务之间进行通信的数据量，生成对所述若干个子任务进行调度的异构任务调度策略，在所述异构任务调度策略中制定了每个子任务和可执行每个子任务的资源之间的映射关系；
95.平均资源利用率预估单元702，用于在根据预估的平均资源利用率，生成迭代筛选模型，之前，根据执行所述异构任务的时间总估计开销以及每个子任务的时间估计开销，生成所述预估的平均资源利用率。
96.调度策略优化单元703，用于根据预估的平均资源利用率，对所述异构任务调度策略中所述映射关系进行迭代筛选，以对所述异构任务调度策略进行优化。
97.进一步地，在一具体应用场景中，所述调度策略优化单元703根据预估的平均资源利用率，对所述异构任务调度策略中所述映射关系进行迭代筛选，以对所述异构任务调度策略进行优化时，可以具体对所述映射关系进行编码，生成任务调度序列；以及根据预估的平均资源利用率，对所述任务调度序列进行迭代筛选，以对所述异构任务调度策略进行优化。
98.可选地，在一具体应用场景中，所述任务调度序列具体可以为树状拓扑结构，在该星状拓扑结构中分在同一组的多个子任务位于同一树杈上，在优化时，通过调整子任务在树杈上的位置，或者调整到其他树杈上。
99.图8为本技术实施例八中异构任务调度策略的优化装置的结构示意图；如图8所示，其包括：
100.调度策略生成单元801，用于根据所述异构任务中若干子任务之间进行通信的数据量，生成对所述若干个子任务进行调度的异构任务调度策略，在所述异构任务调度策略中制定了每个子任务和可执行每个子任务的资源之间的映射关系；
101.平均资源利用率预估单元802，用于在根据预估的平均资源利用率，生成迭代筛选模型，之前，根据执行所述异构任务的时间总估计开销以及每个子任务的时间估计开销，生成所述预估的平均资源利用率。
102.调度序列单元803，用于在根据预估的平均资源利用率，对所述异构任务调度策略中所述映射关系进行迭代筛选，以对所述异构任务调度策略进行优化之前，对所述映射关系进行编码，生成任务调度序列；
103.调度策略优化单元804，用于在根据预估的平均资源利用率，对所述异构任务调度策略中所述映射关系进行迭代筛选，以对所述异构任务调度策略进行优化时，根据预估的平均资源利用率，对所述任务调度序列进行迭代筛选，以对所述异构任务调度策略进行优化。
104.可选地，在一具体应用场景中，所述调度策略优化单元在根据预估的平均资源利用率，对所述任务调度序列进行迭代筛选，以对所述异构任务调度策略进行优化时，根据预估的平均资源利用率，通过交叉调换操作，对所述任务调度序列进行迭代筛选。
105.可选地，在一具体应用场景中，所述调度策略优化单元在根据预估的平均资源利用率，对所述任务调度序列进行迭代筛选，以对所述异构任务调度策略进行优化时，根据预估的平均资源利用率，通过交叉调换操作，对所述任务调度序列进行迭代筛选，生成满足任务调度约束条件的任务调度优化序列；根据所述任务调度优化序列，生成新的异构任务调度策略。
106.图9为本技术实施例九中电子设备的结构示意图；如图9所示，其包括：存储器901以及处理器902，所述存储器上存储有计算机可执行程序，所述处理器用于执行所述计算机可执行程序以实施本技术任一实施例所述的方法。
107.图10为本技术实施例十中电子设备的硬件结构示意图；如图10所示，该电子设备的硬件结构可以包括：处理器1001，通信接口1002，计算机可读介质1003和通信总线1004；
108.其中，处理器1001、通信接口1002、计算机可读介质1003通过通信总线1004完成相互间的通信；
109.可选的，通信接口1002可以为通信模块的接口，如gsm模块的接口；
110.其中，处理器1001具体可以配置为运行存储器上存储的可执行程序，从而执行上述任一方法实施例的所有处理步骤或者其中部分处理步骤。
111.处理器1001可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(dsp)、专用集成电路(asic)、现成可编程门阵列(fpga)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
112.本技术实施例的电子设备以多种形式存在，包括但不限于:
113.(1)移动通信设备:这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iphone)、多媒体手机、功能性手机，以及低端手机等。
114.(2)超移动个人计算机设备:这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括:pda、mid和umpc设备等，例如ipad。
115.(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如ipod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
116.(4)服务器:提供计算服务的设备，服务器的构成包括处理器710、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
117.(5)其他具有数据交互功能的电子装置。
118.图11为本技术实施例十一中计算机存储介质的结构示意图；如图11所示，所述计算机存储介质上存储有计算机可执行程序，所述计算机可执行程序被运行时实施本技术任一实施例所述的方法。
119.本技术实施例还提供一种数据系统，其包括本技术任一实施例所述的电子设备。
120.需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备及系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的设备及系统实施例仅仅是示意性的，其中作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块提示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
121.以上所述，仅为本技术的一种具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应该以权利要求的保护范围
为准。