资源的调度方法和系统与流程

本技术涉及数据处理领域，具体而言，涉及一种资源的调度方法和系统。

背景技术：

1、目前，在大数据平台中运行至许多开放数据处理服务（open date processingservice，简称为odps）的作业，比如，开放数据处理可以包括增量查询处理，上述作业存在需要重复计算的问题。

2、在相关技术中，可以通过渐进式计算对上述作业进行处理，渐进式计算主要是通过使用调度方案实现的。当价值属性低于价值属性阈值时，便会执行渐进式计算。但是，价值属性阈值的选取是十分困难的，不同的作业或同一作业在不同时间，能够带来效果的价值属性阈值是完全不同的，因此，静态的阈值方案不能充分地发挥渐进式计算的能力，从而导致无法有效进行资源调度的技术问题。

3、针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

1、本技术实施例提供了一种资源的调度方法和系统，以至少解决无法有效进行资源调度的技术问题。

2、根据本技术实施例的一个方面，提供了一种资源的调度方法。该方法可以包括：利用至少一查询数据集，监测到输入数据，以及监测到用于查询输入数据的查询资源的价值属性；从策略数据集中调用与查询数据集匹配的目标策略数据，其中，策略数据集包括与不同数据集匹配的策略数据，策略数据用于确定是否对所匹配的数据集中不同时间段的数据分别在对应时间段执行查询操作的执行决策；从目标策略数据中进行匹配处理，获取与输入数据和查询资源的价值属性匹配的目标执行决策；基于目标执行决策，确定是否调度查询资源来对输入数据执行查询操作。

3、根据本技术实施例的另一个方面，还提供了另一种资源的调度方法。该方法可以包括：响应作用于操作界面上的输入操作指令，在操作界面上显示从至少一查询数据集中监测到输入数据，以及用于查询输入数据的查询资源的价值属性；响应作用于操作界面上的调用操作指令，在操作界面上显示从策略数据集中调用的与查询数据集匹配的目标策略数据，其中，策略数据集包括与不同数据集匹配的策略数据，策略数据用于确定是否对所匹配的数据集中不同时段的数据分别在对应时间段执行查询操作的执行决策；响应作用于操作界面上的匹配操作指令，输出目标策略数据中与输入数据和查询资源的价值属性相匹配的目标执行决策，其中，目标执行决策用于确定是否调度查询资源来对输入数据执行查询。

4、根据本技术实施例的另一个方面，提供了一种资源的调度系统。该系统可以包括：求解器，用于获取策略数据集，其中，策略数据集包括与不同数据集匹配的策略数据，策略数据用于确定是否对所匹配的数据集中不同时间段的数据分别在对应时间段执行查询操作的执行决策；调度器，用于利用至少一查询数据集监测到输入数据，以及监测到用于查询输入数据的查询资源的价值属性，从策略数据集中调用与查询数据集匹配的目标策略数据，从目标策略数据中进行匹配处理，获取与输入数据和查询资源的价值属性匹配的目标执行决策；执行引擎，用于在基于目标执行决策确定需要对输入数据执行查询操作的情况下，调度查询资源对输入数据执行查询操作。

5、根据本技术实施例的另一个方面，提供了另一种资源的调度方法。该方法可以包括：利用至少一查询数据集，从电商平台监测到电商数据，以及监测到用于查询电商数据的查询资源的价值属性；从策略数据集中调用与查询数据集匹配的目标策略数据，其中，策略数据集包括与电商平台的不同电商数据集匹配的策略数据，策略数据用于确定是否对所匹配的电商数据集中不同时间段的数据分别在对应时间段执行查询操作的执行决策；从目标策略数据中进行匹配处理，获取与电商数据和查询资源的价值属性匹配的目标执行决策；基于目标执行决策，确定是否调度查询资源来对电商数据执行查询操作。

6、根据本技术实施例的一个方面，提供了一种资源的调度装置。该装置可以包括：第一监测单元，用于利用至少一查询数据集，监测到输入数据，以及监测到用于查询输入数据的查询资源的价值属性；第一调用单元，用于从策略数据集中调用与查询数据集匹配的目标策略数据，其中，策略数据集包括与不同数据集匹配的策略数据，策略数据用于确定是否对所匹配的数据集中不同时间段的数据分别在对应时间段执行查询操作的执行决策；第一获取单元，用于从目标策略数据中进行匹配处理，获取与输入数据和查询资源的价值属性匹配的目标执行决策；第一确定单元，用于基于目标执行决策，确定是否调度查询资源来对输入数据执行查询操作。

7、根据本技术实施例的另一个方面，还提供了另一种资源的调度装置。该装置可以包括：第一显示单元，响应作用于操作界面上的输入操作指令，在操作界面上显示从至少一查询数据集中监测到输入数据，以及用于查询输入数据的查询资源的价值属性；第二显示单元，用于响应作用于操作界面上的调用操作指令，在操作界面上显示从策略数据集中调用的与查询数据集匹配的目标策略数据，其中，策略数据集包括与不同数据集匹配的策略数据，策略数据用于确定是否对所匹配的数据集中不同时间段数据分别在对应时间段执行查询操作的执行决策；输出单元，用于响应作用于操作界面上的匹配操作指令，输出目标策略数据中与输入数据和查询资源的价值属性相匹配的目标执行决策，其中，目标执行决策用于确定是否调度查询资源来对输入数据执行查询。

8、根据本技术实施例的另一个方面，提供了另一种资源的调度装置。该装置可以包括：第二监测单元，用于利用至少一查询数据集，从电商平台监测到电商数据，以及监测到用于查询电商数据的查询资源的价值属性；第二调用单元，用于从策略数据集中调用与查询数据集匹配的目标策略数据，其中，策略数据集包括与电商平台的不同电商数据集匹配的策略数据，策略数据用于确定是否对所匹配的电商数据集中不同时间段的数据分别在对应时间段执行查询操作的执行决策；第二获取单元，用于从目标策略数据中进行匹配处理，获取与电商数据和查询资源的价值属性匹配的目标执行决策；第二确定单元，用于基于目标执行决策，确定是否调度查询资源来对电商数据执行查询操作。

9、根据本技术实施例的另一方面，还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述任意一项的资源的调度方法。

10、根据本技术实施例的另一方面，还提供了一种处理器，处理器用于运行程序，其中，在程序运行时执行上述任意一项的资源的调度方法。

11、在本技术实施例中，利用至少一查询数据集，监测到输入数据，以及监测到用于查询输入数据的查询资源的价值属性；从策略数据集中调用与查询数据集匹配的目标策略数据，其中，策略数据集包括与不同数据集匹配的策略数据，策略数据用于确定是否对所匹配的数据集中不同时间段的数据分别在对应时间段执行查询操作的执行决策；从目标策略数据中进行匹配处理，获取与输入数据和查询资源的价值属性匹配的目标执行决策；基于目标执行决策，确定是否调度查询资源来对输入数据执行查询操作。也就是说，本技术实施例确定每个输入数据的查询资源的价值属性，且从策略数据集中调用与查询数据集匹配的目标策略数据，从目标策略数据中获取与查询资源的价值属性匹配的目标执行决策，可以基于目标执行决策，确定是否对输入数据执行查询操作，从而达到有效进行资源调度的技术效果，解决了无法有效进行资源调度的技术问题。

12、容易注意到的是，上面的通用描述和后面的详细描述仅仅是为了对本技术进行举例和解释，并不构成对本技术的限定。