资源控制方法和装置、电子设备及存储介质与流程

本发明涉及数据处理，尤其涉及一种资源控制方法和装置、电子设备及存储介质。

背景技术：

1、目前，在进行作业伸缩处理的过程中，常常利用外部观察到的指标，如中央处理器(central processing unit，cpu)利用率、内存利用率和吞吐量等来作为作业伸缩的依据。

2、然而，对于常见的采用外部指标和参数进行作业伸缩处理的方式，一方面，性能干扰可能会导致伸缩的误判；另一方面，基于简单的规则来进行作业伸缩处理，无法精确到具体的某个算子。

3、也就是说，常见的采用外部指标和参数进行作业伸缩处理的方式，不能及时准确地完成算子的伸缩处理，存在资源增减不精确的问题。

技术实现思路

1、本申请实施例提供了一种资源控制方法和装置、电子设备及存储介质，能够实时对不同的算子进行不同程度的资源增减处理，从而提升资源控制的准确性和及时性。

2、本申请实施例的技术方案是这样实现的：

3、第一方面，本申请实施例提供了资源控制方法，所述方法包括：

4、确定当前作业中的第一算子对应的第一实时数据处理信息和第二算子对应的第二实时数据处理信息；

5、确定第一目标数据处理速率；

6、基于所述第一目标数据处理速率，所述第一实时数据处理信息以及所述第二实时数据处理信息，确定所述第一算子对应的第一伸缩因子和所述第二算子对应的第二伸缩因子；

7、根据所述第一伸缩因子和所述第二伸缩因子对所述当前作业进行资源控制。

8、第二方面，本申请实施例提供了一种资源控制装置，所述资源控制装置包括：确定单元，控制单元，

9、所述确定单元，用于确定当前作业中的第一算子对应的第一实时数据处理信息和第二算子对应的第二实时数据处理信息；确定第一目标数据处理速率；基于所述第一目标数据处理速率，所述第一实时数据处理信息以及所述第二实时数据处理信息，确定所述第一算子对应的第一伸缩因子和所述第二算子对应的第二伸缩因子；

10、所述控制单元，用于根据所述第一伸缩因子和所述第二伸缩因子对所述当前作业进行资源控制。

11、第三方面，本申请实施例提供了一种电子设备，所述电子设备包括处理器、存储有所述处理器可执行指令的存储器，当所述指令被所述处理器执行时，实现如上述第一方面所述的方法。

12、第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有程序，所述程序被处理器执行时，实现如上述第一方面所述的方法。

13、本申请实施例提供了一种资源控制方法和装置、电子设备及存储介质，资源控制装置确定当前作业中的第一算子对应的第一实时数据处理信息和第二算子对应的第二实时数据处理信息；确定第一目标数据处理速率；基于第一目标数据处理速率，第一实时数据处理信息以及第二实时数据处理信息，确定第一算子对应的第一伸缩因子和第二算子对应的第二伸缩因子；根据第一伸缩因子和第二伸缩因子对当前作业进行资源控制。也就是说，在本申请的实施例中，可以确定作业中的不同算子对应的实际数据处理能力，即算子对应的实时数据处理信息，按照需要达到的数据处理能力，即第一目标数处理速率，结合不同算子对应的实际数据处理能力确定出每个算子对应的伸缩因子，进而可以根据对应的伸缩因子来完成对算子资源的适应性调整和控制。可见，在本申请的实施例中，可以基于不同算子的真实数据处理来完成对应算子的资源控制，使得算子的资源可以契合当前数据的处理速率，能够实时对不同的算子进行不同程度的资源增减处理，从而提升资源控制的准确性和及时性。

技术特征：

1.一种资源控制方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述基于所述第一目标数据处理速率，所述第一实时数据处理信息以及所述第二实时数据处理信息，确定所述第一算子对应的第一伸缩因子和所述第二算子对应的第二伸缩因子，包括：

3.根据权利要求2所述的方法，其特征在于，

4.根据权利要求3所述的方法，其特征在于，所述根据所述第一实时数据处理信息确定所述第一算子对应的第一处理速率阈值；根据所述第二实时数据处理信息确定所述第二算子对应的第二处理速率阈值，包括：

5.根据权利要求1-4中的任一项所述的方法，其特征在于，所述确定第一目标数据处理速率，包括：

6.根据权利要求5所述的方法，其特征在于，所述确定第一目标数据处理速率，包括：

7.根据权利要求6所述的方法，其特征在于，所述根据所述数据处理速率增值、所述当前作业对应的重启追挤压数据参数以及所述第二目标数据处理速率，确定所述第一目标数据处理速率，包括：

8.根据权利要求1-4，6-7中的任一项所述的方法，其特征在于，所述根据所述第一伸缩因子和所述第二伸缩因子对所述当前作业进行资源控制，包括：

9.根据权利要求8所述的方法，其特征在于，所述根据所述第一目标线程数和所述第二目标线程数进行资源控制，包括：

10.根据权利要求1所述的方法，其特征在于，

11.一种资源控制装置，其特征在于，所述资源控制装置包括：确定单元，控制单元，

12.一种电子设备，其特征在于，所述电子设备包括处理器、存储有所述处理器可执行指令的存储器，当所述指令被所述处理器执行时，实现如权利要求1-10任一项所述的方法。

13.一种计算机可读存储介质，其上存储有程序，其特征在于，所述程序被处理器执行时，实现如权利要求1-10任一项所述的方法。

技术总结
本申请公开了一种资源控制方法和装置、电子设备及存储介质，该方法包括：确定当前作业中的第一算子对应的第一实时数据处理信息和第二算子对应的第二实时数据处理信息；确定第一目标数据处理速率；基于第一目标数据处理速率，第一实时数据处理信息以及第二实时数据处理信息，确定第一算子对应的第一伸缩因子和第二算子对应的第二伸缩因子；根据第一伸缩因子和第二伸缩因子对当前作业进行资源控制。

技术研发人员：蒋龙,付庆午
受保护的技术使用者：OPPO广东移动通信有限公司
技术研发日：
技术公布日：2024/2/25