基于通用缩放定律的分布式任务资源耗时预测方法及介质与流程

本发明涉及数据处理，尤其涉及一种基于通用缩放定律的分布式任务资源耗时预测方法及介质。

背景技术：

1、在目前分布式计算环境中，有效的任务资源分配对于提高系统性能至关重要。这些策略包括静态资源分配的稳定性和动态资源分配的灵活性，基于任务需求的资源分配以及负载均衡的均衡性，弹性资源调整的适应性，算法优化的智能性，自适应调度的学习能力，以及成本效益分析的综合考虑。通过综合运用这些策略，系统可以更有效地利用资源，提高性能，并在不同负载和环境变化下实现最佳的资源分配方案。

2、发明人在实现本发明的过程中，发现现有技术存在如下缺陷：目前，现有的通过纯数据驱动的方式，可以利用历史数据去训练回归模型，预测给定任务条件下资源数量和任务耗时的关系。然而，纯数据驱动方法往往无法解决训练数据分布外的问题，且需要的数据量比较大。

技术实现思路

1、本发明提供了一种基于通用缩放定律的分布式任务资源耗时预测方法及介质，以实现分布式任务资源耗时预测的准确性的提高。

2、根据本发明的一方面，提供了一种基于通用缩放定律的分布式任务资源耗时预测方法，其中，包括：

3、获取当前待耗时预测的分布式任务、以及与所述当前待耗时预测的分布式任务对应的分布式任务描述信息；

4、其中，所述分布式任务描述信息包括分布式任务类型和分布式任务难度；

5、获取当前分布式任务资源序列，并将所述当前分布式任务资源序列、分布式任务类型和分布式任务难度输入至预先训练好的通用缩放定律模型中，生成分布式任务耗时预测序列结果；

6、将所述分布式任务耗时预测序列结果向用户进行反馈处理。

7、根据本发明的另一方面，提供了一种基于通用缩放定律的分布式任务资源耗时预测装置，其中，包括：

8、分布式任务描述信息获取模块，用于获取当前待耗时预测的分布式任务、以及与所述当前待耗时预测的分布式任务对应的分布式任务描述信息；

9、其中，所述分布式任务描述信息包括分布式任务类型和分布式任务难度；

10、分布式任务耗时预测序列结果生成模块，用于获取当前分布式任务资源序列，并将所述当前分布式任务资源序列、分布式任务类型和分布式任务难度输入至预先训练好的通用缩放定律模型中，生成分布式任务耗时预测序列结果；

11、分布式任务耗时预测序列结果反馈模块，用于将所述分布式任务耗时预测序列结果向用户进行反馈处理。

12、根据本发明的另一方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现本发明任一实施例所述的基于通用缩放定律的分布式任务资源耗时预测方法。

13、根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的基于通用缩放定律的分布式任务资源耗时预测方法。

14、本发明实施例的技术方案，通过获取当前待耗时预测的分布式任务、以及与所述当前待耗时预测的分布式任务对应的分布式任务描述信息；其中，分布式任务描述信息包括分布式任务类型和分布式任务难度；获取当前分布式任务资源序列，并将所述当前分布式任务资源序列、分布式任务类型和分布式任务难度输入至预先训练好的通用缩放定律模型中，生成分布式任务耗时预测序列结果；将分布式任务耗时预测序列结果向用户进行反馈处理。解决了现有的纯数据驱动方法往往无法解决训练数据分布外的问题、以及需要数据量大的问题。提高了分布式任务资源耗时预测的准确性，优化了分布式资源的分配方法。

15、应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种基于通用缩放定律的分布式任务资源耗时预测方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，在所述将所述当前分布式任务资源序列、分布式任务类型和分布式任务难度输入至预先训练好的通用缩放定律模型中，生成分布式任务耗时预测序列结果之后，还包括：

3.根据权利要求2所述的方法，其特征在于，在所述生成当前分布式任务资源耗时预测曲线之后，还包括：

4.根据权利要求1所述的方法，其特征在于，在所述获取当前待耗时预测的分布式任务、以及与所述当前待耗时预测的分布式任务对应的分布式任务描述信息之前，还包括：

5.根据权利要求4所述的方法，其特征在于，还包括：

6.根据权利要求5所述的方法，其特征在于，所述将各所述历史分布式任务类型和历史分布式任务难度、以及历史分布式任务资源序列和历史分布式任务耗时序列，输入至预先设置的初始通用缩放定律模型进行模型的训练，并根据预先设置的均方误差损失函数，来得到训练好的通用缩放定律模型，包括：

7.根据权利要求6所述的方法，其特征在于，在所述根据预先设置的均方误差损失函数，来得到训练好的通用缩放定律模型之后，还包括：

8.一种基于通用缩放定律的分布式任务资源耗时预测装置，其特征在于，包括：

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-7中任一项所述的基于通用缩放定律的分布式任务资源耗时预测方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现如权利要求1-7中任一项所述的基于通用缩放定律的分布式任务资源耗时预测方法。

技术总结
本发明公开了一种基于通用缩放定律的分布式任务资源耗时预测方法及介质。通过获取当前待耗时预测的分布式任务、以及与所述当前待耗时预测的分布式任务对应的分布式任务描述信息；其中，分布式任务描述信息包括分布式任务类型和分布式任务难度；获取当前分布式任务资源序列，并将所述当前分布式任务资源序列、分布式任务类型和分布式任务难度输入至预先训练好的通用缩放定律模型中，生成分布式任务耗时预测序列结果；将分布式任务耗时预测序列结果向用户进行反馈处理。解决了现有的纯数据驱动方法往往无法解决训练数据分布外的问题、以及需要数据量大的问题。提高了分布式任务资源耗时预测的准确性，优化了分布式资源的分配方法。

技术研发人员：胡盛
受保护的技术使用者：北京优特捷信息技术有限公司
技术研发日：
技术公布日：2025/2/10