一种基于集群轨迹数据的集中式调度模拟装置及方法

本发明涉及云计算中心的任务调度算法，具体涉及一种基于集群轨迹数据的集中式调度模拟装置及方法。

背景技术：

1、以k8s为代表的容器管理技术在面临巨大集群规模的情况时，任务调度器的算法对集群运行的健康程度有着重大影响。一个优秀的调度算法应该能合理规划集群计算节点的使用，在保证任务的合理分配的同时减少任务从就绪到被调度的时间，提高集群的吞吐性能。在测试一个新的测试调度算法，或者是改变现有的调度算法来适应不同的计算场景时，需要对调度算法进行仿真测试。

2、现有的测试集群调度算法的方法一种是通过真实物理机器集群进行测试，该方法搭建了一个真实的但是规模较小的测试场景来验证调度算法。该方法并不能测试大型环境下的集群运行状况，而加大真实物理机器的规模用于测试则会产生很大的测试门槛。另一种方法为静态分析法, 静态分析参考了实际的生产场景，但是静态分析的表现不足以体现调度器的动态性能，该方法可以获取到调度算法计算后即时的调度效果，却不能考查连续的调度工作下集群的调度效果，所以该测试方法并不能测试调度器的动态效果

3、如中国专利cn114385126a，公开日2022年04月22日，本发明公布了一种基于k8s的多租户深度学习模型研发系统及方法。该系统解决了传统的平台技术架构数据格式不统一、接口标准不统一，系统模块间耦合度较高，不利于应用、模块横向扩展的技术问题,但该系统无法应用于集群轨迹数据的模拟。

技术实现思路

1、本发明要解决的技术问题是：目前集群调度算法测试在大型环境下的测试成本较高的技术问题。提出了一种基于集群轨迹数据的集中式调度模拟装置及方法，可以降低集群调度算法测试在大型环境下的测试成本。

2、为解决上述技术问题，本发明所采取的技术方案为：一种自动远程乘梯的方法，包括调度算法测试模块和集群模拟模块，所述调度算法测试模块与所述集群模拟模块连接，所述集群模拟模块包括控制台模块，所述控制台模块与集群状态更新模块连接，所述控制台模块与集群状态表示模块连接，所述控制台模块与集群轨迹数据预处理模块连接，所述集群轨迹数据预处理模块与调度动作处理模块连接，所述集群轨迹数据预处理模块与集群事件队列模块连接。

3、一种基于集群轨迹数据的集中式调度模拟装置，调度算法测试模块负责控制测试流程。集群模拟模块为调度算法测试模块提供集群模拟服务。集群模拟模块接受调度算法测试器的命令，包括查询，运行，调度等命令，为调度算法测试模块提供虚拟的集群抽象。

4、作为优选，所述调度算法测试模块包括测试控制器和调度算法，所述调度算法测试模块与grpc客户端连接。测试控制器控制测试流程，grpc客户端负责与集群模拟模块通信，调度算法为待测试的调度算法，具有可更换性，其可以更换成不同的调度算法，通过比较模拟运行的效果，以此来评估不同的调度算法。

5、作为优选，所述控制台模块包括grpc服务器和命令解析处理模块，所述grpc服务器与所述调度算法测试模块连接，所述grpc服务器与命令解析处理模块连接。grpc模块负责监听外部命令，并将命令交给命令解析处理模块进行处理。

6、作为优选，所述集群轨迹数据预处理模块包括处理结果缓存模块和原始集群轨迹数据库，所述处理结果缓存模块与集群状态计算模块连接，所述原始集群轨迹数据库与集群事件处理模块连接。集群轨迹数据预处理模块提供原始集群轨迹数据某个时刻集群的各个节点信息，以及待调度队列状态信息，以及该时刻集群的后续发生的事件信息。

7、作为优选，所述集群状态表示模块包括节点信息状态和待调度任务队列状态。集群状态表示模块为外界提供了当前模拟时刻集群的静态信息。

8、作为优选, 所述集群事件队列模块包括节点更新事件队列和任务产生事件队列，所述集群事件队列模块与所述集群状态表示模块连接。集群事件队列模块存储了集群未来将发生的事件信息，其为未来更新集群状态表示模块提供了依据。

9、作为优选，所述集群状态更新模块包括状态更新控制模块和事件处理器，所述集群状态更新模块与所述集群事件队列模块连接，所述集群状态更新模块与所述集群状态表示模块连接。集群状态更新模块接受运行命令，根据运行时间，从集群事件队列取出事件，利用事件处理器将修改集群状态表示模块，并更改集群模拟时刻至新的时刻。

10、作为优选，所述调度动作处理模块包括任务事件调整计算算法和任务生命周期时间表，所述调度动作处理模块与所述集群轨迹数据预处理模块连接。调度动作处理模块从集群轨迹数据预处理模块得到集群生命周期事件表，此表存储了每个集群原始的事件周期，集群事件调整计算算法计算某个集群在模拟模块运行时被调度后此集群会产生的一系列新事件。

11、一种基于集群轨迹数据的集中式调度模拟方法，包括以下步骤：

12、s1：集群模拟模块执行初始化；

13、s2：集群模拟模块对调度算法测试模块中的调度算法进行测试；

14、s3：模拟结束。

15、步骤s1具体为调度算法测试模块根据希望模拟开始的时刻，以及预计模拟时长向集群模拟模块发送初始化命令。集群模拟模块根据调度测试模块指示的模拟器开始时刻，以及预计的模拟时长，初始化集群轨迹数据预处理模块；之后根据预处理模块返回的结果，初始化集群模拟器的集群状态表示模块，以及集群事件队列模块，调度动作处理模块。之后经历若干个步骤s2，周期数由测试控制器决定。

16、作为优选，所述步骤s2包括以下步骤：

17、s21：调度测试模块向集群模拟模块发送查询命令；

18、s22：集群模拟模块收到命令后，集群模拟模块向调度测试模块返回集群静态信息；

19、s23：测试控制器调用被测试的调度算法来进行一次调度计算；

20、s24：集群模拟模块执行调度测试器的运行命令；

21、s25：调度算法测试模块将上一次调度算法计算出的调度方案发送给集群模拟模块；

22、s26：集群模拟模块执行调度命令，修改集群的时间队列；

23、s27：调度算法测试模块检查模拟是否结束，如果是，则结束模拟，如果否，则返回s21。

24、步骤s2为测试调度算法的主要过程，根据该过程，可以测试出不同算法的具体性能，从而选出具有最佳性能的调度算法。

25、本发明的实质性效果是：本发明设计的一种基于集群轨迹数据的集中式调度模拟装置及方法，为测试调度算法的性能提供了一个易用，统一的测试环境，降低集群调度算法测试在需要在大型环境下进行测试的测试成本；该集中式调度模拟装置使用真实计算中心服务器集群的数据作为模拟参考，增加测试的贴近现实的程度，而无需大量真实物理机器来搭建测试环境；该集中式调度模拟装置可方便调度算法的测试验证；降低大规模场景下调度算法测试的门槛。

技术特征：

1.一种基于集群轨迹数据的集中式调度模拟装置，其特征在于，包括调度算法测试模块和集群模拟模块，所述调度算法测试模块与所述集群模拟模块连接，所述集群模拟模块包括控制台模块，所述控制台模块与集群状态更新模块连接，所述控制台模块与集群状态表示模块连接，所述控制台模块与集群轨迹数据预处理模块连接，所述集群轨迹数据预处理模块与调度动作处理模块连接，所述集群轨迹数据预处理模块与集群事件队列模块连接。

2.根据权利要求1所述的一种基于集群轨迹数据的集中式调度模拟装置，其特征在于，所述调度算法测试模块包括测试控制器和调度算法，所述调度算法测试模块与grpc客户端连接。

3.根据权利要求2所述的一种基于集群轨迹数据的集中式调度模拟装置，其特征在于，所述控制台模块包括grpc服务器和命令解析处理模块，所述grpc服务器与所述调度算法测试模块连接，所述grpc服务器与命令解析处理模块连接。

4.根据权利要求2或3所述的一种基于集群轨迹数据的集中式调度模拟装置，其特征在于，所述集群轨迹数据预处理模块包括处理结果缓存模块和原始集群轨迹数据库，所述处理结果缓存模块与集群状态计算模块连接，所述原始集群轨迹数据库与集群事件处理模块连接。

5.根据权利要求1或2或3所述的一种基于集群轨迹数据的集中式调度模拟装置，其特征在于，所述集群状态表示模块包括节点信息状态和待调度任务队列状态。

6.根据权利要求1或2或3所述的一种自动远程乘梯系统，其特征在于，所述集群事件队列模块包括节点更新事件队列和任务产生事件队列，所述集群事件队列模块与所述集群状态表示模块连接。

7.根据权利要求7所述的一种基于集群轨迹数据的集中式调度模拟装置，其特征在于，所述集群状态更新模块包括状态更新控制模块和事件处理器，所述集群状态更新模块与所述集群事件队列模块连接，所述集群状态更新模块与所述集群状态表示模块连接。

8.根据权利要求7所述的一种基于集群轨迹数据的集中式调度模拟装置，其特征在于，所述调度动作处理模块包括任务事件调整计算算法和任务生命周期时间表，所述调度动作处理模块与所述集群轨迹数据预处理模块连接。

9.一种基于集群轨迹数据的集中式调度模拟方法，利用如权利要求1-8所述的任意一种基于集群轨迹数据的集中式调度模拟装置，其特征在于，包括以下步骤：

10.根据权利要求9所述的一种基于集群轨迹数据的集中式调度模拟方法，其特征在于，所述步骤s2包括以下步骤：

技术总结
本发明公开了一种基于集群轨迹数据的集中式调度模拟装置及方法，包括调度算法测试模块和集群模拟模块，所述调度算法测试模块与所述集群模拟模块连接，所述集群模拟模块包括控制台模块，所述控制台模块与集群状态更新模块连接，所述控制台模块与集群状态表示模块连接，所述控制台模块与集群轨迹数据预处理模块连接，所述集群轨迹数据预处理模块与调度动作处理模块连接，所述集群轨迹数据预处理模块与集群事件队列模块连接；为测试调度算法的性能提供了一个易用，统一的测试环境，该装置采用真实集群运行搜集到的集群运行轨迹信息作为仿真依据，尽可能的希望贴近现实场景，降低大规模场景下调度算法测试的门槛。

技术研发人员：林志强,程雨夏,徐林锋,廖鹏飞
受保护的技术使用者：杭州电子科技大学
技术研发日：
技术公布日：2024/1/15