节点计算资源分配方法、网络交换子系统及智能计算平台与流程

本申请属于数据处理领域，尤其涉及节点计算资源分配方法、网络交换子系统及智能计算平台。

背景技术：

1、目前，为提升各个产业、各个领域的智能化应用普及程度，亟待构建一种智能化计算平台，用以辅助智能超算中心的建设，为科研、产业、城市服务提供人工智能平台的构建基础，进一步通过智能化计算平台实现人才聚集、产业升级、发展。

2、相关技术中，随着人工智能、深度学习等计算密集型任务的应用不断增加，对计算资源的需求也在不断增加。这些任务通常需要大量的计算资源来进行模型训练、推理和优化等操作，而这些计算资源可能分布在不同的服务器或设备上。因此，如何有效地调度和管理这些计算资源成为一个关键问题。在数据中心和智能化计算平台中，存在着大量的计算节点，这些节点可能具有不同的性能特征和负载状况。在这样的环境下，需要一个高效的负载均衡系统来确保资源的合理利用和任务的高效执行。未来数据中心和智能化计算平台的规模会不断扩大，可能涉及到数百甚至数千个计算节点，同时这些节点可能包括传统的服务器、gpu服务器、tpu加速器等多种类型的设备。

3、因此，如何实现大规模、多类型设备的交换网络的负载均衡，是一个亟待解决的技术问题。

技术实现思路

1、本申请提供了节点计算资源分配方法、网络交换子系统及智能计算平台，用以实现网络交换子系统中节点计算资源的实时优化分配，使系统达到负载均衡，减少计算资源浪费，提升系统的整体性能和可管理性。

2、第一方面，本申请提供了一种节点计算资源分配方法，应用于网络交换子系统，所述网络交换子系统主要负责节点之间的计算过程当中的高速数据通信，所述网络交换子系统连接到智能计算子系统、数据存储子系统和支撑管理子系统中，所述网络交换子系统用于实现数据的全局共享和快速访问，所述网络交换子系统采用以太网架构；所述方法包括：

3、获取网络交换子系统的实时运行数据；所述实时运行数据用于表示网络交换子系统中各个节点的实时运行情况；各个节点用于为所述网络交换子系统中的接入设备提供计算资源；不同节点的计算资源分别用于实现不同类型的计算任务；

4、采用动态负载监测模型，基于所述实时运行数据进行实时负载情况预测，以获得所述网络交换子系统的实时负载数据；

5、通过动态负载均衡模型，对所述实时负载数据进行实时均衡决策，以获得所述网络交换子系统的计算资源调度信息；

6、基于所述计算资源调度信息，动态调度所述网络交换子系统中各个节点的实时计算资源，以使所述网络交换子系统达到动态负载均衡；

7、其中，在通过动态负载均衡模型，对所述实时负载数据进行实时均衡决策，以获得所述网络交换子系统的计算资源调度信息之前，还包括：

8、获取当前资源负载状态；所述资源负载状态至少包括：实时响应负载变化情况、任务规模、调度模式；

9、基于所述资源负载状态确定动态选择目标；所述动态选择目标至少包括：所需策略数量、策略类型限制条件；

10、通过动态负载均衡模型中设置的策略选择模型，动态选择待选负载均衡策略集合中至少一种策略，并判断选择出来的策略是否符合所述动态选择目标；

11、若符合，则采用选择出来的目标策略来实现实时均衡决策中的计算资源均衡学习过程；若不符合，则重复上述动态选择步骤，以获取下一个或多个目标策略。

12、第二方面，本申请实施例提供了一种网络交换子系统，所述网络交换子系统主要负责节点之间的计算过程当中的高速数据通信，所述网络交换子系统连接到智能计算子系统、数据存储子系统和支撑管理子系统中，所述网络交换子系统用于实现数据的全局共享和快速访问，所述网络交换子系统采用以太网架构；所述系统包括：

13、获取单元，被配置为获取网络交换子系统的实时运行数据；所述实时运行数据用于表示网络交换子系统中各个节点的实时运行情况；各个节点用于为所述网络交换子系统中的接入设备提供计算资源；不同节点的计算资源分别用于实现不同类型的计算任务；

14、负载监测单元，被配置为采用动态负载监测模型，基于所述实时运行数据进行实时负载情况预测，以获得所述网络交换子系统的实时负载数据；

15、均衡决策单元，被配置为通过动态负载均衡模型，对所述实时负载数据进行实时均衡决策，以获得所述网络交换子系统的计算资源调度信息；

16、调度均衡单元，被配置为基于所述计算资源调度信息，动态调度所述网络交换子系统中各个节点的实时计算资源，以使所述网络交换子系统达到动态负载均衡；

17、其中，所述动态负载均衡模型中还设置有策略选择模型，所述调度均衡单元，还被配置为：在通过动态负载均衡模型，对所述实时负载数据进行实时均衡决策，以获得所述网络交换子系统的计算资源调度信息之前，获取当前资源负载状态；所述资源负载状态至少包括：实时响应负载变化情况、任务规模、调度模式；

18、基于所述资源负载状态确定动态选择目标；所述动态选择目标至少包括：所需策略数量、策略类型限制条件；

19、通过所述策略选择模型，动态选择待选负载均衡策略集合中至少一种策略，并判断选择出来的策略是否符合所述动态选择目标；

20、若符合，则采用选择出来的目标策略来实现实时均衡决策中的计算资源均衡学习过程；若不符合，则重复上述动态选择步骤，以获取下一个或多个目标策略。

21、第三方面，本申请实施例提供了一种智能计算平台，所述智能计算平台包括：

22、至少一个处理器、存储器和输入输出单元；

23、其中，所述存储器用于存储计算机程序，所述处理器用于调用所述存储器中存储的计算机程序来执行第一方面的节点计算资源分配方法。

24、第四方面，提供了一种计算机可读存储介质，其包括指令，当其在计算机上运行该指令时，使得计算机执行第一方面的节点计算资源分配方法。

25、本申请实施例提供的技术方案中，首先，获取网络交换子系统的实时运行数据。其中，实时运行数据用于表示网络交换子系统中各个节点的实时运行情况；各个节点用于为网络交换子系统中的接入设备提供计算资源；不同节点的计算资源分别用于实现不同类型的计算任务。进而，采用动态负载监测模型，基于实时运行数据进行实时负载情况预测，以获得网络交换子系统的实时负载数据。接着，通过动态负载均衡模型，对实时负载数据进行实时均衡决策，以获得网络交换子系统的计算资源调度信息。最后，基于计算资源调度信息，动态调度网络交换子系统中各个节点的实时计算资源，以使网络交换子系统达到动态负载均衡。本申请技术方案实现了网络交换子系统中节点计算资源的实时优化分配，使系统达到负载均衡，减少计算资源浪费，提升了系统的整体性能和可管理性。

技术特征：

1.一种节点计算资源分配方法，其特征在于，应用于网络交换子系统，所述网络交换子系统主要负责节点之间的计算过程当中的高速数据通信，所述网络交换子系统连接到智能计算子系统、数据存储子系统和支撑管理子系统中，所述网络交换子系统用于实现数据的全局共享和快速访问，所述网络交换子系统采用以太网架构；所述方法包括：

2.根据权利要求1所述的节点计算资源分配方法，其特征在于，所述动态负载监测模型至少包括：特征提取模块、状态识别模块；

3.根据权利要求2所述的节点计算资源分配方法，其特征在于，所述状态识别模块包括多个隐藏层节点，每一隐藏层节点包括特征桶；

4.根据权利要求3所述的节点计算资源分配方法，其特征在于，所述通过状态识别模块，对所述实时负载特征信息进行分类桶识别，以获得所述网络交换子系统的实时负载数据之前，还包括：

5.根据权利要求2所述的节点计算资源分配方法，其特征在于，所述动态负载监测模型还包括模型优化模块；

6.根据权利要求4所述的节点计算资源分配方法，其特征在于，获取所述自适应学习调节参数的过程表示为如下公式：

7.根据权利要求1所述的节点计算资源分配方法，其特征在于，所述动态负载均衡模型至少包括：智能体代理模块、状态空间建模模块、动作空间建模模块、策略生成模块；

8.根据权利要求7所述的节点计算资源分配方法，其特征在于，所述动态负载均衡模型还包括：环境模拟器模块；

9.一种网络交换子系统，其特征在于，所述网络交换子系统主要负责节点之间的计算过程当中的高速数据通信，所述网络交换子系统连接到智能计算子系统、数据存储子系统和支撑管理子系统中，所述网络交换子系统用于实现数据的全局共享和快速访问，所述网络交换子系统采用以太网架构；所述网络交换子系统包括：

10.一种智能计算平台，其特征在于，所述智能计算平台包括：

技术总结
本申请属于数据处理领域，尤其涉及一种节点计算资源分配方法、网络交换子系统及智能计算平台，该方法包括：获取网络交换子系统的实时运行数据；采用动态负载监测模型，基于实时运行数据进行实时负载情况预测，以获得网络交换子系统的实时负载数据；通过动态负载均衡模型，对实时负载数据进行实时均衡决策，以获得网络交换子系统的计算资源调度信息；基于计算资源调度信息，动态调度网络交换子系统中各个节点的实时计算资源，以使网络交换子系统达到动态负载均衡。该方法实现了网络交换子系统中节点计算资源的实时优化分配，使系统达到负载均衡，减少计算资源浪费，提升了系统的整体性能和可管理性。

技术研发人员：邓练兵
受保护的技术使用者：广东琴智科技研究院有限公司
技术研发日：
技术公布日：2024/5/9