基于约束条件的算力网络集群动态构建方法及系统与流程

本发明是关于一种基于约束条件的算力网络集群动态构建方法、系统、设备及计算机可读存储介质。

背景技术：

1、随着数字化转型的持续深入，算力需求正在加速迭代：数据量负载从单一负载转向混合负载、应用场景也在经历简单到复杂的演变。即使是工程量不算庞大的图像训练，就包括数据转发、压缩存储、加密解密、文件系统、数据查询、图像渲染等对个计算模块，涉及到多种芯片的算力，一些长尾且刚需的计算场景，可能还需要提供定制的专属服务。

2、目前已有专利主要有基于网络的算力路由，基于管理的算力编排等，例如算力路由，是基于获取的算力信息生成算力路由表，算力路由表记录本地算力节点以及邻居算力节点的算力能力参数和网络能力参数，并且，通过在每个算力路由节点处构建对应的算力转发表，将算力路由节点接收到的算力请求根据其对应的算力转发表进行算力路由和编排，目前算力网络的路由和编排主要是基于网络能力。

3、算力网络建设的第一步是通过路由和编排和将分布在国内各地的数据中心进行统筹和连接，通过算力调度系统合理调配、协调一致地提供算力服务，目前瓶颈在于进行算力的分配时需要增加大量算力路由基础设施，路由和编排开销属于网络设置，加大了网络复杂度和管理难度。

4、另外，能否基于场景需求向市场输出算力、算法、数据、应用高度协同的一体化资源，同样是算力服务网络服务商必须要应对的问题。

技术实现思路

1、本发明针对算力网络资源协同，场景化增加算力集群的节点需求，为解决算力网络将编排调度主要依赖网络能力的问题，提供了一种基于约束条件的算力网络集群动态构建方法，该方法包括：注册算力节点的信息并提取任务需求中的计算任务特征；根据该计算任务特征来评估算力节点的能力，其中根据计算任务的特征函数得到能力估值；将作为任务发起节点的该算力节点作为根节点，并基于路由表的可达路由路径及该约束条件评估并选择下一个算力节点，其中通过该能力估值vi根据评估节点能力的评估函数得到分支算力节点的评估值；通过逐级对可路由的分支算力节点进行该评估值搜索拟合，得到针对该计算任务的最佳算力多级协同的算力节点集群。

2、根据本发明的有利设计方案，该算力节点信息包括节点入口设备信息和节点自身资源信息。

3、根据本发明的有利设计方案，该节点入口设备信息是指节点管控设备mac，该节点自身资源信息是指计算资源c、多级存储资源buf和最大带宽资源b。

4、根据本发明的有利设计方案，该约束条件根据场景模板和服务等级协议约定，该约束条件包括传输带宽、计算资源和路由表等。

5、根据本发明的有利设计方案，多个该约束条件形成约束规则库，并且该约束规则库能够根据场景继续添加约束条件，如计算优先、数据优先等。

6、根据本发明的有利设计方案，算力节点i的能力包括：计算能力、存储能力、传输能力。

7、根据本发明的有利设计方案，该计算任务的特征函数为：

8、vi＝p∑ci+n∑bufi+m∑bi

9、，其中c是统一算力度量下的当前空闲计算资源，buf是当前空闲多级存储资源，b是当前可分配带宽资源。以及pnm是根据场景设定的概率，其中p+n+m小于等于1。

10、根据本发明的有利设计方案，在数据优先的场景下，n的值设定为大于p和m。

11、根据本发明的有利设计方案，根据该计算任务的特征函数评估节点能力的评估函数为：

12、

13、其中是以该算力节点i为根节点的所有分支算力节点评估结果的平均值，ti是该算力节点i的访问次数，c是手工设定的常数。

14、根据本发明的有利设计方案，该评估值ei是当前根节点的所有分支算力节点对集群贡献度的能力值评估，该评估值ei是动态的。

15、根据本发明的有利设计方案，基于路由表的可达路由路径进行分支算力节点的选择，直到搜索到满足计算任务的集群的分支算力节点，评估结果将反向传播回当前发起任务的根节点，然后更新沿途的评估值ei，反向传播保证每个节点的统计信息能够反映该节点所有后代的评估结果。

16、根据本发明的有利设计方案，该路由表根据评估值ei更新。

17、根据本发明的有利设计方案，该算力节点集群能看作是一个算力节点。

18、根据本发明的有利设计方案，除根节点之外，从资源受限算力节点发起的计算任务与边算力节点、边缘中心算力节点、中心算力节点协同实现局部最优。

19、根据本发明的有利设计方案，除根节点之外，从某一级中心算力节点发起的计算任务与可路由的中心算力节点、边缘中心算力节点以及其他相关可路由算力节点资源形成协同，实现全局最优。

20、根据本发明的有利设计方案，该某一级中心算力节点是边缘中心或是数据中心。

21、根据本发明的另一方面，提供一种基于约束条件的算力网络集群动态构建系统，包括：

22、注册模块，设置用于注册算力节点i的信息并提取任务需求中的计算任务特征；

23、评估模块，设置用于根据计算任务特征来评估该算力节点i的能力，其中根据计算任务的特征函数得到能力估值vi；

24、节点控制模块，设置用于将作为任务发起节点的算力节点i作为根节点，并基于路由表的可达路由路径及约束条件评估并选择下一个算力节点，其中通过该能力估值vi根据节点能力的评估函数得到分支算力节点的评估值ei；

25、集群模块，设置用于通过逐级对可路由的分支算力节点进行该评估值ei搜索拟合，得到针对该计算任务的最佳算力多级协同的算力节点集群。

26、根据本发明的另一方面，提供一种电子设备，包括：

27、至少一个处理器；

28、存储器，该存储器上存储有至少一个程序，当该至少一个程序被该至少一个处理器执行，使得该至少一个处理器实现上述基于约束条件的算力网络集群动态构建方法。

29、根据本发明的又一方面，提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现上述基于约束条件的算力网络集群动态构建方法。

30、总的来说，本发明是算力网络技术体系下的一种资源协同方法和系统，算力网络是一种根据业务需求，在云、网、边之间按需分配和灵活调度计算资源、存储资源以及网络资源的新型信息基础设施，能够灵活满足不同业务场景的算力需求，也要改变传统的服务范式，按需按量为客户提供计算、应用、数据、调优、咨询、运营、运维等一站式服务。本发明可以实现在现有节点饱负荷下，增加节点协同的能力，提供从云到边到端的全方位协同，实现“边调度边计算”及“边算边返回结果”。

技术特征：

1.一种基于约束条件的算力网络集群动态构建方法，包括：

2.根据权利要求1所述的方法，其特征在于，所述算力节点信息包括节点入口设备信息和节点自身资源信息。

3.根据权利要求2所述的方法，其特征在于，所述节点入口设备信息是指节点管控设备mac，所述节点自身资源信息是指计算资源c、多级存储资源buf和最大带宽资源b。

4.根据权利要求1所述的方法，其特征在于，所述约束条件根据场景模板和服务等级协议约定，所述约束条件包括传输带宽、计算资源和路由表。

5.根据权利要求4所述的方法，其特征在于，多个所述约束条件形成约束规则库，并且所述约束规则库能够根据场景继续添加约束条件，所述约束条件包括计算优先、数据优先。

6.根据权利要求1所述的方法，其特征在于，算力节点i的所述能力包括：计算能力、存储能力、传输能力。

7.根据权利要求6所述的方法，其特征在于，所述计算任务的特征函数为：

8.根据权利要求7所述的方法，其特征在于，在数据优先的场景下，n的值设定为大于p和m。

9.根据权利要求7所述的方法，其特征在于，根据所述计算任务的特征函数评估节点能力的评估函数为：

10.根据权利要求9所述的方法，其特征在于，所述评估值ei是当前根节点的所有分支算力节点对集群贡献度的能力值评估，所述评估值ei是动态的。

11.根据权利要求10所述的方法，其特征在于，基于所述路由表的可达路由路径进行所述分支算力节点的选择，直到搜索到满足计算任务的集群的所有所述分支算力节点，所有所述分支算力节点评估结果将反向传播回当前发起任务的所述根节点，然后更新沿途的所述评估值ei，反向传播保证每个所述分支算力节点的统计信息能够反映该分支算力节点所有后代的评估结果。

12.根据权利要求1所述的方法，其特征在于，所述路由表根据评估值ei更新。

13.根据权利要求1所述的方法，其特征在于，所述算力节点集群能看作是一个算力节点。

14.根据权利要求11所述的方法，其特征在于，除所述根节点之外，从资源受限的任一算力节点发起的计算任务与边算力节点、边缘中心算力节点、中心算力节点协同实现局部最优。

15.根据权利要求11所述的方法，其特征在于，除所述根节点之外，从某一级中心算力节点发起的计算任务与可路由的中心算力节点、边缘中心算力节点以及其他相关可路由算力节点资源形成协同，实现全局最优。

16.根据权利要求15所述的方法，其特征在于，所述某一级中心算力节点是边缘中心或是数据中心。

17.一种基于约束条件的算力网络集群动态构建系统，包括：

18.一种电子设备，包括：

19.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述程序被处理器执行时实现权利要求1-16任意一项所述的方法。

技术总结
本发明提供了一种基于约束条件的算力网络集群动态构建方法，该方法包括：注册算力节点的信息并提取任务需求中的计算任务特征；根据该计算任务特征来评估算力节点的能力，其中根据计算任务的特征函数得到能力估值；将作为任务发起节点的该算力节点作为根节点，并基于路由表的可达路由路径及该约束条件评估并选择下一个算力节点，其中通过该能力估值Vi根据评估节点能力的评估函数得到分支算力节点的评估值；通过逐级对可路由的分支算力节点进行该评估值搜索拟合，得到针对该计算任务的最佳算力多级协同的算力节点集群。本发明还提供了一种基于约束条件的算力网络集群动态构建系统。

技术研发人员：刘洋
受保护的技术使用者：中国联合网络通信集团有限公司
技术研发日：
技术公布日：2024/1/12