本发明涉及资源调度领域,尤其是一种云边协同算力动态分配系统。
背景技术:
1、随着分布式计算和物联网技术的发展,云端与边缘端是一种常见的架构方式。现有常见云边协同的算力使用上普遍存在边缘设备数量众多,但是单个边缘设备的算力有限的情况,在大规模的云边资源调度中面临着资源分配不均衡、算法资源浪费等问题。
2、目前虽然具有多种方法进行资源分配调整,但是效果均不理想,如专利文献为cn202410407649.9一种基于云边协同的数据分配方法及系统中,提出预存数据在云端计算数据延时来预测边缘端执行效率,未考虑到边缘设备的算力可能会因多种因素,如设备状态、任务负载等,而实时变化,缺乏算力的动态变化处理流程;如专利文献为cn202310986681.2一种边云协同调度方法及系统中,提出针对待调度数据的特征参数、紧急程度、计划处理时间、边缘服务器的总算力和最大进程数等指标来评估数据的处理效率,以此保证算力的合理分配。但按照任务量及计划处理时间来分配,未考虑到边缘设备的异构性以及任务的多样性,负载均衡的效果欠佳。
技术实现思路
1、为了解决上述问题,本发明提供一种云边协同算力动态分配系统,灵活、高效、可靠地进行数据分配,优化云边协同调度分配策略。
2、为了实现上述目的,本发明采用的技术方案为:
3、一种云边协同算力动态分配系统,包括任务管理模块、边缘信息管理模块、算力协同模块、计算反馈模块及参数动态优化模块,
4、所述任务管理模块用于云端及边缘端的任务收集;
5、所述边缘信息管理模块用于所述边缘端的边缘设备的信息收集,所述边缘信息管理模块设置有算力检测子模块,所述算力检测子模块通过下发算力测试标准任务,以收集所述边缘设备的计算基础信息及资源使用率;
6、所述算力协同模块用于所述边缘信息管理模块的数据获取,且所述算力协同模块根据所述任务的算力需求及所述边缘设备的剩余可用算力,以通过云边通信模块将所述任务分配至对应的所述边缘端;
7、所述计算反馈模块用于通过云边通信模块获取所述边缘设备的异构性及任务计算类型;
8、所述参数动态优化模块用于所述计算反馈模块的数据获取,所述参数动态优化模块根据所述边缘端的异构性及任务计算类型设置权重系数,且所述算力协同模块通过所述权重系数调整所述边缘设备的任务分配。
9、进一步地,所述任务管理模块根据所述任务的紧急程度,对所述任务进行排队。
10、进一步地,所述计算基础信息包括设备状态、cpu大小、gpu大小、npu大小、存储容量;所述资源使用率包括cpu使用率、gpu使用率、npu使用率;且所述边缘信息管理模块根据所述计算基础信息及资源使用率计算获得cpu_score、gpu_score、npu_sore的基准测试评分。
11、进一步地,所述算力协同模块的任务分配步骤包括:
12、s1.通过所述任务管理模块接收所述任务,以获得所述任务的算力需求;
13、s2.通过所述边缘信息管理模块获取所述边缘设备的剩余可用算力集;
14、s3.获取步骤s1及步骤s2的数据,以根据所述算力需求及剩余可用算力集计算获得算力预计使用比;
15、s4.通过所述算力预计使用比,将所述任务分配至能够支持其运行的所述边缘设备,且选择所述算力预计使用比最小的对应所述边缘设备作为所述任务的分配对象;
16、s5.所述任务被分配至所述边缘设备后更新所述剩余可用算力集。
17、进一步地,在所述步骤s1中,所述任务的算力需求为:{d1,d2,d3,…dm};其中,m为待执行任务数量;
18、所述步骤s2中,所述剩余可用算力集为{f1,f2,f3,…,fn};其中,n为边缘设备的数量;
19、所述步骤s3的所述算力预计使用比为其中mj为任务j的算力预计使用比;dj为任务j所需的算力;fi为边缘设备i的剩余可用算力。
20、进一步地,在所述步骤s4中,则任务j最优的算力预计使用比为:
21、
22、其中,选择最小值mj对应的边缘设备作为所述任务的分配对象;当时,所述边缘端的剩余算力无法负载待执行任务的运行。
23、进一步地,在步骤s5中,所述任务j被分配到边缘设备i后,边缘设备i的剩余算力为fi1=fi-dj;更新获得的剩余可用算力集为{f1,f2,f3,···,fi1,…,fn}。
24、进一步地,所述计算反馈模块所述边缘设备的异构性包括处理器类型、网络情况、存储能力;所述任务计算类型包括计算密集型、io密集型。
25、进一步地,所述参数动态优化模块中边缘设备i的权重系数计算方法为:
26、
27、其中,scorei为边缘设备i的权重系数,且边缘设备i的权重系数根据所述边缘设备实时状态和任务特性进行动态调整;ωcpu为边缘设备i的cpu权重分;cpuscore为边缘设备i的cpu基准测试评分;ωgpu为边缘设备i的gpu权重分;gpuscore为边缘设备i的gpu基准测试评分;ωnpu为边缘设备i的npu权重分;npuscore为边缘设备i的npu基准测试评分;ωnetwork为网络权重分;networkscore为网络基准测试评分;ωstorage为存储权重分;storagescore为储存基准测试评分;
28、根据边缘设备i的权重系数计算获得任务j在边缘设备i上的预计执行效率eij,则有
29、
30、其中,taskdemandj为任务j的计算需求,所述算力协同模块通过贪心算法选择最大的eij,直到所有任务都被分配或没有合适的边缘设备i为止。
31、进一步地,所述算力协同模块还用于预留预设资源,以用于所述边缘设备的状态监控及状态上报。
32、本发明的有益效果是:
33、通过边缘信息管理模块能够基于基础特征收集和算力预分析,从而能够精确评估总算力和局部算力,实现对不同边缘设备异构性的深入理解,从而进行更精细化的资源管理。由于不同在实际的云边资源调度场景下,更多是边缘设备较多但是单个边缘设备算力有限的情况,本发明利用任务管理模块先优先分配高优先级的任务,然后通过算力协同模块根据任务所需的算力及边缘端的剩余算力,将任务分配至剩余算力较高的边缘端,实现了高适配度的任务分配。参数动态优化模块通过引入权重,考虑了不同处理器对算法任务的执行效率,集合网络、存储的影响,使得任务分配更加符合实际的硬件性能,提升了任务执行的效率;同时参数动态优化模块通过算力分配流程的动态评估和二次评估机制,使得本发明能够适应实时变化的资源状态和连续的任务需求,具有更好的灵活性和适应性。
1.一种云边协同算力动态分配系统,其特征在于,包括任务管理模块(1)、边缘信息管理模块(2)、算力协同模块(3)、计算反馈模块(4)及参数动态优化模块(5),
2.根据权利要求1所述的一种云边协同算力动态分配系统,其特征在于:所述任务管理模块(1)根据所述任务的紧急程度,对所述任务进行排队。
3.根据权利要求1所述的一种云边协同算力动态分配系统,其特征在于:所述计算基础信息包括设备状态、cpu大小、gpu大小、npu大小、存储容量;所述资源使用率包括cpu使用率、gpu使用率、npu使用率;且所述边缘信息管理模块(2)根据所述计算基础信息及资源使用率计算获得cpu_score、gpu_score、npu_sore的基准测试评分。
4.根据权利要求3所述的一种云边协同算力动态分配系统,其特征在于:所述算力协同模块(3)的任务分配步骤包括:
5.根据权利要求4所述的一种云边协同算力动态分配系统,其特征在于:在所述步骤s1中,所述任务的算力需求为:{d1,d2,d3,…dm};其中,m为待执行任务数量;
6.根据权利要求5所述的一种云边协同算力动态分配系统,其特征在于:在所述步骤s4中,则任务j最优的算力预计使用比为:
7.根据权利要求5所述的一种云边协同算力动态分配系统,其特征在于:在步骤s5中,所述任务j被分配到边缘设备i后,边缘设备i的剩余算力为fi1=fi-dj;更新获得的剩余可用算力集为{f1,f2,f3,···,fi1,…,fn}。
8.根据权利要求3所述的一种云边协同算力动态分配系统,其特征在于:所述计算反馈模块(4)所述边缘设备的异构性包括处理器类型、网络情况、存储能力;所述任务计算类型包括计算密集型、io密集型。
9.根据权利要求8所述的一种云边协同算力动态分配系统,其特征在于:所述参数动态优化模块(5)中边缘设备i的权重系数计算方法为:
10.根据权利要求1所述的一种云边协同算力动态分配系统,其特征在于:所述算力协同模块(3)还用于预留预设资源,以用于所述边缘设备的状态监控及状态上报。