一种用于多类型电网设备量测数据的动态资源调度方法与流程

本发明涉及一种用于多类型电网设备量测数据的动态资源调度方法，属于计算系统应用和资源调度。

背景技术：

1、为进一步落实《构建以新能源为主体的新型电力系统行动方案》相关要求，深入研究企业级实时量测中心数据汇聚于动态交互技术，已成为未来技术主攻方。随着量测技术不断发展，电网系统中除大量的传统传感设施外，还引入了多种智能化的监控方式，产生多类型的实时量测数据。由于其终端广泛部署、节点网络复杂，需要引入云边协同技术，充分利用网络边缘多余的计算、存储和服务能力，结合云端强大的集中数据处理与分析能力，来解决量测数据处理问题。对于不同类型的数据，需要的预处理工序不同，消耗的资源也不同。如对于传统传感数据的处理，可能需要使用图方法等进行大量计算，主要消耗cpu资源；但对于视频数据，可能需要对其中的物体进行检测或进行图像处理，更消耗gpu资源。因此，需要在每个边缘节点部署不同的模型进行，对传感数据或视频数据进行预处理分析。此外，由于以风能为代表的环境友好型新能源具有随机性、间歇性、不稳定等特点，其量测数据的分析需求同样具有不稳定性，还需要动态地进行模型部署，并对各异构边缘及云端的资源进行合理分配，以实现各计算节点负载平滑，避免作业堆积。

技术实现思路

1、本发明的目的在于提供一种用于多类型电网设备量测数据的动态资源调度方法，以实现在复杂网络结构下，可应对大量多类型实时数据，满足通信和计算需求的负载均衡的问题。

2、一种用于多类型电网设备量测数据的动态资源调度方法，所述方法包括：

3、基于各边缘电网设备资源限制的条件下，通过队列长度调控实现负载均衡，实现边缘节点和云数据中心之间的任务协同；

4、在边缘节点进行在线动态模型部署和资源分配，利用primal-dual框架设计在线算法求解每个时刻的资源配置和模型部署进行动态决策。

5、进一步地，所述通过队列长度调控实现负载均衡的方法包括：

6、对每个边缘节点配设与其相连的传感设施，每个边缘节点之间通过有线网络相互连接，并通过ip骨干网共同连接到云端数据中心；

7、在云端数据中心的云端模型仓库存储m个预训练完毕的计算模型，对于每个模型m，定义它在t时刻的精度损失为am,t，其资源需求为dm，其大小为sm，用pm表示模型m的处理能力；

8、每个边缘节点根据先到先服务的原则设置任务队列，每个任务到达后先加入队列末端等待处理。

9、进一步地，所述队列长度为：

10、

11、在任意t时刻，用zn,m,t表示模型m当前是否部署在边缘节点n上；pm表示模型m的处理能力，用qn,t表示t时刻边缘节点n上的队列长度，xn,m,t表示模型m在边缘n上应当部署的实例数；yn,n′,t表示应当从边缘节点n转移到n′的任务数，qn,t+1表示t+1时刻边缘节点n上的队列长度，yn′,n,t表示在任意t时刻，表示从边缘节点n′转移到n的任务数；因此目标为所有时刻的累积精度损失最小min∑t∑n∑mam,txn,m,t；

12、当时间结束时，任意设备上的队列长度为0，满足qn,t+1＝0；由于边缘节点的带宽和网络传输能力有限，用bn,t表示边缘节点n在t时刻的迁移能力上限，任意时刻任意节点的任务迁移满足：

13、

14、受到边缘节点的有限资源限制，部署在边缘节点上的模型实例数量必须在节点的承受能力范围内，在任意t-1时刻，用zn,m,t-1表示模型m是否部署在边缘节点n上用cn,t表示边缘节点n在t时刻的模型实例数量部署上限

15、进一步地，所述模型部署包括：从云上下载新的模型和释放已经部署的模型实例。

16、进一步地，所述primal-dual框架的定义包括：

17、定义由边缘节点组成的异构设备集的计算能力构成矩阵a：

18、线性规划问题p：

19、min ctx

20、s.t.

21、ax≥b

22、x≥0

23、其对偶问题d：

24、max btx

25、s.t.

26、aty≤c

27、y≥0

28、其中，a是m×n的矩阵，b和c都大于0；

29、假设x和y分别是问题p、d的可行解，判断x和y是否为最优解，需要同时考虑两种互补松弛条件：

30、第一种：原始互补松弛条件：

31、

32、

33、其中，aj表示系数矩阵的第j列；

34、条件(1)表示，当原问题的可行解xj＞0时，对应的对偶问题的约束为紧约束；

35、条件(2)表示，当对偶问题的某个约束为松约束时，对应的原问题的可行解xj＝0；

36、第二种：对偶互补松弛条件：

37、

38、

39、其中，ai表示系数矩阵的第i行；

40、当条件(1)-(4)同时满足的时候，x和y为最优解。

41、进一步地，所述最优解包括：

42、首先找到能够满足对偶问题的松约束和紧约束的下标集合：

43、j＝{j|yaj＝cj}；i＝{i|yi＝0}

44、将互补松弛性的达成视为目标，寻找可行解转化为使得原始约束和互补松弛条件的违背最小。

45、进一步地，所述最优解还包括：

46、

47、s.t.aix≥bi i∈i

48、

49、x≥0

50、s≥0

51、求解特征为：当该限定原问题的目标值为0的时候，即得原问题的最优解；

52、而当该限定原问题的目标值不为0时，当前解为可行解，需要更换下标集合，修改可行解，再次进行求解判断，循环往复，直到得到原问题的最优解，或者推导出原问题无可行解。

53、进一步地，所述最优解还考虑限定原始问题的对偶问题用于构造下一个对偶问题的可行解：

54、

55、ajw≤0j∈j

56、

57、wi≥-1i∈i

58、

59、定义公式(6)的最优解为w0，利用对偶问题d的可行解y0构造一个新的对偶可行解y＝y0+θw0，其中θ＞0；

60、当j∈j时：

61、此时w0aj≤0，则有：

62、yaj-cj＝(y0+θw0)aj-cj

63、＝y0aj-cj+θw0aj≤0

64、满足d约束；

65、当时：

66、此时，根据集合j的定义，有y0aj-cj＜0，也就是说，只需选取适当的θ，便能够证明y0aj-cj+θw0aj≤0，从而证明y是可行解；

67、对于w0aj的符号：

68、①果w0aj≤0，则y0aj-cj+θw0aj＜0成立；

69、②如果w0aj＞0，要使得y0aj-cj+θw0aj＜0成立，则需成立，则令：

70、

71、将θ带入式子y0aj-cj+θw0aj,得到：

72、

73、因此，通过求解此时的θ值构造出新的对偶可行解，修改集合i和j，再解公式(5)直至找到最优解。

74、与现有技术相比，本发明所达到的有益效果：本发明面对多类型电网异构设备采集到的传感，遥测和视频数据，联合云边协同技术，采用在线模型算法将不同类型数据需要占用的资源进行调度，从而保证设备间时空负载平滑。本发明在满足各边缘设备资源限制的条件下，通过队列长度调控实现负载均衡，实现边缘节点和云之间的任务协同；并在边缘节点进行在线动态模型部署和资源分配，使得总精度损失最低；通过在线优化理论，利用primal-dual框架设计在线算法对优化问题进行求解，以对每个时刻的资源配置和模型部署进行动态决策。