一种边缘云设备负载波形预测方法及系统与流程

本发明涉及边缘云设备的，尤其涉及一种边缘云设备负载波形预测方法及系统，基于信息池和transformer对边缘云设备的负载波形进行预测。

背景技术：

1、随着万物互联时代到来以及5g通信网络普及，互联网数据规模呈现指数级增长。在此背景下，传统的云计算的中心化架构已经无法满足终端用户对于时效、容量、算力的需求。边缘云的超低时延、海量数据、边缘智能等特性是促使更多的企业选择边缘云技术方案的原因，也使得边缘云计算在市场中成为构筑在中心云与终端之间的重要组成。

2、2020年中国边缘云的市场规模为23.4亿，同样边缘云计算作为新兴领域尚处在发展的萌芽期，预计到2030年中国边缘云计算市场规模将突破1000亿级别。

3、在大规模边缘云平台下进行有效的资源供应和应用部署是一项具有挑战性的任务，需要混合各种技术(例如，软件定义网络、容器化和负载均衡)来实现对应用程序的感知和控制。而理解和预测不同动态边缘云平台下设备工作的负载变化是解决资源规划和容量供应问题的重要前提。

4、由于边缘云平台的设备异构和多租户特性，以及频繁发生的应用切换和新实体加入等应用行为，使得负载预测面临多模式、分布偏移和冷启动等挑战。

5、现有的面向云/边缘云平台负载预测的工作主要可分为以下两类：

6、(1)基于聚类和维护多模型的方法，具备以下缺点：

7、难以实现长期的可用性。现有的基于聚类的方法多利用传统的聚类模型例如基于距离或密度的聚类模型。

8、过高的维护成本。基于聚类的方法需要较多的预测前准备或模型建立维护工作，没有设计统一的预测模型。他们仍然需要训练和维护多个预测器来使用，这增加了成本。

9、(2)混合端到端整体深度学习模型，具体以下缺点：

10、较差的灵活性。在真正的边缘云平台中，工作负载随着应用程序切换和新的应用程序/基础设施接入等动态行为而变化。这些行为会导致多模式、概念漂移和冷启动等问题。针对理想化问题的模型效率和精度进行优化的工作无法提供统一的解决方案，导致不可预测的故障，这在真实的业务服务平台中是不可接受的。

技术实现思路

1、针对上述问题，本发明的目的在于提供一种边缘云设备负载波形预测方法及系统，实现对应用程序负载变化的精确感知和预测，通过主动预测这些性能指标，可以主动而有效地执行边缘云上的应用程序部署和补救任务。

2、本发明的上述发明目的是通过以下技术方案得以实现的：

3、一种边缘云设备负载波形预测方法，包括以下步骤：

4、s1：搭建负载波形预测模型中输入的信息池；

5、s2：以包括编码器输入、解码器输入和所述信息池输入作为所述负载波形预测模型的输入，预测的工作负载作为在所述负载波形预测模型结束时的输出，搭建端到端框架的所述负载波形预测模型；

6、s3：对所述负载波形预测模型进行端到端训练。

7、进一步地，在步骤s1中，搭建所述负载波形预测模型中输入的所述信息池，具体为：

8、s11：使用stl算法将全部的历史工作负载序列划分为更细粒度的组件，获取负载序列中的季节周期部分；

9、s12：采用vade聚类，对工作负载中的所述季节周期部分进行聚类；

10、s13：构建所述信息池，选择最佳聚类数在所述vade聚类输出每个工作序列的类别之后，对每个类别中的所有的工作序列进行平均汇集，压缩成一个代表序列，再将所有类别的所述代表序列集中到全局汇集中。

11、进一步地，在步骤s11中，使用所述stl算法将全部的历史工作负载序列划分为更细粒度的组件，具体为：

12、给定工作负载的周期性，分解过程表示为：

13、xs,xt,xr←stl(x)

14、其中，x为原始的负载序列，xs,xt,xr分别为分解出的所述季节周期部分、趋势部分以及剩余部分，去除所述趋势部分和所述剩余部分，保留工作负载的所述季节周期部分。

15、进一步地，在步骤s12中，采用所述vade聚类，对工作负载中的所述季节周期部分进行聚类，所述vade聚类为由编码器、解码器和高斯混合模型gmm组成的聚类模型，具体计算为：

16、

17、c＝gmm(zt)

18、

19、其中，所述编码器和所述解码器是由若干不同的全连接层组成的块，为从时间t开始的负载序列周期部分，zt为采用所述编码器编码后形成的工作负载序列的编码向量，c为采用所述高斯混合模型gmm进行聚类的聚类结果，为采用所述解码器解码后的从时间t开始的负载序列周期部分；

20、所述高斯混合模型gmm假设一个高斯混合产生由潜变量c决定的zt，并且推断出c的概率。

21、进一步地，在步骤s13中，构建所述信息池，选择所述最佳聚类数在所述vade聚类输出每个工作序列的类别之后，对每个类别中的所有的工作序列进行平均汇集，压缩成一个所述代表序列，再将所有类别的所述代表序列集中到所述全局汇集中，具体为：

22、

23、其中，为所述最佳聚类数，ci为每个类别的工作序列，p为类别的数量，meanpooling为对所有的进行求和平均。

24、进一步地，在步骤s2中，以包括编码器输入、解码器输入和所述信息池输入作为所述负载波形预测模型的输入，预测的工作负载作为在所述负载波形预测模型结束时的输出，搭建端到端框架的所述负载波形预测模型，具体为：

25、s21：构建输入层和位置编码层，所述输入层和所述位置编码层遵循transformer架构,其中，所述输入层用于通过全连接网络将过去的工作负荷序列映射位维度为d的向量，正弦和余弦函数的位置编码被用来编码连续的负载输入；

26、s22：构建所述信息池的编码模块，利用步骤s1中搭建的所述信息池和输入的局部负载信息，同时捕获全局的应用模式和局部的历史依赖信息；

27、s23：构建所述信息池的解码模块，用于未来工作负载序列的生成。

28、进一步地，在步骤s21中，所述输入层和所述位置编码层的操作可形式化为：

29、

30、pepos,2i＝sin(pos/100002i)

31、pepos,2i+1＝cos(pos/100002i)

32、其中，为输入的历史负载矩阵，pe为位置编码矩阵，为所述输入层和所述位置编码层的输出，pepos,2i代表位置为pos，维度为2i处的位置编码值。

33、进一步地，在步骤s22中，构建所述信息池的编码模块，利用步骤s1中搭建的所述信息池和输入的局部负载信息，同时捕获全局的应用模式和局部的历史依赖信息，具体为：

34、所述信息池的编码模块包括encoder编码层和gp layer信息合并层，整体计算流程可形式化为：

35、

36、

37、其中，encoder表示常规编码层的计算，表示第i-1个所述信息池的编码模块的输入，当i＝1，为步骤s13所搭建的所述信息池，为所输出的所述信息池的权重矩阵；

38、encoder负责通过信息编码，捕获历史负载数据的时间依赖特征，其计算流程如下：

39、

40、

41、其中，为输入与本层多头注意力操作msa和layer normal层归一化操作之后的结果残差连接所得，所述layer normal层为层级的正态标准化操作，表示基于正态分布的标准化，即将数据减去总体的均值再除于整体的标准差：x＝(x-μx)/σx；为在mlp和layer normal操作之后残差连接得到，mlp等同于一般的线性神经网络层linear；

42、所述多头注意力操作msa，具体为：

43、由于transformer采用的是自注意力机制，在encoder输入中，q，k，v为

44、msa(q,k,v)＝concat(head1,…,headh)wo

45、

46、j＝1,2,…,h

47、其中concat代表数据的拼接操作，即将head1,…,headh堆叠在一起，wo为学习的线性参数，attention即为标准的自注意力计算机制，h为注意力头的数量，本专利中h＝8；

48、gp layer信息合并层以编码器层的输出和所述信息池作为输入，为局部的工作负载预测融入全局的应用模式信息，第i个gp layer层可以形式化如下：

49、

50、

51、

52、其中，代表最后数据维度的这部分数据将被gplayer利用产生信息融合权重并合并全局模式信息，flatten操作用于最后两个维度的数据，softmax表示第一维的softmax，即为每个序列样本计算权重，

53、[:,_,:]代表数据的升维，linear1和linear2为两个不同的mlp线性层。

54、进一步地，在步骤s23中，构建所述信息池的所述解码模块，用于未来工作负载序列的生成，具体为：

55、

56、

57、其中，所述解码模块的解码层通过学习信息池编码模块所编码的历史时间依赖特征和新输入的用于指导未来结果生成的输入生成对未来负载序列的预测，其计算流程如下：

58、

59、

60、

61、其中为第i层的输入，当i＝0时，与步骤s21中所说明的多头自注意力机制一致，为交叉注意力机制，即注意力计算过程中的

62、其中通过同步填充机制得到，其由从截取的末尾部分与预测生成补齐得到，即

63、

64、其中，ltoken为截取的末尾长度，为形状类似于的信息补齐矩阵，其长度等于预测长度，补齐的目的是让模型为给予数据需要预测的位置，以通过注意力机制捕获历史的信息，同时再次利用捕获的全局应用信息。

65、一种采用如上述的边缘云设备负载波形预测方法的边缘云设备负载波形预测系统，其特征在于，包括：

66、信息池搭建单元，用于搭建负载波形预测模型中输入的信息池；

67、预测模型搭建单元，用于以包括编码器输入、解码器输入和所述信息池输入作为所述负载波形预测模型的输入，预测的工作负载作为在所述负载波形预测模型结束时的输出，搭建端到端框架的所述负载波形预测模型；

68、预测模型训练单元，用于对所述负载波形预测模型进行端到端训练。

69、与现有技术相比，本发明包括以下至少一种有益效果是：

70、(1)本专利设计了一种基于transformer的统一端到端模型，相较于基于聚类与多模型的方法，本方法不需要同时维护较多的模型，有效降低了模型的训练和维护成本。

71、(2)本专利所提出的信息池方法，使得负载预测模型能感知边缘云环境下的动态行为并自适应地调整模型内部参数，以解决多变的负载模式，应用切换导致的数据分布变化和冷启动等问题。

72、(3)本专利所设计的模型是基于深度学习的端到端模型，其支持灵活的模型更新，适用于边缘云平台长期使用。

73、(4)本方法不仅能应用到边缘云场景下的负载预测，而且能复用到中心云、idc、cdn、终端设备等多个场景进行多种负载指标的预测。