一种基于强化学习的网络流量灰色预测方法

本发明属于信息工程领域，特别涉及一种基于强化学习的网络流量灰色预测方法。

背景技术：

1、5g技术的突破使得网络规模呈爆发式增长，其中最为显著的特征就是终端接入数量呈现出“绿色&泛在”趋势。上述变化使得路由器等网络流量汇聚节点处的流量特征复杂多维、瞬时涌现，导致网络拥塞概率增大、队列丢包现象加剧，影响用户个性化业务的qos需求。若流量汇聚节点能够根据网络流量预测结果动态调整缓存和队列管理策略，将有助于降低业务传输时延、提高网络的吞吐量。因此如何提升网络流量汇聚节点对流量趋势变化的预测能力，对于指导网络资源的分配与网络性能优化具有重要意义。

2、网络流量预测的原理是以历史流量数据为基础，通过构建合理的预测模型对网络流量在未来一段时间内的演变规律进行估计和推测。在目前研究中，预测方法可分为基于统计模型的预测方法、基于机器学习的预测方法、以及基于灰色理论的预测方法等。

3、（1）基于统计模型的预测方法

4、基于统计模型的网络流量预测方法已经广泛应用于网络流量预测，其原理是提取网络流量序列的线性和非线性特征，然后利用多项式函数对流量序列进行拟合，并通过调整多项式函数的相关参数实现预测效果的优化，该方法主要包括基于线性统计模型的预测方法和基于非线性统计模型的预测方法。

5、线性预测模型主要包括arma、arima、farima等。此类线性统计模型具有计算简单的优势，但是它们无法表现网络流量的非线性特征，例如非对称周期、时变方差、矩阵结构等，因此网络流量预测精度并不理想。为此，学者们又提出非线性的统计模型以学习网络流量的非线性特征。例如garch(generalized autoregressive conditionalheteroskedast,广义自回归条件异方差 )模型、mp(markov process，马尔可夫过程)模型、ft(fourier transform, 傅里叶变换)模型等。

6、上述基于统计模型的网络流量预测方法计算简单，能够部分提取网络流量的线性和非线性特征。但是，业务类型的多样化和网络规模的扩大化导致网络流量的突发性和非线性等特征愈发凸显。因此，以统计模型为主要手段的线性和非线性预测方法已难以满足真实网络流量预测在准确性等方面的性能要求。

7、（2）基于机器学习的预测方法

8、随着大数据分析、人工智能等技术的发展，利用机器学习来提高流量预测精度的手段愈发成熟，衍生出svm（support vector machine，支持向量机）模型相关的网络流量预测方法和神经网络相关的流量预测方法。

9、svm是以统计思想为基础的机器学习方法，该方法是corinna cortes和vapnik于1995年针对二分类问题提出来的，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，其核心思想是利用核函数将一个低维不可分问题转化为高维可分问题。虽然svm在网络流量预测领域中取得了良好的预测表现，但此类模型并不适合大规模的数据处理，并且预测性能太过依赖于核函数的选取。

10、神经网络是机器学习中非常重要的方法，是由大量神经元互联而成的复杂网络。神经网络的结构一般包括输入层、隐藏层和输出层。原始数据输入至输入层并向后传递，经过隐藏层处理，被传递给输出层输出。因为神经网络特殊的结构设计，诸多学者将rnn(recurrent neural network，循环神经网络)、lstm(long short-term memory，长短期记忆网络)和gru(gated recurrent neural，门控循环单元)等模型广泛应用于网络流量预测。

11、上述基于机器学习的网络流量预测方法的非线性拟合能力强、可拓展性好，能够有效提取网络流量的线性和非线性特征。但是，基于svm的预测方法太过依赖于核函数及参数的选取，基于神经网络的预测方法太过依赖大量样本数据的训练，并且可解释性不强。因此，上述基于机器学习的预测模型在复杂网络流量预测的准确性方面显得力不从心。

12、（3）基于灰色理论的预测方法

13、较于基于统计模型、机器学习模型等预测方法，灰色预测模型具有结构简单、建模样本少、预测效率高和可操作性强等优点，在解决“小样本、贫信息”的不确定系统预测方面具有显著优势。其中，经典gm(1,1)模型是灰色系统理论中最重要的预测模型之一，已经被广泛应用于解决经济、管理、工程等多个领域的预测问题。当前基于gm(1,1)的预测方法主要包括单一灰色预测方法和组合灰色预测方法。

14、虽然经典gm(1,1)模型具有较好的预测性能，但是在实际应用中由于系统的冲击扰动而导致模型产生预测失真现象。在预测科学领域，由系统冲击扰动而导致的预测失真现象较为普遍，即收集到的系统行为数据有时由于系统本身受到某种冲击波的干扰而失真。因此单一灰色预测方法主要是围绕如何平滑系统冲击扰动从而提高模型预测精度。为此，刘思峰提出了缓冲算子的概念，以平滑系统的冲击扰动，取得了良好的效果。在此基础上，不少学者围绕缓冲算子的设计展开了丰富的研究，并且均取得了很好的成果。

15、考虑到单一模型的预测局限性，不少学者将gm(1,1)模型与其他模型的优点结合形成优化的组合模型以提高预测精度。ye等人结合背景值优化和中心点混合三角白化权函数对灰色马尔科夫链模型进行了改进，提高了经典模型的预测精度（参见：j. ye, y.dang, b. li. greymarkov prediction model based on background valueoptimization and centralpoint triangular whitenization weight function[j].communications in nonlinearscience and numerical simulation, 2018, 54:320330.）。

16、xu等人将arma模型与gm模型组合对我国广东省的能源消耗进行了预测，取得了较好的预测效果（参见：w. xu, r. gu,y. liu, et al. forecasting energy consumptionusing a new gm–arma model based on hp filter: the case of guangdong provinceof china[j]. economic modelling, 2015, 45:127135.）。

17、yuan等人利用gm模型、arima模型及其组合模型预测了我国一次能源消耗量，arima和gm的组合模型具有更好的预测精度（参见：c. yuan, s. liu, z. fang.comparison of china’s primary energy consumption forecasting by using arimamodel and gm(1,1) model[j]. energy, 2016, 100:384390.）。

18、邓森等人利用灰色模型和时间序列自回归模型构造了灰色时序组合模型对产品的退化轨迹进行建模并实时预测个体寿命（参见：邓森,景博,周宏亮.基于灰色时序组合模型的产品实时寿命预测方法[j].系统工程与电子技术,2014,36(4):802808.）。

19、wang等人基于gm(1,1)模型与时间序列季节波动相结合提出了sfgm(1,1)模型（参见：j. wang, x. ma, j. wu, et al. optimization models based on gm(1,1) andseasonal fluctuation for electricity demand forecasting[j]. internationaljournal of electrical power and energy systems, 2012, 43(1):109117.），极大地提高了模型的预测能力。

20、chen等人将灰色预测模型与神经网络相结合提出了灰色神经网络模型，利用粒子群算法对模型进行了优化，并应用于燃料电池的降解预测（参见：k. chen, s.laghrouche, a. djerdir. degradation prediction of proton exchange membranefuel cell based on grey neural network model and particle swarm optimization[j]. energy conversion and management, 2019, 195:810818.）。

21、但是上述灰色预测方法中，存在灰色模型与统计模型、神经网络模型相结合预测精度不够高的技术问题，需要进一步解决。

技术实现思路

1、本发明所要解决的技术问题在于：针对现有技术在组合灰色预测方法中，将灰色模型与统计模型、神经网络模型相结合预测精度不够高的问题，提供了一种基于强化学习的网络流量灰色预测方法，将强化学习的决策能力与灰色模型的小样本、定量预测优势相结合，进一步提高对复杂网络流量的预测精度。

2、为解决以上技术问题，本发明提供如下技术方案：一种基于强化学习的网络流量灰色预测方法，包括如下步骤：

3、s1、针对网络流量数据集进行截取，获得待预测流量序列样本；

4、s2、构建并训练基于gm(1,1)的强化学习模型，具体为：

5、s201、对待预测流量序列样本进行gm(1,1)预测，将gm(1,1)预测作为强化学习的环境；

6、s202、基于滑动窗口内的样本流量以及当前滑动窗口下的流量预测误差定义强化学习的环境状态；

7、s203、根据gm(1,1)预测结果的三种情况定义强化学习的动作空间，所述三种情况为预测值大于真实值，预测值近似等于真实值，预测值小与真实值；

8、s204、将流量预测精度作为强化学习的奖励函数；

9、s205、采用策略确定奖励函数最大化的动作；

10、s206、基于每一个时间步长，智能体获得当前环境状态，并根据策略函数生成动作，

11、环境在执行动作后，将当前环境状态更新，同时将动作的奖励值反馈给智能体，智能体根据更新的环境状态和奖励值生成下一个动作，迭代执行直到达到预设迭代次数，获得基于gm(1,1)的强化学习模型；

12、s3、将待预测流量序列输入至基于gm(1,1)的强化学习模型，获得预测网络流量预测结果。

13、进一步地，前述的步骤s1具体为：对流量数据集进行截取，截取中预设数量 m的样本进行网络流量预测，获得待预测样本序列。

14、进一步地，前述的步骤s201中，采用滑动窗口一步预测的方法对待预测样本序列进行gm(1,1)预测，具体包括以下子步骤：

15、s201-1、基于滑动窗口内初始样本流量，对实施gm(1,1)流量预测，其中 w为滑动窗口的长度；

16、采用缓冲算子对流量序列进行预处理，得到初始化流量序列。即

17、,

18、其中，为缓冲算子，为常数，用于调节的缓冲作用强度；

19、s201-2、计算的一次累加生成序列，如下式：

20、,

21、其中，

22、；

23、s201-3、根据步骤201-2计算的紧邻均值生成序列，如下式：

24、；

25、其中，

26、；

27、s201-4、根据步骤s201-2以及步骤s201-3建构和的灰色微分方程，如下式：

28、；

29、其中，为灰色发展系数，为灰色作用量；

30、s201-5、根据步骤s201-4构建灰色微分方程的参数向量，并利用最小二乘法对其进行求解：

31、,

32、其中，

33、,

34、s201-6，根据步骤s201-5，求解得到的和，计算灰色微分方程的时间响应函数，如下式：

35、,

36、s201-7、根据步骤s201-6，求解得到的，计算得到预测结果，如下式：

37、。

38、进一步地，前述的步骤s202具体为：基于滑动窗口内的样本流量以及当前滑动窗口下的流量预测误差：

39、，

40、定义强化学习的状态空间，即。

41、进一步地，前述的步骤s203具体为：

42、定义动作空间，

43、当预测值大于真实值时：，对应的动作为：；

44、当预测值与真实值近似相等：，对应的动作为；

45、当预测值小于真实值：，对应的动作为，

46、其中 s为预设值 ，。

47、进一步地，前述的步骤s204具体为：将流量预测精度作为强化学习的奖励函数，即，用于保证强化学习的奖励函数的奖励值最大化。

48、进一步地，前述的步骤s205具体为：采用策略确定奖励函数最大化的动作，策略的决策方式为：

49、，

50、其中表示针对当前状态下做出的动作调整策略；当时，选择预期价值最大的动作；当时，随机选择一个参数调整动作，是学习率。

51、进一步地，前述的步骤s206中，在训练基于gm(1,1)的强化学习模型时，将四元组数据作为经验保存在表中，智能体通过不断迭代更新的动作价值函数公式如下：

52、，

53、其中，是在给定状态下执行动作的奖励值；是学习率，决定新获得的信息相对于先前可获得信息的权重；是奖励递减值，决定了未来奖励的重要性；是在网络状态的情况下智能体做出动作的值的估计值；表示未更新时到达下一状态获得最大值的估计值，表示td误差，其含义为计算的目标网络值与主网络值之间的差值。

54、进一步地，前述的步骤s1中 ,截取中预设数量 m为200。

55、进一步地，前述的步骤s205中，策略的，学习率。

56、进一步地，前述的步骤s206中，奖励递减值。

57、相较于现有技术，本发明采用以上技术方案的有益技术效果如下：

58、在公开数据集的验证中，本发明方法的流量预测决定系数，较于传统gm(1,1)模型预测提升了17.4%。，较于svm和bp分别提升了1.66%和17.7%。上述结果表明，本发明提出的基于强化学习的网络流量灰色预测方法，能够提高对复杂网络流量的预测精度。