网络流量预测方法、计算机装置、产品及存储介质

1.本发明涉及网络流量预测领域，特别是一种网络流量预测方法、计算机装置、产品及存储介质。


背景技术：

2.近年来，科学技术迅速发展，互联网正在渗透人们生活，工作和娱乐的方方面面，给人们生活带来了极大的便利和欢乐。然而快速增长的用户需求和网络规模给当前网络基础架构以及网络安全带来了许多挑战。网络流量是网络运行的重要指标之一，反映了网络运行的整体健康程度。如果能够提前准确预测网络流量，网络运营商可以合理分配资源，做好拥塞控制，提高网络运行效率。同时还能及时发现潜在的网络威胁和异常，并提供细致化的运维指导，因此对保障网络安全也具有重要意义。
3.网络流量预测可以看作是一个典型的时空预测问题，而解决这个问题的关键是如何有效地提取复杂的时空特征。如图1显示了网络流量序列在空间维度上的特征，线条越粗，表示两点之间的空间相关性越强。可以发现不同的位置对节点a的影响是不同的，甚至同一个位置随着时间的推移对节点a的影响也是动态变化的。图2显示了时间维度上的特征，两条折线分别表示结点a和结点b的流量变化趋势，实线箭头表示结点未来时间片与历史时间片之间的时间相关性，虚线箭头表示节点a与节点b之间的时空混合特征。可以明显发现，在不同的时间步长上，这些混合特征也是不同的。因此，网络流量数据具有复杂的时间依赖性。
4.目前关于网络流量预测的研究，主要包括传统的基于统计的回归模型和基于机器学习的预测方法。其中前者假设数据是线性相关的，并采用线性模型对数据进行拟合；后者具有很强的学习能力，能够充分地挖掘数据中的重要特征。
5.基于统计的回归方法中的一类就是历史平均法(ha)
1.，历史一段时期的网络流量平均值被用作预测值，这种方法简单快速，但是不考虑数据的任何特征，预测精度低。此外，自回归移动平均(arma)
2.以及为了提高预测精度而衍生出来的相关方法是使用最广的统计预测方法。
6.基于机器学习的预测方法分为经典机器学习算法和基于深度学习的算法。经典机器学习算法如支持向量机
3.,k最近邻算法
4.,贝叶斯模型
5.等等都是在流量预测领域的应用，并且这些算法的性能都比上述基于统计的方法有所提高，但这依赖于特征工程所提取特征的准确度。
7.基于深度学习的算法能够直接地很好地捕捉流量数据的复杂特征并取得了最佳效果。最开始，简单的深度学习模型被用于流量预测问题，尤其是深度置信网络
6.，循环神经网络
7.以及它的变体lstm和gru等等。但这些简单的深度学习模型往往只考虑了流量数据在时间维度上的特征。
8.随着网络流量模式越发复杂，为了满足实际网络流量预测的需求，更多的混合模型和改进模型被提出，他们同时考虑流量数据的时间特征和空间特征。研究[8]中提出了卷
积神经网络和lstm的混合模型，使用卷积神经网络来捕捉变量之间的局部相关性，使用lstm来保持长期的时间相关性。文献[9]提出了diffusion convolution和gru组成的dcrnn模型，该模型使用双向随机行走来对图数据上的空间依赖进行建模，使用encoder-decoder架构来对时间依赖进行建模。文献[10]将扩张因果卷积与图卷积融合，进而每个图卷积层能够处理在不同细粒度下，由扩张因果卷积提取的每个节点信息的空间依赖关系。虽然目前这些混合模型的预测性能有很大的提升，但这些研究仍然存在不能充分利用网络流量数据之间潜在依赖关系的问题。
[0009]
扩张卷积是一种全卷积结构，最早由f.yu提出
[11]
。与普通卷积相比，它引入了超参数扩张率d，即在标准卷积核中注入空洞。它的感受野与网络深度、核大小、步幅以及扩张率呈正相关，因此超参数扩张率可以控制感受野的增长速度。比图3表示一维的情况，其中d是扩张率，呈2的指数幂增加，此时，感受野也以2的幂增加。即在图中，第一隐藏层节点的感受野是输入层的2个单元，在第二隐藏层、第三隐藏层和输出层对应增加到4、8、16。因此，在不池化信息损失和相同的计算条件下，感受野被扩大，即每次卷积包含更大规模的信息。近年来，扩张卷积被广泛应用于语义分割、目标检测和时间序列预测等任务。在本发明中，本发明使用由门控机制连接的扩张卷积来学习网络流量序列的时间相关性，可以容易且快速地捕获长相关性。
[0010]
图卷积神经网络是卷积神经网络对图数据的自然提升，最早由brun在图信号处理的基础上提出
[12]
。它可以同时进行节点特征信息和结构信息的端到端学习。近年来，由于图形卷积神经网络在处理实体间的空间相关性方面取得了巨大的成功，它已被广泛应用于自然语言处理，计算机视觉，它也是本发明交通预测任务的最佳选择。然而，缺乏合适的图结构构造技术，限制了图卷积网络的发展。
[0011]
综上，现有研究存在如下不足：
[0012]
(1)网络流量数据具有多范围的时空特征。一段时间的网络流量不仅与最近的时段的历史数据有关，还与最近几天和最近几周相应时段的历史数据有关。在没有同时学习多范围时空特征的情况下，目前的方法预测精度仍然不高。
[0013]
(2)现有的研究主要使用递归神经网络(rnns)或卷积神经网络(cnns)来提取网络流量数据的时间相关性。基于rnn的方法无法通过并行化来加速，因此迭代计算过程非常耗时。对于基于cnn的方法，由于卷积核大小的限制，很难获得足够大的感受野来学习长相关性.
[0014]
(3)为了学习不局限于欧氏空间的复杂空间特征，图神经网络已经被应用于一些现有的研究中。然而，大多数图卷积都是在预先固定的邻接矩阵上实现的，预先固定的邻接矩阵不能反映网络节点之间动态的关系。虽然有很少的研究
[20]
开始自适应学习的图结构，但是他们只在较浅层次学习一次，性能仍然不高。


技术实现要素：

[0015]
本发明所要解决的技术问题是，针对现有技术不足，提供一种网络流量预测方法、计算机装置、产品及存储介质，充分提取并利用网络流量数据中多范围多层次的时空特征，实现对全网网络节点之间未来一段时间网络流量的有效预测。
[0016]
为解决上述技术问题，本发明所采用的技术方案是：一种网络流量预测方法，包括
以下步骤：
[0017]
s1、根据三维张量模型对采集的网络流量原始数据建模，形成原始张量数据，对所述原始张量数据进行归一化处理；
[0018]
s2、在经步骤s1处理后得到的归一化后的原始张量数据中，截取长度分别为tr，td，tw的邻近的、以日为周期的和以周为周期的历史数据
[0019]
s3、将分别作为第一时空聚合模块、第二时空聚合模块、第三时空聚合模块的输入，融合第一时空聚合模块、第二时空聚合模块、第三时空聚合模块的输出；计算融合结果与预测序列真实值之间的误差，调整第一时空聚合模块、第二时空聚合模块、第三时空聚合模块的参数，直至训练完成，得到预测模型；其中，所述第一时空聚合模块、第二时空聚合模块、第三时空聚合模块对对应的输入数据进行包括如下过程的处理：提取所述输入数据的时间相关性特征，并提取所述时间相关性特征的空间相关性特征，得到输出。
[0020]
本发明提出的网络流量预测模型(m2stl)具有更强的时空特征学习能力：(1)本发明学习数据时间维度的长相关性时，能够保持较小的参数量；(2)本发明在学习复杂的空间特征时，能够以数据驱动的方式学习数据之间多层次的相关性；(3)本发明能够学习并融合多范围的时空特征。本发明充分提取并利用了网络流量数据中多范围多层次的时空特征，实现了对全网网络节点之间未来一段时间网络流量的有效预测。
[0021]
步骤s1的具体实现过程包括：
[0022]
1)将节点i在t时刻的网络流量建模为向量其中为在t时刻从节点i流向节点j的网络流量值，n为网络节点的数量；表示所有网络节点在t时刻的流量矩阵数据；j＝1,2，
……
，n；
[0023]
2)将所有时间步的流量矩阵数据构建模为原始张量数据，其中τ为采集的时间步数量；
[0024]
3)计算n个网络节点在τ时间步内的最大流量值，得到矩阵数据scale∈rn×n；
[0025]
4)对原始张量数据进行归一化处理，
[0026]
本发明进行了归一化操作，减小了后续深度学习模型的计算成本。
[0027]
步骤s3中，所述第一时空聚合模块(sta)、第二时空聚合模块、第三时空聚合模块的结构相同；所述第一时空聚合模块包括：
[0028]
输入卷积层，输出端与残差模块连接；
[0029]
至少一个残差模块，当残差模块为多个时，多个所述残差模块串联；第一个残差模块与所述输入卷积层的输出端连接；
[0030]
图学习网络，输入为对应的历史数据，输出为邻接矩阵，且输出对应与各残差模块连接；
[0031]
多个并联的跳跃卷积层，第一个跳跃卷积层的输入为对应的历史数据，其余跳跃卷积层对应与各残差模块连接；
[0032]
融合所述多个跳跃卷积层的输出，得到所述第一时空聚合模块的输出。
[0033]
本发明中，输入卷积层将原始输入映射到高维空间，有利于后续特征提取；残差模
块能够保证在提取较深层次的时空特征时，之前获得的较浅层次的时空特征不会被丢失，同时可以避免梯度消失问题的发生；图学习网络，可以为不同残差模块中的混合跳图卷积网络以数据驱动的方式学习不同的邻接矩阵，反应由浅层次到深层次的图结构；时空聚合模块中包含三个残差模块，依次提取数据由浅层次到深层次的时空特征，多个并联的跳跃卷积能够将这些由浅层次到深层次的时空特征都映射到相同的维度，从而聚合都sta的输出中。因此sta模块具有更强的时空学习能力，可以聚合多层次的时空特征。
[0034]
所述残差模块包括串联的门控空洞卷积网络和混合跳图卷积网络；
[0035]
其中，所述门控空洞卷积网络的输出d
out
表示为：表示为：和表示膨胀率为d的卷积核，d
in
为门控空洞卷积网络的输入；tanh为正切双曲激活函数，σ为sigmoid激活函数，表示矩阵之间的元素积；
[0036]
所述混合跳图卷积网络的输出g
out
表示为：gk′
＝w
kgk
；；a
(m)
是第m个残差模块中混合跳图卷积网络的邻接矩阵；g
k-1
、gk是该混合跳图卷积网络的第k个图卷积层的输入和输出，g0＝g
in
，g
in
为混合跳图卷积网络的输入，β是超参数，i是单位矩阵，wk相当于特征选择器，是可学习的参数。
[0037]
残差模块能够保证在提取较深层次的时空特征时，之前获得的较浅层次的时空特征不会被丢失，同时可以避免梯度消失问题的发生。
[0038]
所述残差模块数量为三个；三个所述残差模块的混合跳图卷积网络均与图学习网络连接；三个门控空洞卷积网络的输出端各与一跳跃卷积层连接；最后一个残差模块的混合跳图卷积网络的输出端接最后一个跳跃卷积层。时空聚合模块中包含三个残差模块，依次提取数据由浅层次到深层次的时空特征，多个并联的跳跃卷积能够将这些由浅层次到深层次的时空特征都映射到相同的维度，从而聚合都sta的输出中。因此sta模块具有更强的时空学习能力，可以聚合多层次的时空特征。
[0039]
三个邻接矩阵a
(1)
，a
(2)
，a
(3)
的计算公式为：和是参数矩阵；m＝2，3；其中，m＝2，3；其中，w
(m-1)
∈r
l
×
l
是权重矩阵，b
(m-1)
∈rn×
l
是偏置，和共享相同的权重矩阵和偏置。图学习网络可以为不同残差模块中的混合跳图卷积网络以数据驱动的方式学习不同的邻接矩阵，反应由浅层次到深层次的图结构。
[0040]
本发明还包括预测网络；所述预测网络与所述第一时空聚合模块、第二时空聚合模块、第三时空聚合模块的输出端连接；所述预测网络包括两个串联的卷积层。
[0041]
三个时空聚合模块分别学习邻近的，以日为周期的，以天为周期的三个不同范围数据的时空特征，将三个时空聚合的输出进行自适应融合(即融合了多范围的时空特征)；再将融合之后的结果输入预测网络，得到最终的预测结果。
[0042]
本发明还提供了一种计算机装置，包括存储器、处理器及存储在存储器上的计算机程序；所述处理器执行所述计算机程序，以实现本发明所述方法的步骤。
[0043]
本发明还提供了一种计算机程序产品，包括计算机程序/指令；该计算机程序/指令被处理器执行时实现本发明所述方法的步骤。
[0044]
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序/指令；所述计算机程序/指令被处理器执行时实现本发明所述方法的步骤。
[0045]
与现有技术相比，本发明所具有的有益效果为：
[0046]
(1)本发明设计了门控空洞卷积网络来学习历史数据时间维度上的依赖关系，由门控机制连接的两个一维空洞卷积组成。其中，超参数扩张率能够控制门控空洞卷积网络的感受野，因此能够在进行较少次数卷积操作的情况下获得较大感受野，从而保持了较少的参数量，并且门控机制能够有效控制信息传递的过程。
[0047]
(2)本发明设计了由堆叠的图卷积组成的混合跳图卷积网络来学习从局部到全局的空间相关性。其中还采用了混合跳机制来防止经过多次卷积，节点信息聚合到一点。采用了信息选择机制来选择每一跳卷积产生的对预测序列比较重要信息。每个混合跳图卷积网络都学习并聚合了局部到全局的空间特征，即在预测时能够更加充分的利用数据之间的空间相关性。
[0048]
(3)本发明设计了图学习网络，能够以数据驱动的方式学习由浅层次到深层次的学习图结构，为不同的混合跳图卷积网络提供不同的邻接矩阵。
附图说明
[0049]
图1表示网络流量数据在空间维度上的复杂特征；
[0050]
图2表示网络流量数据在时间维度上的复杂特征；
[0051]
图3为一维空洞卷积接受域随着网络深度变化的示意图；
[0052]
图4为本发明提出的深度学习模型m2stl的架构；
[0053]
图5为本发明设计的关键模块sta的结构图；
[0054]
图6为本发明在sta模块中设计的门控空洞卷积网络的结构图；
[0055]
图7为本发明在sta模块中设计的混合跳图卷积网络的结构图；
[0056]
图8为本发明的深度学习模型m2stl与两个最具竞争力的baselines在abilene数据上的平均绝对误差(mae)随着预测间隔的增大的变化趋势；
[0057]
图9为本发明的深度学习模型m2stl与两个最具竞争力的baselines在abilene数据上的标准化的平均绝对误差(nmae)随着预测间隔的增大的变化趋势；
[0058]
图10为本发明的深度学习模型m2stl与两个最具竞争力的baselines在abilene数据上的均方根误差(rmse)随着预测间隔的增大的变化趋势；
[0059]
图11为本发明的深度学习模型m2stl与两个最具竞争力的baselines在abilene数据上的标准化的均方根误差(nrmse)随着预测间隔的增大的变化趋势。
具体实施方式
[0060]
本发明实施例包括如下步骤：
[0061]
步骤1，根据三维张量模型对采集的网络流量原始数据建模形成原始张量数据，同时进行归一化处理；
[0062]
步骤2，构建深度学习模型m2stl(多范围多层次时空学习模型)，并对模型参数进
行初始化。
[0063]
步骤3，在步骤1得到的归一化后的原始张量数据中，根据需要得到的预测序列真实值截取长度分别为tr，td，tw的邻近的，以日为周期的和以周为周期的历史数据
[0064]
步骤4，将步骤3获得的输入步骤2构建的m2stl模型，并通过计算模型输出与预测序列真实值的误差，对模型参数不断进行迭代更新，当误差小于阈值或达到训练次数时，完成训练，得到最终的预测模型m2stl；
[0065]
步骤5，当进行预测时，将所需的历史张量数据输入到训练好的m2stl模型中，就能输出理想的预测张量数据。
[0066]
步骤1包括：
[0067]
步骤11，将节点i在t时刻的网络建模为向量其中为在t时刻从节点i流向节点j的网络流量值，n为网络节点的数量。那么表示所有结点在t时刻的流量矩阵数据；
[0068]
步骤12，将数据集中所有时间步的矩阵数据构建模为原始张量数据，其中τ为采集的时间步数量；
[0069]
步骤13，求出这n个网络节点之间在τ时间步内的最大流量值，得到矩阵数据scale∈rn×n；
[0070]
步骤14，将原始张量数据进行归一化处理，
[0071]
步骤2包括：
[0072]
步骤201，在m2stl中设计三个相同的模块sta分别学习邻近的，以日为周期的，以周为周期的历史流量数据的时空特征；
[0073]
步骤202，在sta模块(时空聚合模块)中首先设计一个输入卷积层，将原始输入映射到高维空间，有利于模块中后续网络结构提取数据的隐藏特征。
[0074]
步骤203，在sta模块中，设计三个相同的单元，学习数据由浅层到深层的时空特征。
[0075]
步骤204，在每单元中设计一个由门控连接的两个一维空洞卷积组成的门控空洞卷积网络来捕获时间相关性，如图6所示。其中一维空洞卷积的接受域可以通过膨胀率d进行控制，当d呈指数增长时，接受域也呈指数增长。因此，门控空洞卷积网络能够在保持参数量较小的情况下学习长相关性。图6中的一维空洞卷积1的数学形式可以表示为：
[0076][0077]
其中，表示膨胀率为d的卷积核，d
in
为门控空洞卷积网络的输入。同理，图四中的一维空洞卷积2的数学形式也可以这样表示，并且他们的卷积核具有相当的尺寸和d：
[0078][0079]
门控空洞卷积网络中的门控机制是通过两个激活函数实现的，能够有效控制信息传递过程，其数学形式可以表示为：
[0080]
[0081]
其中，d1、d2分别为一维空洞卷积1和一维空洞卷积2的输出，tanh为正切双曲激活函数，σ为sigmoid激活函数，表示矩阵之间的元素积。
[0082]
步骤205，在每个单元中，设计一个由多个图卷积堆叠的图卷积构成的混合跳图卷积网络，连接在门控空洞卷积网络之后，来学习从门控空洞卷积网络中提取的信息的空间相关性。本发明在其中设计了混合跳机制来防止当进行多次图卷积时所有的节点信息聚合到一点，即在每一条卷积的输入中都加入一部分原始输入。图卷积的过程可以表示为：
[0083][0084]
其中有：
[0085][0086][0087]
在上述公式中，a
(m)
是sta第m个单元中的混合跳图卷积网络的邻接矩阵。i是单位矩阵，g
k-1
、gk是该混合跳图卷积网络的第k个图卷积的输入和输出，其中g0＝g
in
是原始输入，β是控制原始状态的保留程度的超参数。
[0088]
并且，本发明在混合跳图卷积网络中设计了信息选择机制，选择出每一跳卷积提取的重要信息：
[0089]gk
′
＝w
kgk
[0090]
其中，wk相当于信息选择器，是可学习的。
[0091]
本发明结合多个图卷积中提取的从局部到全局的空间特征，混合跳图卷积网络的输出为:
[0092][0093]
其中，k为混合跳图卷积网络中堆叠的图卷积层数。
[0094]
步骤206，在sta模块设计一个图学习网络为模块中三个单元里的混合跳图卷积网络提供由浅层到深层邻接矩阵a
(1)
，a
(2)
，a
(3)
。图学习网络的实现主要包括以下两部分：
[0095]
对于a
(1)
的计算：本发明使用一种基于高斯核的方法来计算节点之间的两两相似度并初始化：
[0096][0097]
其中分别表示的节点i和节点j的嵌入，σ表示标准。
[0098]
从sta的输入数据中，本发明提取长度为ta的来计算每个节点的嵌入。由于大量重复的流量模式隐藏在中，为了通过降维和分解过滤掉冗余信息，本发明执行了以下两种操作：
[0099]
(1)将三维张量重塑为二维矩阵xa[0100][0101]
(2)对二维矩阵进行低秩矩阵分解:
[0102]
xa＝x
t
(xs)
t
[0103]
其中，x
t
，xs分别表示时间维度上的特征矩阵和空间维度上的特征矩阵(即节点嵌入矩阵)。对于上述高斯核公式(1)中的分别表示xs的第i行和第j行。
[0104]
为了反映动态网络环境中真实的图结构，本发明使用随机梯度下降(sgd)优化a
(1)
。为了压缩训练参数，本发明将矩阵a
(1)
分解为两个小矩阵：
[0105][0106]
其中l远小于n。图学习网络不是直接训练，而是训练这两个小的矩阵当训练好这两个矩阵后在计算得到a
(1)
，因此训练参数从n
×
n减小到了n
×
l。
[0107]
对于a
(2)
，a
(3)
的计算：跟a
(1)
一样，a
(2)
，a
(3)
也被分解成了两个小矩阵：
[0108][0109]
其中，l远小于n，m＝2，3。
[0110]
本发明不直接训练为了准确、高效地获取更深层次的图结构，本发明通过一个耦合机制来得到该耦合机制能够充分建模较浅层的图结构与较深层图结构之间的关系，并且减少训练参数：
[0111][0112][0113]
其中m＝2，3，w
(m-1)
∈r
l
×
l
是权重矩阵，b
(m-1)
∈rn×
l
是偏置。和共享权重矩阵和偏置。
[0114]
当得到和后，可以算出a
(2)
，a
(3)
。
[0115]
步骤207，在sta模块中，插入跳跃卷积将提取的不同层次的时空信息都聚合到sta的输出中；
[0116]
步骤208，在sta模块中，插入残差连接，将每个单元的输入添加到它的输出中，从而确保在提取较深层次的特征时，之前较浅层次的信息不会丢失。此外，残差连接还可以避免梯度消失问题；
[0117]
步骤209，设计自适应融合机制学习在不同预测间隔下star、stad、staw三个模块的影响权重，对三个模块的输出进行融合：
[0118]
p＝prwr+pdwd+pwww[0119]
其中wr，wd，ww是训练过程中学习得到的影响权重。
[0120]
步骤210，最后设计一个由两个标准的1
×
1的卷积组成预测网络(prediction net)，将三个模块的融合结果转换到所需要的输出通道大小：
[0121][0122]
其中输入p为三个模块输出的融合结果，输出为预测序列。因此在本发明中，所需的输出通道大小为n。
[0123]
假设当前时间为t0，需要得到的预测序列为其
中t1＝t0+h，h为预测间隔，一天中的采样频率为q。
[0124]
步骤3包括：
[0125]
步骤31，为star截取长度为tr的邻近的历史张量数据作为输入：因为网络流量数据是连续渐进的，因此未来的网络流一定会受到刚刚过去时段的网络流的影响；
[0126]
步骤32，为stad截取长度为td的以日为周期的历史张量数据作为输入：每天相同时间段的网络流量一般具有相似的特征；
[0127]
步骤33，为staw截取长度为tw的以周为周期的历史张量数据作为输入：每周相同时间段的网络流量一般具有较强的相似性；
[0128]
步骤4包括：
[0129]
步骤41，将步骤3获取的历史数据分别作为star、stad、staw模块的输入，向前计算得到模型输出
[0130]
步骤42，计算模型输出与预测序列真实值的平均绝对误差e；
[0131]
步骤43，计算误差e对模型参数的偏导，并通过随机梯度下降和反向传播算法对参数(包括三个sta模块中dilated conv net，mix-hop gcn net，graph learning net中的训练参数和预测网络中的训练参数)进行更新；
[0132]
步骤44，重复步骤42-43，当达到训练次数或误差e小于设定阈值0.00001时完成训练，保存此时模型的参数；
[0133]
本发明提出深度学习模型(m2stl)充分建模历史流量数据多范围多层次的时空关系。首先m2stl包含了三个相同的sta模块，star、stad、staw，分别学习邻近的、以日为周期、以周为周期的数据的时空特征。其次，在sta模块中设计了几个特别的结构，它们相互配合，共同提取历史网络流量数据中的特征。
[0134]
如图4所示，m2stl中有三个相同的sta模块和一个预测网络。三个sta模块，即star、stad、staw分别学习邻近的、以日为周期的和以周为周期的历史数据的时空特征。然后通过自适应融合机制对这三个模块的输出进行融合，并作为预测网络的输入，最终得到预测序列。
[0135]
如图5所示，每个sta模块由一个输入卷积层，一个图学习网络和图中虚线框所表示的三个单元组成。每个单元包含一个门控空洞卷积网络和一个混合跳图卷积网络，并且剩余连接和跳跃卷积层也穿插其中。
[0136]
输入卷积层将原始输入映射到高维空间，有利于模块中后续网络结构提取数据的隐藏特征。
[0137]
在这个单元中，一个混合跳图卷积网络连接在一个门控空洞卷积网络后面。本发明提出基于一维卷积的门控空洞卷积网络来捕获时间相关性。本发明进一步设计了混合跳图卷积网络来提取从门控空洞卷积网络提取出来信息的空间特征。
[0138]
值得注意的是，本发明在sta模块中用三个单元从浅到深学习时空特征。为了从浅入深地学习图结构，本发明设计了一个图学习网络，它能够以数据驱动的方式，为三个单元
的混合跳图卷积网络提供三个不同的邻接矩阵。与目前只能在较浅层学习图结构的图学习方法相反，本发明的图学习网络是多层次的。
[0139]
为了结合从多层次学习到的时空特征，本发明在每个单元中连接了跳跃卷积层来聚合不同层次的特征作为sta模块的输出。
[0140]
本发明还在sta模块中设计了一个残差连接，将每个单元的输入融合到其输出中，可以保证在提取更深层次的特征时，不会丢失之前提取的浅层次的信息。此外，残差连接还可以避免梯度消失问题。
[0141]
本发明提供的基于深度学习的网络流量预测方法,将网络流量数据建模成为张量并进行归一化处理，能够有效为后续深度学习模型中的计算减小负担。本发明提出的m2stl中，设计了门控空洞卷积网络，混合跳图卷积网络图学习网络共同工作，相互配合，来学习网络流量数据之间多范围多层次的时空特征。并且设计了一些有用的机制来使m2stl更加有效和高效，包括门控机制，混合跳机制，自适应特征选择机制，耦合机制，自适应融合机制。
[0142]
通过在真实数据集上的对比实验验证了本发明提出的深度学习模型m2stl的有效性和准确性，表1-2和图8-11。本发明在abilene，geant两个真实数据集上将本发明的深度学习模型m2stl与其他六个baselines进行了对比，包括历史ha，dcrnn，deeplgr，stgcn，graph wavenet，mtgnn(这些方法在别人的论文中直接用的英文简写，没有中文)，并且采用的四种衡量指标：平均绝对值误差(mae)，标准化平均绝对值误差(mae)，均方根误差(mrse)，标准化均方根误差(nmrse)对预测性能进行衡量，并且，这四种指标越小，表明预测性能越好。表1和表2分别表示在abilene和geant上的实验结果，从表中可以看出，m2stl的预测性能在所有情况下都要优于其他baselines。其中，graph wavenet，mtgnn是最具竞争力的两种方法，但预测性能仍然不敌本发明的m2stl，图8-11显示了在abilene数据集上，本发明m2stl，graph wavenet，mtgnn三种预测方法的四种指标随着预测间隔h的增大的变化趋势，折线的斜率表示相应指标的增长速率，从图中可以明显的看出，本发明m2stl四种指标的增长速度比graph wavenet和mtgnn的都要更小，说明本发明模型的稳定性更好。
[0143]
表1本发明的深度学习模型m2stl与其他六个baselines在abilene数据集上的对比实验结果
[0144]
[0145][0146]
表2本发明的深度学习模型m2stl与其他六个baselines在geant数据集上的对比实验结果
[0147][0148]