一种基于时序先验和稀疏表示的IP网络流量估计方法与流程

一种基于时序先验和稀疏表示的ip网络流量估计方法
技术领域
1.本发明涉及一种网络流量估计方法，尤其涉及一种基于时序先验和稀疏表示的ip网络流量估计方法。


背景技术：

2.流量矩阵(traffic matrix,tm)是常用的全网络级流量数据，记录被测量网络所有源
‑
目的(origin
‑
destination,od)节点对间传输的流量值，被广泛应用于流量工程、全网络异常检测等应用问题中。但是，由于流量矩阵需要捕获网络流量的全局状态信息，直接测量全部的流量矩阵数据的代价太高，实际应用中几乎是不可行、不切实际的。通过间接观测的方式对流量矩阵进行估计可以减少直接测量的代价和开销，这已经成为一个热门的研究领域。
3.针对流量矩阵估计应经有了很多行之有效的方法，但是由于没有利用到流量矩阵固有的时空相关特性，导致估计的准确性不够


技术实现要素：

4.发明目的：针对上述现有技术的缺陷，本发明提供一种基于时序先验和稀疏表示的ip网络流量估计方法，提高流量矩阵估计的准确性。
5.技术方案：本发明的基于时序先验和稀疏表示的ip网络流量估计方法，其特征在于，所述方法包括如下步骤：
6.s1、采集网络中所有源
‑
目的节点对间传输的流量值构建不完整的流量矩阵；
7.s2、利用稀疏表示理论和正则化技术针对不完整的流量矩阵中存在的时空相关性建立流量矩阵估计模型；
8.s3、通过交替方向乘子法将原始的流量矩阵估计问题转换为若干易于求解的子问题；
9.s4、迭代优化子问题的全局最优解来找到原始问题的局部最优解，估计出完整的流量矩阵。
10.步骤s1中不完整的流量矩阵按如下步骤构造：
11.设一天的时间间隔数为t，od对总数为n，则流量矩阵可表示为
[0012][0013]
其中m
ij
代表在第i个时间间隔上第j个od对的流量值，“*”代表已知流量值，“？”代表缺失的流量值，流量矩阵中，一列表示一个样本，是一个od对在一天内所有时间间隔上的流量值，一行表示一个时间间隔上所有od对的流量值。
[0014]
步骤s2中包括如下步骤：
[0015]
首先，针对不完整流量矩阵存在的空间相关性建立基于稀疏表示理论的流量估计
模型，其表达式如下：
[0016][0017]
其中，为已知不完整的流量矩阵，为需要求解的完整流量矩阵，为需要求解的稀疏表示系数矩阵，ω集合表示流量矩阵中已知的流量值元素下标集合，λ1为可调参数。p
ω
(
·
)是投影算子，表示当元素下标(i,j)∈ω时，得到对应位置采样元素：
[0018][0019]
因为流量矩阵中元素值非负，所以有x≥0，并且为避免平凡解，约束稀疏表示矩阵w的对角线元素都为0，即diag(w)＝0；
[0020]
针对不完整流量矩阵中存在的时序相关性，结合基于稀疏表示理论的流量估计模型建立基于时序先验和稀疏表示的流量估计模型，其表达式如下：
[0021][0022]
其中，λ2为可调参数，是toeplitz(0,1,
‑
1)矩阵。
[0023]
步骤s3中，子问题包括迭代过程中的流量矩阵x，稀疏表示系数矩阵w以及代表不完整流量矩阵m和完整流量矩阵x在集合ω之外的误差的误差变量c，
[0024]
步骤s4包括如下具体步骤：
[0025]
s41、为求解方便引入误差变量c，将流量估计模型改写为如下形式：
[0026][0027]
s.t.x≥0,diag(w)＝0，m＝x+c，p
ω
(c)＝0
[0028]
s42、将约束项放入目标函数中，定义指示函数g(x)和f(c)，使优化问题转换成等价的罚函数形式，其中，指示函数的表达式如下：
[0029][0030]
罚函数的表达式如下：
[0031][0032]
s43、根据罚函数，得到需要求解的x，w，c，β表达式如下：
[0033][0034]
其中，ρ是固定参数，优选的取值为1.1或1.2，β是罚函数的参数，β
k
，β
k
‑1分别是第k次迭代和第k
‑
1次迭代中的β值，β
max
是代表β的最大值的固定参数，优选的取值为106，f是f
范数；对上式进行交替优化求解，达到预设的最大迭代次数时的流量矩阵x即为估计后的完整流量矩阵，最大迭代次数为50以内的常数，具体数值根据实验效果确定。
[0035]
稀疏表示矩阵w的求解过程中，对每列进行分别求解，将每一列的求解过程看做lasso问题，设w
i
表示w的第i列，x
i
表示x的第i列，x
‑
i
表示从x中去掉第i列得到的矩阵，为满足约束diag(w)＝0，求解w
i
时，x的第i列不参与计算，w
i
的表达式如下：
[0036][0037]
有益效果：与现有技术相比，本发明具有如下显著优点：有效地弥补了使用传统的knn等估计算法带来的估计不准确的缺陷，在高维的情况下更能体现其优势，考虑相邻网络结点的时序相关性的同时利用流量矩阵的空间相关性，得到的流量矩阵更加准确，为流量估计方法的优化提供了理论支持。
附图说明
[0038]
图1为本发明的模型结构示意图；
[0039]
图2为本发明的方法流程图。
具体实施方式
[0040]
下面结合附图对本发明的技术方案作进一步说明。
[0041]
如图1所示，本发明的基于时序先验和稀疏表示的ip网络流量估计方法的基本思想是采集网络中t个时刻上的流量值，根据已知流量值构建不完整的流量矩阵，基于时序相关性和空间相关性构建时序先验和稀疏表示模型，通过交替方向乘子法求解该模型，估计出完整的流量矩阵。本发明的具体步骤如下：
[0042]
步骤1)、构建不完整的流量矩阵m：
[0043]
采集网络中所有源
‑
目的(origin
‑
destination,od)节点对间传输的流量值得到不完整的流量矩阵m。在流量矩阵m中，一列表示一个样本，是一个od对在一天内所有时间间隔的流量值。一行表示一个时间间隔所有od对的流量值，设一天的时间间隔数为t，od对总数为n，则流量矩阵可表示为
[0044][0045]
其中m
ij
代表在第i个时间间隔上第j个od对的流量值，“*”代表已知流量值，“？”代表缺失的流量值。由于用户的通信行为影响，流量矩阵中相邻结点的流量值是有关系的，即空间相关，并且流量矩阵中有大量的缺失值，是个稀疏矩阵。
[0046]
步骤2)、建立基于稀疏表示理论的流量估计模型：
[0047]
在稀疏的流量矩阵中，每个样本可以表示为其他样本的线性组合，并且距离越近的样本权重系数越大，距离越远的样本权重系数越小或接近于0。因此，流量矩阵估计问题可以利用稀疏表示理论进行估计。用w表示权重系数矩阵，则流量矩阵估计问题可以建模为：
[0048]
[0049]
其中，为已知不完整的流量矩阵，为需要求解的完整流量矩阵，为需要求解的稀疏表示系数矩阵，，ω集合表示流量矩阵中已知的流量值元素下标集合，λ1为可调参数。p
ω
(
·
)是投影算子，表示当元素下标(i,j)∈ω时，得到对应位置采样元素：
[0050][0051]
因为流量矩阵中元素值非负，所以有x≥0，并且为避免平凡解，约束稀疏表示矩阵w的对角线元素都为0，即diag(w)＝0。
[0052]
步骤3)、建立基于时序先验和稀疏表示的流量估计模型：
[0053]
研究发现流量数据具有时序性。对于每个od流，其自身的时间序列特征可以用时间相关性来描述。为了刻画流量矩阵的时间相关特性，通过最小化目标函数‖rx‖1，可以获得流量矩阵中元素在时间维度上暂时稳定的效果，从而较好的刻画了流量矩阵中时间序列上的相关性。此时，基于时序先验和稀疏表示的流量估计模型为：
[0054][0055]
其中，λ2为可调参数，是toeplitz(0,1,
‑
1)矩阵。
[0056]
步骤4)、根据步骤3)建立的基于时序先验和稀疏表示的流量估计模型，通过交替方向乘子法(alternating direction method of multipliers，admm)将较为复杂的模型求解问题转换为三个易于求解的子问题，即：迭代过程中的流量矩阵x、稀疏表示矩阵w以及误差变量c。通过迭代求解子问题的全局最优解来找到原始问题的局部最优解，最终估计出完整的流量矩阵x。
[0057]
进一步的，所述步骤4)的具体步骤如下：
[0058]
步骤4.1)、为方便求解上述优化问题，首先引入误差变量c将其改写为：
[0059][0060]
s.t.x≥0,diag(w)＝0,m＝x+c,p
ω
(c)＝0
[0061]
(5)
[0062]
步骤4.2)、为求解步骤4.1)所述优化问题，定义如下两个指示函数：
[0063][0064]
其中，g(x)和f(c)的意义是为了让变量满足约束，把约束项放到了目标函数中。因此，上述优化问题可转换成等价的罚函数形式：
[0065][0066]
步骤4.3)、交替优化求解：
[0067][0068]
步骤4.3.1)、为有效求解x，不妨引入变量d和s，令d＝x，s＝rx，则子问题可转换为如下等价的约束优化问题(为简便起见，在不影响理解的前提下，此处将w
k
‑1简写成w，β
k
简写成β)：
[0069][0070]
上述子问题，相应的拉格朗日函数可定义为：
[0071][0072]
如果令则相应的优化步骤为：
[0073]
①
更新x：
[0074][0075]
②
更新d：
[0076][0077]
③
更新s：
[0078][0079]
④‑⑤
更新u1、u2：
[0080][0081][0082]
⑥
更新μ
t
：
[0083]
μ
t
＝min(ρμ
t
‑1,μ
max
)
ꢀꢀꢀ
(16)
[0084]
步骤4.3.2)、求解w：
[0085][0086]
可以看出w矩阵每列之间是相互独立的，可以对每列分开来求，每个子问题都可以
看做lasso问题，设w
i
表示w的第i列，x
i
表示x的第i列，x
‑
i
表示从x中去掉第i列得到的矩阵。为了满足约束diag(w)＝0，求w
i
的时候，x的第i列不参与计算。
[0087][0088]
步骤4.3.3)、求解c：
[0089][0090]
步骤4.3.4)、更新β
[0091]
β
k
＝min(ρβ
k
‑1,β
max
)
ꢀꢀꢀ
(20)
[0092]
步骤4.4)、达到最大迭代次数，求解完毕，得到估计后的完整流量矩阵x。
[0093]
整理得到基于时序先验和稀疏表示的流量估计的算法步骤如图2所示：
[0094][0095]
在流量估计领域中，估计缺失值算法各有优缺，本发明的基于时序先验和稀疏表示的ip网络流量估计方法能有效的利用时序先验信息和稀疏表示理论，挖掘流量矩阵中固有的时空相关特性，提高流量矩阵估计的准确性。