一种基于马尔可夫链的异常网络流量回溯方法与流程

1.本发明属于网络安全技术领域，具体涉及一种基于马尔可夫链的异常网络流量回溯方法。


背景技术：

2.网络安全是国家安全体系的重要一环，网络社会发展程度的不断提高，网络应用的日益普及，网络给人们带来便利的同时，也带来不可忽视的安全风险。异常的网络流量信息会给数据中心网络流量成本核算、网络故障排查造成技术困难及重大的经济损失。针对机房运网络维场景下技术人员对突发的异常网络流量造成的流量成本核算、流量异常分析等情况无法进行有效的处理和解决。


技术实现要素：

3.本发明所要解决的技术问题是针对上述现有技术的不足，提供一种基于马尔可夫链的异常网络流量回溯方法，利用行业内标准的网络流量95算法以网络流量监测指标为数据基础，通过构建马尔可夫链流量回溯模型，为当前时间段正常流量值提供了一个更加标准、精确、科学的流量值，大大减少了异常网络带宽流量造成的流量成本核算的不准确性从而带来的经济损失，同时也提升了网络流量的安全性，系统服务的高效性。
4.为实现上述技术目的，本发明采取的技术方案为：
5.一种基于马尔可夫链的异常网络流量回溯方法，包括：
6.步骤一、采用95异常流量算法获取要进行异常流量回溯分析的范围，得到历史故障数据库异常流量数据；
7.步骤二、构建马尔可夫链流量回溯模型，通过历史故障数据库异常流量数据结合实时流量数据库综合分析得出正常与异常流量数据集合，将正常与异常流量数据集合生成转移状态矩阵，获得分析结果得出一定时间段范围内发生的异常流量回溯与正常流量概率，概率越大回溯的真实性越高。
8.为优化上述技术方案，采取的具体措施还包括：
9.上述的步骤一为：每5分钟取一个点，1个小时12个点，1天12*24个点，一个月按30天算12*24*30＝8640个点，然后把数值最高的5％的点去掉，剩下的95％为正常流量范围，则计费点数是8208个点，有432个点不用计费，即异常流量范围；
10.将正常流量范围采集点数据存储到实时流量数据库，异常流量范围采集点数据存储到历史故障数据库。
11.上述的步骤二所述模型公式为：x(k+1)＝x(k)
×
p
12.式中：x(k)表示趋势分析与预测对象在t＝k时刻的状态向量，p表示一步转移概率矩阵，x(k+1)表示趋势分析与预测对象在t＝k+1时刻的状态向量。
13.上述的步骤二包括如下步骤：
14.s1、第一次模型运算：通过访问历史故障数据库获取异常采集点5个一分钟异常采
集点数据后，采用二步转移矩阵生成第一数据集合，并输入流量回溯模型进行第一次计算，得出异常流量采集点内每1分钟流量异常发生概率，将连续5次每1分钟流量异常发生概率加权平均获得本次5分钟异常流量发生概率；
15.s2、基于s1数据进行第二次模型运算：访问实时流量数据库获取离异常采集点上5个一分钟正常采集点数据后，采用二步转移矩阵生成第二数据集合，并输入流量回溯模型进行第二次计算，得出异常流量回溯后真实流量。
16.上述的第一数据集合包括历史5分钟流量异常发生初始概率、上1分钟流量异常发生转移概率和上1分钟流量正常发生转移概率3组数据。
17.上述的第二数据集合包括本次5分钟异常流量范围发生异常流量概率、本次1分钟正常流量范围发生异常流量转移概率和本次1分钟正常流量范围发生正常流量转移概率三组数据。
18.上述的步骤二将将s1模型结果作为本次5分钟异常流量发生概率，引用s1的上1分钟流量异常发生转移概率和上1分钟流量正常发生转移概率作为本次1分钟正常流量范围发生异常流量转移概率和本次1分钟正常流量范围发生正常流量转移概率。
19.本发明具有以下有益效果：
20.本发明首先，采用95异常流量算法获取要进行异常流量回溯分析的范围；其次，通过历史故障数据库异常流量数据结合实时流量数据库综合分析得出正常与异常流量数据集合；最后，构建马尔可夫链流量回溯模型，将正常与异常流量数据集合生成转移状态矩阵，获得分析结果得出一定时间段范围内发生的异常流量回溯与正常流量概率，概率越大回溯的真实性越高，经过数据分析后得出的结果为最接近真实的流量，突出了人工智能在流量回溯方面的地位，并弥补了95流量计算方法方法对网络异常流量划分的不准确性。同时采用人工智能模型的数据分析提供了具有参考价值的及科学依据的一种高效人工智能的流量回溯方法。
附图说明
21.图1为本发明中系统构成图；
具体实施方式
22.以下结合附图对本发明的实施例作进一步详细描述。
23.本发明专利一种基于马尔可夫链的异常网络流量回溯方法，包括：
24.步骤一：95异常流量算法模块负责通过95异常流量算法获取要进行异常流量回溯分析的范围：
25.每5分钟取一个点，1个小时12个点，1天12*24个点，一个月按30天算12*24*30＝8640个点，然后把数值最高的5％的点去掉，剩下的95％为正常流量范围。
26.计费点数是8208个点。
27.有432个点不用计费，即异常流量范围。
28.正常流量范围采集点数据存储到实时流量数据库，异常流量范围采集点数据存储到历史故障数据库。
29.步骤二、构建马尔可夫链流量回溯模型，通过历史故障数据库异常流量数据结合
实时流量数据库综合分析得出正常与异常流量数据集合，将正常与异常流量数据集合生成转移状态矩阵，获得分析结果得出一定时间段范围内发生的异常流量回溯与正常流量概率，概率越大回溯的真实性越高。
30.概率矩阵模型公式：x(k+1)＝x(k)
×
p
31.公式中：x(k)表示趋势分析与预测对象在t＝k时刻的状态向量，p表示一步转移概率矩阵，x(k+1)表示趋势分析与预测对象在t＝k+1时刻的状态向量。
32.s1、通过访问历史故障数据库获取异常采集点5个一分钟异常采集点数据后，采用二步转移矩阵生成数据集合，并放入【流量回溯模型】进行第一次计算。得出异常流量采集点内每1分钟流量异常发生概率，并通过加权平均对异常流量5分钟采集点进行细化。
33.具体描述：【流量回溯模型】需要三组移动概率数据进行模型运算，从而得到本次流量异常发生概率
34.1、历史5分钟流量异常发生初始概率＝从历史故障数据库获取5分钟采集频率历史故障总数/所有故障总数。
35.例如：历史5分钟流量异常发生初始概率30％，正常70％【0.3 0.7】
36.2、上1分钟流量异常发生转移概率＝通过历史5分钟流量异常发生初始概率30％，经过5分钟采集点对应的实时采集数据库1分钟采集点流量数据分析得出；
37.上1分钟40％流量可能继续发生异常，60％流量可能转移正常流量【0.6 0.4】
38.3、上1分钟流量正常发生转移概率＝通过历史5分钟流量正常发生初始概率70％，经过5分钟采集点对应的实时采集数据库1分钟采集点流量数据分析得出；
39.上1分钟30％流量可能转移到异常流量，70％流量可能转移正常流量【0.3 0.7】
40.采用二步转移矩阵生成数据集合将1、2、3三组数据生成矩形集合放入【流量回溯模型】。预测出本次1分钟流量异常发生概率，循环上述步骤得到每1分钟流量异常发生概率。
41.历史5分钟流量异常发生初始概率【0.3 0.7】
42.上1分钟流量异常发生转移概率【0.6、0.4】
43.上1分钟流量正常发生转移概率【0.3 0.7】
44.第一次模型运算过程及结果：
45.步骤1:本次1分钟流量异常发生概＝0.3x0.6+0.3x0.7＝0.39
46.步骤2:本次1分钟流量正常发生概率＝0.3x0.4+7x0.7＝0.61
47.步骤3:本次1分钟流量异常发生概率【0.39 0.61】
48.结果:连续5次1分钟流量异常发生概率加权平均获得本次5分钟异常流量发生概率。
49.s2、通过访问实时采集数据库获取离异常采集点上5个一分钟正常采集点数据后，采用二步转移矩阵生成数据集合，并放入【流量回溯模型】进行第二次计算。得出正常流量采集点内每1分钟流量异常发生概率，并通过加权平均对正常流量5分钟采集点进行细化。
50.具体描述：【流量回溯模型】需要三组移动概率数据进行模型运算，从而得到本次异常流量回溯概率。
51.首先，将s1模型训练结果当作本次5分钟异常流量发生概率，当作第一组数据。
52.其次，由于时间维度相同，因此引用s1的2、3两组数据做为第二和第三组数据。
53.本次5分钟异常流量范围发生异常流量概率【0.39 0.61】
54.本次1分钟正常流量范围发生异常流量转移概率【0.6、0.4】
55.本次1分钟正常流量范围发生正常流量转移概率【0.3 0.7】
56.将三组数据整合生成矩形集合再次放入【流量回溯模型】
57.第二次模型运算过程及结果：
58.步骤1:本次5分钟流量异常范围发生异常流量概率＝
59.0.39x0.6+0.61x0.3＝0.417
60.步骤2:本次1分钟流量正常范围发生异常流量概率＝
61.0.39x0.4+0.61x0.7＝0.583
62.结果:5分钟异常采集点发生流量异常概率【0.417 0.583】异常流量回溯后真实流量＝5分钟异常采集点流量x 0.417
63.实时流量数据库、历史故障数据库中数据分别如表1和表2所示。每间隔1min采集核心交换机端口的实时网络流量(bps)，实时流量库中每次采集的数据包括实时流量、采集时间，并记为一条，历史故障数据库中每条故障数据的采集时间为5min。
64.表1监测过程中某1天00:01-01:00时间段的网络流量数据来自实时流量数据库
[0065][0066]
表2历史故障数据库中存入故障数据示例
[0067][0068][0069]
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。