一种虚拟网络流量采集的方法与流程

1.本发明属于信息处理技术领域，具体涉及一种虚拟网络流量采集的方法。


背景技术：

2.网络通信过程中，网络运维和设计人员为了可以方便快捷的对数据中心网络问题进行评估，扩容，故障排查等，往往需要收集数据经过交换中心时的物理网络信息和虚拟网络信息。
3.目前现有的一种虚拟网络流量采集的方法还存在一些问题：流量采集的精确度较低，不方便对网络流量的汇聚、过滤、修剪和复制等操作，不方便对网络流量数据的实时监控，降低了网络的安全性，为此我们提出一种虚拟网络流量采集的方法。


技术实现要素：

4.本发明的目的在于提供一种虚拟网络流量采集的方法，以解决上述背景技术中提出的问题。
5.为实现上述目的，本发明提供如下技术方案：一种虚拟网络流量采集的方法，包括以下步骤：
6.s1.对网络流量进行采集；
7.s2.对采集的网络流量进行加工处理；
8.s3.对加工处理后的网络流量进行分析；
9.s4.对分析后的网络流量进行异常检测。
10.优选的，所述s1中对网络流量进行采集的方法具体包括以下步骤：
11.s101.创建多个进程，每个所述进程包括多个线程，每个进程与且只与一个采集列表对应，所述采集列表包括各终端的模型信息；
12.s102.通过所述进程获取对应的所述采集列表，以采集所述各终端的网络流量，采集完成后将采集流量存入至内存结构。
13.优选的，所述s2中的加工处理包括对网络流量进行汇聚、过滤、修剪和复制。
14.优选的，所述对网络流量进行汇聚包括将从多个分散物理位置采集的网络流量进行标记并汇聚在一起；所述对网络流量进行过滤包括过滤掉网络流量中的重复数据包；所述对网络流量进行修剪包括屏蔽或去除敏感信息荷载报文；所述对网络流量进行复制包括将经过汇聚、过滤和修剪的网络流量复制成多份。
15.优选的，所述s3中对加工处理后的网络流量进行分析的方法具体包括以下步骤：
16.s201.获取网络流量数据，得到网络流量数据集；确定网络流量数据集的风险等级；
17.s202.创建网络流量模型，并根据网络流量数据集以及其对应的风险等级对网络流量模型进行训练，得到网络流量风险模型；
18.s203.采集网络流量数据，输入网络流量风险模型，得到对应网络流量数据的风险
等级；
19.s204.对具有安全隐患的网络流量数据进行处理。
20.优选的，所述s201中网络流量数据集的风险等级的计算公式为：
21.d＝∑wx
×
∑sy；
22.其中，∑wx表示不同网络流量数据对应的权重；∑sy表示不同网络流量数据对应的安全估值。
23.优选的，所述s204中对网络流量数据进行处理的方法，包括以下步骤：
24.步骤一、判断网络流量数据的风险等级是否达到临界值；
25.步骤二、若网络流量数据的风险等级没有达到临界值，则继续对下一组网络流量数据进行监测；若网络流量数据的风险等级达到临界值，则将网络流量数据下发至风险等级队列；
26.步骤三、预警处理模板对风险等级队列进行采集；
27.步骤四、若在风险等级队列中没有采集到网络流量数据，继续执行步骤三；若在风险等级队列中采集到网络流量数据，继续执行步骤五；
28.步骤五、进行报警提醒并将网络流量数据进行删除。
29.优选的，所述s4中对分析后的网络流量进行异常检测的方法具体包括以下步骤；
30.s301.流量特征采集与态势特征指标提取；
31.s302.面向态势特征的自适应学习与异常分析；
32.s303.网络异常态势检测与告警。
33.优选的，所述s302中异常分析为基于希尔伯特黄变换算法的异常检测分析，所述基于希尔伯特黄变换算法分两步：经验模态分解法emd分解和希尔伯特变换，对信号进行emd分解的过程其实是一个筛选过程，在这个过程中使信号由复杂的非线性谐波信号转变为简单的线性信号，所述希尔伯特变换过程是从所述线性信号中得到具有物理意义的瞬时频率；所述经验模态分解法emd分解出的信号称为固有模态函数imf分量，每个imf分量都是单分量信号，将imf分量经过希尔伯特变换获得一个只属于这点的瞬时频率。
34.优选的，所述经验模态分解法emd分解，包括如下步骤：假设原信号为x(t),m(t)为极值点上下包络线的均值函数，令s(t)＝x(t),h(t)为信号分解的中间变量，c(t)为imf函数，信号分解过程如下：
35.s401.求出函数x(t)的所有极大值点和极小值点，通过三次样条插值函数分别构造出上包络线和下包络线，并计算出其均值函数m(t)；
36.s402.将函数x(t)减去均值函数m(t)得到h(t)，即h(t)＝x(t)-m(t)；
37.s403.判断h(t)是否满足imf条件，假如不符合，令x(t)＝h(t)，对x(t)函数依次重复步骤s401、s402、s403，否则转到s404；
38.s404.令imfi(t)＝h(t),s(t)＝s(t)-h(t)，判断s(t)是否满足残余趋势项的条件，如果满足则令r(n)＝s(t)，算法结束；否则令x(t)＝s(t)，重复s401-s404，求出n阶的imf分量imfn(t)及r(n)。
39.与现有技术相比，本发明的有益效果是：
40.(1)通过对网络流量进行采集，能够实现并发采集多个终端的网络流量，从而提高了流量采集的精确度。
41.(2)通过对采集的网络流量进行加工处理，实现对网络流量的汇聚、过滤、修剪和复制等操作，能够过滤掉重复的数据包，提高分析的精度和速度，并降低系统成本和集中监控及分析网络流量。
42.(3)通过对加工处理后的网络流量进行分析，能够实现对网络流量数据的实时监控，对具有安全威胁的数据及时进行处理，进而保证网络数据传输过程中的安全性，提高了网络的安全性。
43.(4)通过对分析后的网络流量进行异常检测，为异常检测提供精确参考，具有安全性好、自适应性强和实时性好的特点。
附图说明
44.图1为本发明的流程框图；
45.图2为本发明中s1的具体流程框图；
46.图3为本发明中s3的具体流程框图；
47.图4为本发明中s4的具体流程框图。
具体实施方式
48.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
49.请参阅图1-图4，本发明提供一种技术方案：一种虚拟网络流量采集的方法，包括以下步骤：
50.s1.对网络流量进行采集；
51.s2.对采集的网络流量进行加工处理；
52.s3.对加工处理后的网络流量进行分析；
53.s4.对分析后的网络流量进行异常检测。
54.本实施例中，优选的，所述s1中对网络流量进行采集的方法具体包括以下步骤：
55.s101.创建多个进程，每个所述进程包括多个线程，每个进程与且只与一个采集列表对应，所述采集列表包括各终端的模型信息；
56.s102.通过所述进程获取对应的所述采集列表，以采集所述各终端的网络流量，采集完成后将采集流量存入至内存结构。
57.本实施例中，优选的，所述s2中的加工处理包括对网络流量进行汇聚、过滤、修剪和复制。
58.本实施例中，优选的，所述对网络流量进行汇聚包括将从多个分散物理位置采集的网络流量进行标记并汇聚在一起；所述对网络流量进行过滤包括过滤掉网络流量中的重复数据包；所述对网络流量进行修剪包括屏蔽或去除敏感信息荷载报文；所述对网络流量进行复制包括将经过汇聚、过滤和修剪的网络流量复制成多份。
59.本实施例中，优选的，所述s3中对加工处理后的网络流量进行分析的方法具体包括以下步骤：
60.s201.获取网络流量数据，得到网络流量数据集；确定网络流量数据集的风险等级；
61.s202.创建网络流量模型，并根据网络流量数据集以及其对应的风险等级对网络流量模型进行训练，得到网络流量风险模型；
62.s203.采集网络流量数据，输入网络流量风险模型，得到对应网络流量数据的风险等级；
63.s204.对具有安全隐患的网络流量数据进行处理。
64.本实施例中，优选的，所述s201中网络流量数据集的风险等级的计算公式为：
65.d＝∑wx
×
∑sy；
66.其中，∑wx表示不同网络流量数据对应的权重；∑sy表示不同网络流量数据对应的安全估值。
67.本实施例中，优选的，所述s204中对网络流量数据进行处理的方法，包括以下步骤：
68.步骤一、判断网络流量数据的风险等级是否达到临界值；
69.步骤二、若网络流量数据的风险等级没有达到临界值，则继续对下一组网络流量数据进行监测；若网络流量数据的风险等级达到临界值，则将网络流量数据下发至风险等级队列；
70.步骤三、预警处理模板对风险等级队列进行采集；
71.步骤四、若在风险等级队列中没有采集到网络流量数据，继续执行步骤三；若在风险等级队列中采集到网络流量数据，继续执行步骤五；
72.步骤五、进行报警提醒并将网络流量数据进行删除。
73.本实施例中，优选的，所述s4中对分析后的网络流量进行异常检测的方法具体包括以下步骤；
74.s301.流量特征采集与态势特征指标提取；
75.s302.面向态势特征的自适应学习与异常分析；
76.s303.网络异常态势检测与告警。
77.本实施例中，优选的，所述s302中异常分析为基于希尔伯特黄变换算法的异常检测分析，所述基于希尔伯特黄变换算法分两步：经验模态分解法emd分解和希尔伯特变换，对信号进行emd分解的过程其实是一个筛选过程，在这个过程中使信号由复杂的非线性谐波信号转变为简单的线性信号，所述希尔伯特变换过程是从所述线性信号中得到具有物理意义的瞬时频率；所述经验模态分解法emd分解出的信号称为固有模态函数imf分量，每个imf分量都是单分量信号，将imf分量经过希尔伯特变换获得一个只属于这点的瞬时频率。
78.本实施例中，优选的，所述经验模态分解法emd分解，包括如下步骤：假设原信号为x(t),m(t)为极值点上下包络线的均值函数，令s(t)＝x(t),h(t)为信号分解的中间变量，c(t)为imf函数，信号分解过程如下：
79.s401.求出函数x(t)的所有极大值点和极小值点，通过三次样条插值函数分别构造出上包络线和下包络线，并计算出其均值函数m(t)；
80.s402.将函数x(t)减去均值函数m(t)得到h(t)，即h(t)＝x(t)-m(t)；
81.s403.判断h(t)是否满足imf条件，假如不符合，令x(t)＝h(t)，对x(t)函数依次重
复步骤s401、s402、s403，否则转到s404；
82.s404.令imfi(t)＝h(t),s(t)＝s(t)-h(t)，判断s(t)是否满足残余趋势项的条件，如果满足则令r(n)＝s(t)，算法结束；否则令x(t)＝s(t)，重复s401-s404，求出n阶的imf分量imfn(t)及r(n)。
83.本发明的原理及优点：通过对网络流量进行采集，能够实现并发采集多个终端的网络流量，从而提高了流量采集的精确度；通过对采集的网络流量进行加工处理，实现对网络流量的汇聚、过滤、修剪和复制等操作，能够过滤掉重复的数据包，提高分析的精度和速度，并降低系统成本和集中监控及分析网络流量；通过对加工处理后的网络流量进行分析，能够实现对网络流量数据的实时监控，对具有安全威胁的数据及时进行处理，进而保证网络数据传输过程中的安全性，提高了网络的安全性；通过对分析后的网络流量进行异常检测，为异常检测提供精确参考，具有安全性好、自适应性强和实时性好的特点。
84.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。