专利名称：网络流量异常检测方法和系统的制作方法
技术领域：
本发明涉及网络信息安全技术领域，尤指一种适用于高速IP城域网的网络流量异常检测方法和系统。
背景技术：
随着Internet的发展，网络流量飞速增长，互联网已成为不可或缺的信息载体。与此同时，网络流量也经常会出现偏离正常范围的异常流量，主要是由蠕虫传播、DOS攻击、DDOS攻击、僵尸网络等恶意网络攻击行为以及网络配置失误、偶发性线路中断等引起。这些异常流量往往会导致整个网络服务质量急剧下降，使受害端主机、网络直接瘫痪。因此，如 何在大规模网络环境下进行网络异常检测并及时提供预警信息，对保障网络正常运行具有重要意义。同时，随着网络带宽的不断提高，网络流量异常检测面临新的问题一方面，网络传输速率大幅度提高，相同的网络攻击，在局域网表现非常明显，而在高速线路中可能并不容易发现，需要高准确性的网络流量异常检测模型；另一方面，网络带宽提高的同时也加快了网络攻击的速度，以网络蠕虫爆发为例，它能够在IOmin甚至更短的时间内感染互联网内大部分脆弱主机。这就要求异常检测系统在快速高效识别出异常流量的同时，还能够实时实施阻断策略。因此，异常检测的关键是通过对网络流量正常行为的描述来分析和发现网络或系统中可能出现的异常行为，并向管理员提出警告，或主动作出反应。现有的异常检测方法主要有统计异常检测法，基于域值的异常检测法，基于小波的异常检测法，基于免疫学的异常检测法，基于机器学习、数据挖掘和神经网络的异常检测法以及基于流量信息熵的异常检测法等，但是这些方法主要存在以下问题(I)报警意义不明确。由于上述异常检测方法只检测网络流量中的一种或几种特征向量，而且选取的特征向量没有特定的攻击含义，因而检测系统报警时只能知道网络中某些特征向量出现了异常，但是不能判断出现了什么样的攻击。(2)不能提供协同运行的共享数据。由于Internet是没有集中管理的多个管理域的互联网络，但是异常检测要求各个检测系统之间是协同运行的，因而作为协同运行的主要内容的共享数据的提供就显得非常重要。(3)可扩展性较差由于现有的异常检测系统大多采用一种或几种单一的网络特征向量作为学习和判断的依据，对网络流量的异常描述较为单薄；在异常检测系统协同运行中网络特征向量选取得较少就可能会影响检测系统的可扩展性。(4)检测精度、实时性、全面性和新异常行为识别能力不能满足异常检测的测试要求。检测精度、实时性、全面性和新异常行为识别能力是评价异常检测系统的四大关键指标。而目前的异常检测方法由于不能负荷高速网络流量的实时测量，尚不能实现实时异常检测；且一般采用分组抽样式处理，由于抽样不可避免地会丢失流量信息，导致检测精度和准确度降低，不能满足高速流量监控的精度需求；此外现有的异常检测手段单一，识别能力有限，其检测全面性和识别新异常行为的能力都比较差。可见，现有流量异常检测实现方式，存在检测精度、实时性、全面性和报警意义不明确等诸多导致检测效果不佳的因素；同时，由于针对单一特征向量检测、控制策略单一，导致异常检测的可扩展性差，识别能力有限。且由于软件处理识别速率低，导致在异常检测时仅能给管理员发送报警，不能实现异常流量的阻断。
发明内容
本发明实施例提供一种网络流量异常检测方法和系统，用以解决现有技术中存在流量异常检测效果不佳、灵活性和可扩展性差的问题。一种网络流量异常检测方法，包括监控网络中的流量，提取网络流量的基本特征数据；根据提取的基本特征数据，确定选定的攻击行为的组合特征数据，其中，所述组合特征数据为基本特征数据的子集；将确定的组合特征数据输入对应的所述选定的攻击行为的流量模型，得到输出结果；所述流量模型为根据样本特征库中的选定的攻击行为的样本数据预先建立的；根据得到的输出结果，确定网络流量中是否存在选定的攻击行为。一种网络流量异常检测系统，包括流量统计过滤子系统和网管分析子系统；流量统计过滤子系统，用于监控网络中的流量，提取网络流量的基本特征数据；网管分析子系统，用于根据提取的基本特征数据，确定选定的攻击行为的组合特征数据，其中，所述组合特征数据为基本特征数据的子集；将确定的组合特征数据输入对应的所述选定的攻击行为的流量模型，得到输出结果；所述流量模型为根据样本特征库中的选定的攻击行为的样本数据预先建立的；根据所述选定的攻击行为的流量模型的输出结果，确定网络流量中是否存在该选定的攻击行为。本发明有益效果如下本发明实施例提供的网络流量异常检测方法和系统，通过实时监控网络中的流量，提取网络流量的基本特征数据，确定选定的攻击行为的组合特征数据，将确定的组合特征数据依次输入对应的所述选定的攻击行为的流量模型，得到输出结果，从而确定网络流量中存在该选定的攻击行为。该方法针对不同的攻击行为分别建立模型，从而可以准确的检测出是哪种攻击行为，报警意义明确，检测精度高；该方法实时提取网络流量中的基本特征数据，且针对不同攻击行为有针对性的确定组合特征数据，从而可以全面的检测各种攻击行为，利于多个管理域的协作管理。该方法可以方便的扩展可检测的攻击行为，当有新的攻击行为时，可以建立其流量模型，对其进行检测，扩展方便。该方法能够获取良好的检测效果、较高的检测精度。
图I为本发明实施例中网络流量异常检测系统的结构示意图；图2为本发明实施例中网络流量异常检测方法的流程图3为本发明实施例中建基于量子小波神经网络的流量模型的结构图；图4为本发明实施例中网络流量异常检测系统在城域网络中的部署图；图5为本发明实施例中网络流量异常检测系统的具体结构示意图；图6为本发明实施例中网管分析子系统的具体结构示意图。
具体实施例方式针对现有技术中，网络流量异常检测效果不佳、灵活性和可扩展性差等若干问题，本发明实施例提供一种网络流量异常检测方法，基于实时提取的网络流量的特征数据实现流量异常检测，由于针对不同的异常攻击行为考虑了相应的多种特征数据的组合，使检测的实时性、准确性、全面性都获得提高，且检测灵活性和可扩展也比较好。 本发明实施例提供的网络流量异常检测方法，通过如图I所示的网络流量异常检测系统实现。该系统包括流量统计过滤子系统I和网管分析子系统2。流量统计过滤子系统1，用于流量统计过滤子系统，用于监控网络中的流量，提取网络流量的基本特征数据。网管分析子系统2，用于根据提取的基本特征数据，确定选定的攻击行为的组合特征数据，其中，所述组合特征数据为基本特征数据的子集；将确定的组合特征数据输入对应的所述选定的攻击行为的流量模型，得到输出结果；所述流量模型为根据样本特征库中的选定的攻击行为的样本数据预先建立的；根据所述选定的攻击行为的流量模型的输出结果，确定网络流量中存在该选定的攻击行为。优选的，网管分析子系统2，还用于确定网络流量中存在该选定的攻击行为，根据该选定的攻击行为的属性信息，设置流量控制参数；流量统计过滤子系统1，还用于根据设置的流量控制参数对网络流量进行过滤控制。上述基于高速IP城域网的网络流量异常检测方法的流程如图2所示，包括如下步骤步骤Sll :监控网络中的流量，提取网络流量的基本特征数据。实时监控网络中的流量，从网络流量中的下列至少一个信息中提取设定数量的特征信息，作为基本特征数据流量相关信息、数据包相关信息、协议相关信息、端口相关信息、端口流量相关信息、地址相关信息、TCP标志位的相关信息。具体的，从上述信息中提取设定数量特征数据，具体包括下列数据中的若干种流报文数、流字节数、流开始时间、流结束时间、包长震荡频率、数据包平均间隔、平均包长、SYN包个数、协议类型、源端口、目的端口、每秒钟发送的数据包数量、源地址、目的地址。通过这些基本特征数据可以比较详细地描述了网络流量的运行状态。例如统计到的基本特征数据可以记为包含η个基本特征变量的基本特征集X1,X2，L L Χη。其中，η表示基本特征集中的基本特征变量的数量，优选的，η = 256。步骤S12 :根据提取的基本特征数据，确定选定的攻击行为的组合特征数据，其中，组合特征数据为基本特征数据的子集。将提取的基本特征数据与选定的攻击行为进行类别互熵；根据互熵结果，确定各基本特征数据对选定的攻击行为的重要程度；根据各基本特征数据对选定的攻击行为的重要程度，从基本特征数据中确定选定的攻击行为的组合特征数据。即针对每种可能存在的攻击行为进行组合特征数据的选取。在进行特征数据的约简时，运用信息熵相关理论，通过计算基本特征集中的各基本特征变量X1, x2，L L 乂 与不同的攻击行为的互熵进行重要特征选取，根据互熵的大小确定基本特征变量XiQ = 1，2，......，η)的重要程度λ it)根据重要程度选取重要的基本特征变量组成组合特征集X1, X2,......Xm，其中m
< η。进而得到组合特征数据
权利要求
1.一种网络流量异常检测方法，其特征在于，包括 监控网络中的流量，提取网络流量的基本特征数据； 根据提取的基本特征数据，确定选定的攻击行为的组合特征数据，其中，所述组合特征数据为基本特征数据的子集； 将确定的组合特征数据输入对应的攻击行为的流量模型，得到输出结果；所述流量模型为根据样本特征库中的各攻击行为的样本数据预先建立的； 根据得到的输出结果，确定网络流量中是否存在攻击行为并确定攻击行为的类型。
2.如权利要求I所述的方法，其特征在于，所述提取网络流量的基本特征数据，具体包括 从网络流量中的下列至少一个信息中提取设定数量的特征信息，作为基本特征数据流量相关信息、数据包相关信息、协议相关信息、端口相关信息、端口流量相关信息、地址相关息、TCP标志位的相关信息。
3.如权利要求2所述的方法，其特征在于，所述提取网络流量的设定数量特征数据，具体包括下列数据中的若干种 流报文数、流字节数、流开始时间、流结束时间、包长震荡频率、数据包平均间隔、平均包长、SYN包个数、协议类型、源端口、目的端口、每秒钟发送的数据包数量、源地址、目的地址。
4.如权利要求I所述的方法，其特征在于，所述根据提取的基本特征数据，确定选定的攻击行为的组合特征数据，具体包括 将提取的基本特征数据与选定的攻击行为进行类别互熵； 根据互熵结果，确定各基本特征数据对所述选定的攻击行为的重要程度； 根据各基本特征数据对所述选定的攻击行为的重要程度，从基本特征数据中确定所述选定的攻击行为的组合特征数据。
5.如权利要求I所述的方法，其特征在于，根据样本特征库中的选定的攻击行为的样本数据建立流量模型的过程包括 根据样本数据的期望输出和实际输出，确定基于量子小波神经网络的流量模型的模型参数权值； 根据确定的基于量子小波神经网络的流量模型的模型参数权值，调整量子小波神经网络模型的量子间隔； 根据确定的模型参数权值和调整后的量子间隔建立基于量子小波神经网络的流量模型。
6.如权利要求5所述的方法，其特征在于，所述根据样本数据的期望输出和实际输出，确定基于量子小波神经网络的流量模型的模型参数权值；具体包括 根据样本数据的期望输出和实际输出，训练样本的均方误差函数
7.如权利要求6所述的方法，其特征在于，所述根据确定的基于量子小波神经网络的流量模型的模型参数权值，调整量子小波神经网络模型的量子间隔，具体包括 根据得到的模型参数权值Wij、vJk, Bj, bj，调整调整量子小波神经网络模型的量子间隔O
8.如权利要求7所述的方法，其特征在于，所述建立的基于量子小波神经网络的流量模型为
9.如权利要求I所述的方法，其特征在于，将确定的组合特征数据输入对应的所述选定的攻击行为的流量模型，得到输出结果，具体包括 输入层输入组合特征集X1, X2, L L Xm，经输入层计算得到用于输入隐含层的输入层节点输出函数； 将得到的输入层节点输出函数输入隐含层，经隐含层计算得到隐含层节点输出函数； 将得到的隐含层节点输出函数输入输出层，经输出层计算后得到输出结果。
10.如权利要求9所述的方法，其特征在于，所述输入层节点输出函数为Pi= AiXi I=I, 2, L, m ； 其中=Xi为组合特征数据中的特征向量；λ i表示特征向量Xi的重要程度。
11.如权利要求10所述的方法，其特征在于，所述隐含层节点输出函数为
12.如权利要求11所述的方法，其特征在于，输出结果满足下列公式
13.如权利要求I所述的方法，其特征在于，所述选定的攻击行为包括下列攻击行为中的一种或几种DDoS攻击、木马病毒、恶意代码和僵死病毒。
14.如权利要求13所述的方法，其特征在于，所述根据得到的输出结果，确定网络流量中是否存在攻击行为并确定攻击行为的类型，具体包括 若输出所述输出结果的攻击行为的流量模型为DDoS攻击的流量模型，当输出结果为正常流量的输出值时，确认不存在DDoS攻击；当其输出结果为异常流量的输出值时，确定存在的攻击行为的类型为DDoS攻击； 若输出所述输出结果的攻击行为的流量模型为木马病毒的流量模型，当输出结果为正常流量的输出值时，确认不存在木马病毒；当其输出结果为异常流量的输出值时，确定存在的攻击行为的类型为木马病毒； 若输出所述输出结果的攻击行为的流量模型为恶意代码的流量模型，当输出结果为正常流量的输出值时，确认不存在恶意代码；当其输出结果为异常流量的输出值时，确定存在的攻击行为的类型为恶意代码； 若输出所述输出结果的攻击行为的流量模型为僵死病毒的流量模型，当输出结果为正常流量的输出值时，确认不存在僵死病毒；当其输出结果为异常流量的输出值时，确定存在的攻击行为的类型为僵死病毒。
15.如权利要求1-14任一所述的方法，其特征在于，还包括 在确定出网络流量中存在该选定的攻击行为时，根据该选定的攻击行为的属性信息，设置流量控制参数，对网络流量进行过滤控制。
16.如权利要求15所述的方法，其特征在于，还包括，在确定出网络流量中存在该选定的攻击行为时，向用户提供告警展示信息； 所述告警展示信息包括下列展示信息中的一种或几种各攻击行为的分类告警展示、攻击信息的图表展示和异常检测的策略规则展示。
17.一种网络流量异常检测系统，其特征在于，包括流量统计过滤子系统和网管分析子系统； 流量统计过滤子系统，用于监控网络中的流量，提取网络流量的基本特征数据； 网管分析子系统，用于根据提取的基本特征数据，确定选定的攻击行为的组合特征数据，其中，所述组合特征数据为基本特征数据的子集；将确定的组合特征数据输入对应的所述选定的攻击行为的流量模型，得到输出结果；所述流量模型为根据样本特征库中的选定的攻击行为的样本数据预先建立的；根据所述选定的攻击行为的流量模型的输出结果，确定网络流量中是否存在攻击行为并确定攻击行为的类型。
18.如权利要求17所述的系统，其特征在于，所述网管分析子系统，还用于确定网络流量中存在该选定的攻击行为，根据该选定的攻击行为的属性信息，设置流量控制参数； 流量统计过滤子系统，还用于根据设置的流量控制参数对网络流量进行过滤控制。
19.如权利要求17所述的系统，其特征在于，所述流量统计过滤子系统，具体包括 流量统计识别模块，用于监控网络中的流量，提取网络流量的基本特征数据； 在线过滤模块，用于获取网管分析子系统确定网络流量中存在选定的攻击行为时，根据该选定的攻击行为的属性信息，设置流量控制参数；以及根据获取的流量控制参数对网络流量进行过滤控制。
20.如权利要求17所述的系统，其特征在于，所述网管分析子系统，具体包括 模型建立模块，用于根据样本特征库中的选定的攻击行为的样本数据预先建立选定的攻击行为的流量模型； 数据提取模块，用于根据提取的基本特征数据，确定选定的攻击行为的组合特征数据，其中，所述组合特征数据为基本特征数据的子集； 数据分析模块，用于将确定的组合特征数据输入对应的所述选定的攻击行为的流量模型，得到输出结果； 流量识别模块，用于根据所述选定的攻击行为的流量模型的输出结果，确定网络流量中存在该选定的攻击彳丁为。
21.如权利要求20所述的系统，其特征在于，所述数据提取模块，具体用于 将提取的基本特征数据与选定的攻击行为进行类别互熵；根据互熵结果，确定各基本特征数据对所述选定的攻击行为的重要程度；根据各基本特征数据对所述选定的攻击行为的重要程度，从基本特征数据中确定所述选定的攻击行为的组合特征数据。
22.如权利要求20所述的系统，其特征在于，所述模型建立模块，具体用于 根据样本数据的期望输出和实际输出，确定基于量子小波神经网络的流量模型的模型参数权值； 根据确定的基于量子小波神经网络的流量模型的模型参数权值，调整量子小波神经网络模型的量子间隔； 根据确定的模型参数权值和调整后的量子间隔建立基于量子小波神经网络的流量模型。
23.如权利要求20所述的系统，其特征在于，所述数据分析模块，具体用于 输入层输入组合特征集X1, X2, L L Xm，经输入层计算得到用于输入隐含层的输入层节点输出函数； 将得到的输入层节点输出函数输入隐含层，经隐含层计算得到隐含层节点输出函数； 将得到的隐含层节点输出函数输入输出层，经输出层计算后得到输出结果。
24.如权利要求20-23任一所述的系统，其特征在于，所述网管分析子系统，还包括 规则挖掘模块，用于在确定出网络流量中存在该选定的攻击行为时，根据该选定的攻击行为的属性信息，设置流量控制参数。
25.如权利要求20-23任一所述的系统，其特征在于，所述网管分析子系统，还包括 信息输出模块，用于针对每种攻击行为，向用户展示流量识别模块的确定结果，以及当存在选定的攻击行为时，向用户提供告警展示信息。
全文摘要
本发明公开了一种网络流量异常检测方法和系统，该方法包括监控网络中的流量，提取网络流量的基本特征数据；根据提取的基本特征数据，确定选定的攻击行为的组合特征数据，其中，所述组合特征数据为基本特征数据的子集；将确定的组合特征数据输入对应的所述选定的攻击行为的流量模型，得到输出结果；所述流量模型为根据样本特征库中的选定的攻击行为的样本数据预先建立的；根据得到的输出结果，确定网络流量中是否存在选定的攻击行为。实现了流量检测多元化、识别更准确，可扩展性强。
文档编号H04L12/24GK102821002SQ20111015422
公开日2012年12月12日 申请日期2011年6月9日 优先权日2011年6月9日
发明者杨柳青 申请人:中国移动通信集团河南有限公司信阳分公司