一种基于tcp协议的高效多级异常流量检测方法
【技术领域】
[0001] 本发明属于通信异常检测技术领域，涉及互联网上各类异常检测的快速、实时异 常检测技术，具体设计一种基于TCP协议的高效多级异常流量检测方法。
【背景技术】
[0002] 网络异常流量检测就是网络监测中的一个重要的部分。网络异常流量是指网络中 的流量行为偏离正常行为的情形。网络中，引起网络流量异常的原因有很多，比如，网络中 的设备出现故障，导致通信不正常，引起异常；网络操作异常，突发的访问（Flashcrowd)， 网络入侵等都会引起网络异常。同时，网络异常检测是网络不断发展壮大，网络拓扑结构的 规划越来越复杂，网络设备越来越多样化，网络用户规模越来越大的发展过程中，通信安全 的一个重要保障。网络用户在寻求网络的便利通信和对网络信任的同时，新类型的网络威 胁也在不断增加。如何发现并排除这些网络威胁是网络异常检测的重要任务，也是保障网 络正常通信的重要组成部分。
[0003] 网络面临的攻击及威胁主要来源于网络内部，如大量网络病毒、网内主机的主动 攻击及网络异常流量的突增都将引起网络设备负荷过重，从而导致网络拥塞，并可能进一 步导致网络瘫痪。SYNFloodDDoS攻击，就是网络不良用户利用TCP协议的三次握手连接 存在的缺陷，伪造正常用户的IP地址，产生的攻击，从而给网络带来不可估量的损失。因 此，当网络中存在异常时，首要措施是，找出这些异常，并且产生异常报警。同时，网络异常 不会只对针对某一处进行攻击，而是会尽可能广的向周围扩散。它的最终的目的是波及最 大范围的网络，产生多种类型的异常。针对这种情况，就需要一种实时、快速发现异常的检 测方法，发现异常，截断异常，从而使网络得以正常通信。
[0004]网络异常流量的特点是流量突发性变化，先兆特征未知，可以在短暂的时间内给 网络或网络上的计算机带来极大的危害，因此实时、快速地检测网络流量的异常行为，判断 引起异常的原因，做出合理的响应是保证网络有效运行的前提之一，而降低网络恶意攻击 带来的损失是保障网络安全的另一个重要方面。
[0005]目前，已提出的异常检测方法，如非线性异常流量检测方法（NLPP)、基于小波分析 的异常流量检测方法、基于ARMA模型的异常流量检测方法等，虽然能够实时快速的检测出 异常，但计算复杂度较高，同时检测的结果不够精确，往往存在较大的误报率，并且检测方 法需要当流量数据存在长相关特性时才能使用。而大多数流量数据在采集时，呈现的相关 性特征并不明显，波动趋势常呈现出非平稳状态，使得检测方法的使用范围局限性很大。本 发明提出的异常检测方法，在进行流量检测前，对流量数据进行预处理，从而能够克服检测 局限性的问题。同时，在传统检测方法的检测的基础上，提出的多级检测机制，有效的降低 了检测的误报率。
【发明内容】
[0006] 针对现有技术中的不足，本发明的目的在于提供一种确保正确率的同时降低误报 率，方法简单且易于实现的方法，本发明的技术方案如下：一种基于TCP协议的高效多级异 常流量检测方法，其包括以下步骤：
[0007] 101、在时间段T内收集网络流量数据，然后对于网络流量数据中的原始流量序列 R，在时刻t的观测值用xt表示，xtGR,t= 1，2,…，T，按照|x11 >kvar_R准则去除不可用 的流量数据值xt，其中k表示的是格拉布斯准则系数，var_R表示所述序列R的方差，将保 留下来的流量数据，作为一个流量观测序列X;
[0008] 102、对流量观测序列X进行差分平稳化预处理，预处理得到的差分流量序列为D， 其中差分值dt=xt-x^，t>l，dtGD，t= 1，2,…N，得到差分流量序列D后，输入步骤103 中；
[0009] 103、分别计算出序列X和序列D的平均值和方差，并根据平均值和方差，预估t时 刻的差分流量值所在的区间[lt，ht]
【主权项】
1. 一种基于TCP协议的高效多级异常流量检测方法，其特征在于，包括以下步骤： 101、 在时间段T内收集网络流量数据，然后对于网络流量数据中的原始流量序列R，在 时刻t的观测值用Xt表示，X te R, t = 1，2,…，T，按照I X 11 >kvar_R准则去除不可用的流 量数据值Xt，其中k表示的是格拉布斯准则系数，var_R表示所述序列R的方差，将保留下 来的流量数据，作为一个流量观测序列X ; 102、 对流量观测序列X进行差分平稳化预处理，预处理得到的差分流量序列为D，其中 差分值dt= X t-xg，t>l，dte D，t = 1，2,…N，得到差分流量序列D后，输入步骤103中； 103、 分别计算出序列X和序列D的平均值和方差，并根据平均值和方差，预估t时刻的 差分流量值所在的区间[lt, ht]，Zi =凡-n^j\av_dt, ht = pt + n^j\ar_dt ;其中pt表示t时刻 的阈值预测值，IJP h t分别表示在t时刻允许的差分流量的最小值和最大值，var_d t表示 在t时刻的差分流量的方差，在检测到步骤102中的差分流量序列D输入后，防火墙即开启 初级检测防御功能，对传送过来的数据，根据t时刻的阈值预测值p t进行检测，当t时刻的 差分流量数据值在差分流量预测值的区间[lt，ht]范围内时，判定其为正常流量，并将其转 发给服务器；当超出区间[l t，ht]范围时，判定为异常流量，跳转至步骤104 ; 104、 防火墙的多级检测系统对转发过来的数据包进行分解，提取数据包中的关键字段 key_field，并对这些关键字段key_field进行判定，若没有发现异常字段，则将其转发给 服务器；若检测到异常字段，则将该数据包丢弃； 105、 经过步骤104中的再次检测后，将正常的数据包转发给服务器，使得服务器与客 户端建立第一次握手连接； 106、 在建立了第一次握手连接后，服务器将会发送回复信息Mrespmse给客户端，同时等 待客户端的确认信息ACK，当客户端收到服务器的回复信息M respmse后，两端建立了第二次握 手连接；当服务器收到了确认信息ACK之后，服务器与客户端的建立了第三次握手连接，两 者之间即可通信。
2. 根据权利要求1所述的基于TCP协议的高效多级异常流量检测方法，其特征在于，步 骤102中所述的差分平稳化预处理的步骤为： S21、对所收集时间段T内的网络通信数据序列Ix1, X2，…，χτ}，分析去除非正常值，保 留正常值，这里，如果I Xt I >kvar_R则表示\非正常值，其中k表示的是格拉布斯准则系数， var_R表示所述序列R的方差；将保留下来的观测值序列作为观察序列X ; 522 :对所述的原始序列R计算其平均值F和其方差var_R ; 523 :对所述的观测序列X，进行差分预处理，有dte D, t = 1，2,…T，其中d t = Xt-Xt-I, t>l ; 524 :对所述差分序列D，计算其平均值和方差var_D。
3. 根据权利要求2所述的基于TCP协议的高效多级异常流量检测方法，其特征在于，原 始序列R的平均值F公式为J=去&; var_R表示它们的方差，。 T t=i 』艺:1
【专利摘要】本发明请求保护一种基于TCP协议的高效多级异常流量检测方法，在传统的异常流量检测的过程中加入了一种多级异常检测机制。该方法是对网络中客户端发送的数据流量的异常检测，它使用差分均值的方法对客户端产生的原始流量进行差分平稳化处理，同时根据网络中已有的流量进行分析、统计，动态的设定一个自适应阈值区间，对平稳化之后的流量进行自适应阈值差分流量检测，并对通过初级检测的数据包进行进一步的异常检测。这种进一步的异常检测主要是对经过路由转发过来的数据包进行解析，提取其关键字段，根据对关键字段的判定，进一步判断从客户端发送过来的数据包是否为异常。本发明提高了检测精度且简便易于实现。
【IPC分类】H04L12-26
【公开号】CN104734916
【申请号】CN201510104409
【发明人】徐光侠, 吴群, 刘宴兵, 常光辉, 李娜, 梁绍飞, 胡杰, 李来军, 高诗意
【申请人】重庆邮电大学
【公开日】2015年6月24日
【申请日】2015年3月10日