一种基于流量日志的DDoS攻击事件检测方法及系统与流程

本发明涉及网络安全、大数据分析等领域，具体涉及一种基于大型网络的海量流量日志发现ddos攻击事件的方法及系统。

背景技术：

分布式拒绝服务(ddos：distributeddenialofservice)攻击指借助于客户/服务器技术，将多个计算机联合起来作为攻击平台，对一个或多个目标发动ddos攻击，从而成倍地提高拒绝服务攻击的威力。通常，攻击者使用一个偷窃帐号将ddos主控程序安装在一个计算机上，在一个设定的时间主控程序将与大量代理程序通讯，代理程序已经被安装在网络上的许多计算机上。代理程序收到指令时就发动攻击。利用客户/服务器技术，主控程序能在几秒钟内激活成百上千次代理程序的运行。

ddos攻击通过大量合法的请求占用大量网络资源，以达到瘫痪网络的目的。这种攻击方式可分为以下几种：(1)通过使网络过载来干扰甚至阻断正常的网络通讯；(2)通过向服务器提交大量请求，使服务器超负荷；(3)阻断某一用户访问服务器；(4)阻断某服务与特定系统或个人的通讯。

分布式拒绝服务攻击采取的攻击手段就是分布式的，其攻击的模式改变了传统的点对点的攻击模式，使攻击方式出现了没有规律的情况，而且在进行攻击的时候，通常使用的也是常见的协议和服务，这样只是从协议和服务的类型上是很难对攻击进行区分的。在进行攻击的时候，攻击数据包都是经过伪装的，在源ip地址上也是进行伪造的，这样就很难对攻击进行地址的确定，在查找方面也是很难的，这样就导致了分布式拒绝服务攻击在检验方法上是很难做到的。

对分布式攻击进行必要的分析，就可以得到这种攻击的特性。分布式拒绝服务在进行攻击的时候，要对攻击目标的流量地址进行集中，然后在攻击的时候不会出现拥塞控制。在进行攻击的时候会选择使用随机的端口来进行攻击，会通过数千端口对攻击的目标发送大量的数据包，使用固定的端口进行攻击的时候，会向同一个端口发送大量的数据包。

基于海量网络日志进行ddos攻击检测的一般方法，是进行基线比较，即将某个ip地址的当前流量水平同其历史基线水平进行比较。然而，对所有ip地址的基线水平进行存储，会造成巨大的存储开销和加载开销。

技术实现要素：

本发明的目的在于提供一种基于流量日志的ddos攻击事件检测方法及系统，能够克服基于海量网络日志的基线流量存储开销，不需要存储全部基线数据，节省存储空间。

为实现上述目的，本发明采用如下技术方案：

一种基于流量日志的ddos攻击事件检测方法，其步骤包括：

确定统计周期，在每个统计周期读取海量网络流量日志，统计所有被关注的ip在各统计周期内接收到的网络流量值；

将单个统计周期内接收到的流量超过一阈值t1的ip及其对应的流量值存储为流量记录；

筛选出当前统计周期内接收到的当前流量超过一阈值t2的ip集合；

针对所述ip集合中的每个ip，从所述流量记录中读取其历史流量值，如果有ip的历史流量值不存在或者小于其当前流量值的r倍，则判定该ip遭受ddos攻击。

进一步地，所述统计周期大于等于1秒，小于等于1小时。

进一步地，所述阈值t2>t1，较佳地，t2≥2t1。

进一步地，所述阈值t1≥1mbps，通过合理地设置所述阈值t1，可针对系统具体能力调节基线存储和计算的开销。

进一步地，所述阈值t2≤500mbps。

进一步地，所述历史流量值为当前统计周期的未遭受ddos攻击的最近一天或几天的同一时段统计周期的平均流量值。

进一步地，所述r≤0.5。

进一步地，流量记录存储为netflow格式。

一种基于流量日志的ddos攻击事件检测系统，包括：

一配置管理模块，用于在系统初始化阶段加载包含参数t1、t2、r的配置库；

一数据接入模块，用于周期性读取流量记录，并进行格式转换，方便后续数据分析；

一数据分析模块，用于分析流量记录，发现当前统计周期内的ddos攻击事件；

一情报输出模块，用于将当前统计周期内发现的ddos攻击事件发往其他系统，用于深入挖掘或可视化展示。

进一步地，所述流量记录存储于一大数据平台，如hadoop。

与现有技术相比，本发明的优点在于：

在本发明方法中，只有超过t1阈值的流量值才会被存储，通过合理设置t1值，可筛选出ddos攻击可能性高的ip，不需要存储全部基线数据，节省存储空间，减少基线比较过程的计算量的开销；如果没有这一机制，所有的流量值都会被存储，开销显然要大，例如全部流量值存储开销为1gb，而超过t1的流量值存储开销0.1gb，那么利用本方法可节约0.9gb的开销。将筛选出的ip的流量值与t2进行比较，进一步筛选出ddos可能性更高的ip，进一步缩小范围；通过当前流量值与历史同期的正常流量值进行比较，合理设置r值，能够判定出遭受ddos攻击的ip地址。本方法能够有效检测大规模网络中的所有流量型ddos攻击事件。

附图说明

图1是实施例中的一种基于流量日志的ddos攻击事件检测方法的流程图。

图2是实施例中的一种基于流量日志的ddos攻击事件检测系统框图。

图3是实施例中的一种基于流量日志的ddos攻击事件检测系统的工作示意图。

具体实施方式

为使本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图作详细说明如下。

本实施例提供一种基于流量日志的ddos攻击事件检测方法，如图1所示，步骤包括：

1)确定统计周期，选择在1秒至1小时之间的某值，确定流量阈值2mbps≤2t1≤t2≤500mbps，确定比例值r≤0.5；

2)例行统计所有ip在各个统计周期内接收到的网络流量值；

3)将单个统计周期内接收到的流量超过阈值t1的ip及其对应的流量值存储为流量记录；

4)筛选出当前统计周期内接收到的当前流量值超过t2的ip集合；

5)针对所述ip集合中的每个ip及其对应当前流量，从流量记录读取其未遭受ddos攻击的最近一天同一时段统计周期的历史流量值，如果一ip的历史流量值不存在，或者小于当前流量值的r倍，则判定其可能遭受ddos攻击。

本实施例还提供一种基于流量日志的ddos攻击事件检测系统，以实现上述方法，如图2所示，包括：

配置管理模块，负责在系统初始化阶段加载包含t1、t2、r等参数的配置库；

数据接入模块，负责周期性读取大数据平台中的流量记录，并进行格式转换，方便后续数据分析；

数据分析模块，负责分析流量记录，发现本周期内的ddos攻击事件；

情报输出模块，负责将本周期内发现的ddos攻击事件发往其他系统，用于深入挖掘或可视化展示。

上述系统基于大数据平台开发，可在省级运营商网络出口采集并分析网络日志，输出可能的ddos攻击行为报告，如图3所示工作示意图，具体实施如下：

1、部署数据接入模块，作为网络探针，在被关注网络的出入口等关键位置采集网络流量，生成netflow格式的日志(流量记录)，并存储至大数据平台。当平台存储空间有限时，采用滚动删除的方式，保留最近2周至一个月的相关记录。

2、数据分析模块对大数据平台中存储的流量记录进行分析，尝试参数组合，检测ddos攻击事件，将检测到的ddos攻击事件存储于事件库中。

3、根据实际效果调整参数取值，再次应用于本系统。

现有技术会不加筛选地存储所有ip的流量记录(相当于t1＝0)，虽然存储的信息更为完整，但存储开销迅速增长。而本发明提供的方法针对具体的网络环境合理设置了t1值，不需要存储全部基线数据，只关注有明显ddos嫌疑的大流量ip地址进行周期流量存储，存储开销显著降低，节省存储空间，减少基线比较过程的计算量；通过将筛选出的ip的流量与t2进行比较，进一步筛选ip，再通过当前流量与历史流量进行比较，判定ddos攻击，本方法能够有效检测大规模网络中的所有流量型ddos攻击事件。

以上实施例仅用以说明本发明的技术方案而非对其限制，并且在应用上可以延伸到其他的修改、变化、应用和实施例，同时认为所有这样的修改、变化、应用、实施例都在本发明的范围内。