一种基于周期性和移动窗口基线算法的异常流量检测方法与流程

本发明涉及网络安全技术领域，尤其涉及一种基于周期性和移动窗口基线算法的异常流量检测方法。

背景技术：

网络流量是反映网络承载的基本形态，随着网络的普及和网络使用量的与日俱增，网络流量也呈现指数式的上升。网络流量的大小在一定程度上反映了网络的安全性，许多网络攻击都会使得网络流量产生异常，例如分布式拒绝服务(distributeddenialofservice，ddos)攻击就是利用大量的正常访问请求来攻击服务器，以占用服务器大量的服务资源，从而使得合法用户无法得到服务器的响应，甚至导致服务器的瘫痪。因此，对网络流量进行检测以发现异常流量情况并采取相应措施是保护网络安全的重要措施。

为解决上述问题，本申请中提出一种基于周期性和移动窗口基线算法的异常流量检测方法。

技术实现要素：

(一)发明目的

为解决背景技术中存在的技术问题，本发明提出一种基于周期性和移动窗口基线算法的异常流量检测方法，本发明先对采集到的原始数据进行处理，去除无效数据；根据有效数据建立多个不同时间段内的awr参考基线；设置周期性和移动窗口的方式对实际值与awr参考基线进行比对，从而得到判断是否出现异常流量，根据生成比对结构与awr参考基线的偏差值响应不同等级的异常警告。异常警告随着时间累积，警告等级逐渐上升。

(二)技术方案

为解决上述问题，本发明提供了一种基于周期性和移动窗口基线算法的异常流量检测方法，包括以下具体步骤：

s1、每隔五分钟采集一次udp原始数据，根据udp原始数据的通讯端口、时间和字节数三个维度赋予特征值；

s2、根据udp原始数据的特征值建立相似度比对模型；

s3、将udp原始数据输入相似度比对模型中，筛选去除偏离值较大的udp原始数据；

s4、将处理后的udp数据根据时间排列；划分多个时间段，计算每个时间段内变量的平均值；将平均值连成线获得awr参考基线；

s5、根据时间段的不同生成多个awr参考基线；并设置awr参考基线的保存时间；

s6、设定指定的周期将实际值与参考基线进行比对，判断是否产生异常流量；

s7、设定移动窗口大小的范围，根据移动窗口基线与实际值进行比对，判断是否产生异常流量；

s8、生成比对结果，并对异常流量进行异常警告。

优选的，s2中根据udp原始数据的维度分别建立基于通讯端口、时间的数据相似度比对模型。

优选的，s3中将udp原始数据根据维度的不同，分别代入数据相似度比对模型中，计算相似度。

优选的，s3中根据计算后获得的相似度数值，去除离散程度较大的数据。

优选的，s5中根据时间段分为工作日awr参考基线、周末awr参考基线。

优选的，根据工作日awr参考基线、周末awr参考基线细分8-11时awr参考基线、18-22时awr参考基线和每小时的awr参考基线。

优选的，s5中设置awr参考基线保存时间，时间范围为8-30天。

优选的，s7中设定移动窗口大小的范围小于或等于s5中awr参考基线保存时间。

优选的，s8中根据生成比对结构与awr参考基线的偏差值响应不同等级的异常警告。

优选的，s8中的异常警告随着时间累积，警告等级逐渐上升。

本发明的上述技术方案具有如下有益的技术效果：本发明先对采集到的原始数据进行处理，建立多个维度的数据相似度模型，并根据相似度的离散程度去除无效数据；根据有效数据建立多个不同时间段内的awr参考基线；设置周期性和移动窗口的方式对实际值与awr参考基线进行比对，从而得到判断是否出现异常流量，根据生成比对结构与awr参考基线的偏差值响应不同等级的异常警告。异常警告随着时间累积，警告等级逐渐上升。

附图说明

图1为本发明提出的基于周期性和移动窗口基线算法的异常流量检测方法的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

如图1所示，本发明提出的一种基于周期性和移动窗口基线算法的异常流量检测方法，包括以下具体步骤：

s1、每隔五分钟采集一次udp原始数据，根据udp原始数据的通讯端口、时间和字节数三个维度赋予特征值；

s2、根据udp原始数据的特征值建立相似度比对模型；

s3、将udp原始数据输入相似度比对模型中，筛选去除偏离值较大的udp原始数据；

s4、将处理后的udp数据根据时间排列；划分多个时间段，计算每个时间段内变量的平均值；将平均值连成线获得awr参考基线；

s5、根据时间段的不同生成多个awr参考基线；并设置awr参考基线的保存时间；

s6、设定指定的周期将实际值与参考基线进行比对，判断是否产生异常流量；

s7、设定移动窗口大小的范围，根据移动窗口基线与实际值进行比对，判断是否产生异常流量；

s8、生成比对结果，并对异常流量进行异常警告。

实施例1

每隔五分钟采集一次udp原始数据，根据udp原始数据的通讯端口、时间和字节数三个维度赋予特征值；字母a代表通讯端口、字母b代表时间、字母c代表字节数；其中a、b、c均为二进制代码；

s2中根据udp原始数据的维度分别建立基于通讯端口、时间的数据相似度比对模型；s3中将udp原始数据根据维度的不同，分别代入数据相似度比对模型中，计算相似度；s3中根据计算后获得的相似度数值，去除离散程度较大的数据；例如以通讯端口为维度建立的相似度对比模型中，将通讯端口a1下的所有udp原始数据输入相似度对比模型中，以时间数值为横坐标字节数为纵坐标以向量的形式代表每一个udp原始数据，计算每一个向量之间的相似度，并将相似度差异较大的数据去除；同理将通讯端口a2……an下的所有udp原始数据输入相似度对比模型中，以时间数值为横坐标字节数为纵坐标以向量的形式代表每一个udp原始数据，计算每一个向量之间的相似度，并将相似度差异较大的数据去除；

根据时间为维度建立相似度对比模型中，以通讯端口为横坐标，以该时刻字节数的集合为纵坐标以向量的形式代表每一个udp原始数据，计算每一个向量之间的相似度，并将相似度差异较大的数据去除；

之后将处理后的udp数据根据时间排列；划分多个时间段，计算每个时间段内变量的平均值；将平均值连成线获得awr参考基线；awr参考基线分为工作日awr参考基线、周末awr参考基线；进一步的，细分8-11时awr参考基线、18-22时awr参考基线和每小时的awr参考基线；设置awr参考基线保存天数为8天，设置周期为每天12时检测8-11时awr参考基线；并根据实际值与awr参考基线进行比对，周期性的判断是否存在流量异常情况；设置移动窗口大小为3天；将awr保存天数分成多个以3天为单位的时间间隔；并将最近3天内实际值与对应awr参考基线进行比对，判断是否存在流量异常情况；根据生成比对结构与awr参考基线的偏差值响应不同等级的异常警告。异常警告随着时间累积，警告等级逐渐上升。

实施例2

每隔五分钟采集一次udp原始数据，根据udp原始数据的通讯端口、时间和字节数三个维度赋予特征值；字母a代表通讯端口、字母b代表时间、字母c代表字节数；其中a、b、c均为二进制代码；

s2中根据udp原始数据的维度分别建立基于通讯端口、时间的数据相似度比对模型；s3中将udp原始数据根据维度的不同，分别代入数据相似度比对模型中，计算相似度；s3中根据计算后获得的相似度数值，去除离散程度较大的数据；例如以通讯端口为维度建立的相似度对比模型中，将通讯端口a1下的所有udp原始数据输入相似度对比模型中，以时间数值为横坐标字节数为纵坐标以向量的形式代表每一个udp原始数据，计算每一个向量之间的相似度，并将相似度差异较大的数据去除；同理将通讯端口a2……an下的所有udp原始数据输入相似度对比模型中，以时间数值为横坐标字节数为纵坐标以向量的形式代表每一个udp原始数据，计算每一个向量之间的相似度，并将相似度差异较大的数据去除；

根据时间为维度建立相似度对比模型中，以通讯端口为横坐标，以该时刻字节数的集合为纵坐标以向量的形式代表每一个udp原始数据，计算每一个向量之间的相似度，并将相似度差异较大的数据去除；

之后将处理后的udp数据根据时间排列；划分多个时间段，计算每个时间段内变量的平均值；将平均值连成线获得awr参考基线；awr参考基线分为工作日awr参考基线、周末awr参考基线；进一步的，细分8-11时awr参考基线、18-22时awr参考基线和每小时的awr参考基线；设置awr参考基线保存天数为15天，设置周期为每天12时检测8-11时awr参考基线；并根据实际值与awr参考基线进行比对，周期性的判断是否存在流量异常情况；设置移动窗口大小为5天；将awr保存天数分成多个以5天为单位的时间间隔；并将最近5天内实际值与对应awr参考基线进行比对，判断是否存在流量异常情况；根据生成比对结构与awr参考基线的偏差值响应不同等级的异常警告。异常警告随着时间累积，警告等级逐渐上升。

实施例3

每隔五分钟采集一次udp原始数据，根据udp原始数据的通讯端口、时间和字节数三个维度赋予特征值；字母a代表通讯端口、字母b代表时间、字母c代表字节数；其中a、b、c均为二进制代码；

s2中根据udp原始数据的维度分别建立基于通讯端口、时间的数据相似度比对模型；s3中将udp原始数据根据维度的不同，分别代入数据相似度比对模型中，计算相似度；s3中根据计算后获得的相似度数值，去除离散程度较大的数据；例如以通讯端口为维度建立的相似度对比模型中，将通讯端口a1下的所有udp原始数据输入相似度对比模型中，以时间数值为横坐标字节数为纵坐标以向量的形式代表每一个udp原始数据，计算每一个向量之间的相似度，并将相似度差异较大的数据去除；同理将通讯端口a2……an下的所有udp原始数据输入相似度对比模型中，以时间数值为横坐标字节数为纵坐标以向量的形式代表每一个udp原始数据，计算每一个向量之间的相似度，并将相似度差异较大的数据去除；

根据时间为维度建立相似度对比模型中，以通讯端口为横坐标，以该时刻字节数的集合为纵坐标以向量的形式代表每一个udp原始数据，计算每一个向量之间的相似度，并将相似度差异较大的数据去除；

之后将处理后的udp数据根据时间排列；划分多个时间段，计算每个时间段内变量的平均值；将平均值连成线获得awr参考基线；awr参考基线分为工作日awr参考基线、周末awr参考基线；进一步的，细分8-11时awr参考基线、18-22时awr参考基线和每小时的awr参考基线；设置awr参考基线保存天数为30天，设置周期为每天12时检测8-11时awr参考基线；并根据实际值与awr参考基线进行比对，周期性的判断是否存在流量异常情况；设置移动窗口大小为15天；将awr保存天数分成多个以15天为单位的时间间隔；并将最近15天内实际值与对应awr参考基线进行比对，判断是否存在流量异常情况；根据生成比对结构与awr参考基线的偏差值响应不同等级的异常警告。异常警告随着时间累积，警告等级逐渐上升。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。