一种基于GBR图像的异常流量检测方法与流程

本发明属于网络流量检测技术领域，具体涉及一种基于gbr图像的异常流量检测方法。

背景技术：

近年来，随着人工智能概念的兴起，越来越多的机器学习被应用于异常流量检测系统的构建，产生了许多有价值的网络安全技术。而这些系统的构建大多先对网络流量进行收集，进行特征提取，然后利用数据挖掘技术，进行模式匹配，从而以离线的方式对目前已知的攻击进行识别。这些异常流量检测系统在网络安全领域的推广有着很高的价值，但存在着建立系统的速度慢、特征提取复杂和资源占用率代价高等不足。基于以上情况，本发明提出来一种基于gbr图像的异常流量检测方法。

技术实现要素：

本发明的目的是为了解决网络中异常流量检测的问题，提出了一种基于gbr图像的异常流量检测方法。

本发明的技术方案是：一种基于gbr图像的异常流量检测方法，包括以下步骤：

s1：将流量数据转换为可视化的gbr图像；

s2：将gbr图像数据存储在分布式文件系统中；

s3：基于分布式文件系统，利用apachespark框架对gbr图像数据的各个数据块分别训练子卷积神经网络模型，完成异常流量的检测。

本发明的有益效果是：本发明的异常流量检测方法将原始网络流量转换成灰度图像，保留流量信息，再选取两个特征向量组成gbr图像，降低了检测误报率。使用分布式文件系统和子卷积神经网络模型，避免了检测方法计算庞大和收敛慢的问题，具有检测未知攻击的能力，检测精准率高。

进一步地，步骤s1包括以下子步骤：

s11：将流量数据中的原始流量转换为灰度图，并将灰度图作为gbr图像的g通道；

s12：基于gbr图像的g通道，采用weka特征提取法提取流量数据中的两个特征；

s13：采用onehot编码分别对两个特征进行编码，得到编码后的两个特征向量；

s14：对编码后的两个特征向量分别进行归一化处理，其归一化公式为：

其中，为第i个特征向量归一化后的值，xi为第i个特征向量归一化前的值，max(x(i))为第i个特征向量的最大值，min(x(i))为第i个特征向量的最小值，i＝1，2；

s15：对归一化后的两个特征向量分别进行标准化处理；

s16：将标准化处理后的两个特征向量分别作为gbr图像的b通道和r通道；

s17：根据gbr图像的g通道、b通道和r通道确定gbr图像，完成gbr图像的可视化处理。

上述进一步方案的有益效果是：在本发明中，将流量数据中的原始流量转换为灰度图，实现流量处理的可视化，最终形成gbr图像可以弥补灰度图误报值过高的问题。

进一步地，步骤s15中的标准化处理为：将归一化后的两个特征向量值分别乘以255，将其流量值限定在[0，255]之间。

上述进一步方案的有益效果是：在本发明中，两个特征向量均为数值型特征，进行标准化处理便于形成gbr图像的b通道和r通道。

进一步地，步骤s3包括以下子步骤：

s31：将各个gbr图像的数据输入至子卷积神经网络模型的输入层，并依次进行去均值、归一化和白化处理；

s32：将白处理后的各个gbr图像数据通过卷积核映射到子卷积神经网络模型的卷积层；

s33：通过子卷积神经网络模型的卷积层对各个gbr图像的数据进行输出处理，其输出处理公式为：

其中，l为网络层的数量，为卷积核，为偏差，为l层的输出，为l层的输入，mj为各个gbr图像的输入集，f(·)为激活函数；

s34：利用子卷积神经网络模型的激励层对卷积层的输出结果作非线性映射；

s35：利用子卷积神经网络模型的池化层对激励层的非线性映射结果进行均值子采样和最大值子采样，并输出到子卷积神经网络模型的全连接层；

s36：利用全连接层将各个gbr图像的输出馈送到softmax函数；

s37：通过softmax函数产生各个gbr图像6类标签的概率分布，并输出到子卷积神经网络模型的输出层，得到子卷积神经网络模型的训练结果。

上述进一步方案的有益效果是：在本发明中，子卷积神经网络模型具有5个层级结构，分别是输入层、卷积层、激励层、池化层以及全连接层，卷积核减少了网络各层之间的连接以及神经网络的参数量，便于异常流量检测。

进一步地，步骤s35中，均值子采样的计算公式为：

最大值子采样的计算公式为：

其中，为均值子采样的输出，为最大值子采样的输出，l为网络层的数量，a和b是偏差，mj为特征图像的输入集，f(·)为激活函数，k和t是汇集矩阵的维数。

上述进一步方案的有益效果是：在本发明中，池化层用于压缩数据和参数的量，可减少过拟合。

进一步地，步骤s36中，将各个gbr图像的输出图像逐一拓展为列向量，并堆叠形成单列特征向量馈送到softmax函数。

上述进一步方案的有益效果是：在本发明中，全连接层将各个gbr图像的数据进行输出，便于得到最终训练结果。

进一步地，步骤s37中，各个gbr图像6类标签的概率最高的标签为子卷积神经网络模型的训练结果。

上述进一步方案的有益效果是：在本发明中，根据6类标签的概率得出训练结果，便于对训练结果进行投票。

进一步地，步骤s3中，异常流量的检测通过运用训练子卷积神经网络过程所构建的模型完成。

上述进一步方案的有益效果是：在本发明中，利用训练子卷积神经网络过程即可构建异常流量检测的模型，运用这一过程就可以完成异常流量检测。

附图说明

图1为异常流量检测方法的流程图；

图2为步骤s1的流程图；

图3为步骤s3的流程图。

具体实施方式

下面结合附图对本发明的实施例作进一步的说明。

如图1所示，本发明提供了一种基于gbr图像的异常流量检测方法，其特征在于，包括以下步骤：

s1：将流量数据转换为可视化的gbr图像；

s2：将gbr图像数据存储在分布式文件系统中；

s3：基于分布式文件系统，利用apachespark框架对gbr图像数据的各个数据块分别训练子卷积神经网络模型，完成异常流量的检测。

在本发明实施例中，如图2所示，步骤s1包括以下子步骤：

s11：将流量数据中的原始流量转换为灰度图，并将灰度图作为gbr图像的g通道；

s12：基于gbr图像的g通道，采用weka特征提取法提取流量数据中的两个特征；

s13：采用onehot编码分别对两个特征进行编码，得到编码后的两个特征向量；

s14：对编码后的两个特征向量分别进行归一化处理，其归一化公式为：

其中，为第i个特征向量归一化后的值，xi为第i个特征向量归一化前的值，max(x(i))为第i个特征向量的最大值，min(x(i))为第i个特征向量的最小值，i＝1，2；

s15：对归一化后的两个特征向量分别进行标准化处理；

s16：将标准化处理后的两个特征向量分别作为gbr图像的b通道和r通道；

s17：根据gbr图像的g通道、b通道和r通道确定gbr图像，完成gbr图像的可视化处理。

在本发明中，将流量数据中的原始流量转换为灰度图，实现流量处理的可视化，最终形成gbr图像可以弥补灰度图误报值过高的问题。

在本发明实施例中，如图2所示，步骤s15中的标准化处理为：将归一化后的两个特征向量值分别乘以255，将其流量值限定在[0，255]之间。

在本发明中，两个特征向量均为数值型特征，进行标准化处理便于形成gbr图像的b通道和r通道。

在本发明实施例中，如图3所示，步骤s3包括以下子步骤：

s31：将各个gbr图像的数据输入至子卷积神经网络模型的输入层，并依次进行去均值、归一化和白化处理；

s32：将白处理后的各个gbr图像数据通过卷积核映射到子卷积神经网络模型的卷积层；

s33：通过子卷积神经网络模型的卷积层对各个gbr图像的数据进行输出处理，其输出处理公式为：

其中，l为网络层的数量，为卷积核，为偏差，为l层的输出，为l层的输入，mj为各个gbr图像的输入集，f(·)为激活函数；

s34：利用子卷积神经网络模型的激励层对卷积层的输出结果作非线性映射；

s35：利用子卷积神经网络模型的池化层对激励层的非线性映射结果进行均值子采样和最大值子采样，并输出到子卷积神经网络模型的全连接层；

s36：利用全连接层将各个gbr图像的输出馈送到softmax函数；

s37：通过softmax函数产生各个gbr图像6类标签的概率分布，并输出到子卷积神经网络模型的输出层，得到子卷积神经网络模型的训练结果。

在本发明中，各个gbr图像的6类标签可根据实际需求自行设置。子卷积神经网络模型具有5个层级结构，分别是输入层、卷积层、激励层、池化层以及全连接层，卷积核减少了网络各层之间的连接以及神经网络的参数量，便于异常流量检测。

在本发明实施例中，如图3所示，步骤s35中，均值子采样的计算公式为：

最大值子采样的计算公式为：

其中，为均值子采样的输出，为最大值子采样的输出，l为网络层的数量，a和b是偏差，mj为特征图像的输入集，f(·)为激活函数，k和t是汇集矩阵的维数。

在本发明中，池化层用于压缩数据和参数的量，可减少过拟合。

在本发明实施例中，如图3所示，步骤s36中，将各个gbr图像的输出图像逐一拓展为列向量，并堆叠形成单列特征向量馈送到softmax函数。

在本发明中，全连接层将各个gbr图像的数据进行输出，便于得到最终训练结果。

在本发明实施例中，如图3所示，步骤s37中，各个gbr图像6类标签的概率最高的标签为子卷积神经网络模型的训练结果。

在本发明中，根据6类标签的概率得出训练结果，便于对训练结果进行投票。

在本发明实施例中，如图1所示，步骤s3中，异常流量的检测通过运用训练子卷积神经网络过程所构建的模型完成。

在本发明中，利用训练子卷积神经网络过程即可构建异常流量检测的模型，运用这一过程就可以完成异常流量检测。

本发明的工作原理及过程为：本发明的异常流量检测方法首先将流量数据转换为gbr图像，实现网络流量的可视化；再将其储存在分布式文件系统中，分布式文件系统采用主从结构模型，即由一个namenode和若干个datanode组成的。其中namenode作为主服务器，datanode管理存储的数据。同时，采用子卷积神经网络模型自动提取gbr图像的特征。在每个datanode节点中训练子卷积神经网络模型，异常流量的检测通过运用训练子卷积神经网络过程所构建的模型完成。

本发明的有益效果为：本发明的异常流量检测方法将原始网络流量转换成灰度图像，保留流量信息，再选取两个特征向量组成gbr图像，降低了检测误报率。使用分布式文件系统和子卷积神经网络模型，避免了检测方法计算庞大和收敛慢的问题，具有检测未知攻击的能力，检测精准率高。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。