一种异常流量检测方法、装置、存储介质及设备

本发明涉及一种异常流量检测方法、装置、存储介质及设备，属于异常流量检测。

背景技术：

1、目前，入侵检测系统主要分为传统方法和基于机器学习、深度学习的方法两类。随着机器学习算法在其他领域的成功应用，网络安全领域开始利用机器学习模型实现智能化检测来提高效率。基于机器学习的方法能够分析数据的表层特征，并通过对特征的学习达到自主检测的目的。相较于传统的机器学习算法，深度学习在许多性能指标上有着明显的优势，由于深度学习可以通过多层神经网络对特征数据进行自动的处理，具有更大的模型容量，更适用于特征复杂、数据量大的场景，可以有效增强数据特征的表示性，因此能够提高检测效率，并降低误报率，同时能够摆脱数据特征的人工提取，实现了数据特征的自动提取，降低了人工工作量，增强了数据特征的代表性和适应性。深度学习在网络安全异常检测中有着广阔的前景。

2、datn-nd是一种由两个并行的ae(自动编码器，auto-encoders)和一个transformer网络组成的异常检测方法。首先，transformer网络利用输入样本的瓶颈特征生成伪异常数据的瓶颈特征，从而在训练集中增加异常数据信息；其次，双ae将带有异常数据信息的瓶颈特征尽可能地重构为正常数据，增加异常数据与正常数据的重构误差差别。

3、cnn+sa是一种将自注意力机制sa和卷积神经网络cnn相结合的网络异常流量检测方法。与svm(支持向量机，support vector machines)和cnn两种方法在公用数据集上进行比较，实验结果表明论文所提出的cnn+sa模型在网络异常流量检测的几个指标上均表现出较好的检测效果。

4、网络流量通常具有极其复杂多样的特征，比如时序特征，有效载荷等，而且在现实场景下的异常流量的占比十分小，其隐蔽性也越来越强。现有的检测算法并没有将网络流量的全局性特征进行联系考虑，忽略了各个特征之间的相关特性，从而导致检测精度不高。

技术实现思路

1、本发明的目的在于提供一种异常流量检测方法、装置、存储介质及设备，解决现有技术中忽略特征之间相关特性的问题，提高检测精度。

2、为实现以上目的，本发明是采用下述技术方案实现的：

3、第一方面，本发明提供了一种异常流量检测方法，包括：

4、获取流量；

5、对所述流量进行初步特征提取，得到初步特征；

6、对所述初步特征进行预处理；

7、将预处理后的初步特征输入到训练好的异常流量检测模型中，得到检测结果。

8、结合第一方面，进一步的，通过flowmeter对所述流量进行初步特征提取，得到初步特征。

9、结合第一方面，进一步的，所述预处理包括去除重复值和缺失值，以及对初步特征进行归一化处理。

10、结合第一方面，进一步的，所述异常流量检测模型包括特征降维模块、局部特征提取模块和cont块；

11、所述特征降维模块，通过pca算法对所述初步特征进行降维处理，采用随机森林算法对降维后的初步特征进行验证和参数调整，使所述初步特征的维度达到最优；

12、所述局部特征提取模块通过卷积操作提取所述初步特征中的局部特征；

13、所述cont块根据所述局部特征计算出检测结果。

14、结合第一方面，进一步的，所述通过pca算法对所述初步特征进行降维处理，包括：

15、对初步特征进行去平均值处理；

16、计算初步特征的协方差矩阵；

17、用特征值分解方法计算协方差矩阵的特征值和特征向量；

18、对特征值从大到小排序，选择前k个特征值，然后将前k个特征值对应的k个特征向量分别作为行为向量组成特征向量矩阵，k为目标维度；

19、将初步特征乘以所述特征向量矩阵，实现降维处理。

20、结合第一方面，进一步的，所述通过pca算法对所述初步特征进行降维处理，包括：

21、对初步特征进行去平均值处理；

22、计算初步特征的协方差矩阵；

23、通过svd算法计算协方差矩阵的特征值和特征向量；

24、对特征值从大到小排序，选择前k个特征值，然后将前k个特征值对应的k个特征向量分别作为行为向量组成特征向量矩阵，k为目标维度；

25、将初步特征乘以所述特征向量矩阵，实现降维处理。

26、结合第一方面，进一步的，所述cont块通过以下方法构建：将一个transformer中的编码器和一个卷积模块进行串联，得到cont块；

27、所述编码器包括两个子层，第一个子层是多头自注意力层，第二个子层是前馈神经网络；

28、所述多头自注意力层的表达式为：

29、

30、其中，attention(q,k,v)是多头自注意力层的输出，softmax()表示softmax函数，q是查询向量，k是键向量，v是值向量，t表示转置，dk表示词向量的维度。

31、第二方面，本发明还提供了一种异常流量检测装置，包括：

32、流量获取模块，被配置为：获取流量；

33、特征提取模块，被配置为：对所述流量进行初步特征提取，得到初步特征；

34、特征预处理模块，被配置为：对所述初步特征进行预处理；

35、检测模块，被配置为：将预处理后的初步特征输入到训练好的异常流量检测模型中，得到检测结果。

36、第三方面，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现如第一方面中任一项所述的异常流量检测方法。

37、第四方面，本发明还提供了一种设备，包括：

38、存储器，用于存储指令；

39、处理器，用于执行所述指令，使得所述设备执行实现如第一方面中任一项所述的异常流量检测方法的操作。

40、与现有技术相比，本发明所达到的有益效果是：

41、本发明提供的一种异常流量检测方法、装置、存储介质及设备，在异常流量检测模型中引入深度学习算法，使异常流量检测模型进行更深层次的特征挖掘和各特征之间相关性的挖掘，从而提高异常流量的检测精度。

技术特征：

1.一种异常流量检测方法，其特征在于，包括：

2.根据权利要求1所述的异常流量检测方法，其特征在于，通过flowmeter对所述流量进行初步特征提取，得到初步特征。

3.根据权利要求1所述的异常流量检测方法，其特征在于，所述预处理包括去除重复值和缺失值，以及对初步特征进行归一化处理。

4.根据权利要求1所述的异常流量检测方法，其特征在于，所述异常流量检测模型包括特征降维模块、局部特征提取模块和cont块；

5.根据权利要求4所述的异常流量检测方法，其特征在于，所述通过pca算法对所述初步特征进行降维处理，包括：

6.根据权利要求4所述的异常流量检测方法，其特征在于，所述通过pca算法对所述初步特征进行降维处理，包括：

7.根据权利要求4所述的异常流量检测方法，其特征在于，所述cont块通过以下方法构建：将一个transformer中的编码器和一个卷积模块进行串联，得到cont块；

8.一种异常流量检测装置，其特征在于，包括：

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时，实现如权利要求1-7中任一项所述的异常流量检测方法。

10.一种设备，其特征在于，包括：

技术总结
本发明公开了一种异常流量检测方法、装置、存储介质及设备，属于异常流量检测技术领域，包括：获取流量；对所述流量进行初步特征提取，得到初步特征；对所述初步特征进行预处理；将预处理后的初步特征输入到训练好的异常流量检测模型中，得到检测结果；本发明在异常流量检测模型中引入深度学习算法，使异常流量检测模型进行更深层次的特征挖掘和各特征之间相关性的挖掘，从而提高异常流量的检测精度。

技术研发人员：张琦,吴礼发
受保护的技术使用者：南京邮电大学
技术研发日：
技术公布日：2024/1/15