一种物联网环境中基于DEPMU的流量异常检测方法

本发明涉及网络空间安全领域，主要用于解决物联网环境中异常流量检测的问题，具体是一种物联网环境中基于depmu的流量异常检测方发法。

背景技术：

1、随着计算机技术和网络通信技术的飞速发展，传统的网络已经不能满足不断增长的需求。因此，出现了一些新的网络，如物联网iot(internet of things,简称iot)。总的来说，iot具备整体感知、可靠传输、智能处理等功能。近年来，随着5g无线网络、云计算、人工智能的广泛普及，物联网在自动驾驶、无人机、智能家居等领域得到了广泛应用。由于市场前景广阔，物联网被认为是互联网的下一个演进。

2、物联网在快速发展和广泛普及的同时，也不可避免地面临着一些严峻的挑战，特别是在网络安全保护方面。具体来说，物联网系统遭受恶意用户和黑客的入侵，不仅会对物联网生态系统造成破坏，而且会对部分或整个互联网造成威胁。因此，物联网的安全保护就显得尤为重要。众所周知，人们已经提出了大量的网络安全保护方案。而传统的网络安全防护方案大多只能是被动防御，如防火墙、漏洞扫描等，传统的网络安全防护方案无法在物联网环境下实现主动防御。为了实现主动防御，网络流量异常检测技术在物联网系统中得到了广泛应用。一般来说，网络流量异常检测是一种典型的主动防御技术，其目的是通过分析可用的网络流量数据，如internet协议套件日志、web应用防火墙日志、用户行为等，发现网络流量异常。部署网络流量异常检测系统，网络安全管理人员可以实时准确地分析网络流量数据，捕捉网络的异常状态，实现对网络设备的实时监控，目前，已经提出了大量的网络流量异常检测方案，现有的网络流量-流量异常检测方案大致可分为三类：基于统计分析的网络流量异常检测方案、基于变换域的网络流量异常检测方案和基于机器学习的网络流量异常检测方案。

3、但是，现有的网络流量异常检测方案内部还存在一些不足：首先，在物联网系统中，网络流量数据具有大规模、高维的特点，为了处理海量、高维的网络流量数据，基于统计分析的网络流量异常检测方案需要进行大量复杂的计算和分析，计算开销巨大；其次，基于变换域的网络流量异常检测方案只观察和分析某一特定域的特征，没有从全局角度考虑网络流量数据之间的互联性，导致检测精度较低；最后，传统的基于机器学习的网络流量异常检测方案虽然可以部分缓解上述问题，但无法完美地处理具有不规则性、多特征和时间相关性的物联网网络流量数据，具体来说，传统的机器学习算法不能充分学习物联网的流量数据，并且会丢失一些重要的特征，这将极大地影响检测的准确性。深度神经网络具有强大的学习和表征大规模网络流量数据的能力，因此，深度神经网络为处理上述问题提供了一种潜在的解决方案。反向传播神经网络bpnn(backward propagation neural network，简称bpnn)和门控循环单元gru(gated circulation unit，简称gru)已经被用来设计网络流量异常检测方案。然而，bpnn不能充分学习和表征物联网时间序列网络流量数据的特征，同时，gru难以有效管理网络流量数据长期依赖和短期依赖之间的潜在关系。

4、2019年，zhou等人提出了一种基于信息熵的多级自回归网络流量异常检测方案。在他们提出的方案中，他们利用信息熵的分布特征，将网络流量异常检测问题转化为基于流量特征熵的分类问题；为了检测软件定义的车联网中的异常，grag等人提出了一种基于概率数据结构的异常检测方案；palmieri等人利用非线性混沌不变量的逻辑回归设计了一种网络异常检测方案；2022年，zhang等人设计了一种新的基于流量相似度度量和聚类的网络异常检测框架，同时，他们利用dbscan和分组来实现降维，实验结果表明，该方案在海量网络流量数据中识别异常流量具有明显的优势；为了实现无线传感器网络中的异常检测，xie等人采用近似样本协方差矩阵提出了一种基于分段的网络异常检测方案；han等人结合交叉熵和支持向量机设计了一种受控网络异常流量检测方案，该方案可以提高检测率，更适合于受控网络；chen等人研究了模糊熵加权自然最近邻域(few-nnn)，然后，他们利用few-nnn来提高基于流的网络流量攻击检测的准确性和效率。

5、hoang和nguyen提出了一个新的计算距离的通用公式，随后，他们将新的距离计算公式与主成分分析(pca)结合起来，设计了一种物联网网络流量异常检测方案；du等人采用小波分析设计了一种新的网络流量异常检测方案，在该方案中，他们利用小波分析从信号中有效提取波形特征；2021年，fu等提出了一种分层分类检测方案，用于检测工业物联网异常流量，实验结果表明，该方案能有效提高检测精度和效率；simmrosss-wattenberg等人利用非受限稳定一阶模型和统计假设检验设计了一种网络流量异常检测方案；liu等人在现有可能的聚类算法的基础上提出了一种自适应模糊聚类技术，并将其应用于网络流量异常检测方案的设计，他们提出的方案在计算隶属度时同时考虑了数据实例的距离、密度和密度变化趋势；hoang和nguyen提出了一种基于pac的网络流量异常检测方案，该方案包含两个级别，其中，第一级是主成分较少的快速检测水平，第二级是主成分较多的详细检测水平。

6、上述网络流量异常检测方案虽然可以有效检测网络流量异常，但需要进行大量复杂的数学计算，效率较低。2019年，zhang等人采用离散傅立叶变换的周期提取算法，设计了一种时间序列交通异常检测方案。同时，他们利用周期重叠映射来确定每个元素在周期内的序列位置。因此，它们可以准确地描述元素信息之间的时间序列关系。hajamydeen等人设计了一种新的适用于非监督异构异常检测的细化滤波器。zheng等人提出了一种基于filter-ry-sketch的网络流量异常检测系统。实验结果表明，该系统能够以较高的检测精度和较低的计算量检测异常网络流量。为了检测网络流量异常，jiang等人设计了一种基于变换域的异常检测方案。

7、wu等人研究了时频同步应用中的网络流量特征提取与异常检测。随后，他们结合时频分析理论、聚类分析理论和k-means分析方法，设计了一种新的网络流量特征提取方案。最后，将该方案应用于网络流量异常检测领域。ye等人提出了一种基于分数阶傅立叶变换的hurst参数估计的网络流量异常检测新方案，该方案能够获得较好的检测性能。2021年，herrera等人利用挖掘图-傅里叶变换时间序列实现了网络流量异常检测。zhao等人对电力电信接入网流量异常检测进行了研究。随后，利用傅里叶级数设计了一种新的异常提取方案，并通过仿真实验进行了性能评价。然而，上述解决方案仅观察和分析了特定领域的特征。同时，未能从全局角度考虑网络流量数据之间的互联性，导致异常检测精度较低。

8、机器学习已被广泛用于网络流量异常检测。2021年，wei和wang研究了深度学习在网络流量异常检测设备中的应用。ma等人提出了一种核支持向量机和线性判别分析(svm-l)模型。随后，他们利用svm-l模型实现了网络流量异常检测。grag等人利用灰狼优化(gwo)和卷积神经网络(cnn)实现网络异常检测。gu等人将堆叠稀疏自编码器(ssae)和切片门循环单元(sgru)连接在一起，实现了医疗系统中的入侵流量检测。实验结果表明，该方案在f1分数检测指标上更具吸引力。为了实现社会多媒体网络中的可疑流量检测，garg等人采用深度学习设计了一种新的异常检测方案。同时，他们基于实时和基准数据集对所提出的方案进行了评估。

9、gao等人采用深度神经网络和关联分析设计了一个两级系统来实现恶意网络流量检测。同时，他们比较了他们提出的方案和基于公开可用数据集的其他一些解决方案的性能。为了实现物联网流量异常检测，利用向量卷积深度学习(vcdl)设计了网络流量异常检测框架。2020年，yang等人采用自适应学习率和动量实现了工业物联网(iiot)中网络的工作异常检测。该方案可以最大限度地减少安全攻击的影响，提高深度神经网络的训练性能，加快大规模流量数据集的处理速度。li等人研究了车联网(internet of vehicles,iov)的安全性，利用迁移学习实现入侵流量检测。同时，他们对所提出的方案进行了实施，并进行了绩效评估。实验结果表明，该方案具有较高的检测精度，以上解决方案虽然能够有效实现网络流量异常检测，但未能充分管理数据长期依赖关系和短期依赖关系之间的潜在关系。同时，网络流量数据具有不规则性、多特征性和时间相关性等特点，不能充分学习和表征网络流量数据的特征。需要设计一种新颖的深度神经网络模型，来精确且高效的实现物联网中的网络流量异常检测。

技术实现思路

1、本发明的目的是针对现有技术的不足，而提供一种物联网环境中基于depmu的流量异常检测方发法。这种方法能实时监控网络的异常状态，实现高效、精确物联网中的网络流量异常检测。

2、实现本发明目的的技术方案是：

3、一种物联网环境中基于depmu的流量异常检测方发法，包括如下步骤：

4、1)数据采集：将公开数据集unsw-nb15中数据采用标准化、归一化处理构建训练数据集与测试数据集，训练数据集与测试数据集比例为5:1，标准化如公式(1)所示：

5、

6、归一化如公式(2)所示：

7、

8、其中，x为数据集原始数据，μ为数据均值，σ为数据标准差，x′为标准化后的数据，xmin为数据最小值，xmax为数据最大值，x″为归一化后的数据，数据采集主要实现网络流量数据采集，网络硬件设备即路由器、交换机和网络软件即防火墙、杀毒软件提供大规模的网络流量数据，同时，将网络流量数据分为网络流量训练数据集和网络流量测试数据集，分别提供给模型训练和异常检测；

9、2)获得训练好的depmu模型：对简约存储器单元pmu(parsimonious memory unit，简称pmu)进行改进，构建新的递归神经网络模型，即深度编码器简约记忆单元depmu(deepencoder parsimonious memory unit,depmu)，包括：

10、2-1)首先依据opmu(parsimonious memory unit，简称pmu)学习网络流量数据的特征，并获得特征数据xt，如公式(3)所示：

11、xt＝opmu(xinput)  (3)，

12、2-2)依据dpmu恢复由opmu提取的特征数据xt，从而得到如公式(4)所示的约简数据x′：

13、x′input＝dpmu(xt)  (4)，

14、2-3)依据均方误差mse损失函数判断原始输入数据xinput和还原数据x′input之间差距，一般来说，在连续迭代训练期间，损失值将保持变小，当mse损失函数达到最小值时，训练结束，根据公式(5)计算损失值损失：

15、loss＝mse(xinput，x′input)  (5)，

16、递归神经网络rnn中，简约记忆单元pmu视为gru的改进版本，在传统的gru中，存在两个门，即更新门和复位门，pmu将更新门和复位门集成到一个门结构中，称为单元门，与gru相比，pmu可以更好地管理大规模数据的长期和短期依赖性之间潜在的联系，用符号ut表示单位门，pmu的前向传播如下，当前输入xt和过去的隐藏状态ht-1表示单位门ut，单位门如公式(6)所示：

17、ut＝σ(wu·[(t-1)，xt])  (6),

18、当前状态的候选集合ht如公式(7)所示：

19、

20、当前状态ht的计算如公式(8)所示：

21、

22、pmu可以有效地管理长期和短期数据之间的潜在关系，这使得它在学习和表征物联网网络流量数据方面具有优势，在模型训练过程中，pmu直接用标签拟合学习和表征的结果，因此，在特征学习中可能会出现一些偏差，这将直接影响学习和表征结果为了解决上述问题，本发明对pmu进行了改进，设计了一种新的递归神经网络模型，即深度编码器简约记忆单元depmu(deep encoder parsimonious memory unit,简称depmu)，depmu模型中有两个pmu，即原始简约内存单元opmu和去码简约内存单元dpmu，opmu将用于对网络流量特征进行自监督学习，随后，利用dpmu实现特征恢复训练辅助，获得约简数据，对opmu进行再次训练，实现模型参数微调，输出训练好的opmu，利用训练好的opmu实现了准确的网络流量异常检测；

23、3)获得检测结果：opmu模型将根据损失值损失进行微调，并输出最终训练的opmu模型，因此，通过使用opmu，可以更准确地提取网络流量数据，最后，依据最终训练的opmu模型来实现网络流量异常检测，并输出准确的检测结果，如公式(9)所示：

24、y＝softmax(opmu(xinput))  (9)；

25、4)将检测结果与真实值进行比较，采用准确率、精准率、召回率和f1分数作为评价指标，验证tag-net模型性能，其中，

26、准确率：

27、精准率：

28、召回率：

29、

30、tp(true positive，简称tp)为真阳性，fp(false positive，简称fp)为假阳性、tn(true negative，简称tn)为真阴性，fn(false negative，简称fn)为假阴性，tp表示模型正确地将正样本判定为正样本，fp表示模型错误地将负样本判定为正样本，tn表示模型正确地将负样本判定为负样本，fn表示模型错误地将正样本判定为负样本。

31、本技术方案提供了一种基于简约记忆单元pmu的深度神经网络模型，即深度编码器简约记忆单元depmu，与现有的神经网络模型相比，depmu不仅可以全面管理对时间相关数据的短期和长期依赖的潜在联系，而且可以更好地学习和表征具有不规则性、多特征和高维数的数据，同时，depmu可以有效地减少模型训练过程中特征的丢失。

32、这种方法能实时监控网络的异常状态，实现高效、精确物联网中的网络流量异常检测。