基于自注意力深度学习的电力物联网流量分类方法及系统与流程

本公开涉及电力网络流量分析，具体涉及基于自注意力深度学习的电力物联网流量分类方法及系统。

背景技术：

1、本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

2、随着网络服务及网络结构的日趋复杂，网络管理与安全防御的形势也越来越严峻。而进行网络流量分类，了解网络流量的类别与其所属的应用、协议或服务有利于进一步提高服务质量(qos)，利于安全分析，促进恶意行为识别。针对电力物联网环境下的流量分裂，电力系统在智能物联网的加持下，可以实现更智能的调度、集成控制以及信息分析，但是大量的物联网设备的引入也带来了大量的安全隐患和流程管理压力，所以对流量先进行分类至关重要，也有利于进一步的分析处理。

3、目前流量分类的方法主要分为三类：一是基于报文头信息(如端口)，二是基于有效载荷，三是基于统计特征和机器学习。基于端口或者有效载荷的分类方法通常适合于固定的网络，且可能受到端口混淆、nat、随机端口分配的影响，无法适应目前的电力物联网环境。机器学习和深度学习方法在流量识别方面的应用越来越广泛，但是基于cnn或者rnn模型的流量分类方法存在收敛速度慢、准确率低、泛化能力差等缺点。

技术实现思路

1、本公开为了解决上述问题，提出了基于自注意力深度学习的电力物联网流量分类方法及系统，利用rnn和cnn互补性提取数据粗细粒度特征，并利用自注意力机制提高重要特征的权重，降低非重要特征的权重，从而加快模型收敛速度，提高分类准确率。

2、根据一些实施例，本公开采用如下技术方案：

3、基于自注意力深度学习的电力物联网流量分类方法，包括：

4、获取电力物联网通信环境中的流量包，按照协议类别对不同的流量包进行初步分类；

5、将初步分类后的每个流量包中的数据进行二进制解析，将每条流量转换为十六进制字符串；

6、对每类流量包中的流量数据进行抽样，输入至cnn-rnn模型中，通过自注意力机制提取流量数据的空间注意力特征和通道注意力特征，最后通过softmax函数将类别输出转换为概率分布。

7、根据一些实施例，本公开采用如下技术方案：

8、基于自注意力深度学习的电力物联网流量分类系统，包括：

9、数据获取模块，用于获取电力物联网通信环境中的流量包，按照协议类别对不同的流量包进行初步分类；

10、预处理模块，用于将初步分类后的每个流量包中的数据进行二进制解析，将每条流量转换为十六进制字符串；

11、分类模块，用于对每类流量包中的流量数据进行抽样，输入至cnn-rnn模型中，通过自注意力机制提取流量数据的空间注意力特征和通道注意力特征，最后通过softmax函数将类别输出转换为概率分布。

12、根据一些实施例，本公开采用如下技术方案：

13、一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现所述的基于自注意力深度学习的电力物联网流量分类方法。

14、根据一些实施例，本公开采用如下技术方案：

15、一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现所述的基于自注意力深度学习的电力物联网流量分类方法。

16、与现有技术相比，本公开的有益效果为：

17、本公开提供了一种基于自注意力深度学习的电力物联网流量分类方法，使用了基于自注意力机制的cnn和rnn混合网络结构来进行流量分类，并将流量分类看作传统的图像分类，将训练数据处理成伪图像形式；并利用rnn和cnn互补性地提取数据粗细粒度特征，利用自注意力机制提高重要特征的权重，降低非重要特征的权重，从而加快模型收敛速度，提高分类准确率。

18、本公开先使用pytorch框架中的数据加载类dataloder加载数据集生成可迭代的训练数据集和测试数据集。针对不同类别的训练数据量相差太大的问题，在加载十六进制字符串的时候判断其数量是否高于一个阈值，高过阈值就按照阈值随机抽样。模型训练使用adam优化器和交叉熵函数，其中学习率设置为0.001。然后将训练数据每次迭代输入到模型中训练20个轮回，每两个轮回使用测试数据集测试一下模型的效果，使用准确性、精确率、召回率和f1分数四个评价指标。设置提前停止点，当验证集上的损失多次迭代后不再变化甚至出现上升的时候，认为模型已经收敛，可以提前停止训练，并保存模型的结构与参数，便于之后直接加载模型，不必再训练新模型，当物联网环境发生变化或者数据集不同的时候也可以将之前保存的模型作为预训练模型，以便在更新后的环境中更快地训练出合适的模型，提高了模型训练的收敛速度和分类的效率。

技术特征：

1.基于自注意力深度学习的电力物联网流量分类方法，其特征在于，包括：

2.如权利要求1所述的基于自注意力深度学习的电力物联网流量分类方法，其特征在于，获取电力物联网通信环境中的流量包，按照协议类别对不同的流量包进行初步分类，包括：

3.如权利要求1所述的基于自注意力深度学习的电力物联网流量分类方法，其特征在于，将初步分类后的每个流量包中的数据进行二进制解析，将每个流量包中的每条流量转换为十六进制字符串的伪图像形式，并按照类别保存在一个文件中。

4.如权利要求1所述的基于自注意力深度学习的电力物联网流量分类方法，其特征在于，对每类流量包中的流量数据进行抽样，包括：

5.如权利要求1所述的基于自注意力深度学习的电力物联网流量分类方法，其特征在于，所述cnn-rnn模型的结构包括：卷积层、归一化层、自注意力模块、池化层、lstm层、全连接层、softmax层以及dropout。

6.如权利要求1所述的基于自注意力深度学习的电力物联网流量分类方法，其特征在于，自注意力机制中，接收输入张量后，首先通过自适应平均池化和自适应最大池化层提取通道注意力特征，然后通过两个全连接层进行特征缩放，使用激活函数限制输出在0到1之间，作为通道注意力特征缩放的权重，然后将通道注意力特征缩放后的结果与原始输入张量相乘，得到通道注意力特征选择后的结果。

7.如权利要求6所述的基于自注意力深度学习的电力物联网流量分类方法，其特征在于，之后，自注意力机制在空间维度提取空间注意力特征并进行特征选择，首先对输入进行平均池化和最大池化，然后将两个结果在通道维度上进行拼接，通过一个1x1卷积层将通道数从64减少到1，并使用sigmoid激活函数限制输出在0到1之间，作为空间特征缩放的权重；最终，将通道注意力特征缩放和空间注意力特征缩放的结果相乘，得到自注意力机制的输出。

8.基于自注意力深度学习的电力物联网流量分类系统，其特征在于，包括：

9.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如权利要求1-7任一项所述的基于自注意力深度学习的电力物联网流量分类方法。

10.一种电子设备，其特征在于，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如权利要求1-7任一项所述的基于自注意力深度学习的电力物联网流量分类方法。

技术总结
本公开提供了基于自注意力深度学习的电力物联网流量分类方法及系统，涉及电力网络流量分析技术领域，获取电力物联网通信环境中的流量包，按照协议类别对不同的流量包进行初步分类；将初步分类后的每个流量包中的数据进行二进制解析，将每条流量转换为十六进制字符串；对每类流量包中的流量数据进行抽样，输入至CNN‑RNN模型中，通过自注意力机制提取流量数据的空间注意力特征和通道注意力特征，最后通过Softmax函数将类别输出转换为概率分布。本公开的方法加快了模型收敛速度，提高了流量数据分类准确率。

技术研发人员：严莉,王高洲,杨自远,张闻彬,汤琳琳,呼海林,潘法定,王聪,刘培顺,曲海鹏
受保护的技术使用者：国网山东省电力公司信息通信公司
技术研发日：
技术公布日：2024/1/16