本发明属于工业互联网信息安全领域,特别涉及一种基于深度学习框架的告警日志真实攻击检测方法及系统。
背景技术:
1、入侵检测系统(i ntrus ion detect ion system,i ds)是一个用来检测计算机网络入侵行为的安全系统,电力系统等工业系统采用入侵检测系统监控系统运行状态,实时发现可疑行为,是系统进行防御的核心技术。
2、i ds的探测结果称为告警日志,告警日志作为入侵检测的记录是安全人员分析是否存在攻击事件,保障网络安全的主要依据。但是,目前原始告警日志存在很多问题,如由于工业安全设备异构而产生的告警数据格式多不相同、存在大量的误报(假阳性告警)、无法关联和发现原始警报之间的因果或关联关系以及需要安全人员进行持续操作等,使得真实攻击难以被发现。
3、传统的告警分析方法大多经历了复杂的规则定义,过于依赖专家经验,这限制相关方法的拓展和识别新攻击的能力。而随着告警日志的泛洪式产生,海量的数据也给机器学习等相关数据挖掘方法提供了基础,如何从充分利用告警数据的相关属性,从中快速、准确地挖掘告警之间的关联关系、识别真实攻击是值得深入探讨的课题。
技术实现思路
1、本发明的目的在于提供一种基于深度学习框架的告警日志真实攻击检测方法及系统,解决了现有的电力系统对入侵进行检测的方法存在检测结果不准确的缺陷。
2、为了达到上述目的,本发明采用的技术方案是:
3、本发明提供的一种基于深度学习框架的告警日志真实攻击检测方法,包括以下步骤:
4、步骤1,对获取得到的告警日志数据依次进行解析融合和关联聚类,生成告警事件簇;
5、步骤2,对告警事件簇进行解析和过采样处理,生成训练数据集;
6、步骤3,利用训练数据集对预设的二分类图神经网络模型进行训练,得到训练好的二分类图神经网络模型;
7、步骤4,根据训练好的二分类图神经网络模型对待处理数据进行判定,得到检测结果。
8、优选地,步骤1中,对获取得到的告警日志数据依次进行解析融合处理,具体方法是:
9、利用网络建模对获取得到的告警日志数据进行解析融合处理,得到告警事件网络;
10、利用图划分对告警事件网络进行关联聚类处理,得到告警事件簇。
11、优选地,利用网络建模对获取得到的告警日志数据进行解析融合处理,得到告警事件网络,具体方法是:
12、将告警日志数据的攻击源ip和受害ip作为网络节点,将ip的资产类型作为节点属性;
13、将攻击源ipi指向受害ipj产生的连接eij作为网络的边,得到告警事件网络。
14、优选地,利用图划分对告警事件网络进行关联聚类处理,得到告警事件簇,具体方法是:
15、利用模块度优化的社区发现算法对告警事件网络进行图划分,得到告警事件簇。
16、优选地,步骤2中,对告警事件簇进行解析和过采样处理,生成训练数据集,具体方法是:
17、利用节点的特征向量矩阵和坐标格式的稀疏邻接矩阵对告警事件簇进行表征,得到量化的数据集。
18、优选地,步骤3中,预设的二分类图神经网络模型的构建方法,具体地:
19、利用消息传递神经网络构建二分类图神经网络模型,得到的二分类图神经网络模型包括编码层,用于对节点特征向量和边特征向量进行编码,分别得到编码后的节点特征向量和编码后的边特征向量;
20、消息传播层,用于利用得到编码后的节点特征向量和编码后的边特征向量对每个节点进行更新,得到更新后的节点;
21、输出层,用于将更新后的节点信息进行聚合,输出得到告警事件簇分类结果。
22、优选地,所述预设的二分类图神经网络模型的损失函数为:
23、
24、其中,y是真实值,是预测值,ω1为异常事件簇分类代价。
25、一种基于深度学习框架的告警日志真实攻击检测系统,包括:
26、数据处理单元,用于对获取得到的告警日志数据依次进行解析融合和关联聚类,生成告警事件簇;
27、数据集生成单元,用于对告警事件簇进行解析和过采样处理,生成训练数据集;
28、模型训练单元,用于利用训练数据集对预设的二分类图神经网络模型进行训练,得到训练好的二分类图神经网络模型;
29、结果检测单元,用于根据训练好的二分类图神经网络模型对待处理数据进行判定,得到检测结果。
30、与现有技术相比,本发明的有益效果是:
31、本发明提供的一种基于深度学习框架的告警日志真实攻击检测方法,基于图论理论从时间和空间维度对海量网络告警日志进行关联聚类,生成关联告警集合(告警事件簇),然后,对告警事件簇进行特征挖掘并设计了一种代价敏感的二分类任务图神经网络,最后,基于该图神经网络对告警事件簇进行判定,检测真实攻击;本发明能够快速有效挖掘网络告警中的常见真实攻击,并通过与人工研判相结合的方法不断学习优化模型,提高网络告警分析处理效率,增强网络安全防护能力。
32、进一步的,基于同一时间段的告警日志数据进行网络建模,该模型还原了告警i p之间的时空关联,并融合告警的攻击类型、攻击端口和攻击数量等属性,为后续的真实攻击检测奠定了基础。
33、进一步的,本发明基于社群发现算法对告警进行关联聚类,获得紧密关联告警所构成的告警事件簇,从告警事件簇角度分析告警,将处理视角由原来的单条告警文本抬升至关联告警构成的可能安全事件,既抬升了处理视角又使得告警处理效率大幅度提升。
34、进一步的,本发明基于数据驱动,设计双向消息通道的图神经网络,并利用海量告警数据进行模型训练,在训练过程中针对正负样本不平衡和代价敏感问题使用随机过采样和代价敏感的损失函数综合方案进行解决,在cic-i ds2017数据集检测真实攻击取得了较高的准确率和召回率。
35、进一步的,本发明的方法是在原有网络安全系统和设备的基础上进行的数据分析,可在原有系统上通过功能升级的方式进行部署,不需要额外的硬件开销。
1.一种基于深度学习框架的告警日志真实攻击检测方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的一种基于深度学习框架的告警日志真实攻击检测方法,其特征在于,步骤1中,对获取得到的告警日志数据依次进行解析融合处理,具体方法是:
3.根据权利要求2所述的一种基于深度学习框架的告警日志真实攻击检测方法,其特征在于,利用网络建模对获取得到的告警日志数据进行解析融合处理,得到告警事件网络,具体方法是:
4.根据权利要求2所述的一种基于深度学习框架的告警日志真实攻击检测方法,其特征在于,利用图划分对告警事件网络进行关联聚类处理,得到告警事件簇,具体方法是:
5.根据权利要求1所述的一种基于深度学习框架的告警日志真实攻击检测方法,其特征在于,步骤2中,对告警事件簇进行解析和过采样处理,生成训练数据集,具体方法是:
6.根据权利要求1所述的一种基于深度学习框架的告警日志真实攻击检测方法,其特征在于,步骤3中,预设的二分类图神经网络模型的构建方法,具体地:
7.根据权利要求1所述的一种基于深度学习框架的告警日志真实攻击检测方法,其特征在于,所述预设的二分类图神经网络模型的损失函数为:
8.一种基于深度学习框架的告警日志真实攻击检测系统,其特征在于,包括: