一种基于无监督学习实现安全事件自动关联方法和系统

本发明涉及网络安全、深度学习的领域，具体涉及一种基于无监督学习实现安全事件自动关联方法和系统。

背景技术：

1、随着科技的不断发展，网络和信息安全已成为商业和政府的核心资产。然而，网络威胁和攻击也在不断演变，攻击者使用越来越复杂和隐蔽的方法来入侵、破坏或窃取敏感信息。这使得安全事件处理变得至关重要。

2、然而，根据调查发现，由于soc安全操作员的能力有限，只有一部分警报得到了调查。高工作量造成了“警报疲劳”的情况，随后人们采用警报分类方法，该方法侧重于通过与单个警报相关的威胁指标来确定每个警报的优先级，而忽略了复杂的攻击往往包含了许多无辜的活动。换而言之。某些可疑活动在拆分为多个安全事件分开考虑时并不包含恶意，因此单个安全事件通常不足以确定活动是否为恶意活动；现如今有安全系统可以帮助过滤出那些真正需要关注的事件，从而减少误报的数量，降低了操作员的负担，如tiresias系统虽然在事件预测上表现出了令人满意的结果，但是它采用了完全黑盒的方法，不具备可解释性。部分学者致力于研究上下文事件的相关性实现对安全事件的半自动分类，目前为止的研究仅关注了前续事件与当前事件的关联，而攻击行为不仅与前续事件有关，还和后续事件有关。因此，仅根据先前的时间做出判断是不合理的，后续事件也成为了必须考虑的因素。

技术实现思路

1、本发明克服现有技术的不足，针对上诉缺点本发明做出了以下的改进和优化。

2、本发明的目的通过以下的技术方案实现：

3、一方面，本发明提供了一种基于无监督学习实现安全事件自动关联方法，包括以下步骤：

4、s1、构建神经网络模型，将安全事件按设备和时间顺序划分，生成上下文事件序列；

5、s2、通过嵌入层将每个上下文事件表示为向量；

6、s3、将上下文事件向量输入至编码器中，使用2个bi-gru分别将当前事件的前续事件序列与后续事件序列编码；

7、s4、通过注意力解码器计算注意力向量；

8、s5、训练神经网络模型，通过注意力向量和隐藏状态对当前事件进行预测；

9、s6、得到最优的注意力分布。

10、优选的，所述s1中，上下文事件序列e表示如下：

11、el＝[ei-n,ei-n+1,...,ei-1],

12、er＝[ei+1,ei+2,...,ei+n],

13、其中n表示滑动窗口大小，ei表示当前事件，l，r分别代表前续和后续事件序列。

14、优选的，所述s2中，将每个事件的上下文事件向量输入到嵌入层中得到上下文的向量表示，分别为el′，er′。

15、优选的，所述s3中，采用两个双向bi-gru分别对前续事件序列与后续事件序列进行编码，然后集成其编码表示以捕获整个序列的上下文信息，并通过bi-gru计算所有的隐藏状态向量：

16、

17、

18、表示前续事件中第i个事件的隐藏状态，表示后续事件中第i个事件的隐藏状态。

19、优选的，所述s4中，使用上下文张量c0、初始输入以及编码器网络中所有的隐藏状态he计算注意力向量attn。

20、优选的，所述s5中，将注意力向量attn与编码器中生成的所有隐藏状态he相乘，获得加权上下文事件cattended，所述加权上下文事件cattended用于预测当前事件ei的概率分布。

21、优选的，所述s6中，通过注意查询冻结事件解码器中的权重，同时将注意力向量转换为变量，利用事件解码器的反向传播来优化注意力向量，在反向传播过程中，不断调整注意力向量，以提高事件解码器预测当前实际事件的准确性，从而找到最优的注意力分布。

22、在另一方面，本发明还提供了一种基于无监督学习实现安全事件自动关联系统，包括依次连接的序列提取器、事件预测模块和上下文关联提取器；

23、所述序列提取器用于将安全事件按设备和时间顺序划分，生成上下文事件序列；

24、所述事件预测模块包括编码器和解码器，所述解码器包括注意力解码器和事件解码器，所述编码器用于将当前事件的前续事件序列与后续事件序列编码，所述注意力解码器用于计算注意力向量，所述事件解码器用于通过注意力向量和隐藏状态对当前事件进行预测；

25、所述上下文关联提取器用于提高事件解码器预测当前实际事件的准确性，从而找到最优的注意力分布。

26、本发明提供了一种基于无监督学习实现安全事件自动关联方法和系统，与现有技术相比，存在以下有益效果：

27、1)关联相关事件，找出潜在的攻击行为

28、某些可疑活动在拆分为多个安全事件分开考虑时并不包含恶意，因此单个安全事件通常不足以确定活动是否为恶意活动。本方法可以得到当前事件与上下文事件的关联性进而找到可能存在的攻击。

29、2)模型训练基于无监督学习能够适应快速变化的攻击方式

30、在模型训练阶段利用上下文事件作为输入，将已知的当前事件作为预测目标，这种自监督方法将训练过程转变为无监督。无监督的特性允许模型使用新的安全事件序列快速更新，能够适应快速变化的攻击方式。

31、3)自动关联相关事件，减少安全操作员手动劳动力

32、该模型训练阶段无需人工标记，可以自动关联相关事件，无需安全操作员手动关联，极大的减少了手动劳动力。

33、4)具有可解释性，有助于安全操作员研判

34、本方法关联事件的过程基于注意力机制，具有可解释性，能够使安全操作员更好地理解事件之间的逻辑和联系，缩短响应时间，确定是否存在误报避免不必要的干预和恢复操作。

技术特征：

1.一种基于无监督学习实现安全事件自动关联方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于无监督学习实现安全事件自动关联方法，其特征在于，所述s1中，上下文事件序列e表示如下：

3.根据权利要求1所述的一种基于无监督学习实现安全事件自动关联方法，其特征在于，所述s2中，将每个事件的上下文事件向量输入到嵌入层中得到上下文的向量表示，分别为el′，er′。

4.根据权利要求1所述的一种基于无监督学习实现安全事件自动关联方法，其特征在于，所述s3中，采用两个双向bi-gru分别对前续事件序列与后续事件序列进行编码，然后集成其编码表示以捕获整个序列的上下文信息，并通过bi-gru计算所有的隐藏状态向量：

5.根据权利要求1所述的一种基于无监督学习实现安全事件自动关联方法，其特征在于，所述s4中，使用上下文张量c0、初始输入以及编码器网络中所有的隐藏状态he计算注意力向量attn。

6.根据权利要求1所述的一种基于无监督学习实现安全事件自动关联方法，其特征在于，所述s5中，将注意力向量attn与编码器中生成的所有隐藏状态he相乘，获得加权上下文事件cattended，所述加权上下文事件cattended用于预测当前事件ei的概率分布。

7.根据权利要求1所述的一种基于无监督学习实现安全事件自动关联方法，其特征在于，所述s6中，通过注意查询冻结事件解码器中的权重，同时将注意力向量转换为变量，利用事件解码器的反向传播来优化注意力向量，在反向传播过程中，不断调整注意力向量，以提高事件解码器预测当前实际事件的准确性，从而找到最优的注意力分布。

8.一种基于无监督学习实现安全事件自动关联系统，其特征在于，包括依次连接的序列提取器、事件预测模块和上下文关联提取器；

技术总结
本发明公开了一种基于无监督学习实现安全事件自动关联方法和系统，属于网络安全、深度学习的领域，本发明方法中，首先通过序列提取器将每个安全事件与其上下文组合在一起，形成上下文事件序列，随后事件预测模块将每个上下文序列作为输入，并对当前事件进行预测，其中采用了编码器、注意力解码器和事件解码器来整合来自双向序列的上下文信息。本方法可以得到当前事件与上下文事件的关联性进而找到可能存在的攻击；无监督的特性允许模型使用新的安全事件序列快速更新，能够适应快速变化的攻击方式，可以自动关联相关事件，无需安全操作员手动关联，极大的减少了手动劳动力。

技术研发人员：殷丽华,罗熙,王俊辉,段紫桐,钱珂翔,陈凯,张道娟
受保护的技术使用者：广州大学
技术研发日：
技术公布日：2024/6/2