本发明涉及网络安全,尤其涉及一种网络入侵行为检测的动态数据流聚类方法。
背景技术:
1、在网络安全领域,入侵检测系统(ids)是一个关键的组成部分。这些系统通常使用不同的方法来检测和防止网络攻击,包括恶意软件,僵尸网络,拒绝服务攻击等等。ids可以基于特征或基于行为进行工作。特征基础的ids依赖于预定义的入侵特征,例如已知的恶意软件签名。然而,这种方法在面对未知威胁时可能会失效。行为基础的ids,另一方面,通过学习网络的“正常”行为,并寻找异常行为来检测入侵。
2、数据聚类是一种常见的机器学习技术,用于将相似的数据点组合在一起。在网络安全领域,数据聚类可以用于识别异常或可疑的行为模式。例如,如果一个特定的ip地址在短时间内发送了大量的请求,这可能会被聚类算法识别为异常行为。
3、然而,传统的聚类方法无法有效地处理动态的网络流量数据。例如,如果网络流量模式随时间变化,静态聚类方法可能无法准确地识别出新的或改变的行为模式。此外,静态聚类方法可能需要大量的计算资源和时间,这对于需要实时或近实时响应的网络安全应用来说可能是不切实际的。
4、近年来,用于分析网络入侵数据的聚类技术得到了广泛的研究。针对动态数据流提出了几种传统的聚类方法,如基于层次、基于密度、基于分区和基于模型的算法,它们通常采用局部相似性策略,使用网络入侵行为数据对象之间的欧氏距离来保留局部邻域信息,随着新集群的出现或其他集群的消失,数据流也会动态变化,这就要求聚类算法能够从大规模动态数据流中增量学习。因此,需要一种新的学习策略,随着时间的推移自适应地将以前学到的知识传递给当前的数据流。
技术实现思路
1、本发明的目的在于提供一种网络入侵行为检测的动态数据流聚类方法,旨在解决传统方法在数据流发生动态变化时,需要从大规模动态数据流中增量学习的问题。
2、为实现上述目的,本发明提供了一种网络入侵行为检测的动态数据流聚类方法,包括以下步骤:
3、s1准备数据集,网络入侵行为相关的大规模动态数据流;
4、s2将稀疏约束整合到网络入侵行为数据对象的表示中学习,得到稀疏矩阵;
5、s3拟议字典初始化策略;
6、s4基于所述稀疏矩阵采用所述字典初始化策略将知识有效地传递给当前的滑动窗口;
7、s5聚类得到对网络入侵行为的检测结果。
8、其中,所述稀疏矩阵被用作谱聚类的亲和矩阵。
9、其中,所述字典初始化策略用于保留以前学到的知识,对当前的滑动窗口提供集群数据。
10、其中,所述字典初始化策略和稀疏表示通过解决凸优化问题而迭代更新。
11、其中,所述迭代更新需要引入辅助变量。
12、本发明提出了一种网络入侵行为检测的动态数据流聚类方法,首先将稀疏约束整合到数据对象的表示中学习,得到稀疏矩阵;然后,提出一种字典初始化策略,基于稀疏矩阵将知识有效地传递给当前的滑动窗口;其中,字典初始化策略和稀疏表示通过解决凸优化问题进行迭代更新,且在更新过程中需要引入辅助变量。
13、本发明的输入是网络入侵行为相关的大规模动态数据流,这些数据流包含各种网络活动记录,例如网络流量数据、网络连接日志、用户行为数据等。
14、本发明的输出是对网络入侵行为的检测结果,通过动态数据流聚类,可以发现潜在的入侵模式或异常行为,以及其在数据流中的位置。
15、本发明利用稀疏表示技术利用数据对象的内在特征,自动选择相邻数据对象的数量,保证高度相关的数据对象被表示在一起,大大丰富了数据对象之间的关系,提高了数据流的聚类性能。此外,通过合理的字典和滑动窗口大小,可以有效地控制计算成本。相较于传统方法,本发明的方法在处理网络入侵数据流发生动态变化时,无需从大规模网络入侵动态数据流中进行增量学习,从而解决了计算资源的消耗问题和检测效率问题。
1.一种网络入侵行为检测的动态数据流聚类方法,其特征在于,包括以下步骤:
2.如权利要求1所述的一种网络入侵行为检测的动态数据流聚类方法,其特征在于,
3.如权利要求1所述的一种网络入侵行为检测的动态数据流聚类方法,其特征在于,
4.如权利要求1所述的一种网络入侵行为检测的动态数据流聚类方法,其特征在于,
5.如权利要求4所述的一种网络入侵行为检测的动态数据流聚类方法,其特征在于,