一种基于大数据的计算机网络安全智能分析系统及方法与流程

本发明涉及网络安全，尤其涉及一种基于大数据的计算机网络安全智能分析系统及方法。

背景技术：

1、随着互联网的创新发展与普及应用，维护与保障网络安全的重要性愈发突显，而现阶段网络信息数据存有量不断增长且速度加快的特点，对目前的网络安全分析工作提出了更高的要求，而大数据技术作为一种新型技术，在网络安全分析工作中得到了广泛应用。

2、现有技术中，大多基于大数据的网络安全分析系统，对于复杂的网络环境过于依赖历史数据，难以有效识别新型、未知的网络威胁，对零日攻击的防范能力较差，并且由于系统自身的算法不够完善，而导致误报率较高，增加了网络安全管理和维护的负担。

技术实现思路

1、为了克服上述现有技术的不足，本技术提供一种基于大数据的计算机网络安全智能分析系统及方法。

2、第一方面，本技术提供的一种基于大数据的计算机网络安全智能分析方法，所述方法包括：

3、收集网络数据，对所述网络数据进行处理，生成标准网络数据；

4、将所述标准网络数据按照时间顺序排列，对所述标准网络数据进行时间序列分析，生成时间序列分析结果；

5、对所述时间序列分析结果进一步分析，识别网络异常行为，生成网络异常行为数据，并根据所述网络异常行为数据触发异常报警等级机制；

6、收集网络威胁情报信息，使用自然语言处理技术对所述网络威胁情报信息进行处理，生成网络威胁情报数据；

7、利用关联分析技术，挖掘所述网络威胁情报数据与时间序列分析结果之间的关联规则，根据关联规则挖掘结果，识别网络潜在的威胁行为模式，生成威胁行为模式数据；

8、构建网络拓扑结构图，通过图计算分析方法，将所述异常行为数据与网络拓扑结构图进行关联分析，确定网络潜在的威胁行为攻击路径，生成威胁行为路径数据；

9、将关联分析技术、图计算分析方法与安全管理工具进行集成，根据所述威胁行为模式数据和威胁行为路径数据，触发安全管理工具对网络潜在的威胁行为进行处理。

10、通过采用上述技术方案，通过对网络数据进行时间序列分析，揭示网络活动的趋势和周期性，有助于识别潜在的异常行为，为异常检测提供依据；从时间序列分析结果中识别出与正常行为不符的异常行为，并根据其严重性触发相应的报警机制，从而及时发现潜在的网络安全事件，减少潜在的损失。通过从各种来源收集关于网络威胁的情报信息，并使用自然语言处理技术进行结构化处理，增强了对当前网络威胁的认知，为识别和防御威胁提供了外部参考。通过挖掘网络威胁情报数据与时间序列分析结果之间的关系，从而识别潜在的威胁行为模式，深化对威胁行为的理解，为防御策略的制定提供基础。通过构建网络图谱结构图，采用图计算技术对网络拓扑和异常行为数据进行关联分析，确定潜在的攻击路径，揭示攻击者在网络中的传播路径和攻击路径上的潜在目标，确定潜在的威胁行为攻击路径，从而制定针对性的防御策略。通过将关联分析技术、图计算分析方法与安全管理工具集成，触发安全管理工具对异常行为进行处理，实现对网络潜在威胁行为的及时响应，提高安全管理的效率和准确性，从而提高网络安全水平，减少潜在的风险和损失。

11、优选的，分别通过网络监控工具、系统日志收集器以及用户行为追踪技术收集网络流量信息、系统日志信息以及用户行为信息，将所述网络流量信息、系统日志信息以及用户行为信息进行整合，生成网络数据；

12、对所述网络数据进行处理，去除错误数据，统一数据格式和度量单位，生成标准网络数据。

13、通过采用上述技术方案，通过网络监控工具、系统日志收集器以及用户行为追踪技术，可以全面、多角度地收集网络流量信息、系统日志信息以及用户行为信息，将这些信息进行整合，能够提供一个全面、完整的网络数据视图，为后续的数据分析和处理提供精确的数据基础。通过处理网络数据，去除错误数据，统一数据格式和度量单位，可以显著提高数据的质量和一致性，确保不同来源的数据能够相互兼容和比较，进一步提高数据分析的准确性和效率。

14、优选的，将所述标准网络数据按照时间戳进行排序；

15、将排序后的所述标准网络数据划分为不同的时间窗口，针对每个时间窗口内的标准网络数据进行特征提取，将提取的特征按照时间窗口的顺序构建成网络时间序列数据；

16、对所述网络时间序列数据进行时间序列分析，揭示网络行为随时间的变化趋势，生成时间序列分析结果。

17、通过采用上述技术方案，将通过按时间戳排序后的标准网络数据划分为不同的时间窗口，不同的时间窗口可以反映不同的网络行为模式，并在每个时间窗口内进行特征提取，有助于捕捉网络行为的短期和长期变化，短时间窗口揭示突发的网络活动，而长时间窗口则展示网络行为的长期趋势，特征提取能够减少数据的维度，同时保留关键信息，构成网络时间序列数据，通过对网络时间序列数据进行分析，可以揭示网络行为随时间的变化趋势，包括流量峰值和异常活动的时间模式，从而更容易地识别异常行为，及时防御潜在的安全威胁，优化资源利用，确保网络的稳定性和性能。

18、优选的，获取历史网络数据，对历史网络数据进行分析，建立网络正常行为模型；

19、利用异常检测算法对所述时间序列分析结果进行扫描分析，识别出与所述网络正常行为模型存在显著偏离的数据点，生成网络异常行为数据；

20、定义不同的异常报警等级，针对每个异常报警等级设置触发条件，当所述网络异常行为数据出现的频率达到该异常报警等级的预设阈值时，则达到该异常报警等级的预设触发条件，触发报警。

21、通过采用上述技术方案，通过对历史网络数据的收集和分析，可以了解网络在正常运行状态下的行为模式，建立网络正常行为模型，为后续识别异常行为提供了参考基础。利用异常检测算法对时间序列分析结果进行扫描，能够自动识别出与网络正常行为模型存在显著偏离的数据点，即异常行为，大大减轻了人工监控的负担，并且及时的异常检测有助于组织快速响应潜在的安全威胁，减少损失。通过设置不同的异常报警等级和相应的触发条件，可以实现对不同程度异常行为的区分处理，可以提高异常处理的效率和准确性，对于严重的威胁，可以迅速采取行动，而对于一些误报或轻微的异常，可以避免不必要的恐慌和资源浪费，确保网络的持续、安全运行。

22、优选的，通过爬虫技术从多个渠道收集网络威胁情报信息；

23、对所述网络威胁情报信息进行清洗，去除无关信息、重复数据和噪声，同时转换数据为统一的格式，生成网络威胁情报处理数据；

24、通过自然语言处理技术对所述网络威胁情报处理数据进行实体识别、关系抽取和情感分析，生成自然语言处理数据；

25、从所述自然语言处理数据中提取结构化的网络威胁情报数据，并将所述网络威胁情报数据存储到专门的数据库中，形成结构化的网络威胁情报数据库，当有新的网络威胁情报信息出现时，对所述网络威胁情报数据库进行实时更新。

26、通过采用上述技术方案，通过爬虫技术能够自动化地从多个在线来源收集大量的网络威胁情报信息，网络威胁情报信息是预防和应对网络攻击的关键，可以更加全面地了解当前的威胁态势，及时识别和应对潜在的安全风险。通过自然语言处理技术对非结构化的网络威胁情报信息进行处理，生成网络威胁情报数据，构建和维护一个全面、准确、及时的网络威胁情报体系，有助于了解当前的威胁环境，为安全策略的制定提供数据支撑，从而提高网络安全防御能力和响应效率。

27、优选的，将所述网络威胁情报数据和时间序列分析结果进行集成，形成一个综合数据集，从所述综合数据集中提取出与网络安全相关的特征，并对提取的特征进行编码，生成特征编码数据；

28、设置支持度阈值和置信度阈值，通过关联分析算法对所述特征编码数据进行挖掘分析，筛选出满足预设支持度阈值和置信度阈值的频繁项集和关联规则，生成关联规则挖掘结果；

29、基于所述关联规则挖掘结果，结合领域知识和专家经验，识别出网络中潜在的威胁行为模式，生成威胁行为模式数据。

30、通过采用上述技术方案，利用关联分析技术，挖掘网络威胁情报数据与时间序列分析结果之间的关联规则，根据关联规则挖掘结果，结合领域知识和专家经验，可以准确、高效地识别网络潜在的威胁行为模式，生成威胁行为模式数据，通过及时发现并应对这些威胁模式，可以显著降低遭受网络攻击的风险，保护其数据和系统的完整性，从而增强组织的网络安全防护能力。

31、优选的，收集网络中所有实体设备的基本信息和实体设备之间的连接关系，构建网络拓扑结构图，将网络实体表示为节点，实体间的关系表示为边；

32、将所述异常行为数据中涉及的实体与网络拓扑结构图中的节点进行关联，应用图计算分析算法，对关联后的网络拓扑结构图进行分析，生成图计算分析结果；

33、基于所述图计算分析结果，提取出异常行为发生点到终点的所有攻击路径，将提取出的异常行为攻击路径结构化表示，生成威胁行为路径数据。

34、通过采用上述技术方案，构建网络拓扑结构图，将网络实体表示为节点，实体间的关系表示为边，将异常行为数据与网络拓扑结构图进行关联，利用图计算分析算法对关联后的网络拓扑结构图进行分析，提取出异常行为从发生点到终点的所有攻击路径，生成威胁行为路径数据，对于及时阻断攻击、减轻损害以及加强网络安全防护至关重要，从而维护网络的完整性、可用性和安全性。

35、优选的，制定数据交换机制，通过api接口将关联分析技术生成的威胁行为模式数据和图计算分析方法生成的威胁行为路径数据进行共享，生成威胁行为综合数据；

36、设计统一的集成架构，根据设定的集成架构将关联分析技术、图计算分析方法与安全管理工具进行集成；

37、针对每种安全管理工具开发响应插件，所述响应插件接收威胁行为综合数据后，触发安全管理工具对网络潜在的威胁行为进行响应处理。

38、通过采用上述技术方案，将关联分析技术、图计算分析方法与安全管理工具进行集成，根据获得威胁行为模式数据和威胁行为路径数据，触发安全管理工具对网络潜在的威胁行为进行处理，提高整体的安全态势感知和响应速度，从而实现对网络威胁的及时应对，提高网络安全管理的质量的效率。

39、第二方面，一种基于大数据的计算机网络安全智能分析系统，包括：

40、数据收集模块，用于收集网络数据；还用于收集网络威胁情报信息；

41、数据处理模块，用于对所述网络数据进行处理，生成标准网络数据；还用于使用自然语言处理技术对所述网络威胁情报信息进行处理，生成网络威胁情报数据；

42、时间序列分析模块，用于将所述标准网络数据按照时间顺序排列，对所述标准网络数据进行时间序列分析，生成时间序列分析结果；

43、异常行为识别预警模块，用于对所述时间序列分析结果进一步分析，识别网络异常行为，生成网络异常行为数据，并根据所述网络异常行为数据触发异常报警等级机制；

44、关联分析模块，用于利用关联分析技术，挖掘所述网络威胁情报数据与时间序列分析结果之间的关联规则，根据关联规则挖掘结果，识别网络潜在的威胁行为模式，生成威胁行为模式数据；

45、图计算分析模块，用于构建网络拓扑结构图，通过图计算分析方法，将所述异常行为数据与网络拓扑结构图进行关联分析，确定网络潜在的威胁行为攻击路径，生成威胁行为路径数据；

46、安全工具响应模块，用于将关联分析技术、图计算分析方法与安全管理工具进行集成，根据所述威胁行为模式数据和威胁行为路径数据，触发安全管理工具对网络潜在的威胁行为进行处理。

47、与现有技术相比，本发明具有以下特点和有益效果：

48、1.通过对网络数据进行时间序列分析，揭示网络活动的趋势和周期性，有助于识别潜在的异常行为，为异常检测提供依据；从时间序列分析结果中识别出与正常行为不符的异常行为，并根据其严重性触发相应的报警机制，从而及时发现潜在的网络安全事件，减少潜在的损失。通过从各种来源收集关于网络威胁的情报信息，并使用自然语言处理技术进行结构化处理，增强了对当前网络威胁的认知，为识别和防御威胁提供了外部参考。通过挖掘网络威胁情报数据与时间序列分析结果之间的关系，从而识别潜在的威胁行为模式，深化对威胁行为的理解，为防御策略的制定提供基础。通过构建网络图谱结构图，采用图计算技术对网络拓扑和异常行为数据进行关联分析，确定潜在的攻击路径，揭示攻击者在网络中的传播路径和攻击路径上的潜在目标，确定潜在的威胁行为攻击路径，从而制定针对性的防御策略。通过将关联分析技术、图计算分析方法与安全管理工具集成，触发安全管理工具对异常行为进行处理，实现对网络潜在威胁行为的及时响应，提高安全管理的效率和准确性，从而提高网络安全水平，减少潜在的风险和损失。

49、2.通过对历史网络数据的收集和分析，可以了解网络在正常运行状态下的行为模式，建立网络正常行为模型，为后续识别异常行为提供了参考基础。利用异常检测算法对时间序列分析结果进行扫描，能够自动识别出与网络正常行为模型存在显著偏离的数据点，即异常行为，大大减轻了人工监控的负担，并且及时的异常检测有助于组织快速响应潜在的安全威胁，减少损失。通过设置不同的异常报警等级和相应的触发条件，可以实现对不同程度异常行为的区分处理，可以提高异常处理的效率和准确性，对于严重的威胁，可以迅速采取行动，而对于一些误报或轻微的异常，可以避免不必要的恐慌和资源浪费，确保网络的持续、安全运行。

50、3.构建网络拓扑结构图，将网络实体表示为节点，实体间的关系表示为边，将异常行为数据与网络拓扑结构图进行关联，利用图计算分析算法对关联后的网络拓扑结构图进行分析，提取出异常行为从发生点到终点的所有攻击路径，生成威胁行为路径数据，对于及时阻断攻击、减轻损害以及加强网络安全防护至关重要，从而维护网络的完整性、可用性和安全性。