网络安全数据关联分析方法、装置、系统以及存储介质与流程

1.本技术涉及网络安全技术领域，尤其涉及一种网络安全数据关联分析方法、装置、系统以及存储介质。


背景技术：

2.目前，网络安全相关数据多样且复杂，一般包括网络流量数据、网络正常日志数据、网络环境资产数据、网络安全事件数据等，各个数据量巨大，并且毫无关联。其中，网络安全事件数据种类繁多、告警事件数量巨大，给工作人员在海量繁杂的告警事件中分辨对网络安全有影响的告警事件进行研判处置带来了巨大的挑战。


技术实现要素：

3.本技术的主要目的在于提供一种网络安全数据关联分析方法、装置、系统以及存储介质，旨在有效提高告警事件准确率，降低告警数量，为工作人员对网络安全的分析和研究提供可靠依据。
4.为实现上述目的，本技术提供一种网络安全数据关联分析方法，所述方法包括：采集表示网络当前安全情况的数据为样本，根据预设的业务逻辑从所述样本中抽取相应的样本信息作为日志数据标签；基于预设的关联分析规则，对所述日志数据标签进行特征规则匹配，获得告警匹配结果，根据所述告警匹配结果生成对应的提示告警事件。
5.可选地，所述方法还包括：根据所述提示告警事件进行告警通知。
6.可选地，所述采集表示网络当前安全情况的数据为样本，根据预设的业务逻辑从所述样本中抽取相应的样本信息作为日志数据标签的步骤包括：采集网络安全数据，将所述网络安全数据的日志数据作为样本；对所述样本进行正则匹配，根据匹配结果提取所述样本中的样本信息；对所述样本信息进行打标签处理，得到相应的结构化数据作为日志数据标签；根据所述日志数据标签，通过预设的计算模型确定相应的关联事件，并通过所述关联事件，确定事件标签分类。
7.可选地，所述基于预设的关联分析规则，对所述日志数据标签进行特征规则匹配，获得告警匹配结果，根据所述告警匹配结果生成对应的提示告警事件的步骤包括：基于预设的关联分析规则和预设的事件分类库，通过预设的计算模型对所述事件标签分类进行特征规则匹配，获取符合告警关联分析规则的事件告警标签；根据所述事件告警标签生成对应的提示告警事件。
8.可选地，所述预设的关联分析规则包括：统计类关联规则和序列类关联规则。
9.可选地，所述统计类关联规则对应的计算模型采用sequencecount函数实现；所述序列类关联规则对应的计算模型采用windowfunnel函数实现；所述事件告警标签包括：告
警id、告警类型、告警等级、告警描述、告警处理建议。
10.本技术实施例还提出一种网络安全数据关联分析装置，所述装置包括：数据处理模块，用于采集表示网络当前安全情况的数据为样本，根据预设的业务逻辑从所述样本中抽取相应的样本信息作为日志数据标签；关联分析模块，用于基于预设的关联分析规则，对所述日志数据标签进行特征规则匹配，获得告警匹配结果，根据所述告警匹配结果生成对应的提示告警事件。
11.可选地，所述装置还包括：规则配置模块，用于对提示告警事件的标签生成规则、事件告警标签的告警关联分析规则进行管理；告警模块，用于接收关联分析模块生成的提示告警事件，并进行告警通知。
12.本技术实施例还提出一种网络安全数据关联分析系统，所述网络安全数据关联分析系统包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的网络安全数据关联分析程序，所述网络安全数据关联分析程序被所述处理器执行时实现如上所述的网络安全数据关联分析方法。
13.本技术实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有网络安全数据关联分析程序，所述网络安全数据关联分析程序被处理器执行时实现如上所述的网络安全数据关联分析方法。
14.本技术实施例提出的网络安全数据关联分析方法、装置、系统以及存储介质，通过采集表示网络当前安全情况的数据为样本，根据预设的业务逻辑从所述样本中抽取相应的样本信息作为日志数据标签；基于预设的关联分析规则，对所述日志数据标签进行特征规则匹配，获得告警匹配结果，根据所述告警匹配结果生成对应的提示告警事件。该方案中，将种类繁多的网络安全数据生成格式统一的日志数据标签，通过设置适用于该统一格式的日志数据标签的关联分析规则，实现对各种安全防护产品产生的日志数据的关联分析，输出对网络安全有影响的提示告警事件，从而有效的降低了告警数量，提高了告警的准确率，使得最终的网络安全事件不仅降低告警事件数量且能够输出众多告警事件中对网络安全有影响的安全事件，为网络安全的分析和研究提供可靠的依据。
附图说明
15.图1为本技术网络安全数据关联分析装置所属系统的功能模块示意图；图2为本技术网络安全数据关联分析方法一示例性实施例的流程示意图；图3为本技术网络安全数据关联分析方法另一示例性实施例的流程示意图；图4为本技术网络安全数据关联分析装置一示例性实施例的功能模块示意图。
16.本技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
17.应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
18.本技术实施例的主要解决方案是：通过采集表示网络当前安全情况的数据为样本，根据预设的业务逻辑从所述样本中抽取相应的样本信息作为日志数据标签；基于预设的关联分析规则，对所述日志数据标签进行特征规则匹配，获得告警匹配结果，根据所述告
警匹配结果生成对应的提示告警事件。该方案中，将种类繁多的网络安全数据生成格式统一的日志数据标签，通过设置适用于该统一格式的日志数据标签的关联分析规则，实现对各种安全防护产品产生的日志数据的关联分析，输出对网络安全有影响的提示告警事件，从而有效的降低了告警数量，提高了告警的准确率，使得最终的网络安全事件不仅降低告警事件数量且能够输出众多告警事件中对网络安全有影响的安全事件，为网络安全的分析和研究提供可靠的依据。
19.本技术实施例考虑到，目前网络安全相关数据多样且复杂，各个数据量巨大，并且毫无关联。其中，网络安全事件数据种类繁多、告警事件数量巨大，给工作人员在海量繁杂的告警事件中分辨对网络安全有影响的告警事件进行研判处置带来了巨大的挑战。
20.因此，本技术实施例提出解决方案，可以有效提高告警事件准确率，使得最终的网络安全事件不仅降低告警事件数量且能够输出众多告警事件中对网络安全有影响的安全事件，为网络安全的分析和研究提供可靠的依据。
21.具体地，参照图1，图1为本技术网络安全数据关联分析装置所属系统的功能模块示意图。该网络安全数据关联分析装置可以为独立于系统的装置，其可以通过硬件或软件的形式承载于系统上。该系统所属的设备可以为手机、平板电脑等具有数据处理功能的智能移动终端，还可以为具有数据处理功能的固定终端设备或服务器等。
22.在本实施例中，该网络安全数据关联分析装置所属系统至少包括输出模块110、处理器120、存储器130以及通信模块140。
23.存储器130中存储有操作系统以及网络安全数据关联分析程序；输出模块110可为显示屏等。通信模块140可以包括wifi模块、移动通信模块以及蓝牙模块等，通过通信模块140与外部设备或服务器进行通信。
24.其中，存储器130中的网络安全数据关联分析程序被处理器执行时实现以下步骤：采集表示网络当前安全情况的数据为样本，根据预设的业务逻辑从所述样本中抽取相应的样本信息作为日志数据标签；基于预设的关联分析规则，对所述日志数据标签进行特征规则匹配，获得告警匹配结果，根据所述告警匹配结果生成对应的提示告警事件。
25.进一步地，存储器130中的网络安全数据关联分析程序被处理器执行时还实现以下步骤：根据所述提示告警事件进行告警通知。
26.进一步地，存储器130中的网络安全数据关联分析程序被处理器执行时还实现以下步骤：采集网络安全数据，将所述网络安全数据的日志数据作为样本；对所述样本进行正则匹配，根据匹配结果提取所述样本中的样本信息；对所述样本信息进行打标签处理，得到相应的结构化数据作为日志数据标签；根据所述日志数据标签，通过预设的计算模型确定相应的关联事件，并通过所述关联事件，确定事件标签分类。
27.进一步地，存储器130中的网络安全数据关联分析程序被处理器执行时还实现以下步骤：基于预设的关联分析规则和预设的事件分类库，通过预设的计算模型对所述事件
标签分类进行特征规则匹配，获取符合告警关联分析规则的事件告警标签；根据所述事件告警标签生成对应的提示告警事件。
28.其中，所述预设的关联分析规则包括：统计类关联规则和序列类关联规则。
29.其中，所述统计类关联规则对应的计算模型采用sequencecount函数实现；所述序列类关联规则对应的计算模型采用windowfunnel函数实现；所述事件告警标签包括：告警id、告警类型、告警等级、告警描述、告警处理建议。
30.本实施例通过上述方案，具体通过采集表示网络当前安全情况的数据为样本，根据预设的业务逻辑从所述样本中抽取相应的样本信息作为日志数据标签；基于预设的关联分析规则，对所述日志数据标签进行特征规则匹配，获得告警匹配结果，根据所述告警匹配结果生成对应的提示告警事件。该方案中，将种类繁多的网络安全数据生成格式统一的日志数据标签，通过设置适用于该统一格式的日志数据标签的关联分析规则，实现对各种安全防护产品产生的日志数据的关联分析，输出对网络安全有影响的提示告警事件，从而有效的降低了告警数量，提高了告警的准确率，使得最终的网络安全事件不仅降低告警事件数量且能够输出众多告警事件中对网络安全有影响的安全事件，为网络安全的分析和研究提供可靠的依据。
31.基于上述系统架构但不限于上述架构，提出本技术方法实施例。
32.本实施例方法的执行主体可以是一种网络安全数据关联分析装置，该网络安全数据关联分析装置可以为独立于系统的装置，其可以通过硬件或软件的形式承载于系统上。该系统可以为具有数据处理功能的固定终端设备或服务器等。本实施例以网络安全设备进行举例。
33.参照图2，图2为本技术网络安全数据关联分析方法一示例性实施例的流程示意图。本实施例提出的网络安全数据关联分析方法包括：步骤s101，采集表示网络当前安全情况的数据为样本，根据预设的业务逻辑从所述样本中抽取相应的样本信息作为日志数据标签；其中，样本的来源可以从网络安全相关数据中筛选获得。
34.如前所述，网络安全相关数据多样且复杂，一般包括网络流量数据、网络正常日志数据、网络环境资产数据、网络安全事件数据等，各个数据量巨大，并且毫无关联。其中，网络安全事件数据种类繁多、告警事件数量巨大，给工作人员在海量繁杂的告警事件中分辨对网络安全有影响的告警事件进行研判处置带来了巨大的挑战。
35.本实施例方案可以有效提高告警事件准确率，降低告警数量，为工作人员对网络安全的分析和研究提供可靠依据。
36.具体地，作为一种实施方式，采集网络安全数据，将所述网络安全数据的日志数据作为样本；具体地，采集能够表示网络当前安全情况的数据，通过对这些数据进行分析确定网络当前是否存在安全威胁；其中，网络安全相关数据可以包括正常流量日志数据、网络安全事件数据。
37.具体来说，正常流量日志数据可以用来帮助进行资产测绘梳理，在清楚了解网络环境中存在哪些资产后能够采取最恰当的保护措施；网络安全事件数据是网络环境中实时发生的安全事件，对安全事件数据的梳理能
够发现其中的关联关系，可能发现网络环境中的潜伏安全威胁。
38.在一种具体实现方式中，采集网络安全相关数据作为样本时，可以采集包含上述网络安全相关数据的资产日志及数据流量作为样本，而采集资产日志时可以配置资产日志的日志源信息，包括但不限于ip、资产类型、资产日志位置等，采集数据流量时可以镜像获取资产流量，所配置的信息包括但不限ip、端口等。
39.然后，对所述样本进行正则匹配，根据匹配结果提取所述样本中的样本信息；其中，本实施例预先创建有正则匹配的规则库，基于规则库，通过正则表达式对上述网络安全日志数据的样本进行正则匹配，对样本进行范式化和丰富化。
40.其中，正则匹配的过程就是对结构化的数据进行正则匹配，得到结构化的字段，比如，把日志拆分成对应的字段，这些字段可以包括日志的源ip、目标ip、事件分类、特征等，然后对这些字段通过正则表达式进行匹配，根据匹配结果提取所述样本中的样本信息。
41.然后，对所述样本信息进行打标签处理，得到相应的结构化数据作为日志数据标签；在得到样本之后，可以依据预设的业务逻辑从样本中抽取相应的样本信息作为日志数据标签；具体来说，日志数据的内容包括但不限于实体、属性及关系，如sip(源ip)、dip(目的ip)、smac(源mac)、dmac(目的mac)等。
42.日志数据标签会实时存储到clickhouse中，日志数据标签会区分日志数据为正常流量日志，还是网络安全事件数据，正常流量日志数据也会根据日志不同来区分不同的日志类型，网络安全事件数据也会区分是哪种安全事件日志。
43.比如，对于字段ip，判断其为内网ip还是外网ip，如果是内网ip，则打资产id标记，如果是外网资产，则识别出该资产的所属地域，不同的标记对应作为一种标签。
44.最后，根据所述日志数据标签，通过预设的计算模型确定相应的关联事件，并通过所述关联事件，确定事件标签分类。
45.其中，作为一种实施方式，将日志数据标签数据实时存储到clickhouse中，通过clickhouse的计算模型算法去确定相应的关联事件，然后确定事件标签分类。
46.其中，clickhouse的计算模型算法在确定相应的关联事件时，需要用到日志分类标记，其中，计算模型算法中配置的关联事件的关联规则，包括日志分类标记及对应的关联事件。
47.步骤s102，基于预设的关联分析规则，对所述日志数据标签进行特征规则匹配，获得告警匹配结果，根据所述告警匹配结果生成对应的提示告警事件。
48.在本实施例中，预先生成有关联分析的规则，并将关联分析规则存储到内存数据库中。
49.其中，作为一种实施方式，基于预设的关联分析规则和预设的事件分类库，通过预设的计算模型对所述事件标签分类进行特征规则匹配，获取符合关联分析规则的事件告警标签；其中，所述事件告警标签包括：告警id、告警类型、告警等级、告警描述、告警处理建议等。
50.其中，本实施例预先建立有事件分类库，在事件分类库中详细描述了该事件的等
级、危害描述等相关信息，用于生成事件告警标签。
51.然后，根据所述事件告警标签生成对应的提示告警事件。
52.根据告警匹配结果，确定事件告警标签集合，其中包括：从事件分类库中查询到的各种信息；基于事件告警标签集合，生成事件告警标签对应的提示告警事件。
53.其中，作为一种实施方式，所述预设的关联分析规则可以包括：统计类关联规则和序列类关联规则。
54.其中，作为一种实施方式，所述统计类关联规则对应的计算模型采用sequencecount函数实现；所述序列类关联规则对应的计算模型采用windowfunnel函数实现；也就是说，预设的关联分析规则分为两种，第一种为统计类关联规则，第二种为序列类关联规则；不同的关联规则采用不同的计算模型算法去分析。
55.clickhouse的计算模型算法分为两种，统计类的关联规则采用sequencecount函数去实现；序列类的关联规则采用windowfunnel函数去实现。
56.在基于预设的关联分析规则，对所述日志数据标签进行特征规则匹配时，将所获得的日志数据标签实时插入到clickhouse中，通过计算模型可以得到符合条件的聚合资产组信息，满足此条件的资产组信息即为命中此关联事件的资产。
57.例如，对于源ip，根据其事件分类标签判断满足关联规则的资产有哪些，然后，判断生成哪种关联事件，该关联事件就是告警事件。
58.作为一种实施方式，可以通过关联分析模块根据配置的关联分析规则去间隔的计算存储到clickhouse中的数据是否匹配配置的规则，如果匹配，则获得相应的聚合资产信息，然后根据规则中的事件告警标签，去得到相应的告警类型、等级等信息；然后将完善好的资产关联告警信息推给告警模块，进行相应的告警。
59.该方案中，将种类繁多的网络安全数据生成格式统一的日志数据标签，通过设置适用于该统一格式的日志数据标签的关联分析规则，实现对各种安全防护产品产生的日志数据的关联分析，输出对网络安全有影响的提示告警事件，从而有效的降低了告警数量，提高了告警的准确率，使得最终的网络安全事件不仅降低告警事件数量且能够输出众多告警事件中对网络安全有影响的安全事件，为网络安全的分析和研究提供可靠的依据。
60.以下针对统计类关联规则和序列类关联规则的场景举例如下：对于统计类关联规则：预设的关联规则名称比如是mysql暴力破解；规则的内容编写的是日志类型等于mysql登录失败，时间窗口为一分钟发生100次，分组条件为目的资产；规则的告警设定写的是生成一个暴力破解的安全事件；数据在实时进入clickhouse中时，关联分析计算引擎会根据sequencecount算法，每分钟去查询满足规则的条件资产有哪些，然后通过告警设定的事件分类，去得出资产和事件分类两个信息。然后通过事件分类去查询事件分类库，得出事件等级、处置建议等信息。
61.对于序列类关联规则：预设的关联规则名称比如是入侵webshell攻击；
规则的内容编写的是序列一：日志类型等于端口扫描，序列二：日志类型等于webshell攻击日志，时间窗口为30分钟，分组条件为源资产；规则的告警设定写的是生成一个入侵webshell的安全事件；数据在实时进入clickhouse中时，关联分析计划引擎会根据windowfunnel算法，每分钟去查询满足规则的条件资产有哪些，然后通过告警设定的事件分类，去得出资产和事件分类两个信息。然后通过事件分类去查询事件分类库，得出事件等级、处置建议等信息。
62.本实施例通过上述方案，具体通过采集表示网络当前安全情况的数据为样本，根据预设的业务逻辑从所述样本中抽取相应的样本信息作为日志数据标签；基于预设的关联分析规则，对所述日志数据标签进行特征规则匹配，获得告警匹配结果，根据所述告警匹配结果生成对应的提示告警事件。该方案中，将种类繁多的网络安全数据生成格式统一的日志数据标签，通过设置适用于该统一格式的日志数据标签的关联分析规则，实现对各种安全防护产品产生的日志数据的关联分析，输出对网络安全有影响的提示告警事件，从而有效的降低了告警数量，提高了告警的准确率，使得最终的网络安全事件不仅降低告警事件数量且能够输出众多告警事件中对网络安全有影响的安全事件，为网络安全的分析和研究提供可靠的依据。
63.参照图3，图3为本技术网络安全数据关联分析方法另一示例性实施例的流程示意图。基于上述图2所示的实施例，在本实施例中，所述方法还包括：步骤s103，根据所述提示告警事件进行告警通知。
64.作为一种实施方式，可以通过关联分析模块根据配置的关联分析规则去间隔的计算存储到clickhouse中的数据是否匹配配置的规则，如果匹配，则获得相应的聚合资产信息，然后根据规则中的事件告警标签，去得到相应的告警类型、等级等信息；然后将完善好的资产关联告警信息推给告警模块，进行相应的告警。
65.本实施例通过上述方案，具体通过采集表示网络当前安全情况的数据为样本，根据预设的业务逻辑从所述样本中抽取相应的样本信息作为日志数据标签；基于预设的关联分析规则，对所述日志数据标签进行特征规则匹配，获得告警匹配结果，根据所述告警匹配结果生成对应的提示告警事件，根据所述提示告警事件进行告警通知。该方案中，将种类繁多的网络安全数据生成格式统一的日志数据标签，通过设置适用于该统一格式的日志数据标签的关联分析规则，实现对各种安全防护产品产生的日志数据的关联分析，输出对网络安全有影响的提示告警事件，从而有效的降低了告警数量，提高了告警的准确率，使得最终的网络安全事件不仅降低告警事件数量且能够输出众多告警事件中对网络安全有影响的安全事件，为网络安全的分析和研究提供可靠的依据。
66.如图4所示，本技术实施例还提出一种网络安全数据关联分析装置，所述装置包括：数据处理模块，用于采集表示网络当前安全情况的数据为样本，根据预设的业务逻辑从所述样本中抽取相应的样本信息作为日志数据标签；关联分析模块，用于基于预设的关联分析规则，对所述日志数据标签进行特征规则匹配，获得告警匹配结果，根据所述告警匹配结果生成对应的提示告警事件。
67.进一步地，所述装置还包括：
规则配置模块，用于对提示告警事件的标签生成规则、事件告警标签的告警关联分析规则进行管理；告警模块，用于接收关联分析模块生成的提示告警事件，并进行告警通知。
68.由于本网络安全数据关联分析程序被处理器执行时，采用了前述所有实施例的全部技术方案，因此至少具有前述所有实施例的全部技术方案所带来的所有有益效果，在此不再一一赘述。
69.本技术实施例还提出一种终端设备，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的网络安全数据关联分析程序，所述网络安全数据关联分析程序被所述处理器执行时实现如上述实施例所述的网络安全数据关联分析方法。
70.本技术实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有网络安全数据关联分析程序，所述网络安全数据关联分析程序被处理器执行时实现如上述实施例所述的网络安全数据关联分析方法。
71.由于本网络安全数据关联分析程序被处理器执行时，采用了前述所有实施例的全部技术方案，因此至少具有前述所有实施例的全部技术方案所带来的所有有益效果，在此不再一一赘述。
72.本技术实施例提出的网络安全数据关联分析方法、装置、系统以及存储介质，通过采集表示网络当前安全情况的数据为样本，根据预设的业务逻辑从所述样本中抽取相应的样本信息作为日志数据标签；基于预设的关联分析规则，对所述日志数据标签进行特征规则匹配，获得告警匹配结果，根据所述告警匹配结果生成对应的提示告警事件。该方案中，将种类繁多的网络安全数据生成格式统一的日志数据标签，通过设置适用于该统一格式的日志数据标签的关联分析规则，实现对各种安全防护产品产生的日志数据的关联分析，输出对网络安全有影响的提示告警事件，从而有效的降低了告警数量，提高了告警的准确率，使得最终的网络安全事件不仅降低告警事件数量且能够输出众多告警事件中对网络安全有影响的安全事件，为网络安全的分析和研究提供可靠的依据。
73.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
74.上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
75.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上的一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，被控终端，或者网络设备等)执行本技术每个实施例的方法。
76.以上仅为本技术的优选实施例，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。