告警事件数据处理方法、装置、电子设备及存储介质与流程

文档序号:32056758发布日期:2022-11-04 21:49阅读:32来源:国知局
告警事件数据处理方法、装置、电子设备及存储介质与流程

1.本公开涉及数据安全技术领域,尤其涉及一种告警事件数据处理方法、装置、电子设备及存储介质。


背景技术:

2.在企业安全运营当中,最重要的还是“数据”。在攻击侧离不开各种资产数据、漏洞数据的收集和利用,在防御侧离不开资产数据、设备告警数据,对各种攻击活动的分析更是离不开dns(domain namesystem,域名系统)、样本、用户行为等数据。
3.近年来,数据安全成为越来越受关注的研究方向,数据安全相关安全事件也越来越多。在实际建设数据安全防护体系过程中,为便于对数据遭到篡改、破坏、泄露等事件进行分析溯源,针对一系列告警事件的归并处理是必不可少的过程。特别是针对“重要数据”相关的告警,希望能优先归并处理,因此,如何实现重要数据的快速归并告警,成为亟待解决的问题。


技术实现要素:

4.为了解决上述技术问题或者至少部分地解决上述技术问题,本公开的至少一个实施例提供了一种告警事件数据处理方法、装置、电子设备及存储介质。
5.第一方面,本公开提供了一种告警事件数据处理方法,所述方法包括:
6.获取待处理的多条告警事件数据;
7.根据每条告警事件数据携带的告警事件类型以及预设的数据资源列表,从所述每条告警事件数据中识别出与所述数据资源列表关联的重要数据标记;
8.根据所述每条告警事件数据的重要数据标记,对所述多条告警事件数据进行聚合处理,得到多组数据;
9.按照每组数据的优先级由高到低的顺序,依次从所述多组数据中选择一组数据,并基于预设的归并规则,对所述一组数据进行归并处理,生成归并后的告警数据,其中,具有重要数据标记的第一告警事件数据组成的一组数据的优先级高于不具有重要数据标记的第二告警事件数据组成的一组数据的优先级;
10.输出所述归并后的告警数据。
11.第二方面,本公开提供了一种告警事件数据处理装置,所述装置包括:
12.获取模块,用于获取待处理的多条告警事件数据;
13.识别模块,用于根据每条告警事件数据携带的告警事件类型以及预设的数据资源列表,从所述每条告警事件数据中识别出与所述数据资源列表关联的重要数据标记;
14.聚合处理模块,用于根据所述每条告警事件数据的重要数据标记,对所述多条告警事件数据进行聚合处理,得到多组数据;
15.归并处理模块,用于按照每组数据的优先级由高到低的顺序,依次从所述多组数据中选择一组数据,并基于预设的归并规则,对所述一组数据进行归并处理,生成归并后的
告警数据,其中,具有重要数据标记的第一告警事件数据组成的一组数据的优先级高于不具有重要数据标记的第二告警事件数据组成的一组数据的优先级;
16.输出模块,用于输出所述归并后的告警数据。
17.第三方面,本公开提供了一种电子设备,包括:处理器和存储器;所述处理器通过调用所述存储器存储的程序或指令,用于执行本公开第一方面提供的任一所述告警事件数据处理方法的步骤。
18.第四方面,本公开提供了一种计算机可读存储介质,所述计算机可读存储介质存储程序或指令,所述程序或指令使计算机执行本公开第一方面提供的任一所述告警事件数据处理方法的步骤。
19.第五方面,本公开提供了一种计算机程序产品,所述计算机程序产品用于执行本公开第一方面提供的任一所述告警事件数据处理方法的步骤。
20.本公开实施例提供的技术方案与现有技术相比至少具有如下优点:
21.在本公开实施例中,通过获取待处理的多条告警事件数据,并根据每条告警事件数据携带的告警事件类型以及预设的数据资源列表,从每条告警事件数据中识别出与数据资源列表关联的重要数据标记,接着根据每条告警事件数据的重要数据标记,对多条告警事件数据进行聚合处理,得到多组数据,进而按照每组数据的优先级由高到低的顺序,依次从多组数据中选择一组数据,并基于预设的归并规则,对一组数据进行归并处理,生成归并后的告警数据,最终输出归并后的告警数据,其中,具有重要数据标记的第一告警事件数据组成的一组数据的优先级高于不具有重要数据标记的第二告警事件数据组成的一组数据的优先级。采用上述技术方案,通过从告警事件数据中识别出与数据资源列表关联的重要数据标记,并根据重要数据标记对告警事件数据进行聚合处理,实现了以重要数据角度对告警事件数据进行统一聚合处理,并且,通过按照每组数据的优先级由高到低的顺序选择数据进行归并处理,不仅实现了告警事件的归并处理,还实现了对重要数据产生的告警事件进行优先归并处理,实现了重要数据的优先、快速归并告警,使得重要数据相关告警能早发现、早处置。
附图说明
22.此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
23.为了更清楚地说明本公开实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
24.图1为本公开一实施例提供的告警事件数据处理方法的流程示意图;
25.图2为本公开另一实施例提供的告警事件数据处理方法的流程示意图;
26.图3为本公开一实施例提供的告警事件数据处理装置的结构示意图。
具体实施方式
27.为了能够更清楚地理解本公开的上述目的、特征和优点,下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是,所描述的实施例是本公开的一部分实施例,
而不是全部的实施例,此处所描述的具体实施例仅仅用于解释本公开,而非对本公开的限定,在不冲突的情况下,本公开的实施例及实施例中的特征可以相互组合。基于所描述的本公开的实施例,本领域普通技术人员所获得的所有其他实施例,都属于本公开保护的范围。
28.在下面的描述中阐述了很多具体细节以便于充分理解本公开,但本公开还可以采用其他不同于在此描述的方式来实施;显然,说明书中的实施例只是本公开的一部分实施例,而不是全部的实施例。
29.近年来,数据安全成为越来越受关注的研究方向,数据安全相关安全事件也越来越多,特别是针对重要数据,关系国家、社会等民生与安全,需要特别的重视。
30.在实际建设数据安全防护体系过程中,为便于对数据遭到篡改、破坏、泄露等事件进行分析溯源,针对一系列告警事件的归并处理是必不可少的过程。特别是针对重要数据产生的告警事件,希望能在最短时间内产生告警,并形成相关关联聚合信息,以便于优先进行处置或阻断。
31.针对上述问题,本公开提供了一种告警事件数据处理方法,通过获取待处理的多条告警事件数据,并根据每条告警事件数据携带的告警事件类型以及预设的数据资源列表,从每条告警事件数据中识别出与数据资源列表关联的重要数据标记,接着根据每条告警事件数据的重要数据标记,对多条告警事件数据进行聚合处理,得到多组数据,进而按照每组数据的优先级由高到低的顺序,依次从多组数据中选择一组数据,并基于预设的归并规则,对一组数据进行归并处理,生成归并后的告警数据,最终输出归并后的告警数据,其中,具有重要数据标记的第一告警事件数据组成的一组数据的优先级高于不具有重要数据标记的第二告警事件数据组成的一组数据的优先级。采用上述技术方案,通过从告警事件数据中识别出与数据资源列表关联的重要数据标记,并根据重要数据标记对告警事件数据进行聚合处理,实现了以重要数据角度对告警事件数据进行统一聚合处理,并且,通过按照优先级由高到低的顺序选择数据进行归并处理,不仅实现了告警事件的归并处理,还实现了对重要数据产生的告警事件进行优先归并处理,实现了重要数据的优先、快速归并告警,使得重要数据相关告警能早发现、早处置。
32.图1为本公开一实施例提供的告警事件数据处理方法的流程示意图,该方法可以由本公开实施例提供的告警事件数据处理装置执行,该告警事件数据处理装置可以采用软件和/或硬件实现,并可集成在电脑、服务器等电子设备上。
33.如图1所示,本公开实施例提供的告警事件数据处理方法,可以包括以下步骤:
34.步骤101,获取待处理的多条告警事件数据。
35.示例性地,可以获取监测的计算机中所有的原始告警事件数据作为待处理的多条告警事件数据。
36.步骤102,根据每条告警事件数据携带的告警事件类型以及预设的数据资源列表,从所述每条告警事件数据中识别出与所述数据资源列表关联的重要数据标记。
37.其中,数据资源列表可以根据实际需求预先设置,数据资源列表中包括多个数据资源类型,数据资源类型可以包括但不限于账号、密码、数据库、数据表、url(uniform resource locator,统一资源定位符)链接、数据文件、敏感数据等。
38.本公开实施例中,对于获取的多条告警事件数据,可以针对每条告警事件数据,根据各告警事件数据中携带的告警事件类型以及预设的数据资源列表,从各告警事件数据中
识别出与数据资源列表关联的重要数据标记。
39.其中,告警事件类型可以包括但不限于口令爆破、数据库异常操作、异常访问、恶意外联传输、敏感信息泄漏,等等。通常,告警事件数据中自带告警事件类型。
40.示例性地,针对任一条告警事件数据,可以从该告警事件数据中获取告警事件类型,之后,获取与告警事件类型对应的预设数据资源类型,预设数据资源类型包括但不限于ip、url、数据文件等。能够理解的是,不同的告警事件类型可以对应不同的预设数据资源类型。之后,判断该告警事件数据中是否包含与所述预设数据资源类型中的至少一个匹配的数据资源,若存在,则进一步判断该数据资源所属的数据资源类型是否存在于预设的数据资源列表中,若存在,则将数据资源确定为与数据资源列表关联的重要数据标记。若该告警事件数据中不包含与预设数据资源类型匹配的数据资源,或者,数据资源所属的数据资源类型未存在于预设的数据资源列表中,则确定该告警事件数据中未包含重要数据,则对该告警事件数据不进行重要数据标记。
41.也就是说,重要数据标记是告警事件数据中的重要数据,是告警事件数据中与数据资源列表中的至少一个数据资源类型关联的字段的信息。
42.步骤103,根据所述每条告警事件数据的重要数据标记,对所述多条告警事件数据进行聚合处理,得到多组数据。
43.本公开实施例中,从每条告警事件数据中识别出重要数据标记之后,可以根据每条告警事件数据的重要数据标记,对多条告警事件数据进行聚合处理,得到多组数据。
44.示例性地,对于识别出重要数据标记的部分告警事件数据,可以将具有相同的重要数据标记的告警事件数据聚合在一起,得到一组数据;对于未识别出重要数据标记的告警事件数据,可以将这部分告警事件数据随机的划分为多组数据,或者,可以按照告警事件数据中携带的告警事件类型,将相同告警事件类型的告警事件数据聚合在一起,得到至少一组数据。或者,也可以采用其他的聚合方式对多条告警事件数据进行聚合处理,本公开对此不作限制。
45.步骤104,按照每组数据的优先级由高到低的顺序,依次从所述多组数据中选择一组数据,并基于预设的归并规则,对所述一组数据进行归并处理,生成归并后的告警数据。
46.其中,具有重要数据标记的第一告警事件数据组成的一组数据的优先级高于不具有重要数据标记的第二告警事件数据组成的一组数据的优先级。也就是说,如果a组数据是由识别出重要数据标记的告警事件数据(统称为第一告警事件数据)组成的,b组数据是由未识别出重要数据标记的告警事件数据(统称为第二告警事件数据)组成的,则a组数据的优先级高于b组数据的优先级,能够被优先处理。
47.本公开实施例中,多组数据之间的优先级,可以根据多组数据之间的编号确定,编号靠前的数据优先级较高;或者,也可以根据多组数据之间的排序确定,排序在前的数据优先级较高,而排序在后的数据优先级较低;或者,也可以通过其他方式确定各组数据之间的优先级,本公开对此不作限制。
48.示例性地,可以为未识别出重要数据标记的每组数据分配较低的优先级,为识别出重要数据标记的每组数据分配较高的优先级,并且优先对识别出重要数据标记的部分告警事件数据进行聚合处理,完成之后再对未识别出重要数据标记的剩余部分告警事件数据进行聚合处理。其中,在对识别出重要数据标记的部分告警事件数据进行聚合处理时,最先
生成的一组数据具有最小的编号,比如编号为1,具有最高的优先级,第二生成的一组数据的编号为2,优先级仅次于编号为1 的第一组数据,以此类推,直至生成最后一组数据。
49.示例性地,可以针对不同的数据资源类型预先设置对应的重要度,在进行聚合处理时,对识别出重要数据标记的部分告警事件数据,根据重要数据标记所属的数据资源类型所对应的重要度,确定各个重要数据标记对应的重要度,进而在根据重要数据标记对告警事件数据进行聚合处理时,根据重要数据标记对应的重要度,确定各组数据的优先级,其中,重要数据标记对应的重要度越高,根据该重要数据标记确定的分组数据的优先级越高。对未识别出重要数据标记的剩余部分告警事件数据,由于这部分告警事件数据中未识别出重要数据,则可以随机地确定对这部分告警事件数据进行聚合得到的至少一组数据的优先级,比如,可以根据每组数据生成的顺序确定各组数据的优先级。
50.之后,对于得到的多组数据,可以按照优先级由高到低的顺序,依次从多组数据中选择一组数据进行归并处理。也就是说,对于得到的多组数据,先选择优先级最高的一组数据进行归并处理,在归并处理完成之后,再选择优先级次高的一组数据进行归并处理,以此类推,直至遍历完成多组数据中的每一组数据。
51.本公开实施例中,在对一组数据进行归并处理时,可以基于预设的归并规则对该组数据进行归并处理,生成归并后的告警数据。
52.其中,归并规则可以根据实际需求预先设定,比如,可以预先设置归并规则为基于文件名维度进行归并处理,即,将该组数据中具有相同文件名的告警事件数据归并在一起进行告警,生成该文件名对应的告警数据;又比如,可以预先设置归并规则为基于多个维度进行归并处理,等等。
53.步骤105,输出所述归并后的告警数据。
54.本公开实施例中,针对每组数据,基于预设的归并规则进行归并处理生成归并后的告警数据之后,可以输出归并后的告警数据,由此实现了对于同一个数据对象的告警进行集中处理,避免重复处理。
55.本公开实施例的告警事件数据处理方法,通过获取待处理的多条告警事件数据,并根据每条告警事件数据携带的告警事件类型以及预设的数据资源列表,从每条告警事件数据中识别出与数据资源列表关联的重要数据标记,接着根据每条告警事件数据的重要数据标记,对多条告警事件数据进行聚合处理,得到多组数据,进而按照每组数据的优先级由高到低的顺序,依次从多组数据中选择一组数据,并基于预设的归并规则,对一组数据进行归并处理,生成归并后的告警数据,最终输出归并后的告警数据,其中,具有重要数据标记的第一告警事件数据组成的一组数据的优先级高于不具有重要数据标记的第二告警事件数据组成的一组数据的优先级。采用上述技术方案,通过从告警事件数据中识别出与数据资源列表关联的重要数据标记,并根据重要数据标记对告警事件数据进行聚合处理,实现了以重要数据角度对告警事件数据进行统一聚合处理,并且,通过按照优先级由高到低的顺序选择数据进行归并处理,不仅实现了告警事件的归并处理,还实现了对重要数据产生的告警事件进行优先归并处理,实现了重要数据的优先、快速归并告警,使得重要数据相关告警能早发现、早处置。
56.在本公开的一种可选实施方式中,如图2所示,在如图1所示实施例的基础上,步骤102可以包括以下子步骤:
57.步骤201,针对所述多条告警事件数据中的每条告警事件数据,从所述每条告警事件数据中获取对应的告警事件类型。
58.通常,告警事件数据中自带告警事件类型,因此本公开实施例中,针对多条告警事件数据中的每条告警事件数据,可以从每条告警事件数据中提取出各告警事件数据分别对应的告警事件类型。
59.步骤202,根据所述告警事件类型,确定与所述告警事件类型匹配的目标数据资源类型。
60.本公开实施例中,可以根据实际需求,针对不同的告警事件类型,预先设置对应的数据资源类型,在获取了每条告警事件数据对应的告警事件类型之后,可以根据告警事件类型,确定出与各告警事件类型分别匹配的目标数据资源类型。
61.示例性地,假设对于告警事件类型“口令爆破”,预先设置对应的数据资源类型包括账号和密码;对于告警事件类型“数据库异常操作”,预先设置对应的数据资源类型包括数据库和数据表。则假设从某条告警事件数据中获取的告警事件类型为数据库异常操作,则可以确定与该告警事件类型匹配的目标数据资源类型为数据库、数据表。
62.步骤203,判断预设的数据资源列表中是否包含所述目标数据资源类型。
63.本公开实施例中,确定了与各告警事件类型匹配的目标数据资源类型之后,可以将目标数据资源类型与预设的数据资源列表进行比对,判断数据资源列表中是否存在确定的目标数据资源类型,如果存在,则执行步骤204;如果不存在,则执行步骤205。
64.步骤204,在所述数据资源列表中包含所述目标数据资源类型的情况下,从所述每条告警事件数据中获取与所述目标数据资源类型关联的数据作为重要数据标记。
65.本公开实施例中,如果确定预设的数据资源列表中包含目标数据资源类型,表明对应的告警事件数据中存在重要数据,则可以从告警事件数据中获取与目标数据资源类型关联的数据作为该告警事件数据的重要数据标记。
66.其中,重要数据标记为告警事件数据包含的字段中与目标数据资源类型匹配的目标字段的字段信息。
67.需要说明的是,本公开实施例中,当目标数据资源类型中的至少一个存在于数据资源列表中时,则确定数据资源列表中包含目标数据资源类型。另外,在获取与目标数据资源关联的数据时,可以获取与目标数据资源类型中的每一个数据资源类型关联的数据作为重要数据标记,当告警事件数据中不存在与目标数据资源类型中的某个数据资源类型关联的字段时,则不获取与该数据资源类型关联的数据;也可以获取与目标数据资源类型中存在于数据资源列表中的数据资源类型关联的数据作为重要数据标记,等等,本公开对此不作限制。当告警事件数据中不存在与目标数据资源类型关联的数据时,即告警事件数据中的各字段均与目标数据资源类型不匹配时,则不对该告警事件数据进行重要数据标记。
68.示例性地,表1示出了针对不同的告警事件类型从告警事件数据中识别出重要数据标记的示例表。如表1所示,针对携带不同的告警事件类型的告警事件数据,可提取的数据资源类型不同,即不同的告警事件类型对应不同的数据资源类型,从告警事件数据中识别出的重要数据标记也不同。
69.表1
70.告警事件类型可提取的数据资源类型重要数据标记
口令爆破帐号、密码信息帐号数据库异常操作数据库、表库名、表名异常访问url链接-业务系统url恶意外联传输数据文件文件名敏感信息泄漏敏感数据md5
………
71.步骤205,在所述数据资源列表中未包含所述目标数据资源类型的情况下,确定所述每条告警事件数据不具有重要数据标记。
72.本公开实施例中,如果确定预设的数据资源列表中不包含目标数据资源类型,即目标数据资源类型中的任一个均不存在于数据资源列表中,表明对应的告警事件数据中不存在重要数据,则确定该告警事件数据不具有重要数据标记。
73.本公开实施例的告警事件数据处理方法,通过针对多条告警事件数据中的每条告警事件数据,从每条告警事件数据中获取对应的告警事件类型,并根据告警事件类型,确定与告警事件类型匹配的目标数据资源类型,并判断预设的数据资源列表中是否包含目标数据资源类型,在数据资源列表中包含目标数据资源类型的情况下,从每条告警事件数据中获取与目标数据资源类型关联的数据作为重要数据标记,在数据资源列表中未包含目标数据资源类型的情况下,确定每条告警事件数据不具有重要数据标记,由此,实现了对告警事件数据进行区分,识别出告警事件数据中的重要数据,为后续处理提供了数据支撑。
74.在本公开的一种可选实施方式中,可以结合双端队列及散列表的方式,实现以重要数据角度对告警事件数据进行统一聚合处理。从而,本公开实施例中,在根据所述每条告警事件数据的重要数据标记,对所述多条告警事件数据进行聚合处理,得到多组数据时,可以包括:
75.基于所述第一告警事件数据的重要数据标记进行哈希散列处理,得到每条所述第一告警事件数据对应的第一哈希值;
76.将第一哈希值相同的第一告警事件数据写入同一个第一哈希散列表中,得到至少一个第一哈希散列表对应的至少一组数据;
77.将所述第一哈希散列表的头部节点存储在预设双端队列的头部。
78.其中,双端队列是一种特殊的队列形式,它允许在队列的头尾两端都能进行数据的查看、添加。
79.本公开实施例中,对于多条告警事件数据中具有重要数据标记的第一告警事件数据,可以采用目前常用的哈希算法,基于每个第一告警事件数据对应的重要数据标记进行哈希散列处理,得到每个第一告警事件数据对应的哈希值,称为第一哈希值。之后,根据第一哈希值对第一告警事件数据进行聚合处理,具体地,将具有相同的第一哈希值的第一告警事件数据写入同一个哈希散列表中,其中,存储第一告警事件数据的哈希散列表称为第一哈希散列表,一个第一哈希值对应一个第一哈希散列表,每个第一哈希散列表对应一组数据,通过根据第一哈希值对第一告警事件数据进行聚合处理,能够得到至少一个第一哈希散列表对应的至少一组数据。对于每个第一哈希散列表,可以将第一哈希散列表的头部节点依次存储在预设双端队列的头部。
80.其中,哈希散列表的头部节点用于识别哈希散列表,每个哈希散列表对应唯一的
头部节点。
81.示例性地,在将第一哈希散列表的头部节点存储在预设双端队列的头部时,可以按照各个第一哈希散列表被写入数据的顺序,将第一哈希散列表的头部节点写入预设双端队列的头部。具体地,对于第一个被写入数据的第一哈希散列表,将该第一哈希散列表的头部节点写入预设双端队列的头部的第一个队列空间中。接着,对于第二个被写入数据的第一哈希散列表,则将该第一哈希散列表的头部节点写入预设双端队列的头部的第二个队列空间中,依次类推,直至所有第一哈希散列表的头部节点均写入预设双端队列中。
82.示例性地,可以根据用于计算得到第一哈希值的各重要数据标记的重要程度,来表示各第一哈希散列表中存储的第一告警事件数据的重要性,从而根据存储的第一告警事件数据的重要性,将各第一哈希散列表的头部节点依次写入预设双端队列的头部,其中,第一告警事件数据的重要性越高,即第一告警事件数据对应的重要数据标记的重要程度越高,存储该第一告警事件数据的第一哈希散列表的头部节点在预设双端队列的头部的位置越靠前。从而,在本公开的一种可选实施方式中,可以根据实际需求预先为数据资源列表中的每个数据资源类型设置对应的重要程度分值,重要程度分值比如可以用1-100来表示,分值越高表明数据资源类型的重要程度越高,与该数据资源类型关联的重要数据标记的重要程度越高。从而,本公开实施例中,在根据每条告警事件数据携带的告警事件类型以及预设的数据资源列表,从每条告警事件数据中识别出与数据资源列表关联的重要数据标记时,还可以根据所述数据资源列表,确定每条所述第一告警事件数据的重要数据标记对应的目标重要程度分值。
83.本公开实施例中,数据资源列表中的每个数据资源类型设置有对应的重要程度分值,针对识别出重要数据标记的任一个第一告警事件数据,假设重要数据标记是通过与数据资源列表中的数据资源类型“a”进行关联确定的,数据资源类型“a”对应的重要程度分值为70,则确定该重要数据标记对应的目标重要程度分值为70。
84.相应的,所述将所述第一哈希散列表的头部节点存储在预设双端队列的头部,包括:
85.按照所述目标重要程度分值由高到低的顺序,将所述第一哈希散列表的头部节点依次存储在所述预设双端队列的头部,其中,所述重要数据标记对应的目标重要程度分值越高,基于所述重要数据标记确定的第一哈希值所对应的第一哈希散列表的头部节点在所述预设双端队列的顺序越靠前。
86.本公开实施例中,第一哈希值是基于各第一告警事件数据的重要数据标记确定的,第一哈希值的重要程度可以用各重要数据标记对应的目标重要程度分值来体现,重要数据标记的目标重要程度分值越高,基于该重要数据标记确定的第一哈希值的重要程度也就越高,从而,基于该第一哈希值将第一哈希值相同的第一告警事件数据写入同一个第一哈希散列表时,该第一哈希散列表的重要程度也就越高,具有较高的优先级,从而,将该第一哈希散列表的头部节点写入预设双端队列的头部时,被写入预设双端队列的头部中较靠前的队列空间中。
87.也就是说,对于任一第一告警事件数据,其重要数据标记的目标重要程度分值越高,存储该第一告警事件数据的第一哈希散列表的优先级越高,该第一哈希散列表的头部节点在预设双端队列的头部的位置越靠前。
88.在本公开课实施例中,通过预先为数据资源列表中的每个数据资源类型设置有对应的重要程度分值,并根据数据资源列表,确定每条第一告警事件数据的重要数据标记对应的目标重要程度分值,进而在将第一哈希散列表的头部节点存储在预设双端队列的头部时,可以按照目标重要程度分值由高到低的顺序,将第一哈希散列表的头部节点依次存储在所述预设双端队列的头部,由此,使得重要数据标记对应的重要程度分值越高的第一告警事件数据所在的第一哈希散列表的头部节点在预设双端队列中的位置越靠前,具有较高的优先级,为优先处理重要数据提供了条件。
89.进一步的,在本公开的一种可选实施方式中,在根据所述每条告警事件数据的重要数据标记,对所述多条告警事件数据进行聚合处理,得到多组数据时,包括:
90.获取每条所述第二告警事件数据对应的告警事件类型;
91.基于每条所述第二告警事件数据对应的告警事件类型进行哈希散列处理,得到每条所述第二告警事件数据对应的第二哈希值;
92.将第二哈希值相同的第二告警事件数据写入同一个第二哈希散列表中,得到至少一个第二哈希散列表对应的至少一组数据;
93.将所述第二哈希散列表的头部节点存储在所述预设双端队列的尾部。
94.本公开实施例中,对于未能识别出重要数据标记的告警事件数据,称为第二告警事件数据,可以根据第二告警事件数据携带的告警事件类型进行聚类处理得当至少一组数据。具体地,可以从每条第二告警事件数据中,获取各第二告警事件数据对应的告警事件类型,并利用目前常用的哈希算法,基于各第二告警事件数据对应的告警事件类型进行哈希散列处理得到哈希值,称为第二哈希值,即得到每个第二告警事件数据的告警事件类型对应的第二哈希值。接着,根据第二哈希值对第二告警事件数据进行聚合处理,具体地,将具有相同的第二哈希值的第二告警事件数据写入同一个哈希散列表中,其中,存储第二告警事件数据的哈希散列表称为第二哈希散列表,一个第二哈希值对应一个第二哈希散列表,每个第二哈希散列表对应一组数据,通过根据第二哈希值对第二告警事件数据进行聚合处理,能够得到至少一个第二哈希散列表对应的至少一组数据。对于每个第二哈希散列表,可以将第二哈希散列表的头部节点依次存储在预设双端队列的尾部。
95.示例性地,在将第二哈希散列表的头部节点存储在预设双端队列的尾部时,可以按照各个第二哈希散列表被写入数据的顺序,将第二哈希散列表的头部节点写入预设双端队列的尾部。具体地,对于第一个被写入数据的第二哈希散列表,将该第二哈希散列表的头部节点写入预设双端队列的尾部的最后一个队列空间中。接着,对于第二个被写入数据的第二哈希散列表,则将该第二哈希散列表的头部节点写入预设双端队列的尾部的倒数第二个队列空间中,依次类推,直至所有第二哈希散列表的头部节点均写入预设双端队列中。
96.在本公开实施例中,通过对多条告警事件数据中具有重要数据标记的第一告警事件数据,基于第一告警事件数据的重要数据标记进行哈希散列处理,得到每条第一告警事件数据对应的第一哈希值,将第一哈希值相同的第一告警事件数据写入同一个第一哈希散列表中,得到至少一个第一哈希散列表对应的至少一组数据,进而将第一哈希散列表的头部节点存储在预设双端队列的头部;对多条告警事件数据中不具有重要数据标记的第二告警事件数据,获取每条第二告警事件数据对应的告警事件类型,基于每条第二告警事件数据对应的告警事件类型进行哈希散列处理,得到每条第二告警事件数据对应的第二哈希
值,进而将第二哈希值相同的第二告警事件数据写入同一个第二哈希散列表中,得到至少一个第二哈希散列表对应的至少一组数据,将第二哈希散列表的头部节点存储在预设双端队列的尾部,由此,实现了结合双端队列和哈希散列表,对具有重要数据标记和不具有重要数据标记的告警事件数据均进行聚合处理,实现了从重要数据角度进行统一聚合处理,保证重要数据在双端队列头部,为优先处理重要数据,使得重要数据相关告警事件进行优先处理提供了条件。
97.进一步地,在本公开的一种可选实施方式中,在结合散列表和双端队列对告警事件数据进行聚合处理的基础上,所述按照优先级由高到低的顺序,依次从所述多组数据中选择一组数据,包括:
98.按照从所述预设双端队列的头部至尾部的顺序,每次从所述预设双端队列中读取一个队列节点;
99.根据所述队列节点,确定与所述队列节点匹配的目标哈希散列表;
100.读取所述目标哈希散列表中的所有告警事件数据作为一组数据。
101.基于前述实施例的描述可知,本公开实施例中,预设双端队列的头部写入的是存储有具有重要数据标记的第一告警事件数据的第一哈希散列表的头部节点,尾部写入的是存储有不具有重要数据标记的第二告警事件数据的第二哈希散列表的头部节点,从预设双端队列的第一个队列空间至最后一个队列空间,存储的头部节点的优先级逐渐降低,因此,本公开实施例中,可以按照从预设双端队列的头部至尾部的顺序,从预设双端队列头部的第一个队列空间开始读取,每次从预设双端队列中读取一个队列节点,并根据该队列节点,确定出与该队列节点匹配的目标哈希散列表,读取目标哈希散列表中的所有告警事件数据作为一组数据进行归并处理。遍历预设双端队列中的每一个队列空间,反复执行上述动作,直至预设双端队列为空。由此,能够实现根据优先级对每组数据进行归并处理,优先处理优先级高的数据,实现对重要数据进行优先归并处理。
102.通常,在告警处置的过程中,会希望对于一个数据对象的告警同时进行处理,如针对同一个文件,有多个不同类型的告警事件,涉及不同的源ip、目的ip,但告警涉及的重要数据是同一份,通过归并处理,能将其进行集中处置,避免重复处理。从而,在本公开的一种可选实施方式中,所述基于预设的归并规则,对所述一组数据进行归并处理,生成归并后的告警数据,包括:
103.按照预设的归并处理维度,对所述一组数据进行归并处理,生成归并后的告警数据,其中,所述归并处理维度包括源ip、目的ip、重要数据标记和告警事件类型中的至少一个。
104.本公开实施例中,可以根据实际需求预先设置归并处理规则,其中,归并处理规则可以是但不限于是按照预设的归并处理维度对数据进行归并处理,归并处理维度包括源ip、目的ip、重要数据标记和告警事件类型中的至少一个,还可以根据需求扩展其他的归并处理维度。之后,对于每次获取的一组数据,可以按照预设的归并处理维度对获取的一组数据进行归并处理,生成归并后的告警数据。
105.示例性地,假设预设的归并处理维度包括源ip和目的ip,则对获取的一组数据进行归并处理时,可以将携带该源ip和目的ip的告警事件数据归并在一起,生成对该源ip和目的ip的告警数据。
106.在本公开实施例中,通过按照预设的归并处理维度,对获取的一组数据进行归并处理,生成归并后的告警数据,由此,实现了对告警事件数据进行归并处理后告警,通过归并处理,能将涉及相同归并维度的告警事件数据进行集中处置,避免重复处理,提高告警效率。
107.本公开提供的方案可应用于数据安全相关项目中。需要说明的是,本公开提供的方案是可持续运行的,能够达到实时读取原始告警事件数据,进行重要数据优先告警的处理的目的。
108.为了实现上述实施例,本公开还提供了一种告警事件数据处理装置。
109.图3为本公开一实施例提供的告警事件数据处理装置的结构示意图,该装置可以采用软件和/或硬件实现,并可集成在电脑、服务器等电子设备上。
110.如图3所示,本公开实施例提供的告警事件数据处理装置30可以包括:获取模块310、识别模块320、聚合处理模块330、归并处理模块340和输出模块350。
111.其中,获取模块310,用于获取待处理的多条告警事件数据;
112.识别模块320,用于根据每条告警事件数据携带的告警事件类型以及预设的数据资源列表,从所述每条告警事件数据中识别出与所述数据资源列表关联的重要数据标记;
113.聚合处理模块330,用于根据所述每条告警事件数据的重要数据标记,对所述多条告警事件数据进行聚合处理,得到多组数据;
114.归并处理模块340,用于按照每组数据的优先级由高到低的顺序,依次从所述多组数据中选择一组数据,并基于预设的归并规则,对所述一组数据进行归并处理,生成归并后的告警数据,其中,具有重要数据标记的第一告警事件数据组成的一组数据的优先级高于不具有重要数据标记的第二告警事件数据组成的一组数据的优先级;
115.输出模块350,用于输出所述归并后的告警数据。
116.在本公开实施例一种可能的实现方式中,所述识别模块320,还用于:
117.针对所述多条告警事件数据中的每条告警事件数据,从所述每条告警事件数据中获取对应的告警事件类型;
118.根据所述告警事件类型,确定与所述告警事件类型匹配的目标数据资源类型;
119.判断预设的数据资源列表中是否包含所述目标数据资源类型;
120.在所述数据资源列表中包含所述目标数据资源类型的情况下,从所述每条告警事件数据中获取与所述目标数据资源类型关联的数据作为重要数据标记;
121.在所述数据资源列表中未包含所述目标数据资源类型的情况下,确定所述每条告警事件数据不具有重要数据标记。
122.在本公开实施例一种可能的实现方式中,所述聚合处理模块330,包括:
123.第一计算单元,用于基于所述第一告警事件数据的重要数据标记进行哈希散列处理,得到每条所述第一告警事件数据对应的第一哈希值;
124.第一写入单元,用于将第一哈希值相同的第一告警事件数据写入同一个第一哈希散列表中,得到至少一个第一哈希散列表对应的至少一组数据;
125.第一存储单元,用于将所述第一哈希散列表的头部节点存储在预设双端队列的头部。
126.在本公开实施例一种可能的实现方式中,所述聚合处理模块330,还包括:
127.获取单元,用于获取每条所述第二告警事件数据对应的告警事件类型;
128.第二计算单元,用于基于每条所述第二告警事件数据对应的告警事件类型进行哈希散列处理,得到每条所述第二告警事件数据对应的第二哈希值;
129.第二写入单元,用于将第二哈希值相同的第二告警事件数据写入同一个第二哈希散列表中,得到至少一个第二哈希散列表对应的至少一组数据;
130.第二存储单元,用于将所述第二哈希散列表的头部节点存储在所述预设双端队列的尾部。
131.在本公开实施例一种可能的实现方式中,所述数据资源列表中的每个数据资源类型设置有对应的重要程度分值;所述告警事件数据处理装置30还包括:
132.确定模块,用于根据所述数据资源列表,确定每条所述第一告警事件数据的重要数据标记对应的目标重要程度分值;相应的,所述第一存储单元,还用于:
133.按照所述目标重要程度分值由高到低的顺序,将所述第一哈希散列表的头部节点依次存储在所述预设双端队列的头部,其中,所述重要数据标记对应的目标重要程度分值越高,基于所述重要数据标记确定的第一哈希值所对应的第一哈希散列表的头部节点在所述预设双端队列的顺序越靠前。
134.进一步地,在本公开实施例一种可能的实现方式中,所述归并处理模块340,还用于:
135.按照从所述预设双端队列的头部至尾部的顺序,每次从所述预设双端队列中读取一个队列节点;
136.根据所述队列节点,确定与所述队列节点匹配的目标哈希散列表;
137.读取所述目标哈希散列表中的所有告警事件数据作为一组数据。
138.在本公开实施例一种可能的实现方式中,所述归并处理模块340,还用于:
139.按照预设的归并处理维度,对所述一组数据进行归并处理,生成归并后的告警数据,其中,所述归并处理维度包括源ip、目的ip、重要数据标记和告警事件类型中的至少一个。
140.本公开实施例所提供的应用于电子设备上的告警事件数据处理装置,可执行本公开实施例所提供的任意可应用于电子设备的告警事件数据处理方法,具备执行方法相应的功能模块和有益效果。本公开装置实施例中未详尽描述的内容可以参考本公开任意方法实施例中的描述。
141.本公开实施例还提供了一种电子设备,包括处理器和存储器;所述处理器通过调用所述存储器存储的程序或指令,用于执行如前述实施例所述告警事件数据处理方法各实施例的步骤,为避免重复描述,在此不再赘述。
142.本公开实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质为非暂态的,所述计算机可读存储介质存储程序或指令,所述程序或指令使计算机执行如前述实施例所述告警事件数据处理方法各实施例的步骤,为避免重复描述,在此不再赘述。
143.本公开实施例还提供了一种计算机程序产品,所述计算机程序产品用于执行如前述实施例所述告警事件数据处理方法各实施例的步骤。
144.需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之
间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
145.以上所述仅是本公开的具体实施方式,使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下,在其它实施例中实现。因此,本公开将不会被限制于本文所述的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1