一种数据预分析方法及装置与流程

1.本技术涉及数据处理技术领域，具体而言，涉及一种数据预分析方法及装置。


背景技术：

2.目前，随着计算机和网络应用的日益广泛，在实际使用海量数据(即大数据)之前对其进行预分析变得越来越重要。现有的数据与分析方法，通常按照天粒度进行数据预分析，当存在需要及时处理的数据时，例如涉敏类违规等数据，按天粒度进行的数据预分析会出现时间差，从而无法及时解决侵害网络安全的数据，进而影响网络数据安全。


技术实现要素：

3.本技术实施例的目的在于提供一种数据预分析方法及装置，能够实时进行数据预分析并进行告警反馈，及时解决侵害网络安全的数据，从而保证网络数据安全。
4.本技术实施例第一方面提供了一种数据预分析方法，包括：
5.实时获取流处理模块中数据源主题消息站的目标流数据；
6.对所述目标流数据进行富化泛化处理，得到处理数据；
7.通过预先构建的审计模型对所述处理数据进行审计处理，得到审计结果；
8.根据所述审计结果判断所述处理数据是否包括触发告警的数据；
9.如果是，则将所述触发告警的数据发送到所述流处理模块的告警数据主题消息站，并将所述触发告警的数据存储至目标数据库的告警索引中；
10.发送包括所述触发告警的数据的告警提示信息。
11.在上述实现过程中，实时获取流处理模块中数据源主题消息站的目标流数据；并对目标流数据进行富化泛化处理，得到处理数据；然后通过预先构建的审计模型对处理数据进行审计处理，得到审计结果；再根据审计结果判断处理数据是否包括触发告警的数据；如果是，则将触发告警的数据发送到流处理模块的告警数据主题消息站；最后发送包括触发告警的数据的告警提示信息，能够实时进行数据预分析并进行告警反馈，及时解决侵害网络安全的数据，从而保证网络数据安全。
12.进一步地，所述实时获取流处理模块中数据源主题消息站的目标流数据，包括：
13.实时获取待处理的日志数据；
14.对所述日志数据进行规范化处理，得到数据源；
15.采集所述数据源到流处理模块的数据源主题消息站，得到目标流数据。
16.在上述实现过程中，将日志数据实时的处理成标准化的数据源，将数据主动的、实时的接入并处理成标准的数据源，以解决数据源的延时性。
17.进一步地，所述对所述日志数据进行规范化处理，得到数据源，包括：
18.通过第一预设算子将所述日志数据分割成为多条，得到多条分割数据；
19.通过第二预设算子对所述多条分割数据分别进行标准化处理，得到多个标准化分割数据；
20.通过第三预设算子将所述多个标准化分割数据进行合并处理，得到合并数据；
21.通过第四预设算子对所述合并数据进行属性修改配置处理，得到数据源，并通过第五预设算子将所述数据源存储到预先配置的目标路径下。
22.进一步地，在所述实时获取流处理模块中数据源主题消息站的目标流数据之前，所述方法还包括：
23.获取用于动态配置模型的配置参数和模型算子集；
24.根据所述配置参数生成参数文件；
25.根据所述参数文件和预设的人工智能算法把所述模型算子集中的各个算子串成一个工作流，得到审计模型。
26.在上述实现过程中，动态建立需要的审计模型，能够灵活的配置模型，以实现模型的定制化和丰富化。
27.进一步地，在所述发送包括所述触发告警的数据的告警提示信息之后，还包括：
28.监听所述告警数据主题消息站是否存在告警数据；
29.如果是，则实时读取所述触发告警的数据；
30.触发结果反馈机制将所述触发告警的数据发送到所述流处理模块的特定主体消息站，以完成对系统的反馈。
31.在上述实现过程中，实施上述方法能够有效避免高危操作、敏感行为未被及时审计到造成的风险，提高了实时性，准确性和安全性，节约了人力成本、提高了处理效率。
32.本技术实施例第二方面提供了一种数据预分析装置，所述数据预分析装置包括：
33.获取单元，用于实时获取流处理模块中数据源主题消息站的目标流数据；
34.泛化富化处理单元，用于对所述目标流数据进行富化泛化处理，得到处理数据；
35.审计单元，用于通过预先构建的审计模型对所述处理数据进行审计处理，得到审计结果；
36.判断单元，用于根据所述审计结果判断所述处理数据是否包括触发告警的数据；
37.发送单元，用于当判断出包括所述触发告警的数据时，则将所述触发告警的数据发送到所述流处理模块的告警数据主题消息站，并将所述触发告警的数据存储至目标数据库的告警索引中；以及发送包括所述触发告警的数据的告警提示信息。
38.在上述实现过程中，获取单元实时获取流处理模块中数据源主题消息站的目标流数据；泛化富化处理单元并对目标流数据进行富化泛化处理，得到处理数据；然后审计单元通过预先构建的审计模型对处理数据进行审计处理，得到审计结果；判断单元再根据审计结果判断处理数据是否包括触发告警的数据；如果是，发送单元则将触发告警的数据发送到流处理模块的告警数据主题消息站；以及发送包括触发告警的数据的告警提示信息，能够实时进行数据预分析并进行告警反馈，及时解决侵害网络安全的数据，从而保证网络数据安全。
39.进一步地，所述获取单元包括：
40.获取子单元，用于实时获取待处理的日志数据；
41.规范化子单元，用于对所述日志数据进行规范化处理，得到数据源；
42.采集子单元，用于采集所述数据源到流处理模块的数据源主题消息站，得到目标流数据。
43.进一步地，所述规范化子单元包括：
44.第一模块，用于通过第一预设算子将所述日志数据分割成为多条，得到多条分割数据；
45.第二模块，用于通过第二预设算子对所述多条分割数据分别进行标准化处理，得到多个标准化分割数据；
46.第三模块，用于通过第三预设算子将所述多个标准化分割数据进行合并处理，得到合并数据；
47.第四模块，用于通过第四预设算子对所述合并数据进行属性修改配置处理，得到数据源，并通过第五预设算子将所述数据源存储到预先配置的目标路径下。
48.本技术实施例第三方面提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行本技术实施例第一方面中任一项所述的数据预分析方法。
49.本技术实施例第四方面提供了一种计算机可读存储介质，其存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行本技术实施例第一方面中任一项所述的数据预分析方法。
附图说明
50.为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
51.图1为本技术实施例提供的一种数据预分析方法的流程示意图；
52.图2为本技术实施例提供的一种数据预分析装置的结构示意图。
具体实施方式
53.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行描述。
54.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本技术的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
55.实施例1
56.请参看图1，图1为本技术实施例提供了一种数据预分析方法的流程示意图。其中，该数据预分析方法包括：
57.s101、获取用于动态配置模型的配置参数和模型算子集，并根据配置参数生成参数文件。
58.本技术实施例中，该数据预分析方法具体应用于针对大数据的预分析场景中。
59.本技术实施例中，该方法的执行主体可以为计算机、服务器等计算装置，对此本实施例中不作任何限定。
60.在本技术实施例中，该方法的执行主体还可以为智能手机、平板电脑等智能设备，对此本实施例中不作任何限定。
61.本技术实施例中，可以基于spark微批处理和流处理，通过算子拖拽实现动态配置审计模型。然后获取配置参数和预设的模型算子集，并生成parameter文件(即参数文件)。
62.本技术实施例中，spark是一种开源集群计算环境，启用了内存分布数据集，除了能够提供交互式查询外，还可以优化迭代工作负载。
63.本技术实施例中，参数文件包括各个算子的详情信息、处理步骤、每个步骤对应的算子、每个算子的配置参数等，对此本技术实施例不作限定。
64.s102、根据参数文件和预设的人工智能算法把模型算子集中的各个算子串成一个工作流，得到审计模型。
65.本技术实施例中，预设的人工智能算法包括监督算法、无监督算法等。
66.其中，监督算法包括随机森林算法、梯度提升树算法、word2vec算法、lda主题算法、朴素贝叶斯算法、lstm算法、arima算法、支持向量机等，对此本技术实施例不作限定。
67.其中，无监督算法包括孤立森林算法、密度聚类算法、层次聚类算法、k-means算法、oneclasssvm算法等，对此本技术实施例不作限定。
68.本技术实施例中，模型算子具体可以为转换器、预测器等，对此本技术实施例不作限定。
69.本技术实施例中，根据参数文件和预设的人工智能算法把模型算子集中的各个算子串成一个工作流，即把各个算子串成一个dag workflow工作流去运行，形成审计模型。
70.在实际应用中，审计模型在读取数据时，算子按照dag workflow工作流依次执行，批处理就采用sparksql方式进行审计处理，流处理就采用sparkstreaming方式进行审计处理，达到实时触发审计规则的效果。
71.本技术实施例中，通过步骤s101～步骤s102，能够根据相关审计策略通过算子拖拽实现动态配置审计模型。通过智能分析引擎，动态建立需要的审计模型，能够灵活的配置模型，以实现模型的定制化和丰富化。
72.s103、实时获取待处理的日志数据。
73.s104、通过第一预设算子将日志数据分割成为多条，得到多条分割数据。
74.本技术实施例中，在步骤s104之前，配置nifi，通过算子executesqlrecord配置连接以及sql语句取出mysql数据库里的日志视图数据，并配置数据导出频率。
75.本技术实施例中，nifi是一个易于使用、功能强大而且可靠的数据拉取、数据处理和分发系统。nifi是为数据流设计。它支持高度可配置的指示图的数据路由、转换和系统中介逻辑，支持从多种数据源动态拉取数据。
76.本技术实施例中，第一预设算子为splitjson算子，通过算子splitjson可以将日志数据分割成为多条。
77.s105、通过第二预设算子对多条分割数据分别进行标准化处理，得到多个标准化分割数据。
78.本技术实施例中，第二预设算子为executegroovyscript算子，通过executegroovyscript算子，可以配置对应的脚本语句，对多条分割数据进行标准化处理。
79.s106、通过第三预设算子将多个标准化分割数据进行合并处理，得到合并数据。
80.本技术实施例中，第三预设算子为mergecontent算子，通过mergecontent算子可以将个标准化分割数据进行合并处理，得到合并数据。
81.s107、通过第四预设算子对合并数据进行属性修改配置处理，得到数据源，并通过第五预设算子将数据源存储到预先配置的目标路径下。
82.本技术实施例中，第四预设算子为updateattribute算子，通过算子updateattribute可以配置修改合并数据的各种属性、文件名等。
83.本技术实施例中，第五预设算子为putsftp算子，通过putsftp算子，可以将数据源放置到配置的目标路径下。
84.本技术实施例中，目标路径具体为ftp路径。
85.本技术实施例中，通过nifi可以实时获取日志数据并对其进行处理，只要产生了日志数据，就会实时获取日志数据并通过nifi处理成标准的数据源，实现了数据处理的实时性。
86.本技术实施例中，实施上述步骤s104～步骤s107，能够对日志数据进行规范化处理，得到数据源，实现将日志数据通过nifi实时的处理成标准化的数据放到指定目录下。
87.本技术实施例中，将日志数据通过nifi实时的处理成标准化的数据源，将数据主动的、实时的接入并处理成标准的数据源，以解决数据源的延时性。
88.s108、采集数据源到流处理模块的数据源主题消息站，得到目标流数据。
89.本技术实施例中，流处理模块具体可以为kafka等，对此本技术实施例不作限定。其中，kafka是由apache软件基金会开发的一个开源流处理平台，由scala和java编写。kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。
90.本技术实施例中，可以使用采集探针通过syslog、kafka、jdbc、log file、ftp、sftp等方式对kafka的流数据进行采集，得到kafka数据(即目标流数据)。
91.本技术实施例中，实施上述步骤s103～步骤s108，能够实时获取流处理模块中数据源主题消息站的目标流数据。
92.在步骤s108之后，还包括以下步骤：
93.s109、对目标流数据进行富化泛化处理，得到处理数据。
94.本技术实施例中，通过为多种数据库内置的连接器以及其提供的文件系统的连续型数据源及数据汇，来监控目录变化和以时间分区的方式写入的目标流数据文件，通过预先配置的监听方式将数据源采集至kafka对应topic(数据源主题消息站)下，再通过配置各个富化配置文件，将需要转义的字段进行富化、泛化处理得到处理数据。
95.本技术实施例中，数据库具体可以为kafka、kinesis、elasticsearch、jdbc数据库系统等，对此本技术实施例不作限定。
96.本技术实施例中，预先配置的监听方式包括监听kafka的topic(即主题消息站)、读取jdbc数据、读取ftp路径下的文件数据等方式，对此本技术实施例不作限定。
97.s110、通过预先构建的审计模型对处理数据进行审计处理，得到审计结果。
98.s111、根据审计结果判断处理数据是否包括触发告警的数据，如果是，执行步骤s112；如果否，结束本流程。
99.s112、将触发告警的数据发送到流处理模块的告警数据主题消息站，并将触发告警的数据存储至目标数据库的告警索引中。
100.本技术实施例中，在得到处理数据之后，还可以将处理数据存储在目标数据库以
及spark监听的kafka的处理数据主题消息站下，然后通过预先构建的审计模型对处理数据进行审计处理，将触发告警的数据存储至目标数据库的告警索引中，以及将触发告警的数据存储至kafka对应告警数据主题消息站下。
101.s113、发送包括触发告警的数据的告警提示信息。
102.本技术实施例中，可以通过短信和kafka消息等方式输出告警提示信息。随后可以根据告警提示信息以及组织结构进行追责，通知到对应负责人整改，整改后可再次发送审计，直到数据通过，再上报给集团，降低了集团人力审计成本投入，规避了敏感操作不及时处理导致的风险。
103.s114、监听告警数据主题消息站是否存在告警数据，如果是，执行步骤s115；如果否，结束本流程。
104.s115、实时读取触发告警的数据。
105.s116、触发结果反馈机制将触发告警的数据发送到流处理模块的特定主体消息站，以完成对系统的反馈。
106.本技术实施例中，通过监听kafka的告警数据主题消息站的方式，当监听到告警数据主题消息站存在告警数据时，则触发结果反馈机制，将告警详情发送到流处理模块的特定主体消息站，以完成对系统的反馈，可以以及时解决高危告警为目标，并做到实时的处理系统数据并给予反馈，有效的控制住高危操作导致的风险。其中该特定主体消息站为预先设置。
107.本技术实施例中，通过监听kafka的特定topic的方式，对结果进行处理分析，并将结果反馈给对应负责人进行整改，通过对接入的数据实时的预分析以及结果反馈，有效避免了高危操作、敏感行为未被及时审计到造成的风险，提高了实时性，准确性和安全性，节约了人力成本、提高了处理效率。
108.本技术实施例中，实施该方法能够对接入的数据实时的预分析，避免高危操作、敏感行为未被及时审计到造成的风险。
109.本技术实施例中，举例来说，将该方法应用于运营商行业的4a平台的日志数据进行数据预分析时，包括以下步骤：
110.第一步、将4a平台的日志数据先进行规范化处理，保存为数据源。具体地，先通过算子executesqlrecord配置连接以及sql语句取出mysql数据库里的日志视图数据，并配置数据导出频率；然后通过算子splitjson将日志数据分割成为多条；通过executegroovyscript算子，配置对应的脚本语句，对多条分割数据进行标准化处理；通过mergecontent算子将多个标准化分割数据合并为一个合并数据；通过算子updateattribute配置修改合并数据的各种属性、文件名等；最终通过putsftp算子，将生成的数据源文件放置到配置的ftp路径下。
111.第二步、通过智能分析引擎，动态建立集团需要的审计模型。具体地，基于spark微批处理和流处理，通过算子拖拽实现动态配置审计模型，通获取配置参数和预设的模型算子集，并生成parameter文件(即参数文件)，整合预设的人工智能算法把各个算子串成一个dag workflow工作流去运行，形成策略模型。
112.第三步、使用采集探针对kafka数据进行采集得到目标流数据，并对目标流数据进行泛化、富化等处理得到处理数据，并存入目标数据库(如elasticsearch等)。具体地，通过
flink为多种数据库内置的连接器以及其提供的文件系统的连续型数据源及数据汇，来监控目录变化和以时间分区的方式写入的文件，通过配置监听的kafka的topic、配置读取jdbc数据、配置读取ftp路径下的文件数据等方式，将数据源采集至kafka对应topic下，再通过配置各个富化配置文件，将需要转义的字段进行富化、泛化，接着将数据存储在目标数据库以及spark监听的kafka的topic下，此时将通过预先构建的审计模型检测触发告警的数据，然后将触发告警的数据存储至目标数据库的告警索引以及kafka对应告警数据主题消息站下。
113.第四步、通过监听kafka的告警数据主题消息站的方式，对触发告警的数据进行处理分析，并将结果反馈给对应负责人进行整改。具体地，监听告警数据主题消息站，实时读取触发告警的数据，每次读取到了数据，则触发结果反馈机制，将触发结果反馈机制将触发告警的数据发送到流处理模块的特定主体消息站，以完成对4a平台的反馈，同时，还可以发送包括触发告警的数据的告警提示信息。
114.本技术实施例中，该方法侧重在将数据主动的、实时的接入并处理成标准的数据源，以解决数据源的延时性；同时，还能够通过智能分析引擎，做到了灵活的配置模型，以实现模型的定制化和丰富化；还可以对接入的数据实时的预分析和结果反馈，有效避免了高危操作、敏感行为未被及时审计到造成的风险，提高了实时性，准确性和安全性，节约了人力成本、提高了处理效率。
115.可见，实施本实施例所描述的数据预分析方法，能够实时进行数据预分析并进行告警反馈，及时解决侵害网络安全的数据，从而保证网络数据安全。
116.实施例2
117.请参看图2，图2为本技术实施例提供的一种数据预分析装置的结构示意图。如图2所示，该数据预分析装置包括：
118.获取单元210，用于实时获取流处理模块中数据源主题消息站的目标流数据；
119.泛化富化处理单元220，用于对目标流数据进行富化泛化处理，得到处理数据；
120.审计单元230，用于通过预先构建的审计模型对处理数据进行审计处理，得到审计结果；
121.判断单元240，用于根据审计结果判断处理数据是否包括触发告警的数据；
122.发送单元250，用于当判断出包括触发告警的数据时，则将触发告警的数据发送到流处理模块的告警数据主题消息站，并将触发告警的数据存储至目标数据库的告警索引中；以及发送包括触发告警的数据的告警提示信息。
123.作为一种可选的实施方式，获取单元210包括：
124.获取子单元211，用于实时获取待处理的日志数据；
125.规范化子单元212，用于对日志数据进行规范化处理，得到数据源；
126.采集子单元213，用于采集数据源到流处理模块的数据源主题消息站，得到目标流数据。
127.作为一种可选的实施方式，规范化子单元212包括：
128.第一模块，用于通过第一预设算子将日志数据分割成为多条，得到多条分割数据；
129.第二模块，用于通过第二预设算子对多条分割数据分别进行标准化处理，得到多个标准化分割数据；
130.第三模块，用于通过第三预设算子将多个标准化分割数据进行合并处理，得到合并数据；
131.第四模块，用于通过第四预设算子对合并数据进行属性修改配置处理，得到数据源，并通过第五预设算子将数据源存储到预先配置的目标路径下。
132.作为一种可选的实施方式，该数据预分析装置还包括：
133.参数获取单元260，用于在实时获取流处理模块中数据源主题消息站的目标流数据之前，获取用于动态配置模型的配置参数和模型算子集；以及根据配置参数生成参数文件；
134.模型构建单元270，用于根据参数文件和预设的人工智能算法把模型算子集中的各个算子串成一个工作流，得到审计模型。
135.作为一种可选的实施方式，该数据预分析装置还包括：
136.监听单元280，用于在发送包括触发告警的数据的告警提示信息之后，监听告警数据主题消息站是否存在告警数据；如果是，则实时读取触发告警的数据；
137.反馈单元290，用于触发结果反馈机制将触发告警的数据发送到流处理模块的特定主体消息站，以完成对系统的反馈。
138.本技术实施例中，对于数据预分析装置的解释说明可以参照实施例1中的描述，对此本实施例中不再多加赘述。
139.可见，实施本实施例所描述的数据预分析装置，能够实时进行数据预分析并进行告警反馈，及时解决侵害网络安全的数据，从而保证网络数据安全。
140.本技术实施例提供了一种电子设备，包括存储器以及处理器，存储器用于存储计算机程序，处理器运行所述计算机程序以使所述电子设备执行本技术实施例1中的数据预分析方法。
141.本技术实施例提供了一种计算机可读存储介质，其存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行本技术实施例1中的数据预分析方法。
142.在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本技术的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
143.另外，在本技术各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
144.所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算
机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
145.以上所述仅为本技术的实施例而已，并不用于限制本技术的保护范围，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
146.以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应所述以权利要求的保护范围为准。
147.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。