基于数据运维架构的网络安全数据管理方法、装置及设备与流程

本技术属于数据处理，尤其涉及一种基于数据运维架构的网络安全数据管理方法、装置及设备。

背景技术：

1、企业数字化转型浪潮的来临导致多源异构数据的爆发式增长，使数据治理得到了企业的普遍关注和重视。网络安全领域数据壁垒问题严重，安全数据作为敏感数据，往往分布在各个数据持有者手中。同时，网络安全数据属于多源异构数据，因此网络安全数据的处理方式相较于其他领域更加困难。

2、dataops，即data和operations的集成，定义为“一种协作性的数据管理实践，专注于改进组织内数据管道的通信、集成和自动化”。dataops是一种面向流程的自动化方法，通过创建对数据、数据模型和相关组件的可预测交付和变更管理，建立了一个完整的数据管道，极大地简化了数据的存储管理流程，能实现更快的价值交付，适用于从数据采集到生成数据分析报告的整个数据生命周期。

3、然而，dataops对于网络安全领域而言，无法直接应用。一方面，是由于网络安全数据的获取渠道困难且数据质量无法保障，部分数据来源通常是黑客论坛、博客、社交网络、应用程序论坛等，这些渠道获取的数据不仅无法保证数据质量，同时存在数据可能被投毒等数据安全问题。另一方面，现有的数据处理流程无法直接应用到网络安全领域中网络安全数据的处理，同时网络安全数据分析深度依赖企业在研究中的积累和专家知识，导致网络安全数据分析周期较长。

4、因此，在如何提高网络安全数据质量的同时减少网络安全数据分析的周期是协助网络安全数据研究的关键。

技术实现思路

1、本技术的目的是提供一种基于数据运维架构的网络安全数据管理方法、装置及设备，用于网络安全领域中网络安全数据的管理，通过优化数据管理流程、引入威胁情报整合，提升了安全数据资产的质量和数据的处理效率，在提高网络安全数据质量的同时减少网络安全数据分析的周期。

2、第一方面，本技术提供了一种基于数据运维架构的网络安全数据管理方法，所述方法包括：

3、从各数据源获取网络安全数据，并将所述网络安全数据存储到目标数据仓库，所述网络安全数据包括来自外部数据源的外部威胁情报，以及来自内部数据源的内部网络安全数据；

4、基于预设的威胁情报识别方法，确定所述外部威胁情报中与当前网络安全业务场景相关的目标威胁情报；

5、利用预先封装的数据管理工具和/或所述目标威胁情报对所述网络安全数据进行管理。

6、可选的，所述网络安全数据包括需要长期留存的数据和不需要长期留存的数据，所述目标数据仓库包括用于存储需要进行实时处理且不需要长期留存的数据的实时数据仓库，以及用于存储需要长期留存的数据的非实时数据仓库；

7、可选的，所述将所述网络安全数据存储到目标数据仓库，包括：

8、确定所述网络安全数据是否为需要长期留存的数据，若是则将所述网络安全数据存储到非实时数据仓库；

9、否则将所述网络安全数据存储到实时数据仓库。

10、可选的，所述将所述网络安全数据存储到目标数据仓库，包括：

11、确定所述网络安全数据是否为需要及时加载的数据和/或数据规模超过预设阈值且不断增长的数据；

12、若是，则基于预设的数据集成方法将所述网络安全数据加载到目标数据仓库，并按照预设的转换规则或者接收到的转换指令对所述网络安全数据进行转换；

13、若否，则基于预设的数据集成方法按照预设的转换规则或者接收到的转换指令对所述网络安全数据进行转换后，将转换后的网络安全数据加载到目标数据仓库。

14、可选的，所述数据管理工具至少包括用于对所述网络安全数据进行格式转化的数据管理工具、用于对所述网络安全数据或进行格式转化后的网络安全数据进行特征提取的数据管理工具、及用于按照预设的网络安全数据分析方法对所述网络安全数据或特征提取后的网络安全数据进行数据分析的数据管理工具中的一个或多个。

15、可选的，所述利用预先封装的数据管理工具和/或所述目标威胁情报对所述网络安全数据进行管理，包括：

16、将所述目标威胁情报转化为用于辅助分析所述内部网络安全数据的威胁情报整合数据，调用所述预先封装的数据管理工具，按照预设的网络安全数据分析方法利用所述威胁情报整合数据对所述网络安全数据进行数据分析，或按照预设的网络安全数据分析方法利用所述威胁情报整合数据对进行特征提取后的网络安全数据进行数据分析，从而确定出异常的网络安全数据。

17、可选的，所述将所述目标威胁情报转化为用于辅助分析所述内部网络安全数据的威胁情报整合数据，包括：

18、确定所述目标威胁情报为结构化数据时，将所述目标威胁情报转化为预设的数据存储格式后或直接作为用于辅助分析所述内部网络安全数据的威胁情报整合数据；

19、确定所述目标威胁情报为非结构化数据时，将所述目标威胁情报转化为结构化数据，或基于预先构建的知识图谱将所述目标威胁情报转化为图数据结构后作为用于辅助分析所述内部网络安全数据的威胁情报整合数据。

20、可选的，所述方法还包括如下至少一个步骤：

21、将所述目标威胁情报输入预先训练好的数据分析模型，并基于模型输出的威胁情报分析结果对所述网络安全数据进行分析，得到数据分析结果；或者

22、将所述网络安全数据输入预先训练好的数据分析模型，并输出数据分析结果；或者

23、将所述目标威胁情报输入预先训练好的数据分析模型后，再将所述网络安全数据输入所述模型，得到数据分析结果；或者

24、将所述网络安全数据输入预先训练好的数据分析模型后，再将所述目标威胁情报输入所述模型，得到数据分析结果。

25、可选的，所述方法还包括：

26、根据用户操作指令，选取目标数据仓库中相应的网络安全数据创建数据集；

27、根据用户操作指令，对所述数据集中网络安全数据进行标注，并根据不同的标注版本对应生成所述数据集的不同版本。

28、可选的，所述将所述网络安全数据存储到目标数据仓库前，还包括：

29、确定当前的安全审计及监控目标，并基于确定的安全审计及监控目标实时监控所述网络安全数据；

30、在检测到所述网络安全数据包括敏感数据时，根据所述网络安全数据中敏感数据的敏感等级进行相应的告警。

31、可选的，所述内部网络安全数据包括用户上传到内部网络安全设备的网络安全数据、根据用户需求从目标设备采集的网络安全数据及按照预设的摄取规则从内部网络安全设备实时摄取的网络安全数据。可选的，所述方法还包括：

32、基于当前的网络安全业务场景确定不同用户的访问权限，并按照相应的访问权限限制用户对所述目标数据仓库的访问；

33、其中，所述访问权限包括访问位置、访问时间范围、访问时长、访问方式及权限随访问时长和/或访问操作的增加而逐步降低。

34、第二方面，本技术提供了一种基于数据运维架构的网络安全数据管理的装置，所述装置包括：

35、数据采集模块，用于从各数据源获取网络安全数据，并将所述网络安全数据存储到目标数据仓库，所述网络安全数据包括来自外部数据源的外部威胁情报，以及来自内部数据源的内部网络安全数据；

36、威胁情报识别模块，用于基于预设的威胁情报识别方法，确定所述外部威胁情报中与所述网络安全业务场景相关的目标威胁情报；

37、数据管理模块，用于利用预先封装的数据管理工具和/或所述目标威胁情报对所述网络安全数据进行管理。

38、可选的，所述网络安全数据包括需要长期留存的数据和不需要长期留存的数据，所述目标数据仓库包括用于存储需要进行实时处理且不需要长期留存的数据的实时数据仓库，以及用于存储需要长期留存的数据的非实时数据仓库；

39、可选的，所述数据采集模块将所述网络安全数据存储到目标数据仓库，包括：

40、确定所述网络安全数据是否为需要长期留存的数据，若是则将所述网络安全数据存储到非实时数据仓库；

41、否则将所述网络安全数据存储到实时数据仓库。

42、可选的，所述数据采集模块将所述网络安全数据存储到目标数据仓库，包括：

43、确定所述网络安全数据是否为需要及时加载的数据和/或数据规模超过预设阈值且不断增长的数据；

44、若是，则基于预设的数据集成方法将所述网络安全数据加载到目标数据仓库，并按照预设的转换规则或者接收到的转换指令对所述网络安全数据进行转换；

45、若否，则基于预设的数据集成方法按照预设的转换规则或者接收到的转换指令对所述网络安全数据进行转换后，将转换后的网络安全数据加载到目标数据仓库。

46、可选的，所述数据管理工具至少包括用于对所述网络安全数据进行格式转化的数据管理工具、用于对所述网络安全数据或进行格式转化后的网络安全数据进行特征提取的数据管理工具、及用于按照预设的网络安全数据分析方法对所述网络安全数据或特征提取后的网络安全数据进行数据分析的数据管理工具中的一个或多个。

47、可选的，所述数据管理模块利用预先封装的数据管理工具和/或所述目标威胁情报对所述网络安全数据进行管理，包括：

48、将所述目标威胁情报转化为用于辅助分析所述内部网络安全数据的威胁情报整合数据，调用所述预先封装的数据管理工具，按照预设的网络安全数据分析方法利用所述威胁情报整合数据对所述网络安全数据进行数据分析，或按照预设的网络安全数据分析方法利用所述威胁情报整合数据对进行特征提取后的网络安全数据进行数据分析，确定出异常的网络安全数据。

49、可选的，所述数据管理模块将所述目标威胁情报转化为用于辅助分析所述内部网络安全数据的威胁情报整合数据，包括：

50、确定所述目标威胁情报为结构化数据时，将所述目标威胁情报转化为预设的数据存储格式后或直接作为用于辅助分析所述内部网络安全数据的威胁情报整合数据；

51、确定所述目标威胁情报为非结构化数据时，将所述目标威胁情报转化为结构化数据，或基于预先构建的知识图谱将所述目标威胁情报转化为图数据结构后作为用于辅助分析所述内部网络安全数据的威胁情报整合数据。

52、可选的，所述装置还包括威胁情报模型化模块，所述威胁情报模型化模块具体用于执行如下至少一个步骤：

53、将所述目标威胁情报输入预先训练好的数据分析模型，并基于模型输出的威胁情报分析结果对所述网络安全数据进行分析，得到数据分析结果；或者

54、将所述网络安全数据输入预先训练好的数据分析模型，并输出数据分析结果；或者

55、将所述目标威胁情报输入预先训练好的数据分析模型后，再将所述网络安全数据输入所述模型，得到数据分析结果；或者

56、将所述网络安全数据输入预先训练好的数据分析模型后，再将所述目标威胁情报输入所述模型，得到数据分析结果。

57、可选的，所述装置还包括数据集构建模块，所述数据集构建模块具体用于：

58、根据用户操作指令，选取目标数据仓库中相应的网络安全数据创建数据集；

59、根据用户操作指令，对所述数据集中网络安全数据进行标注，并根据不同的标注版本对应生成所述数据集的不同版本。

60、可选的，所述装置还包括安全审计及监控模块，所述数据采集模块将所述网络安全数据存储到目标数据仓库前，所述安全审计及监控模块具体用于：

61、确定当前的安全审计及监控目标，并基于确定的安全审计及监控目标实时监控所述网络安全数据；

62、在检测到所述网络安全数据包括敏感数据时，根据所述网络安全数据中敏感数据的敏感等级进行相应的告警。

63、可选的，所述内部网络安全数据包括用户上传到内部网络安全设备的网络安全数据、根据用户需求从目标设备采集的网络安全数据及按照预设的摄取规则从内部网络安全设备实时摄取的网络安全数据。可选的，所述装置还包括权限管理模块，所述权限管理模块具体用于：

64、基于当前的网络安全业务场景确定不同用户的访问权限，并按照相应的访问权限限制用户对所述目标数据仓库的访问；

65、其中，所述访问权限包括访问位置、访问时间范围、访问时长、访问方式及权限随访问时长和/或访问操作的增加而逐步降低。

66、第三方面，本技术提供了一种基于数据运维架构的网络安全数据管理的设备，包括至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如本技术第一方面中提供的任一项所述的基于数据运维架构的网络安全数据管理的方法。

67、第四方面，本技术实施例还提供了一种计算机可读存储介质，当所述计算机可读存储介质中的指令由终端设备的处理器执行时，使得终端设备能够执行如本技术第一方面中提供的任一项所述的基于数据运维架构的网络安全数据管理的方法。

68、本技术的实施例提供的技术方案至少带来以下有益效果：

69、本技术提供的一种基于数据运维架构的网络安全数据管理方法、装置及设备，适用于网络安全领域中网络安全数据从采集到生成数据分析报告的整个数据生命周期的管理，通过优化数据采集流程，增加了采集用户上传的网络安全数据或根据用户需求获取网络安全数据的流程，同时结合识别出的目标威胁情报及预先封装好的数据管理工具对网络安全数据进行管理，提升了安全数据资产的质量和数据的处理效率，实现自动化的安全数据交付，可以在提高网络安全数据质量的同时减少网络安全数据分析的周期。