基于知识图谱的IT系统告警数据处理方法及装置与流程

本技术涉及it系统运维，尤其涉及基于知识图谱的it系统告警数据处理方法及装置。

背景技术：

1、随着云计算、大数据等技术快速发展，it基础设施云化、应用运行环境容器化、系统架构微服务化，新的it系统规模不断扩大，每天产生的告警数据急剧增长。告警数据主要包括各种监控指标和日志内容，是运维人员定位和解决问题的依据。由于内部业务系统、服务以及基础硬件部署环境的体量和复杂性，运行过程中发生故障不可避免，不同系统组件之间具有复杂的依赖关系，一旦其中一个环节发生故障，会产生连锁反应，从而短时间内产生海量告警数据，引发告警风暴，而这对于运维人员来说，定位和发现问题根源是一件非常困难的事情。

2、目前，现有的it系统告警数据的处理方式，通常将it系统告警数据直接进行数据存储，而后采用存储的告警数据进行it系统上线告警监测，但由于告警事件体量庞大，种类繁多，关联性错综复杂，因此使得现有的it系统告警数据的处理方式存在的误判告警和重复告警很多，易产生告警风暴，需要通过人工进行筛选、标记，使得it系统告警监控的工作量大、耗时长，进而影响it系统的告警监测的有效性及it系统运维的效率。

技术实现思路

1、鉴于此，本技术实施例提供了基于知识图谱的it系统告警数据处理方法及装置，以消除或改善现有技术中存在的一个或更多个缺陷。

2、本技术的一个方面提供了一种基于知识图谱的it系统告警数据处理方法，包括：

3、对采集到的it系统中各个业务系统的多源原始运维数据进行预处理，得对应的it系统运维数据；

4、根据所述it系统运维数据分别构建所述it系统对应的软硬件知识图谱和告警知识图谱；

5、将所述软硬件知识图谱和告警知识图谱存储至预设的分布式图数据库中，以基于所述软硬件知识图谱和告警知识图谱对所述it系统进行实时告警监测。

6、在本技术的一些实施例中，还包括：

7、接收实时告警数据，并根据预设的故障分类算法和存储在所述分布式图数据库中的所述软硬件知识图谱确定该实时告警数据对应的告警节点；

8、根据存储在所述分布式图数据库中的所述告警知识图谱确定所述告警节点的告警因果关系数据。

9、在本技术的一些实施例中，所述对采集到的it系统中各个业务系统的多源原始运维数据进行预处理，得对应的it系统运维数据，包括：

10、自预先配置的it系统的多模态数据源中，分别获取所述it系统中各个业务系统的多源原始运维数据，其中，所述多源原始运维数据用于表示各个所述业务系统的配置信息、设备网络连接关系、调用链信息和历史告警信息；

11、对所述多源原始运维数据进行聚合处理和加工处理，得到it系统运维数据，其中，所述it系统运维数据包括：配置管理数据、设备网络连接数据、调用链数据和历史告警数据。

12、在本技术的一些实施例中，所述根据所述it系统运维数据分别构建所述it系统对应的软硬件知识图谱和告警知识图谱，包括：

13、根据所述配置管理数据、设备网络连接数据和调用链数据构建所述it系统对应的软硬件知识图谱；

14、基于所述历史告警数据和预设的故障分类算法构建所述it系统对应的告警知识图谱。

15、在本技术的一些实施例中，所述根据所述配置管理数据、设备网络连接数据和调用链数据构建所述it系统对应的软硬件知识图谱，包括：

16、根据所述配置管理数据和设备网络连接数据获取所述it系统中的物理设备关系数据，并基于该物理设备关系数据生成各个所述业务系统各自对应的单系统关系图谱；

17、基于所述调用链数据获取所述it系统的调用关系数据，并根据所述it系统的调用关系数据构建所述it系统的调用关系图谱；其中，所述调用关系数据用于表示各个所述业务系统之间的调用关系、各个部署单元之间的调用关系以及所述部署单元与ip数据之间的调用关系；

18、对各个所述业务系统的单系统关系图谱和所述调用关系图谱进行融合处理，以构建得到所述it系统对应的软硬件知识图谱。

19、在本技术的一些实施例中，所述基于所述历史告警数据和预设的故障分类算法构建所述it系统对应的告警知识图谱，包括：

20、基于预设的故障分类算法，采用所述历史告警数据对应的各个历史告警数据样本，训练得到用于根据输入的告警数据对应输出告警故障分类结果的告警分类模块；

21、根据所述告警信息分类模型输出的各个所述历史告警数据样本分别对应的告警故障分类结果，采用预设的因果算法确定各个所述告警故障分类结果各自对应的告警节点及用于表示不同的告警节点之间因果关系的因果边；

22、分别确定各个所述因果边的权重；

23、应用各个所述告警节点、因果边及权重构建所述it系统对应的告警知识图谱。

24、在本技术的一些实施例中，所述将所述软硬件知识图谱和告警知识图谱存储至预设的分布式图数据库中，包括：

25、将所述软硬件知识图谱和告警知识图谱抽取为csv文件，并将该csv文件导入预设的分布式图数据库中。

26、本技术的另一个方面提供了一种基于知识图谱的it系统告警数据处理装置，包括：

27、数据层，用于对采集到的it系统中各个业务系统的多源原始运维数据进行预处理，得对应的it系统运维数据；

28、核心层，用于根据所述it系统运维数据分别构建所述it系统对应的软硬件知识图谱和告警知识图谱；

29、所述核心层，还用于将所述软硬件知识图谱和告警知识图谱存储至预设的分布式图数据库中，以基于所述软硬件知识图谱和告警知识图谱对所述it系统进行实时告警监测。

30、在本技术的一些实施例中，基于知识图谱的it系统告警数据处理装置还包括：

31、应用层，用于接收实时告警数据，并根据预设的故障分类算法和存储在所述分布式图数据库中的所述软硬件知识图谱确定该实时告警数据对应的告警节点；

32、所述应用层，还用于根据存储在所述分布式图数据库中的所述告警知识图谱确定所述告警节点的告警因果关系数据。

33、本技术的第三个方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的基于知识图谱的it系统告警数据处理方法。

34、本技术的第四个方面提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的基于知识图谱的it系统告警数据处理方法。

35、本技术提供的基于知识图谱的it系统告警数据处理方法，通过对采集到的it系统中各个业务系统的多源原始运维数据进行预处理，得对应的it系统运维数据，能够利用海量历史告警数据中蕴含的大量的关联、因果关系，进而能够为后续构建知识图谱提高准确、有效且全面的数据基础，能够提高构建用于对it系统进行实时告警监测的知识图谱的有效性及可靠性，进而能够提高采用知识图谱进行it系统告警监测的有效性及可靠性；通过根据所述it系统运维数据分别构建所述it系统对应的软硬件知识图谱和告警知识图谱，不需要人工进行筛选、标记，能够有效提高it系统告警监测的自动化程度、准确性及可靠性，也能够提高运维人员根据告警监测结果对it系统进行运维的效率，进而能够提高it系统的运维效率及运行稳定性。

36、本技术的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本技术的实践而获知。本技术的目的和其它优点可以通过在说明书以及附图中具体指出的结构实现到并获得。

37、本领域技术人员将会理解的是，能够用本技术实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本技术能够实现的上述和其他目的。