日志异常监控方法、装置、设备及存储介质与流程

本发明实施例涉及互联网，具体涉及一种日志异常监控方法、日志异常监控装置、日志异常监控设备及计算机可读存储介质。

背景技术：

1、通信网络系统中的日志是为了记录系统运行状态和特殊事件而记录的文本信息，包含事务型日志和操作型日志等，具有半结构化的特征。尤其是一些场景中，日志具有大规模和异构性，集群式的系统中日志规模巨大，同时由于各个组件设计各异使得其日志记录的风格和质量都有很大差异。日志中的信息，通常是指征业务质差、发现及定位系统故障的重要依据来源。

2、目前，日志监测和异常问题识别环节是日志分析中首要面临的问题。现有技术中，日志监测与异常识别的方法主要有：基于专家经验的异常检测和引入机器学习或深度学习方法的异常检测。其中，通过专家经验的固定门限法阈值设置通常不够合理，且由于实际场景各种各样复杂的问题导致不同网元的日志量基线不同，导致固定阈值的适用范围较小。现有基于机器学习或深度学习的异常检测方法，通常只适用于针对单一设备或单一日志场景的日志量进行建模分析。因此，现有的日志监控方法无法精准监控日志量以及日志中的异常问题。

技术实现思路

1、鉴于上述问题，本发明实施例提供了一种日志异常监控方法、日志异常监控装置、日志异常监控设备及计算机可读存储介质，用于解决现有技术中存在的日志监控方法无法精准监控日志量以及日志中的异常问题问题。

2、根据本发明实施例的一个方面，提供了一种日志异常监控方法，所述方法包括：

3、周期性地采集各个网元的原始日志数据；

4、对所述原始日志数据按照预设的监测规则进行监测统计，得到日志监测数据；

5、通过预设的告警规则对所述监测日志数据中的异常数据进行告警，得到日志告警清单；

6、对日志告警清单中的每一个网元根据日志量时间序列异常检测模型进行日志量时间序列异常检测，得到异常网元。

7、在一种可选的方式中，所述预设的监测规则包括日志模板监测规则、日志关键词监测规则及网元日志监测规则；所述日志监测数据包括日志模板监测数据、日志关键词监测数据及网元日志监测数据；所述对所述原始日志数据按照预设的监测规则进行监测统计，得到日志监测数据；包括：

8、对所述原始日志数据按照日志模板监测规则进行监测，得到日志模板监测数据；

9、对所述原始日志数据按照日志关键词监测规则进行监测，得到日志关键词监测数据；

10、对所述原始日志数据按照网元日志监测规则进行监测，得到网元日志监测数据。

11、在一种可选的方式中，所述对所述原始日志数据按照预设的监测规则进行监测统计，得到日志监测数据之前，所述方法还包括：

12、根据历史日志数据对应的历史日志监测数据进行处理，得到初始化的网元清单；

13、根据所述历史日志数据以及所述初始化的网元清单，进行所述历史日志数据对应的日志模板处理，得到初始化的日志模板清单；

14、根据所述历史日志数据以及所述初始化的网元清单，进行关键词处理，得到初始化的日志关键词清单；

15、根据所述初始化的网元清单、所述初始化的日志模板清单及所述初始化的日志关键词清单，构建日志模板监测规则、日志关键词监测规则及网元日志监测规则。

16、在一种可选的方式中，所述日志告警清单包括各个网元对应的日志模板告警清单、日志关键词告警清单及网元日志告警清单；所述通过预设的告警规则对所述监测日志数据中的异常数据进行告警，得到日志告警清单，包括：

17、按照日志模板告警规则对所述日志模板监测数据进行告警，得到日志模板告警清单；

18、按照日志关键词告警规则对所述日志模板监测数据及所述日志模板监测数据进行告警，得到日志关键词告警清单；

19、按照网元日志告警规则对所述日志模板监测数据进行告警，得到网元日志告警清单；

20、根据所述日志模板告警清单、所述日志关键词告警清单及所述网元日志告警清单，得到各个网元对应的日志模板告警数据、日志关键词告警数据及网元日志告警数据。

21、在一种可选的方式中，所述日志量时间序列异常检测模型包括单指标时间序列异常检测模块和多指标时间序列异常检测模块；所述对日志告警清单中的每一个网元根据日志量时间序列异常检测模型进行日志量时间序列异常检测，得到异常网元，包括：

22、根据所述日志告警清单，确定每个网元在预设异常监测周期内对预设的监测规则的触发次数；

23、对所述触发次数小于预设次数阈值的所述网元，通过单指标时间序列异常检测模块进行日志量时间序列异常检测，以确定所述网元是否为异常网元；

24、对所述触发次数大于等于预设次数阈值的所述网元，通过多指标时间序列异常检测模块进行日志量时间序列异常检测，以确定所述网元是否为异常网元。

25、在一种可选的方式中，所述对日志告警清单中的每一个网元根据日志量时间序列异常检测模型进行日志量时间序列异常检测，得到异常网元之前，所述方法还包括：

26、建立api信息索引库；所述api信息索引库中包括日志属性信息对应的日志量时间序列异常检测模型的信息的索引；所述日志属性信息包括网元类型、日志类型、设备归属地、设备厂家、日志层级中的一种或多种；

27、所述对日志告警清单中的每一个网元根据日志量时间序列异常检测模型进行日志量时间序列异常检测，得到异常网元，包括：

28、确定所述日志属性信息，在所述api信息索引库中检索所述网元对应的日志量时间序列异常检测模型的信息；

29、根据所述网元对应的日志量时间序列异常检测模型的信息，通过api调用所述网元对应的日志量时间序列异常检测模型，进行日志量时间序列异常检测，确定所述网元是否为异常网元。

30、在一种可选的方式中，所述对日志告警清单中的每一个网元根据日志量时间序列异常检测模型进行日志量时间序列异常检测，得到异常网元之后，所述方法还包括：

31、周期性地统计所述异常网元；

32、根据所述异常网元的原始日志数据，对所述预设的告警规则进行动态更新。

33、根据本发明实施例的另一方面，提供了一种日志异常监控装置，包括：

34、采集模块，用于周期性地采集各个网元的原始日志数据；

35、监测模块，用于对所述原始日志数据按照预设的监测规则进行监测统计，得到日志监测数据；

36、告警模块，用于通过预设的告警规则对所述监测日志数据中的异常数据进行告警，得到日志告警清单；

37、异常检测模块，用于对日志告警清单中的每一个网元根据日志量时间序列异常检测模型进行日志量时间序列异常检测，得到异常网元。

38、根据本发明实施例的另一方面，提供了一种日志异常监控设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

39、所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行所述的日志异常监控方法的操作。

40、根据本发明实施例的又一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令在日志异常监控设备上运行时，使得日志异常监控设备执行所述的日志异常监控方法的操作。

41、本发明实施例通过周期性地采集各个网元的原始日志数据；对所述原始日志数据按照预设的监测规则进行监测统计，得到日志监测数据；通过预设的告警规则对所述监测日志数据中的异常数据进行告警，得到日志告警清单；对日志告警清单中的每一个网元根据日志量时间序列异常检测模型进行日志量时间序列异常检测，得到异常网元，能够有效提高日志异常检测的准确性。

42、进一步地，通在日志监测告警环节根据日志监测统计数据特征灵活选择采用固定门限或增幅门限，提高日志监测场景的自适应性。

43、进一步地，通过以api信息索引注册的形式引入基于ai算法的时间序列异常检测方式，对日志规则监测结果指征存在潜在异常的网元进行异常检测，使得日志异常识别更加精准避免误报，提高日志异常检测的准确性。

44、上述说明仅是本发明实施例技术方案的概述，为了能够更清楚了解本发明实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本发明实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。