一种日志检查方法、装置、设备及存储介质与流程

本技术实施例涉及数据处理，具体而言，涉及一种日志检查方法、装置、设备及存储介质。

背景技术：

1、分布式存储系统是一个对外部云平台提供分布式存储服务的系统，一套分布式存储系统中包括多个分布式系统存储组件，每个组件每天都会产生大量的服务日志，需要对服务日志进行统一管理。相关技术中，对分布式存储系统的服务日志进行记录和打包处理。

2、相关技术中，只是对分布式存储系统的日志进行简单的记录和打包处理，无法有效的对日志进行系统性的管理，也无法对日志进行有效的监控，无法保证分布式存储业务的稳定运行。

技术实现思路

1、本技术实施例提供一种日志检查方法、装置、设备及存储介质，旨在统一管理监控分布式存储系统的日志数据。

2、本技术实施例第一方面提供一种日志检查方法，所述方法包括：

3、读取日志检查任务模型，所述日志检查任务模型中包括针对至少一个分布式存储组件的日志检查任务的任务参数以及对应的监控参数；

4、对接所述日志检查任务模型中的至少一个日志检查任务对应的分布式存储底层接口，所述分布式存储底层接口用于日志数据的传输；

5、根据所述任务参数以及所述监控参数，执行所述分布式存储组件对应的所述日志检查任务，所述日志检查任务对应的所述日志数据是通过所述分布式存储底层接口获取的。

6、可选地，所述日志检查任务模型的创建步骤包括：

7、设置所述日志检查任务对应的目标日志；

8、设置所述日志检查任务对应的监控项以及所述监控参数；

9、设置所述日志检查任务对应的任务执行策略，所述执行策略包括一次性检查以及定时检查；

10、在所述目标日志、所述监控项、所述监控参数以及所述任务执行策略设置完毕的情况下，完成所述日志检查任务模型的创建。

11、可选地，所述设置所述日志检查任务对应的目标日志，包括：

12、确定所述日志检查任务对应的目标组件；

13、将所述目标组件对应的日志设置为所述目标日志。

14、可选地，所述设置所述日志检查任务对应的监控项以及所述监控参数，包括：设置日志大小监控项，所述日志大小监控项用于监控所述日志所占的存储空间的容量大小；

15、设置日志打包监控项，所述日志打包监控项用于根据所述分布式存储组件对应的日志打包策略，确定所述分布式存储组件的日志是否按照所述日志打包策略进行打包；

16、设置日志过期检查监控项，所述日志过期检查监控项用于根据所述分布式存储组件对应的过期策略，确定所述分布式存储组件是否按照所述过期策略对日志进行清理；

17、设置日志位置监控项，所述日志位置监控项用于监控所述分布式存储组件对应的日志是否在预期位置；

18、设置日志格式监控项，所述日志格式监控项用于校验所述分布式存储组件对应的日志的日志格式与预期格式是否相同；

19、设置日志异常监控项，所述日志异常监控项用于监控所述分布式存储组件对应的日志是否正常运行；

20、为每个所述日志监控项设置对应的所述监控参数。

21、可选地，所述对接所述日志检查任务模型中的至少一个日志检查任务对应的分布式存储底层接口，包括：

22、确定所述日志检查任务对应的所述分布式存储底层接口；

23、建立与所述分布式存储底层接口的数据连接。

24、可选地，所述根据所述任务参数以及所述监控参数，执行所述分布式存储组件对应的所述日志检查任务，包括：

25、根据所述任务参数，确定所述日志检查任务对应的执行策略；

26、在所述执行策略为一次性检查时，从所述分布式存储组件对应的所述分布式存储底层接口获取所述分布式存储组件对应的日志；

27、根据所述任务参数，确定所述日志检查任务对应的监控项；

28、在预设的日志处理函数库中调用所述监控项对应的日志处理函数；

29、通过所述日志处理函数读取所述日志检查任务对应的监控参数以及所述日志的日志参数；

30、通过所述日志处理函数对所述日志参数以及所述监控参数进行对比，得到对比结果；

31、在所述对比结果表征所述日志参数与所述监控参数不一致的情况下，输出对应的异常告警信息。

32、可选地，所述方法还包括：

33、在所述执行策略为定时检查的情况下，确定所述日志检查任务对应的预设时间间隔；

34、根据所述预设时间间隔，定时执行所述日志检查任务；

35、在每次所述日志检查任务执行完毕的情况下，上报检查结果。

36、本技术实施例第二方面提供一种日志检查装置，所述装置包括：

37、模型读取模块，用于读取日志检查任务模型，所述日志检查任务模型中包括针对至少一个分布式存储组件的日志检查任务的任务参数以及对应的监控参数；

38、接口对接模块，用于对接所述日志检查任务模型中的至少一个日志检查任务对应的分布式存储底层接口；

39、任务执行模块，用于根据所述任务参数以及所述监控参数，执行所述分布式存储组件对应的所述日志检查任务，所述日志检查任务对应的所述日志数据是通过所述分布式存储底层接口获取的。

40、可选地，所述日志检查任务模型的创建步骤包括：

41、设置所述日志检查任务对应的目标日志；

42、设置所述日志检查任务对应的监控项以及所述监控参数；

43、设置所述日志检查任务对应的任务执行策略，所述执行策略包括一次性检查以及定时检查；

44、在所述目标日志、所述监控项、所述监控参数以及所述任务执行策略设置完毕的情况下，完成所述日志检查任务模型的创建。

45、可选地，所述设置所述日志检查任务对应的目标日志，包括：

46、确定所述日志检查任务对应的目标组件；

47、将所述目标组件对应的日志设置为所述目标日志。

48、可选地，所述设置所述日志检查任务对应的监控项以及所述监控参数，包括：设置日志大小监控项，所述日志大小监控项用于监控所述日志所占的存储空间的容量大小；

49、设置日志打包监控项，所述日志打包监控项用于根据所述分布式存储组件对应的日志打包策略，确定所述分布式存储组件的日志是否按照所述日志打包策略进行打包；

50、设置日志过期检查监控项，所述日志过期检查监控项用于根据所述分布式存储组件对应的过期策略，确定所述分布式存储组件是否按照所述过期策略对日志进行清理；

51、设置日志位置监控项，所述日志位置监控项用于监控所述分布式存储组件对应的日志是否在预期位置；

52、设置日志格式监控项，所述日志格式监控项用于校验所述分布式存储组件对应的日志的日志格式与预期格式是否相同；

53、设置日志异常监控项，所述日志异常监控项用于监控所述分布式存储组件对应的日志是否正常运行；

54、为每个所述日志监控项设置对应的所述监控参数。

55、可选地，所述对接所述日志检查任务模型中的至少一个日志检查任务对应的分布式存储底层接口，包括：

56、确定所述日志检查任务对应的所述分布式存储底层接口；

57、建立与所述分布式存储底层接口的数据连接。

58、可选地，所述任务执行模块包括：

59、执行策略确定子模块，用于根据所述任务参数，确定所述日志检查任务对应的执行策略；

60、日志获取子模块，用于在所述执行策略为一次性检查时，从所述分布式存储组件对应的所述分布式存储底层接口获取所述分布式存储组件对应的日志；

61、监控项确定子模块，用于根据所述任务参数，确定所述日志检查任务对应的监控项；

62、函数调用子模块，用于在预设的日志处理函数库中调用所述监控项对应的日志处理函数；

63、参数读取子模块，用于通过所述日志处理函数读取所述日志检查任务对应的监控参数以及所述日志的日志参数；

64、对比结果获取子模块，用于通过所述日志处理函数对所述日志参数以及所述监控参数进行对比，得到对比结果；

65、异常告警信息输出子模块，用于在所述对比结果表征所述日志参数与所述监控参数不一致的情况下，输出对应的异常告警信息。

66、可选地，所述装置还包括：

67、时间间隔确定子模块，用于在所述执行策略为定时检查的情况下，确定所述日志检查任务对应的预设时间间隔；

68、检查任务执行子模块，用于根据所述预设时间间隔，定时执行所述日志检查任务；

69、检查结果上报子模块，用于在每次所述日志检查任务执行完毕的情况下，上报检查结果。

70、本技术实施例第三方面提供一种可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现如本技术第一方面所述的方法中的步骤。

71、本技术实施例第四方面提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现本技术第一方面所述的方法的步骤。

72、采用本技术提供的日志检查方法，读取日志检查任务模型，所述日志检查任务模型中包括针对至少一个分布式存储组件的日志检查任务的任务参数以及对应的监控参数；对接所述日志检查任务模型中的至少一个日志检查任务对应的分布式存储底层接口，所述分布式存储底层接口用于日志数据的传输；根据所述任务参数以及所述监控参数，执行所述分布式存储组件对应的所述日志检查任务，所述日志检查任务对应的所述日志数据是通过所述分布式存储底层接口获取的。

73、本方法中，设置了日至检查任务模型，该模型中包括了针对每个分布式存储组件的日志检查任务以及监控参数，通过对接分布式存储底层接口，获取每个分布式存储组件的日志数据，根据任务模型中的任务参数以及监控参数，执行对应的日志检查任务，使得分布式存储系统能够统筹所有服务产生的日志，保证了用户业务的正常运行。