一种容器日志管理方法、装置、存储介质及计算机设备与流程

本技术涉及计算机，尤其涉及一种容器日志管理方法、装置、存储介质、计算机设备。

背景技术：

1、随着计算机的不断发展和信息化程度的不断提高，互联网中的业务系统架构规模不断扩大，系统中容器实例数量也随之快速增长，且每个容器实例在创建的同时将产生与之对应的日志。其中，日志是一种按照时间顺序存储记录的数据，可以记录下容器实例产生的所有行为，提供精确的运行记录，当系统出现故障时，系统可以根据日志信息定位到错误详情和根源。

2、目前，互联网中的业务系统架构大都使用大规模分布式存储系统，容器实例对应的日志分布在不同的服务器上，横跨多个数据中心，日志格式不规范，在对系统的容器日志进行管理时，需要依次登录每台服务器采用对应的查询方法对日志进行收集和归档，因此消耗的人工成本较高，进而影响了容器日志管理的效率和准确率。

技术实现思路

1、本技术的目的旨在至少能解决上述的技术缺陷之一，特别是现有技术中在对系统的容器日志进行管理时消耗的人工成本较高，进而影响了容器日志管理的效率和准确率的技术缺陷。

2、本技术提供了一种容器日志管理方法，所述方法包括：

3、获取采集当前容器集群中的日志文件时的日志配置信息，所述日志配置信息包括日志收集规则、日志处理规则和日志存储规则；

4、根据所述日志收集规则确定所述当前容器集群中待收集日志文件的多个容器实例，并从各个容器实例中收集相应的日志文件；

5、按照所述日志处理规则对各个容器实例的日志文件进行优化处理，并将优化处理后的日志文件按照所述日志存储规则上传至对象存储系统中。

6、可选地，获取采集当前容器集群中的日志文件时的日志配置信息，包括：

7、定时向容器云平台获取与当前容器集群的集群名称对应的日志配置信息，并将所述日志配置信息作为采集所述当前容器集群中的日志文件时的日志配置信息；

8、其中，所述容器云平台用于供用户登录日志管理模块页面，并在所述日志管理模块页面中对所述容器云平台中各个容器集群的日志收集规则、日志处理规则和日志存储规则进行增删查改。

9、可选地，所述日志收集规则中包括所述当前容器集群中待收集日志文件的多个容器对应的元数据信息以及容器名称匹配规则，所述容器名称匹配规则中包括待收集日志文件的多个容器实例对应的实例名称；

10、所述根据所述日志收集规则确定所述当前容器集群中待收集日志文件的多个容器实例，包括：

11、将所述日志收集规则中的各个容器的元数据信息分别与所述当前容器集群中的各个容器对应的元数据信息进行匹配，并根据第一匹配结果确定多个目标容器；

12、将所述容器名称匹配规则中的各个容器实例对应的实例名称与各个目标容器中的容器实例进行匹配，并根据第二匹配结果确定所述当前容器集群中待收集日志文件的多个容器实例。

13、可选地，所述从各个容器实例中收集相应的日志文件，包括：

14、对各个容器实例进行监听，以收集各个容器实例的日志文件。

15、可选地，所述按照所述日志处理规则对各个容器的日志文件进行优化处理，得到优化处理后的日志文件，包括：

16、针对每一日志文件，对该日志文件中的日志数据进行解析，得到结构化数据；

17、对所述结构化数据进行清洗，得到优化处理后的日志文件。

18、可选地，所述对所述日志文件中的日志数据进行解析，得到结构化数据，包括：

19、确定所述日志文件中日志数据的数据格式，以及所述数据格式对应的解析器；

20、采用所述解析器对所述日志数据进行解析，得到结构化数据。

21、可选地，所述对所述结构化数据进行清洗，得到优化处理后的日志文件，包括：

22、确定所述结构化数据的字段结构，并根据所述字段结构确定所述结构化数据的数据转换方式；

23、采用所述数据转换方式对所述结构化数据进行转换，生成与该日志数据对应的存储数据，并将所述存储数据作为优化处理后的日志文件。

24、可选地，所述将优化处理后的日志文件按照所述日志存储规则上传至对象存储系统中，包括：

25、确定对象存储系统的存储格式；

26、获取优化处理后的日志文件所在的容器的元数据信息，并根据所述元数据信息生成优化处理后的日志文件的存储位置；

27、将优化处理后的日志文件按照所述存储格式上传至对象存储系统中相应的存储位置。

28、可选地，所述元数据信息包括集群名称、命名空间以及容器名称；

29、所述根据所述元数据信息生成优化处理后的日志文件的存储位置，包括：

30、按照预设路径结构将优化处理后的日志文件对应的集群名称、命名空间和容器名称进行拼接，生成对应的存储路径；

31、在对象存储系统中确定与每一存储路径对应的存储位置。

32、可选地，所述在对象存储系统中确定与每一存储路径对应的存储位置的步骤之前，还包括：

33、判断对象存储系统是否开启时间分区；

34、若是，则获取优化处理后的日志文件当前的存储时间，作为时间分区信息，并将所述时间分区信息添加至对应的存储路径中，得到优化处理后的日志文件最终的存储路径；

35、若否，则直接将生成的存储路径作为优化处理后的日志文件最终的存储路径。

36、可选地，所述日志配置信息还包括生命周期管理规则；

37、所述将优化处理后的日志文件按照所述日志存储规则上传至对象存储系统中之前，还包括：

38、按照所述生命周期管理规则生成优化处理后的日志文件的对象管理标签，并对优化处理后的日志文件打上对应的对象管理标签；

39、其中，所述对象管理标签用于对对象存储系统中的各个日志文件的生命周期进行管理。

40、可选地，所述对象管理标签的标签类型包括删除标签和转存标签；

41、所述方法还包括：

42、通过所述对象存储系统按照上传的日志文件的对象管理标签的标签类型对上传的日志文件进行管理，并在所述对象管理标签为删除标签时，根据所述删除标签中携带的删除节点对相应的日志文件进行删除；

43、以及，在所述对象管理标签为转存标签时，根据所述转存标签中携带的转存节点以及转存格式对相应的日志文件进行转存。

44、可选地，所述对象存储系统中存储的日志文件用于供用户在所述对象存储系统中进行检索并下载，或者供用户在与所述对象存储系统关联的检索平台中进行检索并下载。

45、本技术还提供了一种容器日志管理装置，包括：

46、配置信息获取模块，用于获取采集当前容器集群中的日志文件时的日志配置信息，所述日志配置信息包括日志收集规则、日志处理规则和日志存储规则；

47、日志文件收集模块，用于根据所述日志收集规则确定所述当前容器集群中待收集日志文件的多个容器实例，并从各个容器实例中收集相应的日志文件；

48、日志文件管理模块，用于按照所述日志处理规则对各个容器实例的日志文件进行优化处理，并将优化处理后的日志文件按照所述日志存储规则上传至对象存储系统中。

49、本技术还提供了一种存储介质，其特征在于：所述存储介质中存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如上述实施例中任一项所述容器日志管理方法的步骤。

50、本技术还提供了一种计算机设备，包括：一个或多个处理器，以及存储器；

51、所述存储器中存储有计算机可读指令，所述计算机可读指令被所述一个或多个处理器执行时，执行如上述实施例中任一项所述容器日志管理方法的步骤。

52、从以上技术方案可以看出，本技术实施例具有以下优点：

53、本技术提供的一种容器日志管理方法、装置、存储介质及计算机设备，在对容器云平台产生的日志文件进行管理时，可以获取采集当前容器集群中的日志文件时的日志配置信息，该日志配置信息包括日志收集规则、日志处理规则和日志存储规则，接着根据日志收集规则确定当前容器集群中待收集日志文件的多个容器实例，并从各个容器实例中收集相应的日志文件，这样可以从当前容器集群中筛选出需要管理的日志文件进行统一收集，从而提高了容器日志管理的效率，在收集到待管理的日志文件后，可以按照日志处理规则对各个容器实例的日志文件进行优化处理，并将优化处理后的日志文件按照日志存储规则上传至对象存储系统中，通过将各个服务器中待管理的日志文件格式统一后上传至对象存储系统进行集中管理的方式，可以减少日志管理过程中消耗的人工成本，进而提高容器日志管理的效率和准确率。