日志采集方法、电子设备及存储介质与流程

本技术涉及网络安全，尤其涉及一种日志采集方法、电子设备及存储介质。

背景技术：

1、随着云原生技术的逐渐普及，银行等大型企业正试点容器平台及应用的容器化部署，这为应用日志的采集和监控带来了新的挑战。在传统虚机部署的模式下，每个应用系统部署的多台虚拟机上分别部署一个日志采集工具，即可将日志采集到消息缓冲队列供监控平台后续处理，但在容器化部署模式下，应用系统不再部署在虚拟机上，而是部署在容器组中，一个集群中包含多个虚拟机节点，每个虚拟机节点上可以部署多个应用系统的容器组。

2、因此，需研究如何从每个容器组中采集日志。

技术实现思路

1、本技术实施例提供的日志采集方法、电子设备及存储介质，用以达到从从每个容器组中采集日志的效果。

2、第一方面，本技术实施例提供一种日志采集方法，包括：

3、将目标容器组中的待采集日志映射到虚拟机节点的共享目录中，得到映射日志，目标容器组为目标应用系统的容器组，目标容器组位于虚拟机节点中；

4、从共享目录中采集映射日志；

5、根据目标容器组的容器组标识和映射日志，得到第一贴源日志；

6、根据第一贴源日志，得到目标应用系统的采集日志。

7、在一种可能的实施方式中，根据目标容器组的容器组标识和映射日志，得到第一贴源日志，包括：

8、根据映射日志，获取映射日志的第一文件路径；

9、根据第一文件路径中的容器组目录，获取映射日志的容器组标识，容器组目录用于标识映射日志所在的目标容器组；

10、根据容器组标识，对映射日志进行贴源处理，得到第一贴源日志。

11、在一种可能的实施方式中，从共享目录中采集映射日志，包括：

12、确定虚拟机节点中的采集探针，采集探针为flume探针；

13、根据采集探针，从虚拟机节点中获取待识别映射日志；

14、根据每个待识别映射日志的日志命名，确定映射日志，日志命名中包括目标应用系统的标识。

15、在一种可能的实施方式中，将目标容器组中的待采集日志映射到虚拟机节点的共享目录中，得到映射日志，包括：

16、确定虚拟机节点中的共享目录，共享目录挂载于目标容器组中；

17、当目标容器组进行日志映射时，确定共享目录中的容器组目录，容器组目录为与目标容器组对应的目录；

18、将待采集日志映射到容器组目录中，得到映射日志。

19、在一种可能的实施方式中，将待采集日志映射到容器组目录中，得到映射日志，包括：

20、确定待采集日志的日志类型，日志类型包括流水日志、监控日志和业务运营日志；

21、根据日志类型，确定容器组目录中的日志类型目录，日志类型目录为与日志类型对应的目录；

22、根据目标应用系统的标识对待采集日志进行命名；

23、将命名后的待采集日志映射至日志类型目录中，得到映射日志。

24、在一种可能的实施方式中，根据第一贴源日志，得到目标应用系统的采集日志，包括：

25、确定第一贴源日志的第二文件路径；

26、根据第二文件路径，确定第一贴源日志的日志类型；

27、在消息缓冲队列中确定与目标应用系统的日志类型对应的消息队列分组；

28、将第一贴源日志存入消息队列分组中，得到目标应用系统的采集日志。

29、在一种可能的实施方式中，方法还包括：

30、从消息队列分组中获取采集日志；

31、根据目标应用系统的日志解析规则，对采集日志进行解析，得到解析日志；

32、根据解析日志，得到目标应用系统的监控指标，监控指标包括交易量、响应时间和成功率；

33、根据监控指标对目标应用系统进行监控。

34、在一种可能的实施方式中，方法还包括：

35、获取虚拟机节点的区域信息和第一贴源日志的部署单元信息，区域信息包括地域和可用区；

36、根据区域信息、部署单元信息和第一贴源日志，得到第二贴源日志；

37、根据第二贴源日志，得到目标应用系统的采集日志。

38、第二方面，本技术实施例提供一种日志采集装置，包括：

39、映射模块，用于将目标容器组中的待采集日志映射到虚拟机节点的共享目录中，得到映射日志，目标容器组为目标应用系统的容器组，目标容器组位于虚拟机节点中；

40、采集模块，用于从共享目录中采集映射日志；

41、贴源模块，用于根据目标容器组的容器组标识和映射日志，得到第一贴源日志；

42、得到模块，用于根据第一贴源日志，得到目标应用系统的采集日志。

43、根据映射日志，获取映射日志的第一文件路径；

44、根据第一文件路径中的容器组目录，获取映射日志的容器组标识，容器组目录用于标识映射日志所在的目标容器组；

45、根据容器组标识，对映射日志进行贴源处理，得到第一贴源日志。

46、在一种可能的实现方式中，采集模块还用于：

47、确定虚拟机节点中的采集探针，采集探针为flume探针；

48、根据采集探针，从虚拟机节点中获取待识别映射日志；

49、根据每个待识别映射日志的日志命名，确定映射日志，日志命名中包括目标应用系统的标识。

50、在一种可能的实现方式中，映射模块还用于：

51、确定虚拟机节点中的共享目录，共享目录挂载于目标容器组中；

52、当目标容器组进行日志映射时，确定共享目录中的容器组目录，容器组目录为与目标容器组对应的目录；

53、将待采集日志映射到容器组目录中，得到映射日志。

54、在一种可能的实现方式中，映射模块还用于：

55、确定待采集日志的日志类型，日志类型包括流水日志、监控日志和业务运营日志；

56、根据日志类型，确定容器组目录中的日志类型目录，日志类型目录为与日志类型对应的目录；

57、根据目标应用系统的标识对待采集日志进行命名；

58、将命名后的待采集日志映射至日志类型目录中，得到映射日志。

59、在一种可能的实现方式中，得到模块还用于：

60、确定第一贴源日志的第二文件路径；

61、根据第二文件路径，确定第一贴源日志的日志类型；

62、在消息缓冲队列中确定与目标应用系统的日志类型对应的消息队列分组；

63、将第一贴源日志存入消息队列分组中，得到目标应用系统的采集日志。

64、第三方面，本技术实施例提供一种日志采集设备，包括：存储器，处理器；

65、存储器存储计算机执行指令；

66、处理器执行存储器存储的计算机执行指令，使得处理器执行如上第一方面和/或第一方面各种可能的实施方式。

67、第四方面，本技术实施例提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现如上第一方面和/或第一方面各种可能的实施方式。

68、第五方面，本技术实施例提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上第一方面和/或第一方面各种可能的实施方式。

69、本技术实施例提供的日志采集方法、电子设备及存储介质，通过建立共享目录，将目标容器组中的待采集日志映射到虚拟机节点的共享目录中，便于对容器组的日志进行统一管理，再从共享目录中采集该映射日志，并且根据映射日志对应的目标容器组的容器组标识和映射日志，得到第一贴源日志，最后根据第一贴源日志，得到目标应用系统的采集日志，实现容器化部署的日志采集目的，并且实现日志溯源的效果。