一种容器集群的日志收集系统构建方法、设备及存储介质与流程

本申请涉及日志跟踪收集，尤其涉及一种容器集群的日志收集系统构建方法、设备及存储介质。

背景技术：

1、目前市面上的日志中心系统，主要是将日志系统部署到集群外服务器并通过网络通信获取应用信息，或者部署在集群内并采用集群存储卷方式存放日志信息：前者会受限于网络通信以及集群端口安全策略，一旦集群服务出现阻塞或者卡死那么外置日志中心则无法收集信息；后者虽然能够深入到集群之中，但是是以收集集群内应用数据为主，并且受集群整体运行环境影响，一旦集群出现崩溃情况，那么部署在集群内的日志服务也会停止运行。即使能够快速调度到其他集群节点重新启动，但是仍然需要一定时间，且这一段故障时间内的错误日志必然无法收集。

2、并且在搭建日志收集系统时，大部分情况需要部署人员配置监控条件或者监控接口等参数，需要部署人员在部署日志系统的同时，还要了解应用产品的配置方式，并对产品进行修改。而且目前市面上的日志工具很少有针对集群整体信息的收集，多数是将应用控制台输出信息采集至指定数据库然后再用其他工具进行二次检索分析，或者使用链路跟踪方式进行穿透记录，在宏观记录维度上仍然是一个空白。

技术实现思路

1、本申请实施例提供了一种容器集群的日志收集系统构建方法、设备及存储介质，用以解决如下技术问题：外置、内置日志中心受限于网络通信、信息存储时无法进行日志收集。

2、第一方面，本申请实施例提供了一种容器集群的日志收集系统构建方法，其特征在于，方法包括：构建日志数据采集结构，并基于日志数据采集结构，在容器集群中配置第一采集插件；其中，第一采集插件用于采集容器集群的系统日志；初始化容器集群的管理节点服务器中的第一采集插件，以创建日志记录起点；初始化容器集群的其他节点服务器中的第一采集插件，并构建容器集群各服务器节点间的通信网络；在容器集群中构建业务系统后，基于日志数据采集结构配置第二采集插件；其中，第二采集插件用于采集容器集群服务器的业务日志。

3、在本申请的一种实现方式中，构建日志数据采集结构，具体包括：确定若干个待解析日志格式，并基于若干个待解析日志格式，构建日志解析规则；构建日志封装规则以及日志链连接规则；其中，日志链连接规则用于将采集的日志根据日志采集时间连接至日志链末端。

4、在本申请的一种实现方式中，构建日志封装规则，具体包括：确定日志封装数据类型，并根据日志封装数据类型构建日志封装数据模型；构建针对日志封装数据模型的封包规则。

5、在本申请的一种实现方式中，在基于日志数据采集结构，在容器集群中配置第一采集插件之后，方法还包括：在容器集群中安装集群服务组件；配置容器集群各服务器节点对应的日志存储设备。

6、在本申请的一种实现方式中，方法还包括：在创建日志记录起点之后，初始化容器集群的管理节点服务器中的集群服务组件；在初始化容器集群的其他节点服务器中的第一采集插件之后，初始化容器集群的其他节点服务器中的集群服务组件。

7、在本申请的一种实现方式中，构建容器集群各服务器节点间的通信网络，具体包括：在容器集群的管理节点服务器中创建通信网络管理节点；将容器集群的其他节点服务器加入通信网络，并在任意两个节点服务器间构建通信通道，以使容器集群中的任意一个节点服务器的日志均能同步到其他服务器节点。

8、在本申请的一种实现方式中，在基于日志数据采集结构配置第二采集插件之后，方法还包括：容器集群的各节点服务器生成系统测试日志，以检测第一采集插件与日志存储设备是否运行正常；业务系统生成业务测试日志，以检测第二采集插件与日志存储设备是否运行正常。

9、在本申请的一种实现方式中，日志封装数据类型包括：日志生成时间、日志信息源、日志序列号、日志信息结构。

10、第二方面，本申请实施例还提供了一种容器集群的日志收集系统构建设备，其特征在于，设备包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够：构建日志数据采集结构，并基于日志数据采集结构，在容器集群中配置第一采集插件；其中，第一采集插件用于采集容器集群的系统日志；初始化容器集群的管理节点服务器中的第一采集插件，以创建日志记录起点；初始化容器集群的其他节点服务器中的第一采集插件，并构建容器集群各服务器节点间的通信网络；在容器集群中构建业务系统后，基于日志数据采集结构配置第二采集插件；其中，第二采集插件用于采集容器集群服务器的业务日志。

11、第三方面，本申请实施例还提供了一种容器集群的日志收集系统构建的非易失性计算机存储介质，存储有计算机可执行指令，其特征在于，计算机可执行指令设置为：构建日志数据采集结构，并基于日志数据采集结构，在容器集群中配置第一采集插件；其中，第一采集插件用于采集容器集群的系统日志；初始化容器集群的管理节点服务器中的第一采集插件，以创建日志记录起点；初始化容器集群的其他节点服务器中的第一采集插件，并构建容器集群各服务器节点间的通信网络；在容器集群中构建业务系统后，基于日志数据采集结构配置第二采集插件；其中，第二采集插件用于采集容器集群服务器的业务日志。

12、本申请实施例提供的一种容器集群的日志收集系统构建方法、设备及存储介质，通过在集群服务器维度与集群服务维度双重嵌入，实现将集群服务的系统级日志以及集群内事件信息统一归纳收集，借用区块链模型特性在机器维度进行链接通信，将归纳信息在各机器之间进行共享，并基于时间或者指定逻辑对信息进行统一整合。这样可以方便运维人员从宏观或者整体角度去排查集群整体问题，以及集群内多副本应用日志信息。并且与传统链路跟踪不同，本模型主张将集群或集群内应用作为一个整体去排查信息，而链路跟踪是对某一次行为进行穿透性排查，两者针对的场景和解决的问题不是同一领域。并且通过建立私有链，可以完整查阅整个集群从建立开始所有节点的运行记录，包括系统级日志、集群在节点上的日志输出文件、集群内的应用输出日志等。

技术特征：

1.一种容器集群的日志收集系统构建方法，其特征在于，所述方法包括：

2.根据权利要求1所述的一种容器集群的日志收集系统构建方法，其特征在于，构建日志数据采集结构，具体包括：

3.根据权利要求2所述的一种容器集群的日志收集系统构建方法，其特征在于，构建日志封装规则，具体包括：

4.根据权利要求1所述的一种容器集群的日志收集系统构建方法，其特征在于，在基于所述日志数据采集结构，在容器集群中配置第一采集插件之后，所述方法还包括：

5.根据权利要求4所述的一种容器集群的日志收集系统构建方法，其特征在于，所述方法还包括：

6.根据权利要求1所述的一种容器集群的日志收集系统构建方法，其特征在于，构建所述容器集群各服务器节点间的通信网络，具体包括：

7.根据权利要求4所述的一种容器集群的日志收集系统构建方法，其特征在于，在基于所述日志数据采集结构配置第二采集插件之后，所述方法还包括：

8.根据权利要求3所述的一种容器集群的日志收集系统构建方法，其特征在于，所述日志封装数据类型包括：日志生成时间、日志信息源、日志序列号、日志信息结构。

9.一种容器集群的日志收集系统构建设备，其特征在于，所述设备包括：

10.一种容器集群的日志收集系统构建的非易失性计算机存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令设置为：

技术总结
本申请公开了一种容器集群的日志收集系统构建方法、设备及存储介质。方法包括：构建日志数据采集结构，并基于日志数据采集结构，在容器集群中配置第一采集插件；其中，第一采集插件用于采集容器集群的系统日志；初始化容器集群的管理节点服务器中的第一采集插件，以创建日志记录起点；初始化容器集群的其他节点服务器中的第一采集插件，并构建容器集群各服务器节点间的通信网络；在容器集群中构建业务系统后，基于日志数据采集结构配置第二采集插件；其中，第二采集插件用于采集容器集群服务器的业务日志。本申请通过上述方法解决了现有外置、内置日志中心受限于网络通信、信息存储时无法进行日志收集的技术问题。

技术研发人员：柯桓
受保护的技术使用者：浪潮通用软件有限公司
技术研发日：
技术公布日：2024/1/14