日志聚合方法、装置、设备以及存储介质与流程

本申请涉及大数据日志分析领域，尤其涉及一种日志聚合方法、装置、设备以及存储介质。

背景技术：

1、随着业务系统的不断升级，以及信息的频繁交互，会在业务系统中产生大量的日志。为减少日志对业务系统功能的影响，主要通过对大量重复的日志进行聚合的方式，即将多条具有相同特征的日志合成为一条日志，以减少日志的数量，提高业务系统对日志统计分析的效率。

2、但是，目前的日志聚合方案更多的是从链路聚合方面切入，但调用链路和业务节点并不完全重合，一次业务请求的链路一般会覆盖多个业务节点，依然需要人工花费时间去筛选出特定业务节点的日志，使得排查效率低下，且存在误筛的风险。

技术实现思路

1、本申请的主要目的在于提供一种日志聚合方法、装置、设备以及存储介质，旨在解决筛选特定业务节点的日志效率低下且存在误筛的技术问题。

2、为实现上述目的，本申请提供一种日志聚合方法，包括：

3、获取特定业务节点和多个初聚合日志集合；所述初聚合日志集合由对多个原始日志数据进行初始聚合得到，且所述初聚合日志集合中所有日志数据的链路标识和节点名称均一致；

4、基于所述特定业务节点，从多个初聚合数据确定出目标聚合日志数据。

5、可选地，所述获取特定业务节点和多个初聚合日志集合之前，所述方法还包括：

6、当接收到业务请求时，获取所述业务请求的业务请求链路标识、业务主键以及流转的业务节点名称；

7、基于所述业务请求链路标识、业务主键以及业务节点名称，得到初聚合日志集合。

8、可选地，所述基于所述业务请求链路标识、业务主键以及业务节点名称，得到初聚合日志集合，包括：

9、获取原始日志数据序列；

10、从所述原始日志数据序列中确定出当前原始日志数据；

11、若当前原始日志数据的链路标识与所述节点名称与所述业务请求链路标识以及所述业务节点名称均一致，则将当前原始日志数据录入临时初聚合日志集合中；

12、从所述原始日志数据序列中确定出新的原始日志数据，并将所述新的原始日志数据作为当前原始日志数据；

13、返回执行若当前原始日志数据的链路标识与所述节点名称与所述业务请求链路标识以及所述业务节点名称均一致，则将当前原始日志数据录入临时初聚合日志集合中，直至所述原始日志数据序列中不存在与所述业务请求链路标识以及所述业务节点名称均一致的原始日志数据；

14、将所述临时初聚合日志集合作为初聚合日志集合，并删除所述临时初聚合日志集合。

15、可选地，所述获取原始日志数据序列，包括：

16、获取日志数据；

17、对所述日志数据进行筛选处理，获得按照日志生成时间顺序排列的原始日志数据序列。

18、可选地，所述基于所述特定业务节点，从多个初聚合数据确定出目标聚合日志数据之后，所述方法还包括：

19、采集所述日志数据的日志级别，其中日志级别包括：最低级别、重要级别、警告级别、错误级别以及严重错误级别；

20、确定所述初聚合日志集合中所述日志级别为错误级别的日志数量；

21、若所述日志数量超过预设阈值，则输出日志异常警告信息至用户端，以使运维人员基于所述日志异常警告信息对所述初聚合日志集合进行处理。

22、可选地，所述采集所述日志数据的日志级别，包括：

23、获取打印日志的目标程序代码；

24、从所述目标程序代码中，确定出采集日志级别的目标函数；

25、基于所述目标函数，生成日志级别采集探针；

26、当所述日志级别采集探针监测到在所述目标程序代码中调用安全地记录消息方法时，调用所述目标函数，以执行采集所述日志数据的日志级别的步骤。

27、可选地，所述基于所述特定业务节点，从多个初聚合数据确定出目标聚合日志数据之后，所述方法还包括：

28、展示所述目标聚合日志数据的基本信息；其中，所述基本信息包括：日志数据生成时间、业务主键、业务节点名称、日志数据级别、日志数据内容、类名、行号或者链路标识中至少一者。

29、第二方面，本申请提供一种日志聚合装置，包括：

30、获取模块，用于获取特定业务节点和多个初聚合日志集合；所述初聚合日志集合由对多个原始日志数据进行初始聚合得到，且所述初聚合日志集合中所有日志数据的链路标识和节点名称均一致；

31、确定模块，用于基于所述特定业务节点，从多个初聚合数据确定出目标聚合日志数据。

32、第三方面，本申请提供一种日志聚合设备，包括处理器、存储器以及存储在存储器中的日志聚合程序，当日志聚合程序被处理器运行时实现如上所述的日志聚合方法。

33、第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理时，执行本申请任意实施例的日志聚合方法。

34、本申请实施例提出的一种日志聚合方法，相较于现有技术中，通过链路聚合的方式实现对日志的聚合，本申请将链路标识以及节点名称作为日志聚合参数，将链路标识以及节点名称一致的日志数据进行初始聚合，得到多个初始聚合日志集合，在对特定业务节点的日志数据进行排查时，运维人员只需输入根据特定业务节点，即可获取与特定业务节点相对应的目标聚合日志数据，从而减少筛选特定业务节点的日志数据的花费时间，提高了排查效率，降低了误筛风险。

技术特征：

1.一种日志聚合方法，其特征在于，所述方法包括：

2.根据权利要求1所述的日志聚合方法，其特征在于，所述获取特定业务节点和多个初聚合日志集合之前，所述方法还包括：

3.根据权利要求2所述的日志聚合方法，其特征在于，所述基于所述业务请求链路标识、业务主键以及业务节点名称，得到初聚合日志集合，包括：

4.根据权利要求3所述的日志聚合方法，其特征在于，所述获取原始日志数据序列，包括：

5.根据权利要求1所述的日志聚合方法，其特征在于，所述基于所述特定业务节点，从多个初聚合数据确定出目标聚合日志数据之后，所述方法还包括：

6.根据权利要求5所述的日志聚合方法，其特征在于，所述采集所述日志数据的日志级别，包括：

7.根据权利要求1所述的日志聚合方法，其特征在于，所述基于所述特定业务节点，从多个初聚合数据确定出目标聚合日志数据之后，所述方法还包括：

8.一种日志聚合装置，其特征在于，所述日志聚合装置包括：

9.一种日志聚合设备，其特征在于，包括：处理器，存储器以及存储在所述存储器中的日志聚合程序，所述日志聚合程序被所述处理器运行时实现如权利要求1至7中任一项所述日志聚合方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有日志聚合程序，所述日志聚合程序被处理器执行时实现如权利要求1至7任一项所述的日志聚合方法。

技术总结
本申请公开了一种日志聚合方法、装置、设备以及存储介质，属于大数据日志分析技术领域，该方法包括：获取特定业务节点和多个初聚合日志集合；所述初聚合日志集合由对多个原始日志数据进行初始聚合得到，且所述初聚合日志集合中所有日志数据的链路标识和节点名称均一致；基于所述特定业务节点，从多个初聚合数据确定出目标聚合日志数据。本申请将链路标识以及节点名称一致的日志数据进行初始聚合处理，得到多个初始聚合日志集合，在对特定业务节点的日志数据进行排查时，运维人员只需输入根据特定业务节点，即可获取与特定业务节点相对应的目标聚合日志数据，从而减少筛选特定业务节点的日志数据的花费时间，提高了排查效率，降低了误筛风险。

技术研发人员：孙天骁,黄子龙,黄宇梁
受保护的技术使用者：招商银行股份有限公司
技术研发日：
技术公布日：2024/1/15