基于跨系统的日志跟踪查询方法及系统与流程

本发明涉及日志定位，尤其涉及一种基于跨系统的日志跟踪查询方法及系统。

背景技术：

1、随着互联网技术分布式追踪技术已经不断应用，已经接入开源产品分布式追踪系统(skywalking)和kafka消息中间件，都采用跟踪id(traceid)作为分布式唯一id，方便日志追踪。现有技术中从头采集日志到监控存储完成链路追踪一整套服务，导致定位日志效率低下，因此，如何提高定位日志效率问题成为一个亟待解决的问题。

2、上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

1、本发明的主要目的在于提供了一种基于跨系统的日志跟踪查询方法及系统，旨在解决如何提高定位日志效率的技术问题。

2、为实现上述目的，本发明提供了一种基于跨系统的日志跟踪查询方法，所述基于跨系统的日志跟踪查询方法包括：

3、在接收到多个生产者服务器发送的基于分布式追踪系统中kafka插件携带的头部协议信息；

4、通过预设解码策略分别对多个头部协议信息进行处理，获得多个生产者服务器对应的网络跟踪文件标识信息；

5、根据多个网络跟踪文件标识信息及对应的线程信息生成绑定关系表；

6、根据所述绑定关系表确定跟踪文件目标标识信息对应的目标日志信息，并基于elk数据展示平台对所述目标日志信息进行展示。

7、可选地，所述通过预设解码策略分别对多个头部协议信息进行处理，获得多个生产者服务器对应的网络跟踪文件标识信息的步骤，包括：

8、根据多个头部协议信息分别确定对应的密文位置信息；

9、根据所述密文位置信息从多个头部协议信息中提取头部密文信息；

10、通过预设解码策略对多个头部协议信息进行解码处理，获得多个生产者服务器对应的网络跟踪文件标识信息。

11、可选地，所述根据所述绑定关系表确定跟踪文件目标标识信息对应的目标日志信息，并基于elk数据展示平台对所述目标日志信息进行展示的步骤，包括：

12、在接收到基于消费者服务器发送的任务请求时，根据所述任务请求确定跟踪文件目标标识信息；

13、根据所述跟踪文件目标标识信息从所述绑定关系表中匹配对应的目标线程信息；

14、通过所述目标线程信息确定所述跟踪文件目标标识信息对应的目标日志信息；

15、将所述目标日志信息发送至elk平台，以使所述elk平台对所述目标日志信息进行展示。

16、可选地，所述通过所述目标线程信息确定所述跟踪文件目标标识信息对应的目标日志信息的步骤，包括：

17、根据所述目标线程信息确定所述跟踪文件目标标识信息对应的待处理日志信息；

18、基于扩展的开源数据收集引擎对所述待处理日志信息进行处理，获得目标日志信息。

19、可选地，所述基于扩展的开源数据收集引擎对所述待处理日志信息进行处理，获得目标日志信息的步骤，包括：

20、基于扩展的开源数据收集引擎对所述待处理日志信息进行解析，获得日志格式化信息；

21、根据所述日志格式化信息对所述待处理日志信息进行处理，获得目标日志信息。

22、此外，为实现上述目的，本发明还提出一种基于跨系统的日志跟踪查询系统，所述基于跨系统的日志跟踪查询系统包括：

23、接收模块，用于在接收到多个生产者服务器发送的基于分布式追踪系统中kafka插件携带的头部协议信息；

24、处理模块，用于通过预设解码策略分别对多个头部协议信息进行处理，获得多个生产者服务器对应的网络跟踪文件标识信息；

25、绑定模块，用于根据多个网络跟踪文件标识信息及对应的线程信息生成绑定关系表；

26、查询模块，用于根据所述绑定关系表确定跟踪文件目标标识信息对应的目标日志信息，并基于elk数据展示平台对所述目标日志信息进行展示。

27、可选地，所述基于跨系统的日志跟踪查询系统还包括：

28、所述处理模块，还用于根据多个头部协议信息分别确定对应的密文位置信息；

29、所述处理模块，还用于根据所述密文位置信息从多个头部协议信息中提取头部密文信息；

30、所述处理模块，还用于通过预设解码策略对多个头部协议信息进行解码处理，获得多个生产者服务器对应的网络跟踪文件标识信息。

31、可选地，所述基于跨系统的日志跟踪查询系统还包括：

32、所述查询模块，还用于在接收到基于消费者服务器发送的任务请求时，根据所述任务请求确定跟踪文件目标标识信息；

33、所述查询模块，还用于根据所述跟踪文件目标标识信息从所述绑定关系表中匹配对应的目标线程信息；

34、所述查询模块，还用于通过所述目标线程信息确定所述跟踪文件目标标识信息对应的目标日志信息；

35、所述查询模块，还用于将所述目标日志信息发送至elk平台，以使所述elk平台对所述目标日志信息进行展示。

36、可选地，所述基于跨系统的日志跟踪查询系统还包括：

37、所述查询模块，还用于根据所述目标线程信息确定所述跟踪文件目标标识信息对应的待处理日志信息；

38、所述查询模块，还用于基于扩展的开源数据收集引擎对所述待处理日志信息进行处理，获得目标日志信息。

39、可选地，所述基于跨系统的日志跟踪查询系统还包括：

40、所述查询模块，还用于基于扩展的开源数据收集引擎对所述待处理日志信息进行解析，获得日志格式化信息；

41、所述查询模块，还用于根据所述日志格式化信息对所述待处理日志信息进行处理，获得目标日志信息。

42、此外，为实现上述目的，本发明还提出一种基于跨系统的日志跟踪查询设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于跨系统的日志跟踪查询程序，所述基于跨系统的日志跟踪查询程序配置为实现如上文所述的基于跨系统的日志跟踪查询方法的步骤。

43、此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有基于跨系统的日志跟踪查询程序，所述基于跨系统的日志跟踪查询程序被处理器执行时实现如上文所述的基于跨系统的日志跟踪查询方法的步骤。

44、本发明首先在接收到多个生产者服务器发送的基于分布式追踪系统中kafka插件携带的头部协议信息，然后通过预设解码策略分别对多个头部协议信息进行处理，获得多个生产者服务器对应的网络跟踪文件标识信息，之后根据多个网络跟踪文件标识信息及对应的线程信息生成绑定关系表，最后根据绑定关系表确定跟踪文件目标标识信息对应的目标日志信息，并基于elk数据展示平台对目标日志信息进行展示。相较于现有技术中kafka有多消费者端监听topic后端多服务的架构下想定位问题日志，traceid无法关联起来，而本发明生产者服务器或者消费者服务器都接入了基于分布式追踪系统和kafka插件，之后根据绑定关系表确定跟踪文件目标标识信息对应的目标日志信息，并通过elk数据展示平台展示目标日志信息，从而可以将traceid与线程信息关联起来，从而便于用户快速定位问题日志。