日志查询方法、装置、电子设备和存储介质与流程

文档序号:31497187发布日期:2022-09-14 07:38阅读:90来源:国知局
日志查询方法、装置、电子设备和存储介质与流程

1.本公开涉及日志查询技术领域,尤其涉及一种日志查询方法、装置、电子设备和存储介质。


背景技术:

2.随着互联网技术的发展,各种互联网系统和网络设备会产生大量的日志,其中部分日志需要长期存档,方便用户后期的各种审计和查询。日志查询系统中,各服务日志通过log4j框架格式化写到文件或者kafka,kafka可以将日志写到logstash,logstash对日志进行过滤后可以将日志输出到es,es建立索引并通过kibana向用户提供查询服务。
3.然而,基于上述日志查询系统针对某一日志查询关联日志时,查询到的关联日志的相对比较固定,导致关联日志查询的灵活性较差。


技术实现要素:

4.本公开提供了一种日志查询方法、装置、电子设备和存储介质,能够提升关联日志查询的灵活性。
5.第一方面,本公开提供了一种日志查询方法,包括:
6.获取目标日志查询请求,所述目标日志查询请求中包括目标日志标识以及日志查询等级,所述日志查询等级用于表征查询到的关联日志与目标日志的关联程度;
7.根据所述目标日志查询请求,从日志库中确定所述目标日志以及所述目标日志的所述关联日志,所述日志库包括多个日志,所述多个日志包括所述目标日志和所述关联日志。
8.可选的,所述根据所述目标日志查询请求,从日志库中确定所述目标日志以及所述目标日志的所述关联日志,包括:
9.根据所述目标日志标识,确定所述多个日志中与所述目标日志标识对应的日志为所述目标日志,所述日志库中包括所述目标日志标识;
10.根据所述目标日志标识和所述日志查询等级,从所述多个日志中确定所述关联日志。
11.可选的,所述根据所述目标日志标识和所述日志查询等级,从所述多个日志中确定所述关联日志,包括:
12.根据所述目标日志标识和所述日志查询等级,从所述日志库中确定关联日志标识;
13.确定所述多个日志中与所述关联日志标识对应的日志为所述关联日志。
14.可选的,每个日志标识中包括多个子标识;
15.所述根据所述目标日志标识和所述日志查询等级,从所述日志库中确定关联日志标识,包括:
16.根据所述日志查询等级,确定目标子标识数量;
17.从所述目标日志标识中的所有子标识中,确定所述目标子标识数量的目标子标识;
18.根据所述目标子标识数量的目标子标识,从所述日志库中确定所述关联日志标识。
19.可选的,所述根据所述目标日志标识,确定所述多个日志中与所述目标日志标识对应的日志为所述目标日志,包括:
20.根据所述目标日志标识,确定目标日志标记信息,所述日志库中包括所述目标日志标记信息,所述目标日志标记信息与所述目标日志标识对应;
21.基于所述目标日志标记信息,访问所述日志库,得到所述目标日志。
22.可选的,所述获取目标日志查询请求之前,还包括:
23.接收所述多个日志及其各自对应的日志标识;
24.基于所述多个日志及其各自对应的日志标识,建立所述日志库。
25.可选的,所述日志标识是基于预设配置文件生成并与对应的日志绑定的。
26.第二方面,本公开提供了一种日志查询装置,包括:
27.获取模块,用于获取目标日志查询请求,所述目标日志查询请求中包括目标日志标识以及日志查询等级,所述日志查询等级用于表征查询到的关联日志与目标日志的关联程度;
28.确定模块,用于根据所述目标日志查询请求,从日志库中确定所述目标日志以及所述目标日志的所述关联日志,所述日志库包括多个日志,所述多个日志包括所述目标日志和所述关联日志。
29.第三方面,本公开提供了一种电子设备,包括:处理器,所述处理器用于执行存储于存储器的计算机程序,所述计算机程序被处理器执行时实现第一方面提供的任一种方法的步骤。
30.第四方面,本公开提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现第一方面提供的任一种方法的步骤。
31.本公开提供的技术方案中,通过获取目标日志查询请求,目标日志查询请求中包括目标日志标识以及日志查询等级,日志查询等级用于表征查询到的关联日志与目标日志的关联程度;根据目标日志查询请求,从日志库中确定目标日志以及目标日志的关联日志,日志库包括多个日志,多个日志包括目标日志和关联日志,如此,单次查询可以查询到目标日志以及目标日志的关联日志,能够提高单次日志查询的效率,方便查找异常问题。另外,针对同一目标日志,可以基于日志查询等级查询到不同的关联日志,从而能够提升关联日志查询的灵活性。
附图说明
32.此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
33.为了更清楚地说明本公开实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
34.图1为本公开提供的一种日志查询系统的结构示意图;
35.图2为本公开提供的一种日志查询方法的流程示意图;
36.图3为本公开提供的另一种日志查询方法的流程示意图;
37.图4为本公开提供的又一种日志查询方法的流程示意图;
38.图5为本公开提供的又一种日志查询方法的流程示意图;
39.图6为本公开提供的又一种日志查询方法的流程示意图;
40.图7为本公开提供的又一种日志查询方法的流程示意图;
41.图8为本公开提供的一种日志查询装置的结构示意图;
42.图9本公开提供的一种电子设备的结构示意图。
具体实施方式
43.为了能够更清楚地理解本公开的上述目的、特征和优点,下面将对本公开的方案进行进一步描述。需要说明的是,在不冲突的情况下,本公开的实施例及实施例中的特征可以相互组合。
44.在下面的描述中阐述了很多具体细节以便于充分理解本公开,但本公开还可以采用其他不同于在此描述的方式来实施;显然,说明书中的实施例只是本公开的一部分实施例,而不是全部的实施例。
45.图1为本公开提供的一种日志查询系统的结构示意图,如图1所示,日志查询系统包括:log4j、kafka、logstash、logstash、es和kibana。其中,log4j可以接收各服务日志,并控制日志输送的目的地是控制台、文件、图形用户界面组件、套接口服务器、事件记录器、守护进程等,log4j还可以控制每一条日志的输出格式。
46.上述这些均可以通过配置文件来灵活地进行配置,而不需要修改应用的代码。需要说明的是,图1仅以kafka为例对log4j控制的日志输送的目的地进行示例性说明,并不作为日志查询系统中log4j控制的日志输送的目的地的限制。
47.kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据,kafka可以将log4j输出的日志写入logstash。logstash是一个应用程序日志、事件传输、处理、管理和搜索的开源服务器端数据管道,能够从多个来源采集数据和转换数据,然后将数据发送到多个存储节点中。logstash能够动态地采集、转换和传输数据,不受格式或复杂度的影响,例如,利用从非结构化数据中派生出结构、从ip地址解码出地理坐标、匿名化或排除敏感字段并简化整体处理过程。logstash支持各种输入选择,可以同时从众多常用来源捕捉事件,能够以连续的流式传输方式,轻松地从日志、指标、网页应用、数据存储以及各种业务流程管理开发平台服务采集数据。logstash过滤器能够解析各个事件,识别已命名的字段以构建结构,并将它们转换成通用格式,以便进行更强大的分析;此外,logstash采用可插拔框架,拥有200多个插件,可以将不同的输入选择、过滤器和输出选择混合搭配、精心安排,让它们在管道中和谐地运行。
48.es是一种分布式搜索和数据分析引擎,其中每个字段均可被索引,而且每个字段的数据均可被搜索,能够横向扩展至数以百计的服务器存储,可以接收logstash输出的日志,并进行存储,还可以基于接收到的多个日志建立索引,便于用户进行日志查询。kibana是为es设计的开源分析和可视化平台,可以使用kibana来搜索,查看存储在es索引中的数
据并与之交互,也可以很容易实现高级的数据分析和可视化,以图表的形式展现出来。
49.基于上述用户查询系统,用户通过kibana可以触发查询指令,es接收到查询指令后可以生成该查询指令对应的日志查询请求,基于日志查询请求可在日志库中进行查询,从而能够获取到相应的日志。es可以将获取到的日志发送给kibana,用户基于kibana可以查看该日志。然而,针对一个日志查询请求,只能够查询到一个对应的日志,若用户需要查询多个日志,则需要发送多次日志查询请求,如此单次日志查询的效率较低。尤其是,在服务异常的情况下,会导致异常问题的查找效率较低。
50.为了解决上述问题,本公开中,通过获取目标日志查询请求,目标日志查询请求中包括目标日志标识以及日志查询等级,日志查询等级用于表征查询到的关联日志与目标日志的关联程度;根据目标日志查询请求,从日志库中确定目标日志以及目标日志的关联日志,日志库包括多个日志,多个日志包括目标日志和关联日志,如此,单次查询可以查询到目标日志以及目标日志的关联日志,能够提高单次日志查询的效率,方便查找异常问题。另外,针对同一目标日志,可以基于日志查询等级查询到不同的关联日志,从而能够提升关联日志查询的灵活性。
51.以下通过几个具体的实施例,对本公开的技术方案进行详细的解释说明。
52.图2为本公开提供的一种日志查询方法的流程示意图,如图2所示的方法应用于如图1所示的日志查询系统中,具体包括:
53.s101,获取目标日志查询请求。
54.所述目标日志查询请求中包括目标日志标识以及日志查询等级,所述日志查询等级用于表征查询到的关联日志与目标日志的关联程度。
55.示例性的,目标日志标识可以是基于用户主动触发生成的,例如,可以基于用户输入的查询关键词、用户触发的目标控件和用户输入的预设的指令中的至少一个,生成目标日志标识。目标日志标识还可以是自动触发生成的,例如,可以基于预设时间间隔,定时自动生成目标日志标识;可以基于服务异常的类型,自动生成目标日志标识。目标日志标识可以为服务器标识、设备标识、时间标识中的至少一种。
56.日志查询等级可以是基于用户主动触发生成的,例如,可以基于用户触发的日志查询等级选项,生成日志查询等级。日志查询等级还可以是自动触发生成的,例如,可以基于预设时间间隔,定时自动生成日志查询等级;可以基于服务异常的类型,自动生成日志查询等级。日志查询等级表示查询的关联日志与目标日志的关联程度,日志查询等级越高,则关联日志与目标日志的关联程度越高,例如,日志查询等级可以划分为低级、中级和高级。
57.在日志标识中包括多个子标识的情况下,日志查询等级可以理解为关联日志的关联日志标识和目标日志的目标日志标识的相似度。例如,目标日志标识包括服务器标识a1、设备标识b1和时间标识c1,若日志查询等级为低级,则关联日志的关联日志标识中包括服务器标识a1、设备标识b1或时间标识c1;若日志查询等级为中级,则关联日志的关联日志标识中包括服务器标识a1、设备标识b1和时间标识c1中的任意两个;若日志查询等级为高级,则关联日志的关联日志标识中包括服务器标识a1、设备标识b1和时间标识c1。
58.在一些实施例中,用户基于自身需求可以在kibana提供的可视化界面中输入查询关键词,kibana可以将接收到的查询关键词发送至es,es基于接收到的查询关键词进行索引,可以确定目标日志的目标日志标识。用户输入查询关键词的同时还在kibana提供的可
视化界面中触发日志查询等级选项,kibana可以将接收到的日志查询等级选项发送至es,es基于接收到的日志查询等级选项,可以确定相应的日志查询等级。基于目标日志的目标日志标识和日志查询等级,生成目标日志查询请求。
59.在一些实施例中,用户基于自身需求可以在kibana提供的可视化界面中的触发目标控件,kibana基于接收到的目标控件的触发操作生成相应的查询指令,并将该查询指令发送至es,es基于接收到的查询指令,可以确定目标日志的目标日志标识。用户触发目标控件的同时还在kibana提供的可视化界面中触发日志查询等级选项,kibana可以将接收到的日志查询等级选项发送至es,es基于接收到的日志查询等级选项,可以确定相应的日志查询等级。基于目标日志的目标日志标识和日志查询等级,生成目标日志查询请求。
60.在一些实施例中,用户基于自身需求可以在kibana提供的可视化界面中输入预设的指令,kibana可以将接收到的预设的指令发送至es,es基于接收到的预设的指令,可以确定目标日志的目标日志标识。用户输入预设的指令的同时还在kibana提供的可视化界面中触发日志查询等级选项,kibana可以将接收到的日志查询等级选项发送至es,es基于接收到的日志查询等级选项,可以确定相应的日志查询等级。基于目标日志的目标日志标识和日志查询等级,生成目标日志查询请求。
61.在一些实施例中,基于预设时间间隔,es定时自动生成目标日志查询请求,目标日志查询请求中包括目标日志的目标日志标识和日志查询等级。例如,预设时间间隔为30s,即每隔30s生成目标日志查询请求。
62.在一些实施例中,在服务异常情况下,es基于服务异常的类型,例如,服务异常的类型可以为输入信息异常、业务处理异常、结果返回异常、网络超时等,确定目标日志的目标日志标识和日志查询等级。并基于目标日志标识和日志查询等级,生成目标日志查询请求,例如,服务异常的类型为业务处理异常,则可以确定该异常的业务对应的日志的标识为目标日志标识。
63.s103,根据所述目标日志查询请求,从日志库中确定所述目标日志以及所述目标日志的所述关联日志。
64.所述日志库包括多个日志,所述多个日志包括所述目标日志和所述关联日志。
65.示例性的,日志库中包括多个日志,其中,每个日志对应一个日志标识。例如,日志库中包括日志1、日志2、日志3和日志4,其中,日志1对应日志标识a1-b1-c1,日志2对应日志标识a1-b2-c2,日志3对应日志标识a1-b1-c2,日志4对应日志标识a1-b1-c1。
66.若目标日志为日志库中的一个日志,可以先基于目标日志标识,从日志库的所有日志中确定与目标日志标识对应的日志为目标日志,然后基于日志查询等级和目标日志标识,确定关联日志标识,在关联日志为日志库中的一个日志的情况下,可以确定日志库中与关联日志标识对应的日志为关联日志。一些实施例中,可以先基于日志查询等级和目标日志标识,确定关联日志标识,在关联日志和目标日志均为日志库中的一个或多个日志的情况下,可以确定日志库中与关联日志标识对应的日志为关联日志,同时确定日志库中与目标日志标识对应的日志为目标日志。一些实施例中,还可以先基于日志查询等级和目标日志标识,确定关联日志标识,在关联日志为日志库中的一个日志的情况下,可以确定日志库中与关联日志标识对应的日志为关联日志,再确定日志库中与目标日志标识对应的日志为目标日志。本公开对确定目标日志和关联日志的先后顺序不做具体限制。
67.例如,基于上述实施例,目标日志标识为a1-b1-c1,则可以确定日志1为目标日志。若日志查询等级为低级,可以确定关联日志标识为a1-b2-c2,则可以确定日志2为关联日志;若日志查询等级为中级,可以确定关联日志标识为a1-b1-c2,则可以确定日志3为关联日志;若日志查询等级为高级,可以确定关联日志标识为a1-b1-c1,则可以确定日志4为关联日志。如此,日志查询等级不同,针对同一目标日志可以查询到不同的关联日志。
68.本实施例中,通过获取目标日志查询请求,目标日志查询请求中包括目标日志标识以及日志查询等级,日志查询等级用于表征查询到的关联日志与目标日志的关联程度;根据目标日志查询请求,从日志库中确定目标日志以及目标日志的关联日志,日志库包括多个日志,多个日志包括目标日志和关联日志,如此,单次查询可以查询到目标日志以及目标日志的关联日志,能够提高单次日志查询的效率,方便查找异常问题。另外,针对同一目标日志,可以基于日志查询等级查询到不同的关联日志,从而能够提升关联日志查询的灵活性。
69.图3为本公开提供的另一种日志查询方法的流程示意图,图3为图2所示实施例的基础上,执行s103时的一种可能的实现方式的具体描述,如下:
70.s1031,根据所述目标日志标识,确定所述多个日志中与所述目标日志标识对应的日志为所述目标日志。
71.所述日志库中包括所述目标日志标识。
72.作为执行s1031时的一种可能的实现方式的具体描述,如图4所示:
73.s201,根据所述目标日志标识,确定目标日志标记信息。
74.所述日志库中包括所述目标日志标记信息,所述目标日志标记信息与所述目标日志标识对应。
75.示例性的,日志库中包括多个日志标记信息和多个日志标识,且每个日志标记信息对应一个日志标识,日志标记信息可以是日志存储路径、存储位置、日志的编号等表征日志位置的信息,则基于日志标记信息可以访问并获取相应的日志。例如,日志库中包括日志标记信息011、日志标记信息012、日志标记信息013、日志标记信息014、日志标识a1-b1-c1、日志标识a1-b2-c2和日志标识a1-b1-c2,其中,日志标记信息011对应日志标识a1-b1-c1,日志标记信息014也对应日志标识a1-b1-c1,日志标记信息012对应日志标识a1-b2-c2,日志标记信息013对应日志标识a1-b1-c2。基于日志标记信息011可以访问并获取日志库中的日志1,日志标记信息012可以访问并获取日志库中的日志2,日志标记信息013可以访问并获取日志库中的日志3,日志标记信息014可以访问并获取日志库中的日志4。
76.若目标日志查询请求中的目标日志标识为日志库中的一个日志标识,基于目标日志标识,可以确定日志库中与目标日志标识对应的日志标记信息为目标日志标记信息。例如,基于上述实施例,若目标日志标识为a1-b1-c1,则日志库中的日志标记信息011和/或014为目标日志标记信息;若目标日志标识为a1-b2-c2,则日志库中的日志标记信息012为目标日志标记信息;若目标日志标识为a1-b1-c2,则日志库中的日志标记信息013为目标日志标记信息。
77.一些实施例中,日志查询系统中包括日志标识对照表,日志标识对照表中包括多个日志标记信息和多个日志标识,且每个日志标记信息对应一个日志标识。例如,日志标识对照表包括日志标记信息011、日志标记信息012、日志标记信息013、日志标记信息014、日
志标识a1-b1-c1、日志标识a1-b2-c2和日志标识a1-b1-c2,其中,日志标记信息011对应日志标识a1-b1-c1,日志标记信息014也对应日志标识a1-b1-c1,日志标记信息012对应日志标识a1-b2-c2,日志标记信息013对应日志标识a1-b1-c2。基于日志标记信息011可以访问并获取日志库中的日志1,日志标记信息012可以访问并获取日志库中的日志2,日志标记信息013可以访问并获取日志库中的日志3,日志标记信息014可以访问并获取日志库中的日志4。
78.若目标日志查询请求中的目标日志标识为日志标识对照表中的一个日志标识,基于目标日志标识,可以确定日志标识对照表中与目标日志标识对应的日志标记信息为目标日志标记信息。例如,基于上述实施例,若目标日志标识为a1-b1-c1,则日志标识对照表中的日志标记信息011和/或014为目标日志标记信息;若目标日志标识为a1-b2-c2,则日志标识对照表中的日志标记信息012为目标日志标记信息;若目标日志标识为a1-b1-c2,则日志标识对照表中的日志标记信息为013为目标日志标记信息。
79.s202,基于所述目标日志标记信息,访问所述日志库,得到所述目标日志。
80.示例性的,若目标日志标记信息为日志存储路径或存储位置,可以基于目标日志标记信息直接访问日志库,直接得到目标日志。若目标日志标记信息为日志的编号,可以遍历日志库的所有日志的编号,定位目标日志标记信息,确定目标日志标记信息对应的日志为目标日志。例如,若目标日志标记信息为日志标记信息011,基于目标日志标记信息011可以访问目标日志1,若目标日志标记信息为日志标记信息012,基于目标日志标记信息012可以访问目标日志2,若目标日志标记信息为日志库中的日志标记信息013,基于目标日志标记信息013可以访问目标日志3,若目标日志标记信息为目标日志标记信息014,基于目标日志标记信息014可以访问目标日志4。
81.s1032,根据所述目标日志标识和日志查询等级,从所述多个日志中确定所述关联日志。
82.作为执行s1032时的一种可能的实现方式的具体描述,如图5所示:
83.s301,根据所述目标日志标识和所述日志查询等级,从所述日志库中确定关联日志标识。
84.示例性的,在日志标识包括多个子标识的情况下,可以基于日志查询等级、目标日志标识中的多个子标识以及子标识数量,确定出关联日志标识。例如,目标日志标识为上述日志库中的日志标识a1-b1-c1,即包括子标识a1、子标识b1和子标识c1。若日志查询等级为低级,则关联日志标识包括子标识a1、子标识b1和子标识c1中的任意一个,可以确定上述日志库中的日志标识a1-b2-c2为关联日志标识。若日志查询等级为中级,则关联日志标识包括子标识a1、子标识b1和子标识c1中的任意两个,可以确定上述日志库中的日志标识a1-b1-c2为关联日志标识。若日志查询等级为高级,则确定关联日志标识包括子标识a1、子标识b1和子标识c1,即关联日志标识为a1-b1-c1。
85.s302,确定所述多个日志中与所述关联日志标识对应的日志为所述关联日志。
86.在一些实施例中,日志库中包括多个日志标记信息和多个日志标识,且每个日志标记信息对应一个日志标识。关联日志标识为日志库中的一个日志标识,基于关联日志标识,可以确定日志库中与关联日志标识对应的日志标记信息为关联日志标记信息,基于关联日志标记信息可以访问并获取到关联日志。例如,基于上述实施例,若关联日志标识为
a1-b2-c2,日志库中关联日志标识a1-b2-c2对应的关联日志标记信息为日志标记信息012,基于关联日志标记信息012可以访问关联日志2。若关联日志标识为a1-b1-c2,日志库中关联日志标识a1-b1-c2对应的关联日志标记信息为日志标记信息013,基于关联日志标记信息013可以访问关联日志3。若关联日志标识为a1-b1-c1,在目标日志标记信息为011的情况下,日志库中关联日志标识a1-b1-c1对应的关联日志标记信息为日志标记信息014,基于关联日志标记信息014可以访问关联日志4;在目标日志标记信息为014的情况下,日志库中关联日志标记信息a1-b1-c1对应的关联日志标记信息为日志标记信息011,基于关联日志标记信息011可以访问关联日志1。
87.在一些实施例中,日志查询系统中包括日志标识对照表,日志标识对照表中包括多个日志标记信息和多个日志标识,且每个日志标记信息对应一个日志标识。关联日志标识为日志标识对照表中的一个日志标识,基于关联日志标识,可以确定日志标识对照表中与关联日志标识对应的日志标记信息为关联日志标记信息,基于关联日志标记信息可以访问并获取到日志库中的关联日志。例如,基于上述实施例,若关联日志标识为a1-b2-c2,日志标识对照表中关联日志标识a1-b2-c2对应的关联日志标记信息为日志标记信息012,基于关联日志标记信息012可以访问日志库中的关联日志2。若关联日志标识为a1-b1-c2,日志标识对照表中关联日志标识a1-b1-c2对应的关联日志标记信息为日志标记信息013,基于关联日志标记信息013可以访问日志库中的关联日志3。若关联日志标识为a1-b1-c1,在目标日志标记信息为011的情况下,日志标识对照表中关联日志标识a1-b1-c1对应的关联日志标记信息为日志标记信息014,基于关联日志标记信息014可以访问日志库中的关联日志4;在目标日志标记信息为014的情况下,日志标识对照表中关联日志标记信息a1-b1-c1对应的关联日志标记信息为日志标记信息011,基于关联日志标记信息011可以访问日志库中的关联日志1。
88.本实施例中,通过目标日志查询标识,确定多个日志中与目标日志标识对应的日志为目标日志,日志库中包括目标日志标识;根据目标日志标识和日志查询等级,从多个日志中确定关联日志,能够基于日志查询等级来确定关联日志,显然不同的日志查询等级对应不同的关联日志,能够提升关联日志的灵活性。
89.图6为本公开提供的又一种日志查询方法的流程示意图,图6为图5所示实施例的基础上,执行s301时的一种可能的实现方式的具体描述,如下:
90.s3011,根据所述日志查询等级,确定目标子标识数量。
91.示例性的,每个日志标识中包括多个子标识,则目标日志标识中也包括多个子标识,例如,子标识数量为3,目标日志标识包括子标识a1、子标识b1和子标识c1,即目标日志标识记为a1-b1-c1。上述场景中,日志查询等级可以表征目标日志标识中的子标识与关联日志标识中的子标识的相似度,其中,目标日志标识与关联日志标识中的相同的子标识的数量越多,则日志查询等级越高。例如,若关联日志标识中包括子标识a1、子标识b1和子标识c1中的任意一个,则日志查询等级为低级,若关联日志标识中包括子标识a1、子标识b1和子标识c1中的任意两个,则日志查询等级为中级,若关联日志标识与目标日志标识完全相同,则日志查询等级为高级。
92.目标子标识为关联日志标识和目标日志标识中相同的子标识,可以先基于日志查询等级以及目标日志标识的子标识数量,可以确定关联日志标识的目标子标识数量。一些
实施例中,查询系统中设置有预设日志查询等级与预设相似度的对应关系,其中,对应关系中包括多个预设日志查询等级与多个预设相似度,且预设日志查询等级与预设相似度一一对应。若日志查询等级为l1,且日志查询等级l1为对应关系中的一个预设日志查询等级,查询对应关系可确定日志查询等级l1对应相似度s1,目标日志标识中包括n1个目标子标识,则基于s1*n1可以确定出目标子标识数量。
93.例如,目标日志标识包括三个子标识,若日志查询等级为低级,对应的相似度为1/3,则关联日志标识的目标子标识数量为1;若日志查询等级为中级,对应的相似度为2/3,则关联日志标识的目标子标识数量为2;若日志查询等级为高级,对应的相似度为1,则关联日志标识的目标子标识数量为3。
94.s3012,从所述目标日志标识中的所有子标识中,确定所述目标子标识数量的目标子标识。
95.示例性的,目标日志标识中的所有子标识为子标识a1、子标识b1和子标识c1,基于上述实施例,若目标子标识数量为1,从子标识a1、子标识b1和子标识c1中确定一个目标子标识,则目标子标识可以是a1、b1或c1。若目标子标识数量为2,从子标识a1、子标识b1和子标识c1中确定两个目标子标识,则两个目标子标识可以包括子标识a1、b1和c1中的任意两个,即两个目标子标识可以包括子标识a1和b1,可以包括子标识a1和c1,还可以包括子标识b1和c1。若目标子标识数量为3,从子标识a1、子标识b1和子标识c1中确定三个目标子标识,则三个目标子标识包括子标识a1、b1和c1,即三个目标子标识包括子标识a1、b1和c1。
96.s3013,根据所述目标子标识数量的目标子标识,从所述日志库中确定所述关联日志标识。
97.示例性的,基于上述实施例,日志库中包括目标日志标识a1-b1-c1,在一个目标子标识的情况下,日志库中包括子标识a1不包括子标识b1和c1的日志标识为a1-b2-c2,不存在包括子标识b1不包括子标识a1和c1的日志标识,且不存在包括子标识c1不包括子标识a1和b1的日志标识,如此,可以确定日志标识a1-b2-c2为关联日志标识。在两个目标子标识的情况下,日志库中包括子标识a1和b1不包括子标识c1的日志标识为a1-b1-c2,不存在包括子标识a1和c1不包括子标识c1的日志标识,且不存在包括子标识b1和c1不包括子标识a1的日志标识,如此,可以确定日志标识a1-b1-c2为关联日志标识。在三个目标子标识的情况下,日志库中包括子标识a1、b1和c1的日志标识为a1-b1-c1,如此,可以确定日志标识a1-b1-c2为关联日志标识。
98.本实施例中,每个日志标识中包括多个子标识,通过根据日志查询等级,确定目标子标识数量;从目标日志标识中的所有子标识中,确定目标子标识数量的目标子标识;根据目标子标识数量的目标子标识,从日志库中确定关联日志标识,可以基于目标日志标识和关联日志标识中相同的子标识的数量来表征日志查询等级,实现方式简单快捷。
99.图7为本公开提供的又一种日志查询方法的流程示意图,图7为图2所示实施例的基础上,执行s101之前,还包括:
100.s401,接收所述多个日志以及各自对应的日志标识。
101.示例性的,可以在log4j中的配置文件log4j.xml中的rollingfile加一个jsonlayout的keyvaluepair,其中,key为traceid值,即${ctx:traceid}。基于设置好的配置文件,可以针对每个输入的日志生成一个日志标识,并将日志标识基于线程局部变量进
行存储,使得log4j输出的数据中包括日志以及日志对应的日志标识。
102.基于预先设置的配置文件可以生成日志标识,无需修改应用的代码,实现方式灵活、简单。
103.log4j输出的多个日志及其各自对应的日志标识经过logstash的过滤后,传输至es,则es能够接收到多个日志及其各自对应的日志标识。
104.s402,基于所述多个日志各自对应的日志标识,建立所述日志库。
105.es基于接收到的多个日志及其各自对应的日志标识,建立索引,并建立日志库,显然,日志库中的多个日志可以对应一个日志标识。
106.本公开还提供一种日志查询装置,图8为本公开提供的一种日志查询装置的结构示意图,如图8所示,日志查询装置包括:
107.获取模块110,用于获取目标日志查询请求,所述目标日志查询请求中包括目标日志标识以及日志查询等级,所述日志查询等级用于表征查询到的关联日志与目标日志的关联程度。
108.确定模块120,用于根据所述目标日志查询请求,从日志库中确定所述目标日志以及所述目标日志的所述关联日志,所述日志库包括多个日志,所述多个日志包括所述目标日志和所述关联日志。
109.可选的,确定模块120,进一步用于根据所述目标日志标识,确定所述多个日志中与所述目标日志标识对应的日志为所述目标日志,所述日志库中包括所述目标日志标识;根据所述目标日志标识和所述日志查询等级,从所述多个日志中确定所述关联日志。
110.可选的,确定模块120,进一步用于根据所述目标日志标识和所述日志查询等级,从所述日志库中确定关联日志标识;确定所述多个日志中与所述关联日志标识对应的日志为所述关联日志。
111.可选的,每个日志标识中包括多个子标识。
112.确定模块120,进一步用于根据所述日志查询等级,确定目标子标识数量;从所述目标日志标识中的所有子标识中,确定所述目标子标识数量的所述目标子标识;根据所述目标子标识数量的所述目标子标识,从所述日志库中确定所述关联日志标识。
113.可选的,确定模块120,进一步用于根据所述目标日志标识,确定目标日志标记信息,所述日志库中包括所述目标日志标记信息,所述目标日志标记信息与所述目标日志标识对应;基于所述目标日志标记信息,访问所述日志库,得到所述目标日志。
114.可选的,日志查询装置,还包括:
115.接收模块,用于接收所述多个日志及其各自对应的日志标识。
116.建立模块,基于所述多个日志及其各自对应的日志标识,建立所述日志库。
117.可选的,所述日志标识是基于预设配置文件生成并与对应的日志绑定的。
118.本公开提供的装置,可用于执行上述方法实施例的步骤,其实现原理和技术效果类似,此处不再赘述。
119.本公开还提供一种电子设备,包括:处理器,所述处理器用于执行存储于存储器的计算机程序,所述计算机程序被处理器执行时实现上述方法实施例的步骤。
120.图9本公开提供的一种电子设备的结构示意图,图9示出了适于用来实现本发明实施例实施方式的示例性电子设备的框图。图9示的电子设备仅仅是一个示例,不应对本发明
实施例的功能和使用范围带来任何限制。
121.如图9所示,电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于:一个或者多个处理器16,系统存储器28,连接不同系统组件(包括系统存储器28和处理器16)的总线18。
122.总线18表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(isa)总线,微通道体系结构(mac)总线,增强型isa总线、视频电子标准协会(vesa)局域总线以及外围组件互连(pci)总线。
123.电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
124.系统存储器28可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(ram)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统34可以用于读写不可移动的、非易失性磁介质(通常称为“硬盘驱动器”)。可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如cd-rom、dvd-rom或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明实施例各实施例的功能。
125.具有一组(至少一个)程序模块42的程序/实用工具40,可以存储在例如系统存储器28中,这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明实施例所描述的实施例中的功能和/或方法。
126.处理器16通过运行存储在系统存储器28中的多个程序中的至少一个程序,从而执行各种功能应用以及数据处理,例如实现本发明实施例所提供的方法实施例。
127.本公开还提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述方法实施例的步骤。
128.可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
129.计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
130.计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、电线、光缆、rf等等,或者上述的任意合适的组合。
131.可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++,还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)域连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
132.本公开还提供一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行实现上述方法实施例的步骤。
133.需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
134.以上所述仅是本公开的具体实施方式,使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下,在其它实施例中实现。因此,本公开将不会被限制于本文所述的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1