日志信息的提取方法、装置、存储介质及电子设备与流程

本发明涉及大数据，具体而言，涉及一种日志信息的提取方法、装置、存储介质及电子设备。

背景技术：

1、目前，对系统进行监控运维，主要的监控方式之一是日志监控。相关技术中，一般针对日志进行监控，其中一种处理方式为：将日志全量采集、数据集中后再进行分析(例如：关键词筛选等)。但是由于日志数据量较大，所以需要占用较大的网络带宽进行实时传输。另一种处理方式为：在节点本地设置程序对日志数据直接进行过滤，仅收集过滤后的日志信息。但是，收集日志信息后对日志的筛选逻辑无法直观查看、动态调整，对每个服务器节点的日志信息进行筛选的筛选逻辑，与服务器节点的适配性也主要依赖人工进行维护，维护效率低。

2、针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

1、本发明实施例提供了一种日志信息的提取方法、装置、存储介质及电子设备，以至少解决相关技术中直接采集全量日志信息再进行日志信息提取，或者通过本地程序直接过滤再收集过滤后的日志信息，日志信息提取效果不佳的技术问题。

2、根据本发明实施例的一个方面，提供了一种日志信息的提取方法，包括：通过信息提取探针获取目标服务器节点上的原始日志信息；获取所述信息提取探针中的目标配置信息，其中，所述目标配置信息包括：对所述原始日志信息进行信息提取的信息提取逻辑，所述信息提取逻辑由目标操控中心配置和管理；通过目标配置信息对所述原始日志信息中的信息进行提取，得到目标日志信息。

3、进一步地，所述信息提取探针包括：第一探针和第二探针，所述目标配置信息还包括：所述第一探针的第一配置信息和所述第二探针的第二配置信息，通过目标配置信息对所述原始日志信息中的信息进行提取，得到目标日志信息的步骤，包括：通过所述第一配置信息对所述原始日志信息中的目标关键词进行提取，得到目标数据；通过所述第二配置信息对所述目标服务器节点的运行状态进行检测，得到检测结果，其中，所述检测结果包括：所述原始日志信息中无法记录的所述目标服务器节点的运行状态的信息；由所述目标数据和所述检测结果组成所述目标日志信息。

4、进一步地，在获取所述信息提取探针中的目标配置信息之前，包括：获取所述目标操控中心的目标描述文件，其中，所述目标描述文件用于对所述信息提取探针进行配置和管理，所述目标描述文件包括：预设条件和可执行文件，所述可执行文件中包括：所述目标配置信息；从m个服务器节点中筛选满足所述预设条件的节点，得到n个服务器节点，其中，所述n个服务器节点中包括所述目标服务器节点，m和n为正整数，n小于或等于m；将所述可执行文件下发至所述n个服务器节点。

5、进一步地，将所述可执行文件下发至所述n个服务器节点的步骤，包括：基于预设规则，选择变更窗口和下发策略，其中，所述变更窗口用于确定将所述可执行文件发送至所述n个服务器节点的时间段，所述下发策略由所述目标操控中心进行配置；基于所述变更窗口和所述下发策略，将所述可执行文件下发至所述n个服务器节点。

6、进一步地，在将所述可执行文件下发至所述n个服务器节点之后，还包括：对所述目标描述文件中所述信息提取逻辑进行调整；基于调整后的所述目标描述文件，对所述n个服务器节点中的所述可执行文件进行更新。

7、进一步地，在将所述可执行文件下发至所述n个服务器节点之后，还包括：通过所述目标操控中心查询所述信息提取探针的基本信息，其中，所述基本信息包括下述其中之一：版本信息、运行状态信息、所述信息提取逻辑的信息；对所述信息提取探针的所述基本信息进行展示。

8、进一步地，在将所述可执行文件下发至所述n个服务器节点之后，还包括：通过所述目标服务器节点上的守护进程，监测所述信息提取探针的运行状态；将所述信息提取探针的运行状态发送至所述目标操控中心。

9、进一步地，在通过目标配置信息对所述原始日志信息中的信息进行提取，得到目标日志信息之后，所述方法还包括：确定数据传输通道；通过所述数据传输通道，将所述目标日志信息传输至目标系统，其中，所述目标系统用于对所述目标服务器节点的日志进行监控。

10、根据本发明实施例的另一方面，还提供了一种日志信息的提取装置，包括：第一获取单元，用于通过信息提取探针获取目标服务器节点上的原始日志信息；第二获取单元，用于获取所述信息提取探针中的目标配置信息，其中，所述目标配置信息包括：对所述原始日志信息进行信息提取的信息提取逻辑，所述信息提取逻辑由目标操控中心配置和管理；提取单元，用于通过目标配置信息对所述原始日志信息中的信息进行提取，得到目标日志信息。

11、进一步地，所述信息提取探针包括：第一探针和第二探针，所述目标配置信息还包括：所述第一探针的第一配置信息和所述第二探针的第二配置信息，提取单元包括：第一提取子单元，用于通过所述第一配置信息对所述原始日志信息中的目标关键词进行提取，得到目标数据；检测子单元，用于通过所述第二配置信息对所述目标服务器节点的运行状态进行检测，得到检测结果，其中，所述检测结果包括：所述原始日志信息中无法记录的所述目标服务器节点的运行状态的信息；组成单元，用于由所述目标数据和所述检测结果组成所述目标日志信息。

12、进一步地，日志信息的提取装置还包括：第三获取单元，用于在获取所述信息提取探针中的目标配置信息之前，获取所述目标操控中心的目标描述文件，其中，所述目标描述文件用于对所述信息提取探针进行配置和管理，所述目标描述文件包括：预设条件和可执行文件，所述可执行文件中包括：所述目标配置信息；筛选单元，用于从m个服务器节点中筛选满足所述预设条件的节点，得到n个服务器节点，其中，所述n个服务器节点中包括所述目标服务器节点，m和n为正整数，n小于或等于m；下发单元，用于将所述可执行文件下发至所述n个服务器节点。

13、进一步地，下发单元包括：选择子单元，用于基于预设规则，选择变更窗口和下发策略，其中，所述变更窗口用于确定将所述可执行文件发送至所述n个服务器节点的时间段，所述下发策略由所述目标操控中心进行配置；下发子单元，用于基于所述变更窗口和所述下发策略，将所述可执行文件下发至所述n个服务器节点。

14、进一步地，日志信息的提取装置还包括：调整单元，用于在将所述可执行文件下发至所述n个服务器节点之后，对所述目标描述文件中所述信息提取逻辑进行调整；更新单元，用于基于调整后的所述目标描述文件，对所述n个服务器节点中的所述可执行文件进行更新。

15、进一步地，日志信息的提取装置还包括：查询单元，用于在将所述可执行文件下发至所述n个服务器节点之后，通过所述目标操控中心查询所述信息提取探针的基本信息，其中，所述基本信息包括下述其中之一：版本信息、运行状态信息、所述信息提取逻辑的信息；展示单元，用于对所述信息提取探针的所述基本信息进行展示。

16、进一步地，日志信息的提取装置还包括：监测单元，用于在将所述可执行文件下发至所述n个服务器节点之后，通过所述目标服务器节点上的守护进程，监测所述信息提取探针的运行状态；发送单元，用于将所述信息提取探针的运行状态发送至所述目标操控中心。

17、进一步地，日志信息的提取装置还包括：确定单元，用于在通过目标配置信息对所述原始日志信息中的信息进行提取，得到目标日志信息之后，确定数据传输通道；传输单元，用于通过所述数据传输通道，将所述目标日志信息传输至目标系统，其中，所述目标系统用于对所述目标服务器节点的日志进行监控。

18、根据本发明实施例的另一方面，还提供了一种电子设备，包括：处理器；以及存储器，用于存储处理器的可执行指令；其中，处理器配置为经由执行可执行指令来执行上述任意一项的日志信息的提取方法。

19、根据本发明实施例的另一方面，还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，其中，在计算机程序运行时控制计算机可读存储介质所在设备执行上述任意一项的日志信息的提取方法。

20、在本发明中，通过信息提取探针获取目标服务器节点上的原始日志信息；获取信息提取探针中的目标配置信息，其中，目标配置信息包括：对原始日志信息进行信息提取的信息提取逻辑，信息提取逻辑由目标操控中心配置和管理；通过目标配置信息对原始日志信息中的信息进行提取，得到目标日志信息。进而解决了相关技术中直接采集全量日志信息再进行日志信息提取，或者通过本地程序直接过滤再收集过滤后的日志信息，日志信息提取效果不佳的技术问题。在本发明中，通过信息提取探针对服务器节点中的原始日志信息进行信息提取，并在目标操控中心对信息提取逻辑进行配置和管理，避免了相关技术中采集全量日志信息再上送至上游系统后，通过上游系统进行日志信息提取的过程中，占用网络带宽高，在本地程序直接过滤再收集过滤后的日志信息，难以查看和调整信息提取逻辑的情况，从而实现了提高信息提取逻辑的维护效率和节省网络资源的技术效果。