一种用户自定义规则实时解析日志数据的方法与系统与流程

本发明涉及一种用户自定义规则实时解析日志数据的方法与系统，尤其涉及一种大数据技术数据处理领域的用户自定义规则实时解析日志数据的方法与系统。

背景技术：

在大数据技术领域，常常需要对日志信息进行分类解析，将非结构化的程序模式日志信息源语，按照特定规则解析成结构化的分类展示日志信息，便于统计分析。

然而，由于日志信息的来源和规模存在差异，造成日志信息中包含的信息类别和容量也各不相同，目前尚无一种简单易用的配置方案可以解析各种类型的日志信息。传统做法是有技术人员预先分析日志类型，然后编写相应解析规则代码，经过校验后应用于该类日志信息的批量解析。该方式不仅对编写规则代码的技术员提出很高的技术要求，而且需要作出大量的代码编写和测试工作才能应用于批量解析，此外解析结果展示也不够直观，更重要的是该解析规则往往只能针对本次解析，对于新的日志信息不具备通用性，需要编写新的解析规则，产生大量的重复工作。

技术实现要素：

针对当前日志信息解析存在的问题，本发明提出一种可视化输入解析规则并图形化输出解析结果的新型自定义规则实时解析日志数据系统。该系统突破传统需要编写解析规则代码的思维模式，采用图形化解析规则选择模式向用户展示可选解析规则，并提供日志样例输入界面，用户通过输入日志样例并选择一种或者多种解析规则，该系统自动按照选定规则对日志样例进行解析并生成图形化解析结果图，当用户确定保存选择的解析规则后即可用于批量解析日志信息并得到图形化解析结果图，大大降低了对操作用户的技术要求，提高了解析结果的展示效果，提高了可操作性。

本发明解决其技术问题所采用的技术方案是：

输入信息获取步骤，用户通过交互系统输入日志样例和自定义解析规则请求。

优选的，输入信息获取步骤中，所述交互系统包括接收日志样例的输入栏和接收自定义解析规则的图形化按钮选择栏。

优选的，输入信息获取步骤中，所述的解析规则包括正则表达式、KeyValue解析、字段值拆分(split)、String类型转换成数值型、JSON解析、URL解码、时间戳识别和UserAgent解析，且根据解析需要可以选取其中的一种或者多种的组合。

解析规则应用步骤，服务端接口获取并解析用户自定义规则，采用该规则解析日志样例并通过可视化界面树状图展示解析结果。

优选的，所述解析规则应用步骤中，所述获取并解析用户自定义规则采用遍历的方式进行读取和解析所述规则，生成服务端解析器识别的解析规则，并采用该规则对用户输入的日志样例进行解析生成树状可视化结构图。

确认保存自定义规则步骤，用户确定自定义规则名称并保存生成最终解析规则。

优选的，确认保存自定义规则步骤中，用户根据日志样例解析结果，确认是否需要追加、修改或者删除自定义规则，并在修改完毕后保存选择结果，形成一条最终解析规则。

优选的，所述追加、修改或者删除自定义规则操作产生后，将会重新生成解析结果。

批量解析日志步骤，服务端解析引擎获取用户最终解析规则，并采用该规则批量解析日志信息，通过可视化界面树状图实时显示解析结果。

优选的，所述批量解析日志步骤中，所述服务端解析引擎自动读取服务端解析接口中的用户解析规则，并按所述规则对日志信息进行实时解析，通过显示界面树状图实时展示解析结果。

本发明还公开了一种自定义规则实时解析日志数据的系统，该系统包含以下模块：

用户交互模块，用于提供用户输入、规则选择界面以及规则追加、修改或者删除功能和确认保存自定义规则功能。

优选的，所述用户交互模块中，所述确认保存自定义规则是指用户根据日志样例解析结果显示判断是否需要重新选择自定义解析规则以达到更好的解析效果，并在获得理想解析效果后确定保存已选择的自定义规则。

规则生成模块，用于自动读取用户输入自定义规则，解析并应用该规则生成服务端解析引擎识别的规则，采用该规则解析日志样例。

服务端解析模块，用于自动读取解析规则，并应用该规则批量解析日志信息。

所述服务端解析模块中，所述自动读取解析规则是指服务端解析引擎从服务端解析接口自动读取其保存的解析规则，并按照该规则对日志信息进行批量解析。

结果展示模块，用于对日志样例解析结果和批量日志信息解析结果进行显示。

采用上述技术方案，本发明具有以下优点：

本发明所述的用户自定义规则实时解析日志数据的方法与系统，通过可视化界面输入的方式接收用户提供的日志样例以及选择的解析规则，并利用服务端解析接口对该自定义规则进行解析，生成并展示可视化树状结构解析结果，用户对可追加、编辑或者修改选择的解析规则至得到满意的解析结果并保存生成最终解析规则，服务端解析引擎通过服务端接口读取用户保存的规则，并用该规则批量解析日志信息，并采用可视化树状结构展示解析结果，无需用户编写解析规则源码并对源码的解析效果进行测试，大大降低了操作用户的技术要求并提高了解析结果的展示效果，提高了可操作性。

附图说明

图1为本发明较佳实施方式的用户自定义规则实时解析日志数据的方法与系统的步骤示意图。

图2为本发明较佳实施方式的用户自定义规则实时解析日志数据的方法与系统的系统模块图。

图3、4为本发明较佳实施方式的用户自定义规则实时解析日志数据的方法与系统的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明的一个实施例，而不是全部实施例。基于本发明中的实施例，本领域的一般技术人员在没有做出创造性劳动的前提下所获得的其他实施例，都属于本发明保护的范围。

本发明公开了一种用户自定义规则实时解析日志数据的方法，参见图1所示，该方法包含以下步骤：

步骤S101：用户通过可视化界面输入日志样例和解析规则；

步骤S102：服务端解析接口对自定义规则进行解析，生成并展示解析结果；

步骤S103：用户对服务端生成的解析结果确认保存生成日志批量解析规则；

步骤S104：服务端解析引擎通过服务端接口读取用户自定义规则，并用该规则批量解析日志信息。

本发明实施例中，通过可视化界面输入的方式接收用户提供的日志样例以及选择的解析规则，并利用服务端解析接口对该自定义规则进行解析，生成并展示可视化树状结构解析结果，用户对可追加、编辑或者修改选择的解析规则至得到满意的解析结果并保存生成最终解析规则，服务端解析引擎通过服务端接口读取用户保存的规则，并用该规则批量解析日志信息，并采用可视化树状结构展示解析结果。

可见，针对来源和规模不同的日志信息，操作用户无需按照传统模式编写解析规则代码，并对该规则代码做大量效果测试工作，而只需要在系统提供的图形化解析规则选择按钮中选择对应解析规则，便可通过服务端解析端口自动解析生成服务端解析引擎识别的解析规则，同时用户还可以通过系统提供的日志样例输入框输入日志样例获得树状结构的解析结果，针对结果选择追加、编辑或修改解析规则已达到预期解析效果，大大降低了操作用户的技术要求并提高了解析结果的展示效果，提高了可操作性。

本发明实施例公开了一种用户自定义规则实时解析日志数据的系统，参见图2。相对上一实施例，本实施例对技术方案做进一步的说明和优化。具体的，本实施例中用户自定义规则实时解析日志数据的系统包含以下模块：

S1：用户交互模块。

优选的，该模块用于提供用户输入、规则选择界面以及规则追加、修改或者删除功能和确认保存自定义规则功能。

优选的，所述确认保存自定义规则是指用户根据日志样例解析结果显示判断是否需要重新选择自定义解析规则以达到更好的解析效果，并在获得理想解析效果后确定保存已选择的自定义规则。

S2：规则生成模块。

优选的，该模块用于自动读取用户输入自定义规则，解析并应用该规则生成服务端解析引擎识别的规则，采用该规则解析日志样例。

S3：服务端解析模块。

优选的，该模块用于自动读取解析规则，并应用该规则批量解析日志信息。

优选的，所述自动读取解析规则是指服务端解析引擎从服务端解析接口自动读取其保存的解析规则，并按照该规则对日志信息进行批量解析。

S4：结果展示模块。

优选的，该模块用于对日志样例解析结果和批量日志信息解析结果进行显示。

本发明实施例公开了一种用户自定义规则实时解析日志数据的系统，参见图2、3，相对上一实施例，本实施例对技术方案作了更进一步的说明和优化。具体的，本实施例中用户自定义规则实时解析日志数据的系统包含以下处理流程：

S11：日志样例输入。

优选的，操作用户通过系统提供的可视化样例输入框输入日志样例，该样例应与目标表解析日志信息类型相同或者包含目标解析日志的信息类型。

S12：解析规则选择。

优选的，操作用户根据系统提供的可视化选择按钮，在可选解析规则中选择合适的解析规则，所述可选规则包括正则表达式、KeyValue解析、字段值拆分(split)、String类型转换成数值型、JSON解析、URL解码、时间戳识别和UserAgent解析。

S21：服务端解析接口。

优选的，当操作用户输入日志样例并选择解析规则后，服务端解析接口自动读取用户输入信息，采用递归遍历的方法解析用户输入的解析规则并生成服务端解析引擎识别的解析规则，应用该规则对用户输入的日志样例进行解析，得到结构化的分类解析结果。

S41：样例解析结果展示。

优选的，服务端解析根据用户输入的解析规则对日志样例解析得到的结果，以可视化树状结构图的方式展示给操作用户。

S13：判断解析结果。

优选的，操作用户根据解析结果的树状结构图，确定是否可以生成最终解析规则，若是，则执行S22，否则用户可选择追加、编辑或修改解析规则后执行S12。

S22：解析规则生成。

优选的，用户对解析结果满意则可保存选择的解析规则，并指定该规则的名称，形成一条最终的解析规则记录。

S31：解析规则读取。

优选的，服务端解析引擎从服务端接口获取用户保存的解析规则。

S32：批量日志解析。

优选的，服务端解析引擎根据从服务端接口读取到的解析规则，对日志信息进行实时批量解析，得到结构化的分类解析结果。

S42：批量解析结果展示。

优选的，服务端解析引擎将解析结果实时输送给显示模块，有显示模块处理形成可视化树状结构解析结果。

综上所述，通过可视化界面输入的方式接收用户提供的日志样例以及选择的解析规则，并利用服务端解析接口对该自定义规则进行解析，生成并展示可视化树状结构解析结果，用户对可追加、编辑或者修改选择的解析规则至得到满意的解析结果并保存生成最终解析规则，服务端解析引擎通过服务端接口读取用户保存的规则，并用该规则批量解析日志信息，并采用可视化树状结构展示解析结果，针对来源和规模不同的日志信息，操作用户无需按照传统模式编写解析规则代码，并对该规则代码做大量效果测试工作，而只需要在系统提供的图形化解析规则选择按钮中选择对应解析规则，便可通过服务端解析端口自动解析生成服务端解析引擎识别的解析规则，同时用户还可以通过系统提供的日志样例输入框输入日志样例获得树状结构的解析结果，针对结果选择追加、编辑或修改解析规则已达到预期解析效果，大大降低了操作用户的技术要求并提高了解析结果的展示效果，提高了可操作性。

以上所述仅为举例性，而非为限制性。本领域的技术人员可以对发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。