一种日志管理方法和装置与流程

本申请涉及计算机技术领域，尤其涉及一种日志管理方法和装置。

背景技术：

云数据中心可以根据实际的业务需求，将多种类型的虚拟化平台接入到系统中进行统一的管理。为了便于系统的管理，往往要求系统搜集并对日志进行有效的管理。当前的虚拟化平台大多只是针对某一特定的虚拟化类型，因此其日志管理只适用于该特定类型的虚拟化，而不具有通用性，无法满足跨虚拟化、跨集群的日志集中管理。而对于能够兼容多种虚拟化平台的云数据中心，各种虚拟化类型及物理设备之间存在着较大的差异，其产生的日志在内容和格式上也存在着较大的差异，需要运维人员花费较多的时间和精力进行日志管理。

技术实现要素：

本申请的主要目的在于提供一种日志管理方法和装置，可以屏蔽底层资源的差异，实现跨虚拟化平台的日志管理，节省了系统运维的人力成本，提高了系统的可管理性。

为了解决上述技术问题，本申请提供了一种日志管理方法，包括：

利用预定的搜索引擎定时对底层资源的日志进行检索，按照预设的规则提取日志中的日志信息；

针对每一条提取的日志信息分别执行如下操作：对提取的日志信息进行分类，并根据所述提取的日志信息所属的类别对应的格式对所述提取的日志信息进行封装。

可选地，所述底层资源包括：

一个或多个虚拟化平台，和/或不属于任何虚拟化平台的硬件设备。

可选地，利用预定的搜索引擎定时对底层资源的日志进行检索包括：

利用预定的搜索引擎，通过预设的关键字或检索式定时对不同底层资源的日志进行检索。

可选地，所述日志信息所属的类别包括：操作日志类别和告警日志类别；

其中，所述操作日志类别对应的格式为：操作时间-操作者-操作的ip地址-操作对象-操作结果-所属模块-日志级别-详细信息；

所述告警日志类别对应的格式为：资源名称-ip地址-资源类型-告警级别-告警时间-告警详情。

可选地，在根据所述提取的日志信息所属的类别对应的格式对所述提取的日志信息进行封装之前，所述方法还包括：

根据日志信息所属的类别对应的检测规则对所述提取的日志信息进行检测；若对所述提取的日志信息的检测结果为失败，则产生一条错误记录并删除所述提取的日志信息；

其中，错误记录包括检测失败的原因。

为了解决上述问题，本申请还提供了一种日志管理装置，包括：存储器和处理器；其中：

所述存储器，用于存储用于日志管理的程序；

所述处理器，用于读取执行所述用于日志管理的程序，执行如下操作：

利用预定的搜索引擎定时对底层资源的日志进行检索，按照预设的规则提取日志中的日志信息；

针对每一条提取的日志信息分别执行如下操作：对提取的日志信息进行分类，并根据所述提取的日志信息所属的类别对应的格式对所述提取的日志信息进行封装。

可选地，所述底层资源包括：

一个或多个虚拟化平台，和/或不属于任何虚拟化平台的硬件设备。

可选地，利用预定的搜索引擎定时对底层资源的日志进行检索包括：

利用预定的搜索引擎，通过预设的关键字或检索式定时对不同底层资源的日志进行检索。

可选地，所述日志信息所属的类别包括：操作日志类别和告警日志类别；

其中，所述操作日志类别对应的格式为：操作时间-操作者-操作的ip地址-操作对象-操作结果-所属模块-日志级别-详细信息；

所述告警日志类别对应的格式为：资源名称-ip地址-资源类型-告警级别-告警时间-告警详情。

可选地，所述处理器读取执行所述用于日志管理的程序，还执行如下操作：

在根据所述提取的日志信息所属的类别对应的格式对所述提取的日志信息进行封装之前，

根据日志信息所属的类别对应的检测规则对所述提取的日志信息进行检测；若对所述提取的日志信息的检测结果为失败，则产生一条错误记录并删除所述提取的日志信息；

其中，错误记录包括检测失败的原因。

综上，根据本发明实施例提出的日志管理方法和装置，利用预定的搜索引擎定时对底层资源的日志进行检索，按照预设的规则提取日志中的日志信息；针对每一条提取的日志信息分别执行如下操作：对提取的日志信息进行分类，并根据所述提取的日志信息所属的类别对应的格式对所述提取的日志信息进行封装。本发明实施例的日志管理方法可以屏蔽底层资源的差异，实现跨虚拟化平台的日志管理，节省了系统运维的人力成本，提高了系统的可管理性。

附图说明

图1为本发明实施例的日志管理方法的流程图。

图2为本发明实施例的日志管理装置的结构示意图。

图3为本发明的应用示例的跨虚拟化平台的日志管理架构的示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚明白，下文中将结合附图对本申请的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

图1是本发明实施例的日志管理方法的流程图。根据图1的流程图，本实施例的日志管理方法包括以下步骤：

步骤s1：利用预定的搜索引擎定时对底层资源的日志进行检索，按照预设的规则提取日志中的日志信息。

步骤s2：针对每一条提取的日志信息分别执行如下操作：对提取的日志信息进行分类，并根据所述提取的日志信息所属的类别对应的格式对所述提取的日志信息进行封装。

在一个示例性的实施例中，在利用预定的搜索引擎定时对底层资源的日志进行检索之前，日志管理方法还可以包括：

获取底层资源的日志的获取权限和查看权限。

可选地，所述底层资源包括：

一个或多个虚拟化平台，和/或不属于任何虚拟化平台的硬件设备。

在一个示例性的实施例中，底层资源可以包括硬件资源和/或软件资源。

可选地，利用预定的搜索引擎定时对底层资源的日志进行检索包括：

利用预定的搜索引擎，通过预设的关键字或检索式定时对不同底层资源的日志进行检索。

在一个实例性的实施例中，上述预设的关键字或检索式可以包括某个性能参数名称或告警名称等。在另一个示例性的实施例中，上述预设的关键字或检索式可以包括一个或多个时间段。该一个或多个时间段可以是指定起始时间点和终止时间点，或者指定起始时间点和时间段长度的时间段。上述预设的关键字或检索式可以包括其他的任何可以作为关键字的信息，或其他的任何可能的检索式，本申请对此并不做具体限定。

在一个示例性的实施例中，预设的规则可以包括待提取的信息；按照预设的规则提取日志中的日志信息可以包括：

按照预设的规则中包括的待提取的信息对检索出的每条日志进行信息的匹配，提取匹配的日志信息。

在另一个示例性的实施例中，按照预设的规则中包括的待提取的信息对检索出的每条日志进行信息的匹配可以首先按照字符进行匹配，在字符匹配未成功的情况下，再按照语义进行匹配。例如，若预设的规则中包括的待提取的信息其中之一为：本资源的ip地址，首先在检索出的日志中按照“本资源的ip地址”进行匹配，若日志中包含“本资源的ip地址”，则再匹配日志中的“本资源的ip地址”后面的字符是否为“：”，以及“：”后的字符是否是“ip地址”的格式；若是，则认为“本资源的ip地址”匹配成功，将匹配成功的“本资源的ip地址”及地址信息从该日志中提取出来。若日志中不包含“本资源的ip地址”，可以继续按照语义对“本资源的ip地址”进行匹配，例如：当检测到“本资源：xx.xx.xx.xx”时，可以认为“本资源的ip地址”匹配成功，将匹配成功的“本资源的ip地址”及地址信息从该日志中提取出来。

在一个示例性的实施例中，预设的规则可以包括不需要提取的信息，按照预设的规则提取日志中的日志信息可以包括：

按照预设的规则中包括的不需要提取的信息对检索出的每条日志进行信息的匹配，将匹配的日志信息排除后提取日志中剩余的日志信息。

在另一个示例性的实施例中，不需要提取的信息可以包括虚拟平台的虚拟资源类型。不同的虚拟平台可能对应不同的虚拟资源类型，上层在进行日志管理时，不关心不同的虚拟平台的不同虚拟资源类型。其中，不需要提取的信息可以根据用户的具体需求进行设置，本申请对此并不做具体限定。

可选地，所述日志信息所属的类别包括：操作日志类别和告警日志类别；

其中，所述操作日志类别对应的格式为：操作时间-操作者-操作的ip地址-操作对象-操作结果-所属模块-日志级别-详细信息；

所述告警日志类别对应的格式为：资源名称-ip地址-资源类型-告警级别-告警时间-告警详情。

在一个示例性的实施例中，根据所述提取的日志信息所属的类别对应的格式对所述提取的日志信息进行封装之后，所述日志管理方法还可以包括：

根据所述提取的日志信息所属的类别，将封装后的日志信息发送给不同的日志管理模块进行存储和管理。

在另一个示例性的实施中，可以自定义日志管理策略。该日志管理策略可以包括设置日志保留时间，通知方式，是否自动删除日志，删除日志的时间段，设置日志告警阈值等。其中，当日志在磁盘的占用率超过预设的告警阈值时，发送告警通知。日志管理策略可以采用其他的不同的方式，本申请对日志管理策略的具体内容并不做限定。

在另一个示例性的实施例中，日志管理策略可以按照日志的类别分别设置。例如，不同的日志的类别可以设置不同的日志保留时间。同样地，不同的日志的类别可以对应的不同的日志管理策略，本申请对此也不做具体限定。

在另一个示例性的实施例中，本实施例的日志管理方法还包括：日志多格式的导出，以及自定义检索式。

可选地，在根据所述提取的日志信息所属的类别对应的格式对所述提取的日志信息进行封装之前，所述方法还包括：

根据日志信息所属的类别对应的检测规则对所述提取的日志信息进行检测；若对所述提取的日志信息的检测结果为失败，则产生一条错误记录并删除所述提取的日志信息；

其中，错误记录包括检测失败的原因。

在一个示例性的实施例中，日志信息所属的类别对应的检测规则可以包括日志信息所属的类别对应的最关键的日志信息，若对所述提取的日志信息的检测结果为失败，即，所述提取的日志信息不包括日志信息所属的类别对应的检测规则包括的最关键的日志信息。例如，若日志信息所属的类别为告警日志类别，则告警日志类别对应的检测规则可以包括告警时间或告警详情。若提取的日志信息中没有包括告警时间或告警详情，则对于告警日志类别的日志来讲，该提取的日志信息缺乏最关键的信息，对于后续的运维意义不大，可以删除该提取的日志信息，并产生一条错误记录。

综上，本发明实施例提出的日志管理方法可以屏蔽底层资源的差异，实现跨虚拟化平台的日志管理，节省了系统运维的人力成本，提高了系统的可管理性。

图2是本发明实施例的日志管理装置的结构示意图。根据图2所示的示意图，本实施例的日志管理装置，包括存储器100和处理器200。其中：

所述存储器100，用于存储用于日志管理的程序；

所述处理器200，用于读取执行所述用于日志管理的程序，执行如下操作：

利用预定的搜索引擎定时对底层资源的日志进行检索，按照预设的规则提取日志中的日志信息；

针对每一条提取的日志信息分别执行如下操作：对提取的日志信息进行分类，并根据所述提取的日志信息所属的类别对应的格式对所述提取的日志信息进行封装。

在一个示例性的实施例中，在利用预定的搜索引擎定时对底层资源的日志进行检索之前，日志管理方法还可以包括：

获取底层资源的日志的获取权限和查看权限。

可选地，所述底层资源包括：

一个或多个虚拟化平台，和/或不属于任何虚拟化平台的硬件设备。

在一个示例性的实施例中，底层资源可以包括硬件资源和/或软件资源。

可选地，利用预定的搜索引擎定时对底层资源的日志进行检索包括：

利用预定的搜索引擎，通过预设的关键字或检索式定时对不同底层资源的日志进行检索。

在一个实例性的实施例中，上述预设的关键字或检索式可以包括某个性能参数名称或告警名称等。在另一个示例性的实施例中，上述预设的关键字或检索式可以包括一个或多个时间段。该一个或多个时间段可以是指定起始时间点和终止时间点，或者指定起始时间点和时间段长度的时间段。上述预设的关键字或检索式可以包括其他的任何可以作为关键字的信息，或其他的任何可能的检索式，本申请对此并不做具体限定。

在一个示例性的实施例中，预设的规则可以包括待提取的信息；按照预设的规则提取日志中的日志信息可以包括：

按照预设的规则中包括的待提取的信息对检索出的每条日志进行信息的匹配，提取匹配的日志信息。

在另一个示例性的实施例中，按照预设的规则中包括的待提取的信息对检索出的每条日志进行信息的匹配可以首先按照字符进行匹配，在字符匹配未成功的情况下，再按照语义进行匹配。例如，若预设的规则中包括的待提取的信息其中之一为：本资源的ip地址，首先在检索出的日志中按照“本资源的ip地址”进行匹配，若日志中包含“本资源的ip地址”，则再匹配日志中的“本资源的ip地址”后面的字符是否为“：”，以及“：”后的字符是否是“ip地址”的格式；若是，则认为“本资源的ip地址”匹配成功，将匹配成功的“本资源的ip地址”及地址信息从该日志中提取出来。若日志中不包含“本资源的ip地址”，可以继续按照语义对“本资源的ip地址”进行匹配，例如：当检测到“本资源：xx.xx.xx.xx”时，可以认为“本资源的ip地址”匹配成功，将匹配成功的“本资源的ip地址”及地址信息从该日志中提取出来。

在一个示例性的实施例中，预设的规则可以包括不需要提取的信息，按照预设的规则提取日志中的日志信息可以包括：

按照预设的规则中包括的不需要提取的信息对检索出的每条日志进行信息的匹配，将匹配的日志信息排除后提取日志中剩余的日志信息。

在另一个示例性的实施例中，不需要提取的信息可以包括虚拟平台的虚拟资源类型。不同的虚拟平台可能对应不同的虚拟资源类型，上层在进行日志管理时，不关心不同的虚拟平台的不同虚拟资源类型。其中，不需要提取的信息可以根据用户的具体需求进行设置，本申请对此并不做具体限定。

可选地，所述日志信息所属的类别包括：操作日志类别和告警日志类别；

其中，所述操作日志类别对应的格式为：操作时间-操作者-操作的ip地址-操作对象-操作结果-所属模块-日志级别-详细信息；

所述告警日志类别对应的格式为：资源名称-ip地址-资源类型-告警级别-告警时间-告警详情。

在一个示例性的实施例中，根据所述提取的日志信息所属的类别对应的格式对所述提取的日志信息进行封装之后，所述日志管理方法还可以包括：

根据所述提取的日志信息所属的类别，将封装后的日志信息发送给不同的日志管理模块进行存储和管理。

在另一个示例性的实施中，可以自定义日志管理策略。该日志管理策略可以包括设置日志保留时间，通知方式，是否自动删除日志，删除日志的时间段，设置日志告警阈值等。其中，日志告警阈值指的是当日志在磁盘的占用率超过预设的告警阈值时，发送告警通知。日志管理策略可以采用其他的不同的方式，本申请对日志管理策略的具体内容并不做限定。

在另一个示例性的实施例中，日志管理策略可以按照日志的类别分别设置。例如，不同的日志的类别可以设置不同的日志保留时间。同样地，不同的日志的类别可以对应的不同的日志管理策略，本申请对此也不做具体限定。

在另一个示例性的实施例中，本实施例的日志管理方法还包括：日志多格式的导出，以及自定义检索式。

可选地，所述处理器读取执行所述用于日志管理的程序，还执行如下操作：

在根据所述提取的日志信息所属的类别对应的格式对所述提取的日志信息进行封装之前，

根据日志信息所属的类别对应的检测规则对所述提取的日志信息进行检测；若对所述提取的日志信息的检测结果为失败，则产生一条错误记录并删除所述提取的日志信息；

其中，错误记录包括检测失败的原因。

在一个示例性的实施例中，日志信息所属的类别对应的检测规则可以包括日志信息所属的类别对应的最关键的日志信息，若对所述提取的日志信息的检测结果为失败，即，所述提取的日志信息不包括日志信息所属的类别对应的检测规则包括的最关键的日志信息。例如，若日志信息所属的类别为告警日志类别，则告警日志类别对应的检测规则可以包括告警时间或告警详情。若提取的日志信息中没有包括告警时间或告警详情，则对于告警日志类别的日志来讲，该提取的日志信息缺乏最关键的信息，对于后续的运维意义不大，可以删除该提取的日志信息，并产生一条错误记录。

下面以具体应用示例对上述日志管理方法进行进一步说明。

在本应用示例中，以基于跨虚拟化平台的日志管理架构(如图3所示)为例对日志管理方法做说明。

步骤一：获取底层各个虚拟化平台和硬件设备的日志的获取权限和查看权限，设置提取日志中的日志信息的规则。

步骤二：利用搜索引擎通过网络定时对各个虚拟化平台和硬件设备的日志进行检索，并按照预设的规则提取日志中的日志信息。

步骤三：将提取的日志信息传输到业务处理模块；业务处理模块对每一条提取的日志信息分别执行如下操作：对提取的日志信息进行分类，并根据所述提取的日志信息所属的类别对应的格式对所述提取的日志信息进行封装。

步骤四：将封装后的信息分别传输到告警日志管理模块、操作日志管理模块和报表管理模块，分类储存和管理。

步骤五：利用自定义的日志管理策略对封装后的日志信息进行管理，日志管理策略包括：设置日志保留时间、通知方式、是否自动删除日志，以及删除日志的时间段，并且可设置日志告警阈值。其中，当日志在磁盘的占用率超过告警阈值时，发送告警通知。还可以进行日志多格式导出，自定义检索式。

本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本申请不限制于任何特定形式的硬件和软件的结合。

以上仅为本申请的优选实施例，当然，本申请还可有其他多种实施例，在不背离本申请精神及其实质的情况下，熟悉本领域的技术人员当可根据本申请作出各种相应的改变和变形，但这些相应的改变和变形都应属于本申请所附的权利要求的保护范围。