一种网站操作日志的获取方法及装置与流程

本发明涉及互联网技术领域，尤其涉及一种网站操作日志的获取方法及装置。

背景技术：

由于大型网站平台的操作日志分散在网站的各个业务线服务器中，而且每个业务线服务器都是以集群部署，少则十余台，多则上百台服务器。若需要确定网站平台的某个账号是否被窃取，则需要对各个业务线服务器进行查询，获取被窃取账号的操作日志。由于服务器众多，查询被窃取账号的操作日志的工作量巨大，影响各个业务线服务器正常的工作；各个业务线服务器记录的操作日志格式不统一，操作日志可读性差，需要各个业务线服务器提供该业务线服务器记录的操作日志说明文档，操作日志分析繁琐；操作日志分析结果无法持久化存储，并无法用简洁的页面展示。

技术实现要素：

本发明要解决的技术问题是，提供一种网站操作日志的获取方法及装置，克服现有技术中由于不同服务器记录的操作日志格式不统一导致的账号安全分析繁琐的缺陷。

本发明采用的技术方案是，所述一种网站操作日志的获取方法，包括：

将通过日志收集系统实时收集到的网站各服务器中的操作日志存储至分布式文件系统；

通过日志分析系统获取所述分布式文件系统中存储的操作日志，过滤所述日志分析系统获取的不合法操作日志，并将得到的合法操作日志以设定日志格式存储至数据库。

进一步的，所述通过日志分析系统获取所述分布式文件系统中存储的操作日志，过滤所述日志分析系统获取的不合法操作日志之后，所述方法还包括：

在得到的合法操作日志中查询与设定账号相关的操作日志，并将查询到的与设定账号相关操作日志以设定格式存储至所述数据库。

进一步的，所述将查询到的与设定账号相关操作日志以设定格式存储至所述数据库，包括：

将查询到的与设定账号相关操作日志合并为一个设定格式的操作日志文件，并将所述操作日志文件存储至数据库。

进一步的，所述将得到的合法操作日志以设定日志格式存储至数据库之后，所述方法还包括：

将从所述数据库中读取的操作日志与设定的不安全账户日志文件进行匹配判断；

若从所述数据库中读取的操作日志与设定的不安全账户日志文件匹配，则判定从所述数据库中读取的操作日志对应的账户安全异常；

否则判定从所述数据库中读取的操作日志对应的账户安全。

进一步的，所述将得到的合法操作日志以设定日志格式存储至数据库之后，所述方法还包括：

在所述数据库中查询设定账户的操作日志，并在设定界面中显示查询到的设定账户的操作日志。

本发明还提供一种网站操作日志的获取装置，包括：

收集模块，用于将通过日志收集系统实时收集到的网站各服务器中的操作日志存储至分布式文件系统；

处理模块，用于通过日志分析系统获取所述分布式文件系统中存储的操作日志，过滤所述日志分析系统获取的不合法操作日志，并将得到的合法操作日志以设定日志格式存储至数据库。

进一步的，所述处理模块，具体用于：

通过日志分析系统获取所述分布式文件系统中存储的操作日志，过滤所述日志分析系统获取的不合法操作日志，在得到的合法操作日志中查询与设定账号相关的操作日志，并将查询到的与设定账号相关操作日志以设定格式存储至所述数据库。

进一步的，所述处理模块，具体用于：

通过日志分析系统获取所述分布式文件系统中存储的操作日志，过滤所述日志分析系统获取的不合法操作日志，在得到的合法操作日志中查询与设定账号相关的操作日志，将查询到的与设定账号相关操作日志合并为一个设定格式的操作日志文件，并将所述操作日志文件存储至数据库。

进一步的，所述装置还包括：

判断模块，用于将从所述数据库中读取的操作日志与设定的不安全账户日志文件进行匹配判断；

若从所述数据库中读取的操作日志与设定的不安全账户日志文件匹配，则判定从所述数据库中读取的操作日志对应的账户安全异常；

否则判定从所述数据库中读取的操作日志对应的账户安全。

进一步的，所述装置还包括：

显示模块，用于在所述处理模块将得到的合法操作日志以设定日志格式存储至数据库之后，在所述数据库中查询设定账户的操作日志，并在设定界面中显示查询到的设定账户的操作日志。

采用上述技术方案，本发明至少具有下列优点：

本发明所述一种网站操作日志的获取方法及装置，提高了大型网站的操作日志分析效率；减少了查询操作日志的工作量，有效缩短了通过操作日志分析判断账号是否安全的判断周期；通过设定的界面显示操作日志信息，使分析操作日志更加直观和便利。

附图说明

图1为本发明第一实施例的网站操作日志的获取方法流程图；

图2为本发明第二实施例的网站操作日志的获取方法流程图；

图3为本发明第四实施例的网站操作日志的获取装置组成结构示意图；

图4为本发明第五实施例的网站操作日志的获取装置组成结构示意图。

具体实施方式

为更进一步阐述本发明为达成预定目的所采取的技术手段及功效，以下结合附图及较佳实施例，对本发明进行详细说明如后。

本发明第一实施例，一种网站操作日志的获取方法，如图1所示，包括以下具体步骤：

步骤S101，将通过日志收集系统实时收集到的网站各服务器中的操作日志存储至分布式文件系统。

具体的，步骤S101，包括：

将通过Flume(水槽)日志收集系统实时收集到的网站各服务器中的操作日志存储至HDFS(Hadoop Distributed File System，海杜普分布式文件系统)。

步骤S102，通过日志分析系统获取分布式文件系统中存储的操作日志，过滤日志分析系统获取的不合法操作日志，并将得到的合法操作日志以设定日志格式存储至数据库。

具体的，步骤S102，包括：

通过MapReduce日志分析系统获取HDFS中存储的操作日志，过滤日志分析系统获取的不合法操作日志，并将得到的合法操作日志以设定日志格式存储至Hbase数据库。

例如：通过MapReduce日志分析系统获取HDFS中存储的操作日志，过滤日志分析系统获取的不合法的JSON格式字符串日志，并将得到的合法操作日志以设定日志格式存储至MapReduce日志分析系统处理结果文件和Hbase数据库。

通过将不合法的日志进行过滤，并将合法日志转换为统一格式后存储至数据库，能够减少了查询操作日志的工作量；提高了大型网站的操作日志分析效率；有效缩短了通过操作日志分析判断账号是否安全的判断周期。

本发明第二实施例，一种网站操作日志的获取方法，如图2所示，包括以下具体步骤：

步骤S201，将通过日志收集系统实时收集到的网站各服务器中的操作日志存储至分布式文件系统。

具体的，步骤S201，包括：

将通过Flume(水槽)日志收集系统实时收集到的网站各服务器中的操作日志存储至HDFS(Hadoop Distributed File System，海杜普分布式文件系统)。

步骤S202，通过日志分析系统获取分布式文件系统中存储的操作日志，过滤日志分析系统获取的不合法操作日志，得到合法日志；

将得到的合法操作日志以设定日志格式存储至数据库；

或者，在得到的合法操作日志中查询与设定账号相关的操作日志，并将查询到的与设定账号相关操作日志以设定格式存储至数据库。

具体的，步骤S202，包括：

通过MapReduce日志分析系统获取HDFS中存储的操作日志，过滤日志分析系统获取的不合法操作日志，得到合法日志；

将得到的合法操作日志以设定日志格式存储至Hbase数据库；

或者，在得到的合法操作日志中查询与设定账号相关的操作日志，并将查询到的与设定账号相关操作日志以设定格式存储至Hbase数据库。

例如：通过MapReduce日志分析系统获取HDFS中存储的操作日志，过滤日志分析系统获取的不合法的JSON格式字符串日志，得到合法日志；

将得到的合法操作日志以设定日志格式存储至MapReduce日志分析系统处理结果文件和Hbase数据库；

或者，在得到的合法操作日志中查询与设定账号相关的操作日志，并将查询到的与设定账号相关操作日志以设定格式存储至Hbase数据库。

通过将不合法的日志进行过滤，并将合法日志转换为统一格式后存储至数据库，能够减少了查询操作日志的工作量；提高了大型网站的操作日志分析效率。

通过将与设定账号相关的日志存储至数据库，有效缩短了通过操作日志分析判断账号是否安全的判断周期。

步骤S203，将从数据库中读取的操作日志与设定的不安全账户日志文件进行匹配判断。

具体的，步骤S203，包括：

若从数据库中读取的操作日志与设定的不安全账户日志文件匹配，则判定从数据库中读取的操作日志对应的账户安全异常；

若从数据库中读取的操作日志与设定的不安全账户日志文件不匹配，则判定从数据库中读取的操作日志对应的账户安全。

例如：若从Hbase数据库中读取的操作日志与设定的不安全账户日志文件匹配，则判定从Hbase数据库中读取的操作日志对应的账户安全异常；

若从Hbase数据库中读取的操作日志与设定的不安全账户日志文件不匹配，则判定从Hbase数据库中读取的操作日志对应的账户安全。

通过将从数据库中读取的操作日志与设定的不安全账户日志文件进行匹配判断，能够在人员不参与的情况下，自动判断日志对应的账户是否安全，有效提高了大型网站的操作日志分析效率。

步骤S204，在数据库中查询设定账户的操作日志，并在设定界面中显示查询到的设定账户的操作日志。

例如：在Hbase数据库中查询设定账户的操作日志，并在设定WEB(网络)页面中显示查询到的设定账户的操作日志。

通过在设定界面中显示查询到的设定账户的操作日志，使分析操作日志更加直观和便利。

本发明第三实施例，一种网站操作日志的获取方法，包括以下具体步骤：

步骤S301，将通过日志收集系统实时收集到的网站各服务器中的操作日志存储至分布式文件系统。

具体的，步骤S301，包括：

将通过Flume(水槽)日志收集系统实时收集到的网站各服务器中的操作日志存储至HDFS(Hadoop Distributed File System，海杜普分布式文件系统)。

步骤S302，通过日志分析系统获取分布式文件系统中存储的操作日志，过滤日志分析系统获取的不合法操作日志，得到合法日志；

将得到的合法操作日志以设定日志格式存储至数据库；

或者，在得到的合法操作日志中查询与设定账号相关的操作日志，并将查询到的与设定账号相关操作日志合并为一个设定格式的操作日志文件，并将操作日志文件存储至数据库。

具体的，步骤S302，包括：

通过MapReduce日志分析系统获取HDFS中存储的操作日志，过滤日志分析系统获取的不合法操作日志，得到合法日志；

将得到的合法操作日志以设定日志格式存储至Hbase数据库；

或者，在得到的合法操作日志中查询与设定账号相关的操作日志，并将查询到的与设定账号相关操作日志合并为一个设定格式的操作日志文件，并将操作日志文件存储至Hbase数据库。

例如：通过MapReduce日志分析系统获取HDFS中存储的操作日志，过滤日志分析系统获取的不合法的JSON格式字符串日志，得到合法日志；

将得到的合法操作日志以设定日志格式存储至MapReduce日志分析系统处理结果文件和Hbase数据库；

或者，在得到的合法操作日志中查询与设定账号相关的操作日志，并将查询到的与设定账号相关操作日志合并为一个设定格式的操作日志文件，并将操作日志文件存储至Hbase数据库。

通过将不合法的日志进行过滤，并将合法日志转换为统一格式后存储至数据库，能够减少了查询操作日志的工作量；提高了大型网站的操作日志分析效率。

通过将与设定账号相关的日志合并为一个日志文件存储至数据库，有效缩短了通过操作日志分析判断账号是否安全的判断周期。

步骤S303，将从数据库中读取的操作日志与设定的不安全账户日志文件进行匹配判断。

具体的，步骤S303，包括：

若从数据库中读取的操作日志与设定的不安全账户日志文件匹配，则判定从数据库中读取的操作日志对应的账户安全异常；

若从数据库中读取的操作日志与设定的不安全账户日志文件不匹配，则判定从数据库中读取的操作日志对应的账户安全。

例如：若从Hbase数据库中读取的操作日志与设定的不安全账户日志文件匹配，则判定从Hbase数据库中读取的操作日志对应的账户安全异常；

若从Hbase数据库中读取的操作日志与设定的不安全账户日志文件不匹配，则判定从Hbase数据库中读取的操作日志对应的账户安全。

通过将从数据库中读取的操作日志与设定的不安全账户日志文件进行匹配判断，能够在人员不参与的情况下，自动判断日志对应的账户是否安全，有效提高了大型网站的操作日志分析效率。

步骤S304，在数据库中查询设定账户的操作日志，并在设定界面中显示查询到的设定账户的操作日志。

例如：在Hbase数据库中查询设定账户的操作日志，并在设定WEB(网络)页面中显示查询到的设定账户的操作日志。

通过在设定界面中显示查询到的设定账户的操作日志，使分析操作日志更加直观和便利。

本发明第四实施例，一种网站操作日志的获取装置，如图3所示，包括以下组成部分：

收集模块100，用于将通过日志收集系统实时收集到的网站各服务器中的操作日志存储至分布式文件系统。

具体的，收集模块100，用于：

将通过Flume(水槽)日志收集系统实时收集到的网站各服务器中的操作日志存储至HDFS(Hadoop Distributed File System，海杜普分布式文件系统)。

处理模块200，用于通过日志分析系统获取分布式文件系统中存储的操作日志，过滤日志分析系统获取的不合法操作日志，并将得到的合法操作日志以设定日志格式存储至数据库。

具体的，处理模块200，用于：

通过MapReduce日志分析系统获取HDFS中存储的操作日志，过滤日志分析系统获取的不合法操作日志，并将得到的合法操作日志以设定日志格式存储至Hbase数据库。

例如：处理模块200，用于通过MapReduce日志分析系统获取HDFS中存储的操作日志，过滤日志分析系统获取的不合法的JSON格式字符串日志，并将得到的合法操作日志以设定日志格式存储至MapReduce日志分析系统处理结果文件和Hbase数据库。

通过处理模块200将不合法的日志进行过滤，并将合法日志转换为统一格式后存储至数据库，能够减少了查询操作日志的工作量；提高了大型网站的操作日志分析效率；有效缩短了通过操作日志分析判断账号是否安全的判断周期。

本发明第五实施例，一种网站操作日志的获取装置，如图4所示，包括以下具组成部分：

收集模块100，用于将通过日志收集系统实时收集到的网站各服务器中的操作日志存储至分布式文件系统。

具体的，收集模块100，用于：

将通过Flume(水槽)日志收集系统实时收集到的网站各服务器中的操作日志存储至HDFS(Hadoop Distributed File System，海杜普分布式文件系统)。

处理模块200，用于通过日志分析系统获取分布式文件系统中存储的操作日志，过滤日志分析系统获取的不合法操作日志，得到合法日志；

将得到的合法操作日志以设定日志格式存储至数据库；

或者，在得到的合法操作日志中查询与设定账号相关的操作日志，并将查询到的与设定账号相关操作日志以设定格式存储至数据库。

具体的，处理模块200，用于：

通过MapReduce日志分析系统获取HDFS中存储的操作日志，过滤日志分析系统获取的不合法操作日志，得到合法日志；

将得到的合法操作日志以设定日志格式存储至Hbase数据库；

或者，在得到的合法操作日志中查询与设定账号相关的操作日志，并将查询到的与设定账号相关操作日志以设定格式存储至Hbase数据库。

例如：处理模块200，用于通过MapReduce日志分析系统获取HDFS中存储的操作日志，过滤日志分析系统获取的不合法的JSON格式字符串日志，得到合法日志；

将得到的合法操作日志以设定日志格式存储至MapReduce日志分析系统处理结果文件和Hbase数据库；

或者，在得到的合法操作日志中查询与设定账号相关的操作日志，并将查询到的与设定账号相关操作日志以设定格式存储至Hbase数据库。

通过处理模块200将不合法的日志进行过滤，并将合法日志转换为统一格式后存储至数据库，能够减少了查询操作日志的工作量；提高了大型网站的操作日志分析效率。

通过处理模块200将与设定账号相关的日志存储至数据库，有效缩短了通过操作日志分析判断账号是否安全的判断周期。

判断模块300，用于将从数据库中读取的操作日志与设定的不安全账户日志文件进行匹配判断。

具体的，判断模块300，用于：

若从数据库中读取的操作日志与设定的不安全账户日志文件匹配，则判定从数据库中读取的操作日志对应的账户安全异常；

若从数据库中读取的操作日志与设定的不安全账户日志文件不匹配，则判定从数据库中读取的操作日志对应的账户安全。

例如：判断模块300，用于若从Hbase数据库中读取的操作日志与设定的不安全账户日志文件匹配，则判定从Hbase数据库中读取的操作日志对应的账户安全异常；

若从Hbase数据库中读取的操作日志与设定的不安全账户日志文件不匹配，则判定从Hbase数据库中读取的操作日志对应的账户安全。

通过将从数据库中读取的操作日志与设定的不安全账户日志文件进行匹配判断，能够在人员不参与的情况下，自动判断日志对应的账户是否安全，有效提高了大型网站的操作日志分析效率。

显示模块400，用于在数据库中查询设定账户的操作日志，并在设定界面中显示查询到的设定账户的操作日志。

例如：显示模块400，用于在Hbase数据库中查询设定账户的操作日志，并在设定WEB(网络)页面中显示查询到的设定账户的操作日志。

通过在设定界面中显示查询到的设定账户的操作日志，使分析操作日志更加直观和便利。

本发明第六实施例，一种网站操作日志的获取装置，包括以下组成部分：

收集模块100，用于将通过日志收集系统实时收集到的网站各服务器中的操作日志存储至分布式文件系统。

具体的，收集模块100，用于：

将通过Flume(水槽)日志收集系统实时收集到的网站各服务器中的操作日志存储至HDFS(Hadoop Distributed File System，海杜普分布式文件系统)。

处理模块200，用于通过日志分析系统获取分布式文件系统中存储的操作日志，过滤日志分析系统获取的不合法操作日志，得到合法日志；

将得到的合法操作日志以设定日志格式存储至数据库；

或者，在得到的合法操作日志中查询与设定账号相关的操作日志，并将查询到的与设定账号相关操作日志合并为一个设定格式的操作日志文件，并将操作日志文件存储至数据库。

具体的，处理模块200，用于：

通过MapReduce日志分析系统获取HDFS中存储的操作日志，过滤日志分析系统获取的不合法操作日志，得到合法日志；

将得到的合法操作日志以设定日志格式存储至Hbase数据库；

或者，在得到的合法操作日志中查询与设定账号相关的操作日志，并将查询到的与设定账号相关操作日志合并为一个设定格式的操作日志文件，并将操作日志文件存储至Hbase数据库。

例如：处理模块200，用于通过MapReduce日志分析系统获取HDFS中存储的操作日志，过滤日志分析系统获取的不合法的JSON格式字符串日志，得到合法日志；

将得到的合法操作日志以设定日志格式存储至MapReduce日志分析系统处理结果文件和Hbase数据库；

或者，在得到的合法操作日志中查询与设定账号相关的操作日志，并将查询到的与设定账号相关操作日志合并为一个设定格式的操作日志文件，并将操作日志文件存储至Hbase数据库。

处理模块200通过将不合法的日志进行过滤，并将合法日志转换为统一格式后存储至数据库，能够减少了查询操作日志的工作量；提高了大型网站的操作日志分析效率。

通过将与设定账号相关的日志合并为一个日志文件存储至数据库，有效缩短了通过操作日志分析判断账号是否安全的判断周期。

判断模块300，用于将从数据库中读取的操作日志与设定的不安全账户日志文件进行匹配判断。

具体的，判断模块300，用于：

若从数据库中读取的操作日志与设定的不安全账户日志文件匹配，则判定从数据库中读取的操作日志对应的账户安全异常；

若从数据库中读取的操作日志与设定的不安全账户日志文件不匹配，则判定从数据库中读取的操作日志对应的账户安全。

例如：判断模块300，用于若从Hbase数据库中读取的操作日志与设定的不安全账户日志文件匹配，则判定从Hbase数据库中读取的操作日志对应的账户安全异常；

若从Hbase数据库中读取的操作日志与设定的不安全账户日志文件不匹配，则判定从Hbase数据库中读取的操作日志对应的账户安全。

通过将从数据库中读取的操作日志与设定的不安全账户日志文件进行匹配判断，能够在人员不参与的情况下，自动判断日志对应的账户是否安全，有效提高了大型网站的操作日志分析效率。

显示模块400，用于在数据库中查询设定账户的操作日志，并在设定界面中显示查询到的设定账户的操作日志。

例如：显示模块400，用于在Hbase数据库中查询设定账户的操作日志，并在设定WEB(网络)页面中显示查询到的设定账户的操作日志。

显示模块400通过在设定界面中显示查询到的设定账户的操作日志，使分析操作日志更加直观和便利。

通过具体实施方式的说明，应当可对本发明为达成预定目的所采取的技术手段及功效得以更加深入且具体的了解，然而所附图示仅是提供参考与说明之用，并非用来对本发明加以限制。