一种生成统计索引的方法及装置与流程

本发明涉及互联网应用技术领域，特别涉及一种生成统计索引的方法及装置。

背景技术：

PV(Page View)即页面浏览量，通常是衡量一个网络新闻频道或网站甚至一条网络新闻的主要指标。网页浏览数是评价网站流量最常用的指标之一，简称为PV。监测网站PV的变化趋势和分析其变化原因是很多站长定期要做的工作。PV中的Page一般是指普通的html网页，也包含php、jsp等动态产生的html内容。来自浏览器的一次html内容请求会被看作一个PV，逐渐累计成为PV总数。

技术实现要素：

本发明提供一种生成统计索引的方法及装置，用以实现灵活地对页面浏览量进行统计的目的。

本发明提供一种生成统计索引的方法，包括：

当监测到页面浏览事件时，生成所述页面浏览事件对应的日志数据；

获取自定义的索引结构，其中，所述索引结构至少由查询维度、索引规则组成；

将所述索引规则与所述日志数据进行匹配，匹配上所述日志数据中的一个或多个字段；

基于所述索引结构和匹配上的各个字段对应的数据，生成统计索引。

在本发明一实施例中，所述查询维度包括：查询字段和所述查询字段的值。

在本发明一实施例中，所述日志数据中包括下列至少之一的字段：

用户标识，用户所在地区，频道，时间点，广告主，IP地址，用户所在终端的操作系统，运营商，性别。

在本发明一实施例中，所述索引规则中包含与所述日志数据中的字段相同的索引字段。

在本发明一实施例中，基于所述索引结构和匹配上的各个字段对应的数据，生成统计索引，包括：

在所述索引结构中，将匹配上的各个字段对应的数据作为相应的索引规则的数据，生成统计索引的键；

记录统计项的值作为所述统计索引的键值。

本发明还提供一种生成统计索引的装置，包括：

日志生成模块，用于当监测到页面浏览事件时，生成所述页面浏览事件对应的日志数据；

获取模块，用于获取自定义的索引结构，其中，所述索引结构至少由查询维度、索引规则组成；

匹配模块，用于将所述索引规则与所述日志数据进行匹配，匹配上所述日志数据中的一个或多个字段；

索引生成模块，用于基于所述索引结构和匹配上的各个字段对应的数据，生成统计索引。

在本发明一实施例中，所述查询维度包括：查询字段和所述查询字段的值。

在本发明一实施例中，所述日志数据中包括下列至少之一的字段：

用户标识，用户所在地区，频道，时间点，广告主，IP地址，用户所在终端的操作系统，运营商，性别。

在本发明一实施例中，所述索引规则中包含与所述日志数据中的字段相同的索引字段。

在本发明一实施例中，所述索引生成模块还用于：

在所述索引结构中，将匹配上的各个字段对应的数据作为相应的索引规则的数据，生成统计索引的键；

记录统计项的值作为所述统计索引的键值。

在本发明实施例中，当监测到页面浏览事件时，生成所述页面浏览事件对应的日志数据；获取自定义的索引结构，其中，所述索引结构至少由查询维度、索引规则组成；将所述索引规则与所述日志数据进行匹配，匹配上所述日志数据中的一个或多个字段；基于所述索引结构和匹配上的各个字段对应的数据，生成统计索引。由此可见，本发明实施例能够实现灵活地对页面浏览量进行统计的目的。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1所示为本发明一实施例中生成统计索引的方法的流程图；

图2所示为本发明另一实施例中生成统计索引的方法的流程图；以及

图3所示为本发明一实施例中生成统计索引的装置的结构示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

如图1所示为本发明一实施例中生成统计索引的方法的流程图，该方法可以包括以下步骤S11-S14。

步骤S11，当监测到页面浏览事件时，生成页面浏览事件对应的日志数据。

在该步骤中，用户浏览一次页面，就会触发生成页面浏览事件对应的日志数据。这里，日志数据中的字段可以是：用户标识，用户所在地区，频道，时间点，广告主，IP地址，用户所在终端的操作系统，运营商，性别，投放计划ID等等，本发明不限于此。

步骤S12，获取自定义的索引结构，其中，该索引结构至少由查询维度、索引规则组成。

在该步骤中，查询维度可以包括查询字段和所述查询字段的值。

步骤S13，将索引规则与日志数据进行匹配，匹配上日志数据中的一个或多个字段。

步骤S14，基于索引结构和匹配上的各个字段对应的数据，生成统计索引。

在该步骤，生成的统计索引可以为如下所示：

/idx(表示此命令为索引)/ts(表示key是基于时间序列的)/hh(表示以小时统计)/日志名/查询维度(key，包括查询的字段和字段的值)/event/索引字段(只有一个)/索引字段的值/日志生成的日期。

此外，生成的统计索引还可以为如下所示：

/idx(表示此命令为索引)/ts(表示key是基于时间序列的)/hh(表示以小时统计)/日志名/查询维度(包括查询的字段和字段的值)/event/unicode(对某个字段进行唯一索引，索引字段值唯一)/timezone(utc时区)/timezone－area(一天、一周、一个月)/索引字段/索引字段的值/日志生成的日期。

在本发明实施例中，当监测到页面浏览事件时，生成所述页面浏览事件对应的日志数据；获取自定义的索引结构，其中，所述索引结构至少由查询维度、索引规则组成；将所述索引规则与所述日志数据进行匹配，匹配上所述日志数据中的一个或多个字段；基于所述索引结构和匹配上的各个字段对应的数据，生成统计索引。由此可见，本发明实施例能够实现灵活地对页面浏览量进行统计的目的。

在本发明的可选实施例中，索引规则中包含与日志数据中的字段相同的索引字段。

上文步骤S14中基于索引结构和匹配上的各个字段对应的数据，生成统计索引，本发明实施例提供了一种可选的方案，该方案可以包括以下步骤A1-A2。

步骤A1，在索引结构中，将匹配上的各个字段对应的数据作为相应的索引规则的数据，生成统计索引的键。

步骤A2，记录统计项的值作为统计索引的键值。

在本发明实施例中，可以采用key-value的结构生成统计索引，其中，key为统计索引的键，value为统计索引的键值。

下面通过一具体实施例来详细介绍本发明的生成统计索引的方法的实现过程。如图2所示为本发明另一实施例中生成统计索引的方法的流程图，该方法可以包括以下步骤S21-S25。

步骤S21，当监测到页面浏览事件时，生成页面浏览事件对应的日志数据。

步骤S22，获取自定义的索引结构，其中，该索引结构至少由查询维度、索引规则组成。

在该步骤中，查询维度可以包括查询字段和所述查询字段的值。

步骤S23，将索引规则与日志数据进行匹配，匹配上日志数据中的一个或多个字段。

步骤S24，在索引结构中，将匹配上的各个字段对应的数据作为相应的索引规则的数据，生成统计索引的键。

步骤S25，记录统计项的值作为统计索引的键值。

在该步骤，生成的统计索引可以为如下所示：

/idx(表示此命令为索引)/ts(表示key是基于时间序列的)/hh(表示以小时统计)/日志名/查询维度(key，包括查询的字段和字段的值)/event/索引字段(只有一个)/索引字段的值/日志生成的日期。

此外，生成的统计索引还可以为如下所示：

/idx(表示此命令为索引)/ts(表示key是基于时间序列的)/hh(表示以小时统计)/日志名/查询维度(包括查询的字段和字段的值)/event/unicode(对某个字段进行唯一索引，索引字段值唯一)/timezone(utc时区)/timezone－area(一天、一周、一个月)/索引字段/索引字段的值/日志生成的日期。

在本发明的可选实施例中，根据日志数据和索引结构生成统计索引后，站长可以发起查询请求，生成查询命令，将查询命令与索引匹配，得到统计结果。即，在查询时会带着几个参数，如实例名称、过滤规则字段、索引字段，索引字段值、统计方式等，总之就是上面key的组成部分(除了最后一个时间序列)，然后组合生成key前缀，拿着key前缀去数据库的扫描，即可得到统计数据。

需要说明的是，在实际应用中，上述所有可选实施方式可以采用结合的方式任意组合，形成本发明的可选实施例，在此不再一一赘述。

对应于上述实施例中的生成统计索引的方法，本发明还提供一种生成统计索引的装置。如图3所示为本发明一实施例中生成统计索引的装置的结构示意图，包括：

日志生成模块31，用于当监测到页面浏览事件时，生成所述页面浏览事件对应的日志数据；

获取模块32，用于获取自定义的索引结构，其中，所述索引结构至少由查询维度、索引规则组成；

匹配模块33，用于将所述索引规则与所述日志数据进行匹配，匹配上所述日志数据中的一个或多个字段；

索引生成模块34，用于基于所述索引结构和匹配上的各个字段对应的数据，生成统计索引。

在本发明一实施例中，所述查询维度包括：查询字段和所述查询字段的值。

在本发明一实施例中，所述日志数据中包括下列至少之一的字段：

用户标识，用户所在地区，频道，时间点，广告主，IP地址，用户所在终端的操作系统，运营商，性别。

在本发明一实施例中，所述索引规则中包含与所述日志数据中的字段相同的索引字段。

在本发明一实施例中，索引生成模块34还用于：

在所述索引结构中，将匹配上的各个字段对应的数据作为相应的索引规则的数据，生成统计索引的键；

记录统计项的值作为所述统计索引的键值。

本发明实施例的上述装置：当监测到页面浏览事件时，生成所述页面浏览事件对应的日志数据；获取自定义的索引结构，其中，所述索引结构至少由查询维度、索引规则组成；将所述索引规则与所述日志数据进行匹配，匹配上所述日志数据中的一个或多个字段；基于所述索引结构和匹配上的各个字段对应的数据，生成统计索引。由此可见，本发明实施例能够实现灵活地对页面浏览量进行统计的目的。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。