本公开涉及互联网技术领域，更具体地，涉及一种处理点击日志的方法、装置和系统。
背景技术
用户访问网站时，服务器接收请求之后会发送数据到用户客户端，然后，用户在网站上任意一个页面的任何一个位置的点击都会产生一条点击日志。
随着互联网应用的广泛普及，单位时间内产生的点击日志数量非常巨大并且具有很大的随机性，尤其是例如在大促销时期。因此，对于点击日志的处理就会要求有较高的时效性和稳定性，例如要避免数据堆积而导致系统瘫痪等。
当前对点击日志进行实时处理时，是将产生的点击日志统一收集一个数据暂存总站，例如kafka数据系统。后续计算各种与点击日志相关的实时指标时都从该数据暂存总站中获取需要的点击日志来进行计算。但是，这种方式使得计算所有的实时指标时都从数据暂存总站获取数据，从而可能会对总的数据暂存总站造成极大的压力。而且，在计算每一个实时指标时，数据暂存总站中会存在大量的与该实时指标无关的数据，这样就需要占用额外的计算机资源去进行计算，影响实时指标计算的时效性。
技术实现要素：
有鉴于此，本公开提供了一种能够缓解数据暂存总站的数据处理压力，同时提高点击日志实时处理效率的点击日志处理方法、装置和系统。
本公开的一个方面提供了一种处理点击日志的方法。根据点击日志所满足的预设条件将所述点击日志发送至与所述预设条件相对应的数据暂存站。从与计算第一实时指标的数据需求相匹配的第一数据暂存站中获取第一点击日志。利用所述第一点击日志计算所述第一实时指标。
根据本公开的实施例，在根据点击日志所满足的预设条件将所述点击日志发送至与所述预设条件相对应的数据暂存站之前，还包括当产生所述点击日志时将所述点击日志发送至数据暂存总站。
根据本公开的实施例，所述方法还包括当计算第二实时指标的数据需求无法与任意一个数据暂存站相匹配时从所述数据暂存总站获取第二点击日志，然后利用所述第二点击日志计算所述第二实时指标。
根据本公开的实施例，根据点击日志所满足的预设条件将所述点击日志发送至与所述预设条件相对应的数据暂存站，包括判断所述点击日志的第一参数，并根据所述第一参数所满足的预设条件将所述点击日志发送到与所述预设条件相对应的数据暂存站。
根据本公开的实施例，所述预设条件包括点击日志的主题类型，和/或点击日志的产生源。
根据本公开的实施例，所述数据暂存站包括分布式发布订阅消息系统kafka。
本公开的另一个方面提供了一种处理点击日志的装置，包括：点击日志分发模块，用于根据点击日志所满足的预设条件，将所述点击日志发送至与所述预设条件相对应的数据暂存站；第一获取模块，用于从与计算第一实时指标的数据需求相匹配的第一数据暂存站中获取第一点击日志；第一计算模块，用于利用所述第一点击日志计算所述第一实时指标。
根据本公开的实施例，所述装置还包括点击日志收集模块，用于当产生所述点击日志时，将所述点击日志发送至数据暂存总站。
根据本公开的实施例，所述装置还包括：第二获取模块，用于当计算第二实时指标的数据需求无法与任意一个数据暂存站相匹配时，从所述数据暂存总站获取第二点击日志；第二计算模块，用于利用所述第二点击日志计算所述第二实时指标。
根据本公开的实施例，所述点击日志分发模块包括：判断子模块，用于判断所述点击日志的第一参数；分发子模块，用于根据所述第一参数所满足的预设条件，将所述点击日志发送到与所述预设条件相对应的数据暂存站。
根据本公开的实施例，所述预设条件包括点击日志的主题类型，和/或点击日志的产生源。
根据本公开的实施例，所述数据暂存站包括分布式发布订阅消息系统kafka。
本公开的另一方面提供了一种处理点击日志的系统，包括一个或多个存储器，存储有可执行指令；以及一个或多个处理器，执行所述可执行指令，以实现如上所述的方法。
本公开的另一方面提供了一种计算机可读存储介质，其上存储有可执行指令。该指令被处理器执行时以实现如上所述的方法。
根据本公开的实施例，可以至少部分地缓解数据暂存总站的点击日志实时处理压力，较大程度地避免了大量点击日志在数据暂存总站的积压以及实时指标计算时的数据冗余，并因此可以提高处理点击日志的时效性和稳定性的技术效果。
附图说明
通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：
图1示意性示出了可以应用本公开的处理点击日志的方法和装置的的示例性系统架构；
图2示意性示出了根据本公开实施例的处理点击日志的方法的流程图；
图3示意性示出了根据本公开另一实施例的处理点击日志的方法的流程图；
图4示意性示出了根据本公开再一实施例的处理点击日志的方法的流程图；
图5示意性示出了根据本公开实施例的根据点击日志所满足的预设条件将点击日志发送至数据暂存站的方法的流程图；
图6示意性示出了根据本公开实施例的处理点击日志的装置的框图；
图7示意性示出了根据本公开另一实施例的处理点击日志的装置的框图；
图8示意性示出了根据本公开再一实施例的处理点击日志的装置的框图；
图9示意性示出了根据本公开实施例的点击日志分发模块的框图；以及
图10示意性示出了根据本公开实施例的处理点击日志的计算机系统的框图。
具体实施方式
以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。这里使用的词语“一”、“一个(种)”和“该”等也应包括“多个”、“多种”的意思，除非上下文另外明确指出。此外，在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。
因此，本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本公开的技术可以采取存储有指令的计算机可读介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。在本公开的上下文中，计算机可读介质可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，计算机可读介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。计算机可读介质的具体示例包括：磁存储装置，如磁带或硬盘(hdd)；光存储装置，如光盘(cd-rom)；存储器，如随机存取存储器(ram)或闪存；和/或有线/无线通信链路。
本公开的实施例提供了一种处理点击日志的方法、装置以及系统。该处理点击日志的方法通过将点击日志根据其所满足的预设条件，发送至与该预设条件相对应的数据暂存站。然后在进行第一实时指标的计算时从与计算第一实时指标的数据需求相匹配的第一数据暂存站中获取计算所需的第一点击日志，并利用该第一点击日志计算该第一实时指标。以此方式，使得在进行第一实时指标计算时可以有针对性地从与之匹配的数据暂存站中获取相应的第一点击日志，减少了计算过程中的数据冗余，提高了处理点击日志的时效性。
图1示意性示出了可以应用本公开的处理点击日志的方法和装置的的示例性系统架构。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105(此架构仅仅是示例，具体架构中包含的组建可以根据申请具体情况调整)。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息--仅为示例)反馈给终端设备。
用户通过终端设备101、和/或102、和/或103在网站任意页面上任意位置的点击会通过网络104发送至服务器105。然后，在服务器105中会产生相应的点击日志。接着，对这些点击日志就可以按照本公开实施例所提供的处理点击日志的方法进行处理。
需要说明的是，本公开实施例所提供的处理点击日志的方法可以由服务器105执行，也可以由不同于服务器105的另外一个服务器或者一个服务器集群执行。相应地，处理点击日志的装置可以设置于服务器105中，也可以设置与服务器105以外的另一个服务器或者一个服务器集群中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
图2示意性示出了根据本公开实施例的处理点击日志的方法的流程图。
如图2所示，根据本公开实施例的处理点击日志的方法包括操作s210～操作s230。
在操作s210，根据点击日志所满足的预设条件，将该点击日志发送至与该预设条件相对应的数据暂存站。
具体地，当用户在网站上进行点击时会产生反映该点击行为的点击日志。根据该点击日志所满足的预设条件将该点击日志有针对性地发送到与该预设条件相对应的数据暂存站中。
其中，点击日志所满足的预设条件可以是根据点击日志可能具有的数据信息进行选取而设定的条件。
根据本公开的实施例，该预设条件包括点击日志的主题类型、和/或点击日志的产生源。
具体地，该预设条件可以仅包括点击日志的主题类型，也可以仅包括点击日志的产生源，还可以同时包括点击日志的主题类型和点击日志的产生源。
根据本公开的实施例，可以根据点击日志中反映用户点击行为所产生的效果或者所达到的目的信息来确定该点击日志的主题类型。
具体地，当用户在不同的网页上进行点击时，由于不同网页的功能和/或展示的内容会不同，可以根据用户的点击行为所在的网页来判断由该点击行为所产生的点击日志的主题类型。
例如，用户点击的页面是商品展示页面，可以认为在该页面的点击所产生的点击日志的主题类型是商品浏览。
再例如，用户点击的页面是搜索页面，就可以认为在该页面的点击所产生的点击日志的主题类型是搜索。
另外，还可以根据用户在网页上的特定位置或特定按钮处的点击行为，以该特定位置或者特定按钮的作用来确定点击日志的主题类型。
例如，当用户在网页的搜索框中进行点击，那么可以认为在网页上该位置的点击所产生的点击日志的主题类型是搜索。
再例如，当用户在网页中对加入购物车按钮进行点击，那么可以认为由此产生的点击日志的主题类型是加入购物车。
又例如，当用户在网页上先点击了页面布局编辑按钮，之后用户在该页面上又进行一系列的点击来对页面的布局等修改，可以认为由此产生的一系列的点击日志的主题是页面装修。这种情况常见于社交网站上用户对自己的页面进行布局更改、或者是电商网站里卖家对自己的网页布局的设计等。
根据本公开的实施例，可以根据产生点击日志的点击行为所操作的的终端设备的类型来确定点击日志的产生源。
例如，用户的点击行为是通过pc端产生的，可以认为点击日志的产生源是pc端。
又例如，用户的点击行为是通过手机app客户端产生的，则可以认为点击日志的产生源是手机app。
根据本公开实施例，将点击日志发送至与该点击日志所满足的预设条件相对应的数据暂存站中，以此方式，使得在发送点击日志的同时对该点击日志按照其所满足的预设条件进行了筛选，从而使后续对该点击日志进行处理时更加具有针对性。
数据暂存站中的点击日志保存时间的长短可以根据数据暂存站的容量大小、点击日志的产生量和处理量大小而定。
根据本公开的实施例，数据暂存站包括分布式订阅消息系统kafka。
在操作s220，从与计算第一实时指标的数据需求相匹配的第一数据暂存站中获取第一点击日志。
具体地，点击日志在操作s210中被分配到与其所满足的预设条件相对应的数据暂存站中。接下来，在操作s220中，要进行第一实时指标计算时，根据计算第一实时指标的数据需求，从与该数据需求相匹配的第一数据暂存站中获取计算所需的第一点击日志。
第一实时指标可以是能够反映用户点击行为的具有统计意义的指标，可以用于监控、展示和/或为系统优化等提供指导等的数据指标。
根据本公开的实施例，与计算第一实时指标的数据需求相匹配可以是，例如计算第一实时指标需要的点击日志数据恰好能够从某一个第一数据暂存站中找到。
例如，当第一实时指标是订单数据统计时，进行订单数据统计计算时需要的第一点击日志就是订单点击日志。此时，就从与订单主题相对应的第一数据暂存站中获取订单点击日志。
又例如，当第一实时指标是搜索日志统计时，进行搜索日志统计指标计算时需要的第一点击日志就是搜索点击日志。此时，就从与搜索主题相对应的第一数据暂存站中获取搜索点击日志。
可以理解的是，与计算第一实时指标的数据需求相匹配并不是说第一实时指标的数据需求与第一数据暂存是一对一的关系，可以存在多个第一实时指标从同一个第一数据暂存站中获取数据的情况。
例如，当第一实时指标是关键词搜索指标、和第一实时指标是搜索统计时，无论是计算关键词搜索指标还是搜索统计，都可以是从搜索主题的第一数据暂存站中获取各自计算所需的点击日志。不同的是，在计算关键词搜索指标时是从搜索主题的第一数据暂存站中获取与关键词搜索相关的点击日志，而在计算搜索统计时是从搜索主题的第一数据暂存站中获取所有的点击日志。
在操作s230，利用第一点击日志计算第一实时指标。
计算得到第一实时指标后可以将第一实时指标进行存储，以完成对第一点击日志的实时处理。
根据本公开的实施例，通过将点击日志根据其所满足的预设条件有针对性地发送到与该预设条件相对应的数据暂存站，然后在进行第一实时指标计算时再从与计算第一实时指标的数据需要相匹配的第一数据暂存站中获取所需的第一点击日志，最后计算得到第一实时指标从而完成点击日志的处理，可以一定程度地缓解了点击日志的积压，减少了计算第一实时指标时的计算冗余，并因此提高处理点击日志的时效性和稳定性。
图3示意性示出了根据本公开另一实施例的处理点击日志的方法的流程图。
如图3所示，根据本公开另一实施例的处理点击日志的方法包括操作s310和操作s210～操作s230，其中操作s310在操作s210之前进行。
在操作s310，当产生点击日志时，将该点击日志发送至数据暂存总站。
根据本公开的实施例，点击日志产生后发送到数据暂存总站进行汇集。
接下来，在操作s210中，根据点击日志所满足的预设条件，将该点击日志发送至与该预设条件相对应的数据暂存站。
在此种情况下，操作s210是将数据暂存总站收集到的点击日志根据其所满足的预设条件，有针对性地发送到与该预设条件相对应的数据暂存站中。
根据本公开的实施例，数据暂存站和数据暂存总站可以是独立的用于暂时存储点击日志的装置或系统。或者，数据暂存站也可以是位于数据暂存总站中的、符合预设条件的数据集群。
然后在操作s220，从与计算第一实时指标的数据需求相匹配的第一数据暂存站中获取第一点击日志。
在操作s230，利用该第一点击日志计算该第一实时指标。
此处的操作s220和操作s230与参考图2相同，不再赘述。
根据本公开的实施例，通过数据暂存总站及时将产生的点击日志进行收集和汇总，有效地降低了了点击日志的遗漏等情况的发生，提高了点击日志处理系统的整体稳定性。
另外，在将点击日志按照预设条件有针对性地发送到与该预设条件相对应的数据暂存站之前，由数据暂存总站将产生的点击日志进行统一收集和汇总，能够减少对处理点击日志的上游业务的效率的影响，例如，避免因为处理点击日志而导致网页反映速度迟滞的现象。
图4示意性示出了根据本公开再一实施例的处理点击日志的方法的流程图。
如图4所示，根据本公开再一实施例的处理点击日志的方法包括操作s310、操作s420和操作s430。
操作s310同参考图3中的描述。
操作s420，当计算第二实时指标的数据需求无法与任意一个数据暂存站相匹配时，从操作s310中的数据暂存总站获取第二点击日志。
在操作s430，利用该第二点击日志计算该第二实时指标。
根据本公开的实施例，计算第二实时指标的数据需求无法与任意一个数据暂存站相匹配的情形可以是，计算第二实时指标需要的点击日志需要关联多种功能的点击日志，此时从任意的一个第一数据暂存站中获得的第一点击日志都不能够完成第二实时指标的计算。
例如，当第二实时指标是搜索点击带来的订单数据指标。对该第二实时指标既要分析搜索的点击日志，同时还要关联由搜索点击行为所带来的最终的订单点击日志。
根据本公开的实施例，计算第二实时指标的数据需求无法与任意一个数据暂存站相匹配的情形还可以是，在由数据暂存站接收符合预定条件的点击日志时，可能会由于预设条件设定的局限性，导致一些点击日志并没有对应的数据暂存站可以被发送，从而这些点击日志仅暂存在数据暂存总站中。
根据本公开的实施例，当计算第二实时指标的数据需求无法与任意一个数据暂存站相匹配时，通过从数据暂存总站获取第二点击日志进行第二实时指标的计算，能够提高数据处理的稳定性，避免了因第二实时指标无法从数据暂存站中获取第二点击日志而无法进行计算的问题。
根据本公开的实施例，在计算第一实时指标时，从与计算第一实时指标的数据需求相匹配的的第一数据暂存站中获取第一点击日志进行计算；在计算第二实时指标时，由于无法从任意一个数据暂存站中获得计算所需的第二点击日志，故而从数据暂存总站获取第二点击日志进行计算。通过这种方式，处理点击日志时根据要计算的实时指标灵活选择点击日志的获取途径，从整体上提高了实时处理点击日志的时效性和稳定性。
图5示意性示出了根据本公开实施例的根据点击日志所满足的预设条件将点击日志发送至数据暂存站的方法的流程图。
如图5所示，根据本公开实施例，操作s210中根据点击日志所满足的预设条件将点击日志发送至与该预设条件相对相应的数据暂存站，具体包括操作s511和操作s512。
在操作s511，判断点击日志的第一参数。
在操作s512，根据第一参数所满足的预设条件，将该点击日志发送至与该预设条件相对应的数据暂存站。
具体地，点击日志的第一参数可以是点击日志的数据信息中的一部分或者全部，例如第一参数可以是点击日志的产生源、主题类型和/或点击日志之间的关联信息等等。
根据本公开的实施例，判断点击日志的第一参数，然后根据第一参数所满足的预设条件将该点击日志发送到与该预设条件相对应的数据暂存站。在这个过程中仅是通过预设条件对点击日志的第一参数进行比对和筛选，并没有破坏日志的原始格式，保证了点击日志处理过程中的数据稳定性。
图6示意性示出了根据本公开实施例的处理点击日志的装置的框图。
如图6所示，根据本公开的实施例的处理点击日志的装置600包括点击日志分发模块610、第一获取模块620和第一计算模块630。
点击日志分发模块610用于根据点击日志所满足的预设条件，将该点击日志发送至与该预设条件相对应的数据暂存站。
具体地，当用户在网站上进行点击时会产生反映该点击行为的点击日志。点击日志分发模块610根据该点击日志所满足的预设条件将该点击日志有针对性地发送到与该预设条件相对应的数据暂存站中。
其中，点击日志所满足的预设条件可以是根据点击日志可能具有的数据信息进行选取而设定的条件。
根据本公开的实施例，该预设条件包括点击日志的主题类型、和/或点击日志的产生源。
具体地，该预设条件可以仅包括点击日志的主题类型，也可以仅包括点击日志的产生源，还可以同时包括点击日志的主题类型和点击日志的产生源。
根据本公开的实施例，可以根据点击日志中反映用户点击行为所产生的效果或者所达到的目的信息来确定该点击日志的主题类型。
具体地，当用户在不同的网页上进行点击时，由于不同网页的功能和/或展示的内容会不同，可以根据用户的点击行为所在的网页来判断由该点击行为所产生的点击日志的主题类型。
例如，用户点击的页面是商品展示页面，可以认为在该页面的点击所产生的点击日志的主题类型是商品浏览。
再例如，用户点击的页面是搜索页面，就可以认为在该页面的点击所产生的点击日志的主题类型是搜索。
另外，还可以根据用户在网页上的特定位置或特定按钮处的点击行为，以该特定位置或者特定按钮的作用来确定点击日志的主题类型。
例如，当用户在网页的搜索框中进行点击，那么可以认为在网页上该位置的点击所产生的点击日志的主题类型是搜索。
再例如，当用户在网页中对加入购物车按钮进行点击，那么可以认为由此产生的点击日志的主题类型是加入购物车。
又例如，当用户在网页上先点击了页面布局编辑按钮，之后用户在该页面上又进行一系列的点击来对页面的布局等修改，可以认为由此产生的一系列的点击日志的主题是页面装修。这种情况常见于社交网站上用户对自己的页面进行布局更改、或者是电商网站里卖家对自己的网页布局的设计等。
根据本公开的实施例，可以根据产生点击日志的点击行为所操作的的终端设备的类型来确定点击日志的产生源。
例如，用户的点击行为是通过pc端产生的，可以认为点击日志的产生源是pc端。
又例如，用户的点击行为是通过手机app客户端产生的，则可以认为点击日志的产生源是手机app。
根据本公开实施例，点击日志分发模块610将点击日志发送至与该点击日志所满足的预设条件相对应的数据暂存站中，使得在发送点击日志的同时对该点击日志按照其所满足的预设条件进行了筛选，从而使得后续对该点击日志进行处理时更加具有针对性。
数据暂存站中的点击日志保存时间的长短可以根据数据暂存站的容量大小、点击日志的产生量和处理量大小而定。
根据本公开的实施例，数据暂存站包括分布式订阅消息系统kafka。
第一获取模块620用于从与计算第一实时指标的数据需求相匹配的第一数据暂存站中获取第一点击日志。
根据本公开的实施例，第一计算模块620根据计算第一实时指标的数据需求，从与该数据需求相匹配的第一数据暂存站中获取计算所需的第一点击日志。
第一实时指标可以是能够反映用户点击行为的具有统计意义的指标，可以用于监控、展示和/或为系统优化等提供指导等的数据指标。
根据本公开的实施例，与计算第一实时指标的数据需求相匹配可以是，例如计算第一实时指标需要的点击日志数据恰好能够从某一个第一数据暂存站中找到。
例如，当第一实时指标是订单数据统计时，进行订单数据统计计算时需要的第一点击日志就是订单点击日志。此时，就从与订单主题相对应的第一数据暂存站中获取订单点击日志。
又例如，当第一实时指标是搜索日志统计时，进行搜索日志统计指标计算时需要的第一点击日志就是搜索点击日志。此时，就从与搜索主题相对应的第一数据暂存站中获取搜索点击日志。
可以理解的是，与计算第一实时指标的数据需求相匹配并不是说第一实时指标的数据需求与第一数据暂存站是一对一的关系，可以存在多个第一实时指标从同一个第一数据暂存站中获取数据的情况。
例如，当第一实时指标是关键词搜索指标、和第一实时指标是搜索统计时，无论是计算关键词搜索指标还是搜索统计，都可以是从搜索主题的第一数据暂存站中获取各自计算所需的点击日志。不同的是，在计算关键词搜索指标时是从搜索主题的第一数据暂存站中获取与关键词搜索相关的点击日志，而在计算搜索统计时是从搜索主题的第一数据暂存站中获取所有的点击日志。
第一计算模块630用于利用第一点击日志计算该第一实时指标。计算得到第一实时指标后可以将第一实时指标进行存储，以完成对第一点击日志的实时处理。
根据本公开的实施例，处理点击日志的装置600通过将点击日志根据其所满足的预设条件有针对性地发送到与该预设条件相对应的数据暂存站，然后在进行第一实时指标计算时再从与计算第一实时指标的数据需要相匹配的第一数据暂存站中获取所需的第一点击日志，最后计算得到第一实时指标从而完成点击日志的处理，可以一定程度地缓解了点击日志的积压，减少了计算第一实时指标时的计算冗余，并因此提高处理点击日志的时效性和稳定性。
图7示意性示出了根据本公开另一实施例的处理点击日志的装置的框图。
根据本公开另一实施例的处理点击日志的装置700除了点击日志分发模块610、第一获取模块620和第一计算模块630外，还包括点击日志收集模块740。
点击日志收集模块740用于当产生点击日志时，将该点击日志发送至数据暂存总站。
根据本公开的实施例，点击日志收集模块740在点击日志产生后发送到数据暂存总站进行汇集。
根据本公开的实施例，处理点击日志的装置700中的点击日志分发模块610是将数据暂存总站收集到的点击日志根据其所满足的预设条件，有针对性地发送到与该预设条件相对应的数据暂存站中。
根据本公开的实施例，数据暂存站和数据暂存总站可以是独立的用于暂时存储点击日志的装置或系统。或者，数据暂存站也可以是位于数据暂存总站中的、符合预设条件的数据集群。
根据本公开的实施例，处理点击日志的装置700通过数据暂存总站及时将产生的点击日志进行收集和汇总，有效地降低了了点击日志的遗漏等情况的发生，提高了点击日志处理系统的整体稳定性。
另外，处理点击日志的装置700在将点击日志按照预设条件有针对性地发送到与该预设条件相对应的数据暂存站之前，由数据暂存总站将产生的点击日志进行统一收集和汇总，能够减少对处理点击日志的上游业务的效率的影响，例如，避免因为处理点击日志而导致网页反映速度迟滞的现象。
图8示意性示出了根据本公开再一实施例的处理点击日志的装置的框图。
如图8所示，根据本公开再一实施例的处理点击日志的装置800除了点击日志分发模块610、第一获取模块620和第一计算模块630、点击日志收集模块740外，还包括第二获取模块850和第二计算模块860。
具体地，第二获取模块850用于当计算第二实时指标的数据需求无法与任意一个数据暂存站相匹配时，从数据暂存总站获取第二点击日志；
第二计算模块860用于利用该第二点击日志计算该第二实时指标。
根据本公开的实施例，计算第二实时指标的数据需求无法与任意一个数据暂存站相匹配的情形可以是，计算第二实时指标需要的点击日志需要关联多种功能的点击日志，此时从任意的一个第一数据暂存站中获得的第一点击日志都不能够完成第二实时指标的计算。
例如，当第二实时指标是搜索点击带来的订单数据指标。对该第二实时指标既要分析搜索的点击日志，同时还要关联由搜索点击行为所带来的最终的订单点击日志。
根据本公开的实施例，计算第二实时指标的数据需求无法与任意一个数据暂存站相匹配的情形还可以是，在由数据暂存站接收符合预定条件的点击日志时，可能会由于预设条件设定的局限性，导致一些点击日志并没有对应的数据暂存站可以被发送，从而这些点击日志仅暂存在数据暂存总站中。
根据本公开的实施例，处理点击日志的装置800当计算第二实时指标的数据需求无法与任意一个数据暂存站相匹配时，通过从数据暂存总站获取第二点击日志进行第二实时指标的计算，提高了数据处理的稳定性，避免了因第二实时指标无法从数据暂存站中获取第二点击日志而无法进行计算的问题。
根据本公开的实施例，处理点击日志的装置800在计算第一实时指标时，从与计算第一实时指标的数据需求相匹配的第一数据暂存站中获取第一点击日志进行计算；而在计算第二实时指标时，由于无法从任意一个数据暂存站中获得计算所需的第二点击日志，故而从数据暂存总站获取第二点击日志进行计算。由此可见，处理点击日志的装置800在处理点击日志时可以根据要计算的实时指标灵活选择点击日志的获取途径，从整体上提高了实时处理点击日志的时效性和稳定性。
图9示意性示出了根据本公开实施例的点击日志分发模块的框图。
如图9所示，根据本公开实施例的点击日志分发模块610包括判断子模块911和分发子模块912。
判断子模块911用于判断点击日志的第一参数；
分发子模块912用于根据该第一参数所满足的预设条件，将该点击日志发送到与该预设条件相对应的数据暂存站。
具体地，点击日志的第一参数可以是点击日志的数据信息中的一部分或者全部，例如第一参数可以是点击日志的产生源、主题类型和/或点击日志之间的关联信息等等。
根据本公开的实施例，点击日志分发模块610先判断点击日志的第一参数，然后根据第一参数所满足的预设条件将该点击日志发送到与该预设条件相对应的数据暂存站。点击日志分发模块610在将点击日志发送到对应的数据暂存站这一仅是通过预设条件对点击日志的第一参数进行比对和筛选，并没有破坏日志的原始格式，保证了点击日志处理过程中的数据稳定性。
可以理解的是，点击日志分发模块610、第一获取模块620、第一计算模块630、点击日志收集模块740、第二获取模块850、以及第二计算模块860可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本发明的实施例，点击日志分发模块610、第一获取模块620、第一计算模块630、点击日志收集模块740、第二获取模块850、以及第二计算模块860中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(fpga)、可编程逻辑阵列(pla)、片上系统、基板上的系统、封装上的系统、专用集成电路(asic)，或可以以对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式的适当组合来实现。或者，点击日志分发模块610、第一获取模块620、第一计算模块630、点击日志收集模块740、第二获取模块850、以及第二计算模块860中的至少一个可以至少被部分地实现为计算机程序模块，当该程序被计算机运行时，可以执行相应模块的功能。
图10示意性示出了根据本公开实施例的处理点击日志的计算机系统的框图。
如图10所示，计算机系统1000包括中央处理单元(cpu)1001，其可以根据存储在只读存储器(rom)1002中的程序或者从存储部分1008加载到随机访问存储器(ram)1003中的程序而执行各种适当的动作和处理。在ram1003中，还存储有系统1000操作所需的各种程序和数据。cpu1001、rom1002以及ram1003通过总线1004彼此相连。输入/输出(i/o)接口1005也连接至总线1004。
根据本公开的实施例，中央处理单元(cpu)1001可以执行存储在只读存储器(rom)1002中的程序或者从存储部分1008加载到随机访问存储器(ram)1003中的程序而执行上文描述的方法。需要注意的是，尽管图10仅示出了一个中央处理单元(cpu)1001、一个只读存储器(rom)1002和一个随机访问存储器(ram)1003，但本公开的实施例也可以包括一个或多个上述部件的情况。
以下部件连接至i/o接口1005：包括键盘、鼠标等的输入部分1006；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分1007；包括硬盘等的存储部分1008；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至i/o接口1005。可拆卸介质1011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1010上，以便于从其上读出的计算机程序根据需要被安装入存储部分1008。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1009从网络上被下载和安装，和/或从可拆卸介质1011被安装。在该计算机程序被中央处理单元(cpu)1001执行时，执行本公开的系统中限定的上述功能。
需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元和/或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元和/或模块也可以设置在处理器中，例如，可以描述为：一种处理器包括发送模块、获取模块、确定模块和第一处理模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，发送模块还可以被描述为“向所连接的服务端发送图片获取请求的模块”。
作为另一方面，根据本公开的实施例还提供了一种计算机可读介质。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，可以实现根据本公开实施例的处理点击日志的方法，包括：根据点击日志所满足的预设条件将该点击日志发送至与该预设条件相对应的数据暂存站；从与计算第一实时指标的数据需求相匹配的第一数据暂存站中获取第一点击日志；利用该第一点击日志计算该第一实时指标。
其中，根据本公开实施例的处理点击日志的方法在根据点击日志所满足的预设条件将该点击日志发送至与该预设条件相对应的数据暂存站之前，还包括当产生该点击日志时将该点击日志发送至数据暂存总站。另外，根据本公开实施例的处理点击日志的方法还可以包括当计算第二实时指标的数据需求无法与任意一个数据暂存站相匹配时从该数据暂存总站获取第二点击日志，然后利用该第二点击日志计算该第二实时指标。
根据点击日志所满足的预设条件将该点击日志发送至与该预设条件相对应的数据暂存站，包括判断该点击日志的第一参数，并根据该第一参数所满足的预设条件将该点击日志发送到与该预设条件相对应的数据暂存站。
预设条件包括点击日志的主题类型，和/或点击日志的产生源。数据暂存站包括分布式发布订阅消息系统kafka。
以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。