一种大数据统计方法及用于大数据统计的系统的制作方法
【技术领域】
[0001]本发明涉及大数据处理技术领域，尤其涉及一种大数据统计方法及用于大数据统计的系统。
【背景技术】
[0002]进入2012年，大数据(big data) —词越来越多地被提及，人们用它来描述和定义信息爆炸时代产生的海量数据。截止到2012年，数据量已经从TB(1024GB = I TB)级别跃升到 PB(1024TB = 1PB)、EB(1024PB = 1EB)乃至 ZB(1024EB = IZB)级别。国际数据公司(IDC)的研宄结果表明，2008年全球产生的数据量为0.49ZB，2009年的数据量为0.8ZB，2010年增长为1.2ZB，2011年的数据量更是高达1.82ZB，相当于全球每人产生200GB以上的数据量。
[0003]对海量数据进行统计分析，是一件非常耗时的事，特别是在面对ZB级别的数据时，进行实时数据统计不但不能及时返回统计结果，而且更有可能将系统应用拖垮。所以在当下，几乎不可能对海量数据提供实时的统计分析。即便是众所周知的友盟，在向客户提供数据统计服务时，也是在预先统计归档的数据基础之上，从归档好的数据中进行二次查询，对数据进行统计分析。这种做法的优点是统计分析的响应时间快，但缺点也很明显，归档数据是离线处理好的，在此基础上查询统计分析出来的结果，并非当前真实精准的数据。
【发明内容】
[0004]本发明的主要目的在于提出一种大数据统计方法及用于大数据统计的系统。本发明将定时统计和动态闲时统计相结合，使得在进行海量数据统计时能够既快速又精准地获得所需要统计的数据。
[0005]本发明解决上述技术问题的技术方案如下:
[0006]一种大数据统计方法，包括:定时统计和动态闲时统计，所述定时统计和所述动态闲时统计同步执行。
[0007]进一步地，所述动态闲时统计包括:
[0008]中间件系统判断当前数据库是否处于空闲状态，若是，则发送调用闲时统计接口的信息给大数据统计系统；
[0009]大数据统计系统接收到所述调用闲时统计接口的信息，判断当前闲时统计接口是否可以被合法调用，若是，则启动闲时统计。
[0010]进一步地，所述中间件系统判断当前数据库处于空闲状态具体为:所述中间件系统判断在预设的触发时间间隔内所述中间件系统的并发访问量是否小于预设的触发阈值，若是，则当前数据库处于空闲状态；否则，当前数据库处于非空闲状态。
[0011]进一步地，所述中间件系统判断在预设的触发时间间隔内所述中间件系统的并发访问量是否小于预设的触发阈值之前，还包括:动态预设触发时间间隔和触发阈值。
[0012]进一步地，在所述中间件系统上动态预设触发时间间隔和触发阈值。
[0013]进一步地，在所述大数据统计系统上动态预设触发时间间隔和触发阈值，所述大数据统计系统将所述动态预设的触发时间间隔和触发阈值发送给所述中间件系统，所述中间件系统接收所述动态预设的触发时间间隔和触发阈值。
[0014]进一步地，所述在所述大数据统计系统上动态预设触发时间间隔和触发阈值，所述大数据统计系统将所述动态预设的触发时间间隔和触发阈值发送给所述中间件系统，所述中间件系统接收所述动态预设的触发时间间隔和触发阈值，具体为:在所述大数据统计系统的控制页面上动态预设触发时间间隔和触发阈值，所述大数据统计系统将所述动态预设的触发时间间隔和触发阈值以http协议发送给所述中间件系统，所述中间件系统接收所述动态预设的触发时间间隔和触发阈值。
[0015]进一步地，所述定时统计包括:
[0016]在所述大数据统计系统的管理页面上设置定时统计的执行频率；
[0017]所述大数据统计系统按照所述执行频率启动定时统计。
[0018]一种用于大数据统计的系统，包括中间件系统和大数据统计系统，所述大数据统计系统执行上述一种大数据统计方法中所述的定时统计，所述中间件系统和所述大数据统计系统共同执行上述一种大数据统计方法中所述的动态闲时统计，所述定时统计和所述动态闲时统计同步执行。
[0019]本发明提供了一种大数据统计方法及用于大数据统计的系统，所述方法包括定时统计和动态闲时统计，所述定时统计和所述动态闲时统计同步执行。本发明将动态闲时统计和定时统计相结合，动态闲时统计归档的数据可使在进行海量数据统计分析时能够既快速又精确的获得所需要的统计数据，当动态闲时统计出现故障时，定时统计归档的数据可为海量数据的统计分析提供统计基础，保证能够快速获得所需要的统计数据。
【附图说明】
[0020]图1是本发明一种大数据统计方法的流程示意图；
[0021]图2是本发明一种大数据统计方法中动态闲时统计的一个优选实施例的流程图；
[0022]图3是本发明一种用于大数据统计的系统执行动态闲时统计的一个优选实施例的流程图；
[0023]本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
【具体实施方式】
[0024]为使本发明解决的技术问题、采用的技术方案和达到的技术效果更加清楚，下面将结合附图对本发明实施例的技术方案作进一步的详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0025]实施例一
[0026]参见图1，图1是本发明一种大数据统计方法的流程示意图。
[0027]一种大数据统计方法，包括:定时统计和动态闲时统计，所述定时统计和所述动态闲时统计同步执行。
[0028]本发明将动态闲时统计和定时统计相结合，双重保险的机制为快速精确地统计分析海量数据提供稳定可靠的数据基础。
[0029]进一步地，所述动态闲时统计包括:
[0030]中间件系统判断当前数据库是否处于空闲状态，若是，则发送调用闲时统计接口的信息给大数据统计系统；
[0031]大数据统计系统接收到所述调用闲时统计接口的信息，判断当前闲时统计接口是否可以被合法调用，若是，则启动闲时统计。
[0032]本发明动态闲时统计只要数据库处于空闲状态，便及时对数据库数据进行整理归档，为海量数据的统计分析提供最新最精准的归档数据，在此最新最精准的归档数据基础之上进行海量数据统计分析时，能够既快速又精确的获得所需要的统计数据。
[0033]进一步地，所述定时统计包括:
[0034]在所述大数据统计系统的管理页面上设置定时统计的执行频率；
[0035]所述大数据统计系统按照所述执行频率启动定时统计。
[0036]本发明定时统计当动态闲时统计出现故障时定时统计归档的数据可为海量数据的统计分析提供数据基础，保证能够快速获得所需要的统计数据，而不至于当动态闲时统计出现故障时，导致系统崩溃，不能返回统计结果。
[0037]实施例二
[0038]参加图2，图2是本发明一种大数据统计方法中动态闲时统计的一个优选实施例的流程图。
[0039]一种动态闲时统计方法包括:
[0040]S11、动态预设触发时间间隔和触发阈值。
[0041]步骤SlOl中，可直接在中间件系统上动态预设触发时间间隔和触发阈值；或者，在大数据统计系统上动态预设触发时间间隔和触发阈值，并将所述动态预设的触发时间间隔和触发阈值发送给所述中间件系统。
[0042]在大数据统计系统上动态预设触发时间间隔和触发阈值的方式有多种，作为一个实施例，在大数据统计系统的控制页面上动态预设触发时间间隔和触发阈值，大数据统计系统将所述动态预设的触发时间间隔和触发阈值以http协议发送给中间件系统，中间件系统接收所述动态预设的触发时间间隔和触发阈值以使用该触发时间间隔和触发阈值进行后面步骤的对比。
[0043]S102、中间件系统判断在预设的触发时间间隔内所述中间件系统的并发访问量是否小于预设的触发阈值。
[0044]步骤S102为中间件系统判断当前数据库是否处于空闲状态的一种具体方式，中间件系统判断当前数据库是否处于空闲状态还可以有别的实现方式，本发明对中间件系统判断当前数据库是否处于空闲状态的方式不作限制。本实施例中，中间件系统判断在预设的触发时间间隔内所述中间件系统的并发访问量是否小于预设的触发阈值，若是，则当前数据库处于空闲状态；否则，当前数据库处于非空闲状态。
[0045]S103、若当前数据库处于空闲状态，则中间件系统发送调用闲时统计接口的信息给大数据统计系统。
[0046]S104、大数据统计系统接收所述调用闲时统计接口的信息。
[0047]步骤S104中，大数据统计系统接收所述调用闲时统计接口的信息，大数据统计系统进入闲时统计准备阶段。
[0048]S105、大数据统计系统判断当前闲时统计接口是否可以被合法调用。
[0049