]步骤S105中,在大数据统计系统正式开始闲时统计之前,大数据统计系统还得判断当前闲时统计接口是否可以被合法调用,若当前闲时统计接口可以被合法调用,则大数据统计系统启动闲时统计;否则,大数据统计系统不作任何操作。
[0050]步骤S105中,当前闲时统计接口是否可以被合法调用可以在大数据统计系统的管理页面上设定一个状态值来决定。
[0051 ] S106、大数据统计系统启动闲时统计。
[0052]本发明动态闲时统计只要数据库处于空闲状态,便及时对数据库数据进行整理归档,为海量数据的统计分析提供最新最精准的归档数据,在此最新最精准的归档数据基础之上进行海量数据统计分析时,能够既快速又精确的获得所需要的统计数据。
[0053]实施例三
[0054]一种用于大数据统计的系统,包括中间件系统和大数据统计系统,所述大数据统计系统执行定时统计,所述中间件系统和所述大数据统计系统共同执行动态闲时统计,所述定时统计和所述动态闲时统计同步执行。
[0055]大数据统计系统既执行定时统计又执行动态闲时统计,且所述定时统计和所述动态闲时统计同步执行;所以大数据统计系统有两个同时进行的线程,分别用于执行定时统计和执行动态闲时统计。
[0056]以下用图3详细说明一下中间件系统和大数据统计系统共同执行动态闲时统计的过程,需要说明的是,在此同时,大数据统计系统执行定时统计。
[0057]参加图3,图3是本发明一种用于大数据统计的系统执行动态闲时统计的一个优选实施例的流程图。
[0058]一种用于大数据统计的系统执行动态闲时统计的步骤,包括:
[0059]S201、在所述大数据统计系统的控制页面上动态预设触发时间间隔和触发阈值。
[0060]步骤S201中,动态预设触发时间间隔和触发阈值的方式有多种,例如,可直接在中间件系统上动态预设触发时间间隔和触发阈值;或者,在大数据统计系统上动态预设触发时间间隔和触发阈值,并将所述动态预设的触发时间间隔和触发阈值发送给所述中间件系统。
[0061]在大数据统计系统上动态预设触发时间间隔和触发阈值的方式有多种,作为一个实施例,在大数据统计系统的控制页面上动态预设触发时间间隔和触发阈值,与此种设置方式相应的,大数据统计系统将所述动态预设的触发时间间隔和触发阈值以http协议发送给中间件系统。
[0062]S202、所述大数据统计系统将所述动态预设的触发时间间隔和触发阈值以http协议发送给所述中间件系统。
[0063]S203、所述中间件系统接收所述动态预设的触发时间间隔和触发阈值。
[0064]步骤S203中,中间件系统接收所述动态预设的触发时间间隔和触发阈值以使用该触发时间间隔和触发阈值进行步骤S204的对比。
[0065]S204、所述中间件系统判断在预设的触发时间间隔内所述中间件系统的并发访问量是否小于预设的触发阈值。
[0066]步骤S204为中间件系统判断当前数据库是否处于空闲状态的一种具体方式,中间件系统判断当前数据库是否处于空闲状态还可以有别的实现方式,本发明对中间件系统判断当前数据库是否处于空闲状态的方式不作限制。本实施例中,中间件系统判断在预设的触发时间间隔内所述中间件系统的并发访问量是否小于预设的触发阈值,若是,则当前数据库处于空闲状态;否则,当前数据库处于非空闲状态。
[0067]S205、若当前数据库处于空闲状态,所述中间件系统发送调用闲时统计接口的信息给大数据统计系统。
[0068]S206、大数据统计系统接收到所述调用闲时统计接口的信息。
[0069]步骤S206中,大数据统计系统接收到所述调用闲时统计接口的信息,大数据统计系统进入闲时统计准备阶段。
[0070]S207、大数据统计系统判断当前闲时统计接口是否可以被合法调用。
[0071]步骤S207为大数据统计系统的闲时统计准备阶段,即在大数据统计系统正式开始闲时统计之前,大数据统计系统还得判断当前闲时统计接口是否可以被合法调用,若当前闲时统计接口可以被合法调用,则大数据统计系统启动闲时统计;否则,大数据统计系统不作任何操作。
[0072]S208、启动闲时统计。
[0073]本发明动态闲时统计只要数据库处于空闲状态,便及时对数据库数据进行整理归档,为海量数据的统计分析提供最新最精准的归档数据,在此最新最精准的归档数据基础之上进行海量数据统计分析时,能够既快速又精确的获得所需要的统计数据。
[0074]与上述动态闲时统计同时执行的定时统计包括:
[0075]在所述大数据统计系统的管理页面上设置定时统计的执行频率;
[0076]所述大数据统计系统按照所述执行频率启动定时统计。
[0077]例如,在所述大数据统计系统的管理页面上设置定时统计的执行频率为I次/小时(当设置定时统计的执行频率为I次/小时,大数据统计系统默认在每个整点时启动定时统计),则大数据统计系统在每个整点启动定时统计,并且将最近一次定时统计的数据作为归档数据,以备当动态闲时统计出现故障时使用。
[0078]本发明定时统计当动态闲时统计出现故障时定时统计归档的数据可为海量数据的统计分析提供数据基础,保证能够快速获得所需要的统计数据,而不至于当动态闲时统计出现故障时,导致系统崩溃,不能返回统计结果。
[0079]以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
【主权项】
1.一种大数据统计方法,其特征在于,包括:定时统计和动态闲时统计,所述定时统计和所述动态闲时统计同步执行。2.根据权利要求1所述的一种大数据统计方法,其特征在于,所述动态闲时统计包括: 中间件系统判断当前数据库是否处于空闲状态,若是,则发送调用闲时统计接口的信息给大数据统计系统; 大数据统计系统接收到所述调用闲时统计接口的信息,判断当前闲时统计接口是否可以被合法调用,若是,则启动闲时统计。3.根据权利要求2所述的一种大数据统计方法,其特征在于,所述中间件系统判断当前数据库处于空闲状态具体为:所述中间件系统判断在预设的触发时间间隔内所述中间件系统的并发访问量是否小于预设的触发阈值,若是,则当前数据库处于空闲状态;否则,当前数据库处于非空闲状态。4.根据权利要求3所述的一种大数据统计方法,其特征在于,所述中间件系统判断在预设的触发时间间隔内所述中间件系统的并发访问量是否小于预设的触发阈值之前,还包括:动态预设触发时间间隔和触发阈值。5.根据权利要求4所述的一种大数据统计方法,其特征在于,在所述中间件系统上动态预设触发时间间隔和触发阈值。6.根据权利要求4所述的一种大数据统计方法,其特征在于,在所述大数据统计系统上动态预设触发时间间隔和触发阈值,所述大数据统计系统将所述动态预设的触发时间间隔和触发阈值发送给所述中间件系统,所述中间件系统接收所述动态预设的触发时间间隔和触发阈值。7.根据权利要求6所述的一种大数据统计方法,其特征在于,所述在所述大数据统计系统上动态预设触发时间间隔和触发阈值,所述大数据统计系统将所述动态预设的触发时间间隔和触发阈值发送给所述中间件系统,所述中间件系统接收所述动态预设的触发时间间隔和触发阈值,具体为:在所述大数据统计系统的控制页面上动态预设触发时间间隔和触发阈值,所述大数据统计系统将所述动态预设的触发时间间隔和触发阈值以http协议发送给所述中间件系统,所述中间件系统接收所述动态预设的触发时间间隔和触发阈值。8.根据权利要求1所述的一种大数据统计方法,其特征在于,所述定时统计包括: 在所述大数据统计系统的管理页面上设置定时统计的执行频率; 所述大数据统计系统按照所述执行频率启动定时统计。9.一种用于大数据统计的系统,其特征在于,包括中间件系统和大数据统计系统,所述大数据统计系统执行如权利要求1-8任一项所述的定时统计,所述中间件系统和所述大数据统计系统共同执行如权利要求1-8任一项所述的动态闲时统计,所述定时统计和所述动态闲时统计同步执行。
【专利摘要】本发明涉及大数据处理技术领域,尤其涉及一种大数据统计方法及用于大数据统计的系统。本发明提供了一种大数据统计方法及用于大数据统计的系统,所述方法包括定时统计和动态闲时统计,所述定时统计和所述动态闲时统计同步执行。本发明将动态闲时统计和定时统计相结合,动态闲时统计归档的数据可使在进行海量数据统计分析时能够既快速又精确的获得所需要的统计数据,当动态闲时统计出现故障时,定时统计归档的数据可为海量数据的统计分析提供统计基础,保证能够快速获得所需要的统计数据。
【IPC分类】G06F17/30
【公开号】CN104951552
【申请号】CN201510367373
【发明人】邹炜
【申请人】努比亚技术有限公司
【公开日】2015年9月30日
【申请日】2015年6月29日