业务数据处理方法、系统、装置及电子设备与流程

文档序号:18544784发布日期:2019-08-27 21:33阅读:218来源:国知局
业务数据处理方法、系统、装置及电子设备与流程

本申请涉及计算机技术领域,尤其涉及一种业务数据处理方法、系统、装置及电子设备。



背景技术:

随着互联网及计算机技术的高速发展,线上业务量不断攀升,在业务量的高峰期,常会积压大量亟需处理的业务数据。比如,在电商平台的一些限时促销活动中,会积压很多亟需第三方支付平台处理的收费事件,这些积压的收费事件如果处理的不够及时,会引发商户的投诉。

对积压的大量业务数据的处理常被形象地称为泄洪,三层分发是一种利用分布式业务系统进行泄洪的方式,图1示出了现有的一种基于三层分发的业务数据处理方法的示意图。如图1所示,在消息中间件11收到业务数据的定时处理任务后,第一层服务器(分布式业务系统中的拆分节点(splitor))12会设置需要从各数据库中加载的积压业务数据的数量,然后发送给第二层服务器(分布式业务系统中的加载节点(loader))13;第二层服务器13遍历全量表(所有数据库对应的数据表)从各个数据库捞取相应数量的积压业务数据,然后分发给多个第三层服务器(分布式业务系统中的执行节点(executor))14进行处理。

现有的这种基于三层分发的泄洪方式,由于第二层服务器13需要遍历全量表加载积压业务数据,而全量表的数据量级很大,遍历一次非常的耗时,因此存在积压业务数据的加载效率低下的缺陷,导致数据处理速度缓慢。



技术实现要素:

本申请实施例提供了一种业务数据处理方法、系统、装置及电子设备,以提高数据处理速度。

为解决上述技术问题,本申请实施例是这样实现的:

第一方面,提出了一种业务数据处理方法,所述方法包括:

接收配置中心发送的业务数据处理任务;

基于存储业务数据的多个数据库,通过拆分节点将所述业务数据处理任务分发给多个加载节点,使得一个加载节点对应捞取一个数据库中的业务数据;

将加载节点捞取的业务数据,分发给与所捞取的业务数据的数量匹配的多个执行节点执行。

第二方面,提出了一种业务数据处理方法,所述方法包括:

接收配置中心发送的业务数据处理任务;

基于存储业务数据的多个数据库,将所述业务数据处理任务分发给多个加载节点,使得一个加载节点对应捞取一个数据库中的业务数据。

第三方面,提出了一种业务数据处理方法,所述方法包括:

响应于拆分节点分发的业务数据处理任务,从所述业务数据处理任务指定的一个数据库中捞取业务数据;

将捞取的业务数据,分发给与所捞取的业务数据的数量匹配的多个执行节点执行。

第四方面,提出了一种业务数据处理系统,所述系统包括:

拆分节点,用于在接收配置中心发送的业务数据处理任务之后,基于存储业务数据的多个数据库,将所述业务数据处理任务分发给多个加载节点,使得一个加载节点对应捞取一个数据库中的业务数据;

加载节点,用于将捞取的业务数据,分发给与所捞取的业务数据的数量匹配的多个执行节点执行。

第五方面,提出了一种业务数据处理装置,所述装置包括:

任务接收模块,用于接收配置中心发送的业务数据处理任务;

任务分发模块,用于基于存储业务数据的多个数据库,将所述业务数据处理任务分发给多个加载节点,使得一个加载节点对应捞取一个数据库中的业务数据。

第六方面,提出了一种业务数据处理装置,所述装置包括:

响应模块,用于响应于拆分节点分发的业务数据处理任务,从所述业务数据处理任务指定的一个数据库中捞取业务数据;

数据分发模块,用于将捞取的业务数据,分发给与所捞取的业务数据的数量匹配的多个执行节点执行。

第七方面,提出了一种电子设备,包括:

处理器;以及

被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行以下操作:

接收配置中心发送的业务数据处理任务;

基于存储业务数据的多个数据库,将所述业务数据处理任务分发给多个加载节点,使得一个加载节点对应捞取一个数据库中的业务数据。

第八方面,提出了一种计算机可读存储介质,所述计算机可读存储介质存储一个或多个程序,所述一个或多个程序当被包括多个应用程序的电子设备执行时,使得所述电子设备执行以下操作:

接收配置中心发送的业务数据处理任务;

基于存储业务数据的多个数据库,将所述业务数据处理任务分发给多个加载节点,使得一个加载节点对应捞取一个数据库中的业务数据。

第九方面,提出了一种电子设备,包括:

处理器;以及

被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行以下操作:

响应于拆分节点分发的业务数据处理任务,从所述业务数据处理任务指定的一个数据库中捞取业务数据;

将捞取的业务数据,分发给与所捞取的业务数据的数量匹配的多个执行节点执行。

第十方面,提出了一种计算机可读存储介质,所述计算机可读存储介质存储一个或多个程序,所述一个或多个程序当被包括多个应用程序的电子设备执行时,使得所述电子设备执行以下操作:

响应于拆分节点分发的业务数据处理任务,从所述业务数据处理任务指定的一个数据库中捞取业务数据;

将捞取的业务数据,分发给与所捞取的业务数据的数量匹配的多个执行节点执行。

由以上本申请实施例提供的技术方案可见,本申请实施例提供的方案至少具备如下一种技术效果:由于可以通过拆分节点将一个业务数据处理任务分发给多个加载节点,使得一个加载节点对应从一个指定数据库中捞取业务数据,而不是由一个加载节点从全量数据库中捞取业务数据,因此可以提高业务数据的捞取效率,进而可以提升业务数据的处理速度。

附图说明

此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:

图1是现有技术提供的业务数据处理系统的架构示意图。

图2是本说明书实施例提供的业务数据处理系统的架构示意图之一。

图3是本说明书实施例提供的业务数据处理系统的架构示意图之二。

图4是本说明书实施例提供的业务数据处理分法的流程示意图之一。

图5是本说明书实施例提供的业务数据处理分法的流程示意图之二。

图6是本说明书实施例提供的业务数据处理分法的流程示意图之三。

图7是本说明书实施例提供的业务数据处理分法的流程示意图之四。

图8是本说明书实施例提供的一种电子设备的结构示意图。

图9是本说明书实施例提供的业务数据处理装置的一种结构示意图。

图10是本说明书实施例提供的业务数据处理装置的另一种结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

为了提高积压的业务数据的处理速度,本说明书实施例提供一种业务数据处理方法、系统、装置及设备。为了清楚的理解本说明书实施例提供的各个技术方案的应用场景,下面先结合图2和图3对本说明书实施例提供的业务数据处理系统的架构进行说明。

如图2所示,本说明书实施例提供的业务数据处理系统是一个分布式业务系统,该业务数据处理系统可以包括:用户服务器32、配置中心33、消息中间件21、多个业务服务器35和drm服务器34。

其中,配置中心33用于对消息中间件(msgbroker)21和多个业务服务器35进行统一管理,消息中间件21和多个业务服务器35均注册到配置中心33;消息中间件21用于存储配置中心35产生的消息(可以是配置中心配置的定时任务),并向业务服务器35转发其存储的消息;用户服务器32用于向配置中心33通知数据配置的变更,向drm服务器34推送用户31(用户31可以是指业务数据处理系统的用户,如第三方支付平台的运维人员)设置的动态资源管理(dynamicresourcemanagement,drm)推值;drm服务器34用于存储和管理drm推值。

如图3所示,本说明书实施例提供的业务数据处理系统具体可以包括:消息中间件21、第一层服务器22、第二层服务器23和第三层服务器24,其中,第一层服务器22即为三层分发中的拆分节点(splitor),第二层服务器23即为三层分发中的加载节点(loader),第三层服务器24即为三层分发中的执行节点(executor)。为了便于理解,在下文中,将第一层服务器22、第二层服务器23和第三层服务器24分别用拆分节点、加载节点和执行节点对应描述。

并且,在本说明书提供的实施例中,图3中的第一层服务器22、第二层服务器23和第三层服务器24分别可以被看作是图2中的一个业务服务器35。

在图2和图3的基础上,如图4所示,本说明书实施例提供了一种业务数据处理方法,包括:

步骤402、接收配置中心发送的业务数据处理任务。

例如,如图2和图3所示,拆分节点22作为业务处理系统中的一个业务服务器,可以接收配置中心33发送的业务数据处理任务,且该业务数据处理任务可以是一个定时任务。

更为详细的,如图3所示,拆分节点22可以接收配置中心33通过消息中间件21发送的业务数据处理任务,或者说,拆分节点22可以通过订阅消息中间件21的消息,获取业务数据处理任务。

步骤404、基于存储业务数据的多个数据库,通过拆分节点将所述业务数据处理任务分发给多个加载节点,使得一个加载节点对应捞取一个数据库中的业务数据。

例如,如图3所示,假如存储业务数据的数据库有m个,则通过拆分节点22将业务数据处理任务分发给m个加载节点23,以使得一个加载节点23对应捞取一个数据库中的业务数据。

可选的,在一种实施方式中,步骤404可以包括:基于存储业务数据的多个数据库,通过拆分节点分别向多个加载节点发送指示信息,所述指示信息用于指示加载节点从一个指定数据库中捞取指定数量(如a条,a为正整数)的业务数据。

在实际应用中,拆分节点22可以将所述指示信息封装成一个数据对象(item)发送给加载节点23,加载节点接收到数据对象之后从中解析出指定数据库的数据库标识(databaseid,dlid)和指定数量这两个参数,然后依据解析出的dlid去对应的指定数据库中捞取指定数量的业务数据。

可选的,在另一种实施方式中,上述指示信息还可以用于指示加载节点从一个指定数据库中捞取满足预设条件的业务数据,以提升处理业务数据的灵活性。

进一步的,在通过拆分节点将所述业务数据处理任务分发给多个加载节点之前,图4所示的方法还可以包括:

通过拆分节点从drm服务器获取drm推值,并基于所述drm推值确定所述指示信息,也即基于所述drm推值确定所述指示信息中的预设条件。例如,如图2和图3所示,拆分节点22作为一个业务服务器35,可以从drm服务器34中拉取drm推值。

或者,在又一种实施方式中,在通过加载节点从指定数据库中捞取业务数据之前,图4所示的方法还可以包括:通过加载节点获取动态资源管理drm推值,其中,所述drm推值用于指示加载节点从一个指定数据库中捞取满足预设条件的业务数据。例如,如图2和图3所示,加载节点22作为一个业务服务器35,也可以从drm服务器34中拉取drm推值。

作为一个例子,所述预设条件可以包括产生业务数据的频次在预设频次以下的账户对应的业务数据,这可以使得加载节点避开热点账户而捞取非热点账户的业务数据,从而防止指定数据库的访问压力过大、捞取速度较慢,最终提高业务数据处理速度。

比如说,当需要处理的业务数据为积压的收费业务数据(第三方支付平台代商户向消费者收费的业务数据)时,所述预设条件可以包括入账频次或出账频次在预设频次以下的非热点账户对应的业务数据,可以使得加载节点避开热点账户而捞取非热点账户的收费业务数据,从而防止指定数据库的访问压力过大、捞取速度较慢,最终提高收费业务数据的泄洪速度。

作为另一个例子,所述预设条件可以包括指定商户(通过商户id标识)或指定业务场景的业务数据,这可以取得提高特定商户或特定业务场景的业务数据处理速度的效果。

根据前文的描述可知,drm推值可以是用户31通过用户服务器32推送并存储在drm服务器34中的,因此drm推值的内容可以由用户灵活设置,从而使得上述预设条件也可以由用户灵活设置,而不是局限于上述两个例子中所描述的内容,最终取得个性化地捞取业务数据并处理的良好效果,因此可以提升处理业务数据的灵活性。

步骤406、将加载节点捞取的业务数据,分发给与所捞取的业务数据的数量匹配的多个执行节点执行。

例如,如图3所示,对于每一个加载节点23而言,当其从对应的数据库中捞取a条(a为正整数)业务数据之后,可以将捞取到的a条业务数据分发给n个执行节点执行。

可选的,可以将加载节点捞取的业务数据,分发给与所捞取的业务数据的数量一致的多个执行节点执行,使得一个执行节点对应执行一条业务数据。例如,将捞取到的a条业务数据分发给a(n=a)个执行节点执行。

不难理解,将加载节点捞取的业务数据,分发给与所捞取的业务数据的数量一致的多个执行节点执行,可以使得一个执行节点一次只处理一条业务数据,而不是处理多条业务数据,因此可以进一步地提升业务数据的处理速度。

本说明书实施例提供的一种业务数据处理方法,由于可以通过拆分节点将一个业务数据处理任务分发给多个加载节点,使得一个加载节点对应从一个指定数据库中捞取业务数据,而不是由一个加载节点从全量数据库中捞取业务数据,因此可以提高业务数据的捞取效率,进而可以提升业务数据的处理速度。

下面结合图5,以业务数据为积压的收费业务数据为例,对本说明书实施例提供的一种业务数据处理方法进行详细的说明。

如图5所示,本说明书实施例提供的一种业务数据处理方法,可以包括:

步骤501、消息中间件21接收配置中心发送的收费业务数据处理任务;

步骤502、消息中间件21向拆分节点22发送所述收费业务数据处理任务;

步骤503、拆分节点22基于存储积压的收费业务数据的多个数据库,拼装包含指定数据库的数据库标识和指定数量(捞取条数)的数据对象(item),一个数据库对应拼装一个数据对象;

步骤504、拆分节点22分别向多个加载节点23发送一个拼装好的数据对象,一个加载节点发送一个数据对象;

步骤505、加载节点23根据drm推值和收到的数据对象,从指定数据库中捞取指定数量的满足预设条件的收费业务数据,并将捞取的指定数量的业务数据分发给与所述指定数量一致的多个执行节点24,使得一个执行节点24处理一条收费业务数据;

步骤506、执行节点24对接收到的收费业务数据进行处理。

图5提供的一种业务数据处理方法,一方面,由于可以通过拆分节点将一个收费业务数据处理任务分发给多个加载节点,使得一个加载节点对应从一个指定数据库中捞取指定数量的收费业务数据,而不是由一个加载节点从全量数据库中捞取收费业务数据,因此可以提高业务数据的捞取效率,进而提升业务数据的处理速度;另一方面,加载节点将捞取指定数量的收费业务数据分发给了与所述指定数量一致的多个执行节点,使得一个执行节点只处理一条收费业务数据,因此可以提高业务数据的处理效率,从而进一步地提升业务数据的处理速度。此外,加载节点根据drm推值和收到的数据对象,从指定数据库中捞取的是满足预设条件的收费业务数据,因此可以提高处理积压的收费业务数据的灵活性。

如图6所示,本说明书实施例还提供一种业务数据处理方法,可以应用于如图3所示的拆分节点中,该方法可以包括:

步骤602、接收配置中心发送的业务数据处理任务。

具体的,可以接收配置中心通过消息中间件发送的业务数据处理任务。

步骤604、基于存储业务数据的多个数据库,将所述业务数据处理任务分发给多个加载节点,使得一个加载节点对应捞取一个数据库中的业务数据。

可选的,在一种实施方式中,步骤604可以包括:基于存储业务数据的多个数据库,分别向多个加载节点发送指示信息,所述指示信息用于指示加载节点从一个指定数据库中捞取指定数量(如a条,a为正整数)的业务数据。

可选的,在另一种实施方式中,上述指示信息还可以用于指示加载节点从一个指定数据库中捞取满足预设条件的业务数据,以提升处理业务数据的灵活性。进一步的,在步骤604之前,图6所示的方法还可以包括:

从drm服务器获取drm推值,并基于所述drm推值确定所述指示信息,也即基于所述drm推值确定所述指示信息中的预设条件。例如,如图2和图3所示,拆分节点22作为一个业务服务器35,可以从drm服务器34中拉取drm推值。

作为一个例子,所述预设条件可以包括产生业务数据的频次在预设频次以下的账户对应的业务数据,这可以使得加载节点避开热点账户而捞取非热点账户的业务数据,从而防止指定数据库的访问压力过大、捞取速度较慢,最终提高业务数据处理速度。

作为另一个例子,所述预设条件可以包括指定商户(通过商户id标识)或指定业务场景的业务数据,这可以取得提高特定商户或特定业务场景的业务数据处理速度的效果。

根据前文的描述可知,drm推值可以是用户通过用户服务器推送并存储在drm服务器中的,因此drm推值的内容可以由用户灵活设置,从而使得上述预设条件也可以由用户灵活设置,而不是局限于上述两个例子中所描述的内容,最终取得个性化地捞取业务数据并处理的良好效果,因此可以提升处理业务数据的灵活性。

图6提供的一种业务数据处理方法,由于拆分节点可以将一个收费业务数据处理任务分发给多个加载节点,使得一个加载节点对应从一个指定数据库中捞取指定数量的收费业务数据,而不是由一个加载节点从全量数据库中捞取收费业务数据,因此可以提高业务数据的捞取效率,进而提升业务数据的处理速度。

如图7所示,本说明书实施例还提供一种业务数据处理方法,可以应用于如图3所示的加载节点23中,该方法可以包括:

步骤702、响应于拆分节点分发的业务数据处理任务,从所述业务数据处理任务指定的一个数据库中捞取业务数据。

可选的,在从所述业务数据处理任务指定的一个数据库中捞取业务数据之前,图7所示的方法还可以包括:获取动态资源管理drm推值,例如,如图2和图3所示,加载节点22作为一个业务服务器35,也可以从drm服务器34中拉取drm推值。相应的,加载节点可以基于所述drm推值,从一个指定数据库中捞取满足预设条件的业务数据。

作为一个例子,所述预设条件可以包括产生业务数据的频次在预设频次以下的账户对应的业务数据,这可以使得加载节点避开热点账户而捞取非热点账户的业务数据,从而防止指定数据库的访问压力过大、捞取速度较慢,最终提高业务数据处理速度。

作为另一个例子,所述预设条件可以包括指定商户(通过商户id标识)或指定业务场景的业务数据,这可以取得提高特定商户或特定业务场景的业务数据处理速度的效果。

根据前文的描述可知,drm推值可以是用户通过用户服务器推送并存储在drm服务器中的,因此drm推值的内容可以由用户灵活设置,从而使得上述预设条件也可以由用户灵活设置,而不是局限于上述两个例子中所描述的内容,最终取得个性化地捞取业务数据并处理的良好效果,因此可以提升处理业务数据的灵活性。

步骤704、将捞取的业务数据,分发给与所捞取的业务数据的数量匹配的多个执行节点执行。

例如,如图3所示,对于每一个加载节点23而言,当其从对应的数据库中捞取a条(a为正整数)业务数据之后,可以将捞取到的a条业务数据分发给n个执行节点执行。

可选的,可以将加载节点捞取的业务数据,分发给与所捞取的业务数据的数量一致的多个执行节点执行,使得一个执行节点对应执行一条业务数据。例如,将捞取到的a条业务数据分发给a(n=a)个执行节点执行。

不难理解,将加载节点捞取的业务数据,分发给与所捞取的业务数据的数量一致的多个执行节点执行,可以使得一个执行节点一次只处理一条业务数据,而不是处理多条业务数据,因此可以进一步地提升业务数据的处理速度。

图7提供的一种业务数据处理方法,由于加载节点将捞取指定数量的收费业务数据分发给了与所述指定数量匹配的多个执行节点,使得一个执行节点一次只处理少量的业务数据,因此可以提高业务数据的处理效率,进而提升业务数据的处理速度。

除了上述业务数据处理方法,本说明书实施例还提供一种业务处理系统,如图3所示,该系统可以包括:拆分节点22和多个加载节点23。

拆分节点22,用于在接收配置中心发送的业务数据处理任务之后,基于存储业务数据的多个数据库,将所述业务数据处理任务分发给多个加载节点,使得一个加载节点对应捞取一个数据库中的业务数据。

可选的,在一种实施方式中,拆分节点22可用于:基于存储业务数据的多个数据库,通过拆分节点分别向多个加载节点发送指示信息,所述指示信息用于指示加载节点从一个指定数据库中捞取指定数量(如a条,a为正整数)的业务数据。

可选的,在另一种实施方式中,上述指示信息还可以用于指示加载节点从一个指定数据库中捞取满足预设条件的业务数据,以提升处理业务数据的灵活性。

加载节点23,用于将捞取的业务数据,分发给与所捞取的业务数据的数量匹配的多个执行节点执行。

可选地,在一种实施方式中,加载节点23可用于:获取动态资源管理drm推值,并根据所述drm推值,从指定数据库中捞取指定数量的满足预设条件的业务数据,以提升处理业务数据的灵活性。

作为一个例子,所述预设条件可以包括产生业务数据的频次在预设频次以下的账户对应的业务数据,这可以使得加载节点避开热点账户而捞取非热点账户的业务数据,从而防止指定数据库的访问压力过大、捞取速度较慢,最终提高业务数据处理速度。

作为另一个例子,所述预设条件可以包括指定商户(通过商户id标识)或指定业务场景的业务数据,这可以取得提高特定商户或特定业务场景的业务数据处理速度的效果。

根据前文的描述可知,drm推值可以是用户通过用户服务器推送并存储在drm服务器中的,因此drm推值的内容可以由用户灵活设置,从而使得上述预设条件也可以由用户灵活设置,而不是局限于上述两个例子中所描述的内容,最终取得个性化地捞取业务数据并处理的良好效果,因此可以提升处理业务数据的灵活性。

例如,如图3所示,对于每一个加载节点23而言,当其从对应的数据库中捞取a条(a为正整数)业务数据之后,可以将捞取到的a条业务数据分发给n个执行节点执行。

可选的,可以将加载节点捞取的业务数据,分发给与所捞取的业务数据的数量一致的多个执行节点执行,使得一个执行节点对应执行一条业务数据。例如,将捞取到的a条业务数据分发给a(n=a)个执行节点执行。

不难理解,将加载节点捞取的业务数据,分发给与所捞取的业务数据的数量一致的多个执行节点执行,可以使得一个执行节点一次只处理一条业务数据,而不是处理多条业务数据,因此可以进一步地提升业务数据的处理速度。

当然,如图3所示,本说明书实施例提供的业务数据处理系统,还可以包括多个执行节点(如n个)24,以对加载节点23分发的业务数据进行处理。

本说明书实施例提供的一种业务数据处理系统,由于拆分节点可以将一个业务数据处理任务分发给多个加载节点,使得一个加载节点对应从一个指定数据库中捞取业务数据,而不是由一个加载节点从全量数据库中捞取业务数据,因此可以提高业务数据的捞取效率,进而可以提升业务数据的处理速度。

以上是对本说明书提供一种业务数据处理方法和系统的说明,下面对本说明书提供的电子设备进行介绍。

图8是本说明书的一个实施例提供的电子设备的结构示意图。请参考图8,在硬件层面,该电子设备包括处理器,可选地还包括内部总线、网络接口、存储器。其中,存储器可能包含内存,例如高速随机存取存储器(random-accessmemory,ram),也可能还包括非易失性存储器(non-volatilememory),例如至少1个磁盘存储器等。当然,该电子设备还可能包括其他业务所需要的硬件。

处理器、网络接口和存储器可以通过内部总线相互连接,该内部总线可以是isa(industrystandardarchitecture,工业标准体系结构)总线、pci(peripheralcomponentinterconnect,外设部件互连标准)总线或eisa(extendedindustrystandardarchitecture,扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图8中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。

存储器,用于存放程序。具体地,程序可以包括程序代码,所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器,并向处理器提供指令和数据。

处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行,在逻辑层面上形成业务数据处理装置。处理器,执行存储器所存放的程序,并具体用于执行以下操作:

接收配置中心发送的业务数据处理任务;

基于存储业务数据的多个数据库,将所述业务数据处理任务分发给多个加载节点,使得一个加载节点对应捞取一个数据库中的业务数据。

或者,处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行,在逻辑层面上形成业务数据处理装置。处理器,执行存储器所存放的程序,并具体用于执行以下操作:

响应于拆分节点分发的业务数据处理任务,从所述业务数据处理任务指定的一个数据库中捞取业务数据;

将捞取的业务数据,分发给与所捞取的业务数据的数量匹配的多个执行节点执行。

上述如本说明书图6或图7所示实施例揭示的业务数据处理方法可以应用于处理器中,或者由处理器实现。处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器,包括中央处理器(centralprocessingunit,cpu)、网络处理器(networkprocessor,np)等;还可以是数字信号处理器(digitalsignalprocessor,dsp)、专用集成电路(applicationspecificintegratedcircuit,asic)、现场可编程门阵列(field-programmablegatearray,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本说明书一个或多个实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本说明书一个或多个实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。

该电子设备还可执行图6或图7的业务数据处理方法,本说明书在此不再赘述。

当然,除了软件实现方式之外,本说明书的电子设备并不排除其他实现方式,比如逻辑器件抑或软硬件结合的方式等等,也就是说以下处理流程的执行主体并不限定于各个逻辑单元,也可以是硬件或逻辑器件。

本说明书实施例还提出了一种计算机可读存储介质,该计算机可读存储介质存储一个或多个程序,该一个或多个程序包括指令,该指令当被包括多个应用程序的便携式电子设备执行时,能够使该便携式电子设备执行图6所示实施例的方法,并具体用于执行以下操作:

接收配置中心发送的业务数据处理任务;

基于存储业务数据的多个数据库,将所述业务数据处理任务分发给多个加载节点,使得一个加载节点对应捞取一个数据库中的业务数据。

本说明书实施例还提出了一种计算机可读存储介质,该计算机可读存储介质存储一个或多个程序,该一个或多个程序包括指令,该指令当被包括多个应用程序的便携式电子设备执行时,能够使该便携式电子设备执行图7所示实施例的方法,并具体用于执行以下操作:

响应于拆分节点分发的业务数据处理任务,从所述业务数据处理任务指定的一个数据库中捞取业务数据;

将捞取的业务数据,分发给与所捞取的业务数据的数量匹配的多个执行节点执行。

下面对本说明书提供的业务数据处理装置进行说明。

如图9所示,本说明书的一个实施例提供了一种业务数据处理装置,可应用于业务数据处理系统中的拆分节点中,在一种软件实施方式中,该业务数据处理装置可包括:任务接收模块901和任务分发模块902。

任务接收模块901,用于接收配置中心发送的业务数据处理任务。

具体的,任务接收模块901,可以用于接收配置中心通过消息中间件发送的业务数据处理任务。

任务分发模块902,用于基于存储业务数据的多个数据库,将所述业务数据处理任务分发给多个加载节点,使得一个加载节点对应捞取一个数据库中的业务数据。

可选的,在一种实施方式中,任务分发模块902可用于:基于存储业务数据的多个数据库,分别向多个加载节点发送指示信息,所述指示信息用于指示加载节点从一个指定数据库中捞取指定数量(如a条,a为正整数)的业务数据。

可选的,在另一种实施方式中,上述指示信息还可以用于指示加载节点从一个指定数据库中捞取满足预设条件的业务数据,以提升处理业务数据的灵活性。

进一步的,图9所示的装置还可以包括:指示信息确定模块,用于从drm服务器获取drm推值,并基于所述drm推值确定所述指示信息,也即基于所述drm推值确定所述指示信息中的预设条件。

作为一个例子,所述预设条件可以包括产生业务数据的频次在预设频次以下的账户对应的业务数据,这可以使得加载节点避开热点账户而捞取非热点账户的业务数据,从而防止指定数据库的访问压力过大、捞取速度较慢,最终提高业务数据处理速度。

作为另一个例子,所述预设条件可以包括指定商户(通过商户id标识)或指定业务场景的业务数据,这可以取得提高特定商户或特定业务场景的业务数据处理速度的效果。

根据前文的描述可知,drm推值可以是用户通过用户服务器推送并存储在drm服务器中的,因此drm推值的内容可以由用户灵活设置,从而使得上述预设条件也可以由用户灵活设置,而不是局限于上述两个例子中所描述的内容,最终取得个性化地捞取业务数据并处理的良好效果,因此可以提升处理业务数据的灵活性。

图9提供的业务数据处理装置900,由于可以将一个收费业务数据处理任务分发给多个加载节点,使得一个加载节点对应从一个指定数据库中捞取指定数量的收费业务数据,而不是由一个加载节点从全量数据库中捞取收费业务数据,因此可以提高业务数据的捞取效率,进而可以提升业务数据的处理速度。

需要说明的是,业务数据处理装置900能够实现图6的方法实施例的方法,具体可参考图6所示实施例的业务数据处理方法,不再赘述。

如图10所示,本说明书的一个实施例提供了一种业务数据处理装置,可应用于业务数据处理系统中的加载节点中,在一种软件实施方式中,该业务数据处理装置可包括:响应模块1001和数据分发模块1002。

响应模块1001,用于响应于拆分节点分发的业务数据处理任务,从所述业务数据处理任务指定的一个数据库中捞取业务数据。

可选的,图10所示的装置1000还可以包括:drm推值获取模块,用于在响应模块1001从所述业务数据处理任务指定的一个数据库中捞取业务数据之前,获取动态资源管理drm推值,相应的,响应模块1001可用于:基于所述drm推值,从一个指定数据库中捞取满足预设条件的业务数据。

作为一个例子,所述预设条件可以包括产生业务数据的频次在预设频次以下的账户对应的业务数据,这可以使得加载节点避开热点账户而捞取非热点账户的业务数据,从而防止指定数据库的访问压力过大、捞取速度较慢,最终提高业务数据处理速度。

作为另一个例子,所述预设条件可以包括指定商户(通过商户id标识)或指定业务场景的业务数据,这可以取得提高特定商户或特定业务场景的业务数据处理速度的效果。

根据前文的描述可知,drm推值可以是用户通过用户服务器推送并存储在drm服务器中的,因此drm推值的内容可以由用户灵活设置,从而使得上述预设条件也可以由用户灵活设置,而不是局限于上述两个例子中所描述的内容,最终取得个性化地捞取业务数据并处理的良好效果,因此可以提升处理业务数据的灵活性。

数据分发模块1002,用于将捞取的业务数据,分发给与所捞取的业务数据的数量匹配的多个执行节点执行。

可选的,数据分发模块1002可用于:将加载节点捞取的业务数据,分发给与所捞取的业务数据的数量一致的多个执行节点执行,使得一个执行节点对应执行一条业务数据。

不难理解,将加载节点捞取的业务数据,分发给与所捞取的业务数据的数量一致的多个执行节点执行,可以使得一个执行节点一次只处理一条业务数据,而不是处理多条业务数据,因此可以进一步地提升业务数据的处理速度。

图10提供的业务数据处理装置1000,由于是将捞取指定数量的收费业务数据分发给了与所述指定数量匹配的多个执行节点,使得一个执行节点一次只处理少量的业务数据,因此可以提高业务数据的处理效率,进而可以提升业务数据的处理速度。

需要说明的是,业务数据处理装置1000能够实现图7的方法实施例的方法,具体可参考图7所示实施例的业务数据处理方法,不再赘述。

总之,以上所述仅为本说明书的较佳实施例而已,并非用于限定本说明书的保护范围。凡在本说明书一个或多个实施例的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本说明书一个或多个实施例的保护范围之内。

上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitorymedia),如调制的数据信号和载波。

还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制时,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1