防重批量处理数据的方法、装置、系统及存储介质与流程

文档序号:25543300发布日期:2021-06-18 20:40阅读:来源:国知局

技术特征:

1.一种防重批量处理数据的方法,其特征在于,应用于调度中心系统中的调度节点中,所述方法包括:

根据获取到的调度计划,获取分布式锁,所述调度计划包括处理任务和处理时间,所述分布式锁用于锁定所述处理任务只在所述调度节点执行;

根据所述处理任务向批处理受理单元发送第一调用指令,所述第一调用指令中包括所述调度计划。

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

接收所述批处理受理单元返回的执行结果;

或者,

在发送完所述第一调用指令后预设时长未接收到执行结果,则再次向所述批处理受理单元重新发送所述第一调用指令。

3.根据权利要求1或2所述的方法,其特征在于,所述根据获取到的调度计划,获取分布式锁,包括:

根据所述调度计划,从中间件或数据库服务器获取所述分布式锁;其中所述中间件包括redis中间件或zookeeper中间件。

4.一种防重批量处理数据的方法,其特征在于,应用于批处理受理单元,所述方法包括:

接收调度中心系统中的调度节点发送的第一调用指令,所述第一调用指令包括调度计划,所述调度计划包括处理任务和处理时间;

根据所述第一调用指令,生成用于标记数据的第一线程号;

从数据库服务器中获取待处理的业务数据,并将所述第一线程号更新至所述数据库服务器中所述业务数据表中的所述业务数据对应的线程号字段;

根据所述处理时间和所述处理任务,对所述业务数据进行处理。

5.根据权利要求4所述的方法,其特征在于,所述方法还包括:

在对所述业务数据处理完成后,将处理结果返回所述调度中心系统中的调度节点。

6.根据权利要求4所述的方法,其特征在于,所述方法还包括:

接收所述调度中心系统的所述调度节点发送的第二调用指令,所述第二调用指令包括调度计划,所述调度计划包括处理任务和处理时间;

根据所述第二调用指令,生成用于标记数据的第二线程号;

从数据库服务器中获取线程号字段为空的待处理的新的业务数据,并将所述第二线程号更新至所述数据库服务器中所述业务数据表中所述新的业务数据对应的线程号字段;

根据所述处理时间和所述处理任务对所述新的业务数据进行处理。

7.一种防重批量处理数据的装置,其特征在于,包括:获取模块及发送模块;

所述获取模块,用于根据获取到的调度计划,获取分布式锁,所述调度计划包括处理任务和处理时间,所述分布式锁用于锁定所述处理任务只在所述调度节点执行;

所述发送模块,用于根据所述处理任务向批处理受理单元发送第一调用指令,所述第一调用指令中包括所述调度计划。

8.一种防重批量处理数据的装置,其特征在于,包括:接收模块、生成模块及处理模块;

所述接收模块,用于接收调度中心系统中的调度节点发送的第一调用指令,所述第一调用指令包括调度计划,所述调度计划包括处理任务和处理时间;

所述生成模块,用于根据所述第一调用指令,生成用于标记数据的第一线程号;

所述处理模块,用于从数据库服务器中获取待处理的业务数据,并将所述第一线程号更新至所述数据库服务器中所述业务数据表中的所述业务数据对应的线程号字段;

所述处理模块,还用于根据所述处理时间和所述处理任务对所述业务数据进行处理。

9.一种防重批量处理数据的系统,其特征在于,包括:

调度中心系统,数据库服务器以及批处理受理单元;

所述调度中心系统中包括控制模块以及多个调度节点,每个调度节点用于执行权利要求1至3任一项所述的防重批量处理数据的方法;

所述数据库服务器用于存储业务数据表;

所述批处理受理单元用于执行权利要求4至6任一项所述的防重批量处理数据的方法。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如权利要求1至6任一项所述的防重批量处理数据的方法。

11.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时用于实现如权利要求1至6任一项所述的防重批量处理数据的方法。


技术总结
本申请提供一种防重批量处理数据的方法、装置、系统及存储介质,在防重批量处理数据的方法中,调度中心系统中的调度节点通过根据获取到的调度计划,获取分布式锁,调度计划包括处理任务和处理时间,分布式锁用于锁定处理任务只在调度节点执行。之后根据处理任务向批处理受理单元发送第一调用指令,第一调用指令中包括调度计划。本方法中,调度中心系统中的调度节点通过获取分布式锁,锁定处理任务只在该调度节点执行,与现有技术相比,能够确保业务数据只被处理一次,有效提高了业务数据处理的准确性。

技术研发人员:范世晔;刘杰;李泽
受保护的技术使用者:中国联合网络通信集团有限公司;联通支付有限公司
技术研发日:2021.02.24
技术公布日:2021.06.18
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1