数据处理方法、装置及电子设备与流程

文档序号:34391593发布日期:2023-06-08 10:11阅读:28来源:国知局
数据处理方法、装置及电子设备与流程

本技术涉及大数据,尤其涉及一种数据处理方法、装置及电子设备。


背景技术:

1、目前,传统的大数据局通过elt(extract ion-load i ng-transformat ion,数据仓库)技术配置数据汇聚任务,把数据从业务前置库(比如民政前置库)抽取到原始库,对抽取到原始库中的数据进行处理,得到处理后的数据,并将处理后的数据写入综合库中,在收到数据处理请求时,可以将处理后的数据同步到行业共享接收库(比如住建接收库、林草接收库、人社接收库等)。

2、在往综合库(数据库)写入数据的过程中可能需要先删除原有的数据,此时若有新的数据处理请求,比如读取数据库中的数据,可能会出现读取空数据或者少数据的情况,因此,如何避免不同数据处理请求之间的影响是需要考虑的。


技术实现思路

1、本技术第一方面实施例提出了一种数据处理方法,应用于数据管理中心,所述方法包括:接收数据处理请求,所述数据处理请求包括:请求方的地址信息、目标处理类型、数据标识;根据所述目标处理类型,确定待申请锁类型;获取所述数据标识对应的数据的当前锁类型;在所述当前锁类型与所述待申请锁类型未冲突的情形下,通过所述地址信息向所述请求方发送请求成功通知,以执行所述数据处理请求。

2、在一些实施例中,所述方法还包括:在未获取到所述当前锁类型的情形下,通过所述地址信息向所述请求方发送请求成功通知。

3、在一些实施例中,所述方法还包括:在所述当前锁类型与所述待申请锁类型冲突的情形下,根据所述数据处理请求对失败请求列表进行更新处理;和/或,通过所述地址信息向所述请求方发送请求失败通知。

4、在一些实施例中,所述方法还包括:在接收到针对所述当前锁释放的情形下,向失败请求列表中的请求方发送锁释放指示消息;所述锁释放指示消息,用于指示所述失败请求列表中的请求方重新发送数据处理请求。

5、在一些实施例中,所述方法还包括:在所述待申请锁类型为写锁,且所述请求方根据所述请求成功通知完成对目标数据的处理的情形下,对所述数据进行版本信息更新处理。

6、在一些实施例中,所述待申请锁类型包括:写锁和读锁;在所述当前锁类型为写锁的情形下,与所述写锁存在冲突的待申请锁类型包括以下至少一种:写锁、读锁;在所述当前锁类型为读锁的情形下,与所述读锁存在冲突的待申请锁类型为写锁。

7、在一些实施例中,在通过所述地址信息向所述请求方发送请求成功通知之后,还包括:根据所述待申请锁类型对所述数据的当前锁类型进行更新处理。

8、在一些实施例中,所述根据所述目标处理类型,确定待申请锁类型,包括:所述目标处理类型为写数据处理时,确定待申请锁类型为写锁;所述目标处理类型为读数据处理时,确定待申请锁类型为读锁。

9、在一些实施例中,在通过所述地址信息向所述请求方发送请求成功通知之后,还包括:在所述目标处理类型为写数据处理的情形下,确定是否存在与所述数据处理请求关联的第一数据处理请求,所述第一数据处理请求中携带所述数据标识,且所述第一数据处理请求中的目标处理类型为读数据处理;在存在关联的第一数据处理请求时,向所述第一数据请求处理请求中的请求方发送请求指示消息或者请求成功通知,所述请求指示消息用于指示所述第一数据请求处理请求中的请求方发送所述第一数据处理请求。

10、本技术第二方面实施例提出了一种数据处理方法,应用于与数据管理中心交互的请求方,所述方法包括:向所述数据管理中心发送数据处理请求,所述数据处理请求包括:请求方的地址信息、目标处理类型、数据标识;在接收到所述数据管理中心通过所述地址信息返回的请求成功通知的情形下,按照所述目标处理类型对所述数据标识对应的数据进行处理。

11、在一些实施例中,所述方法还包括:在接收到所述数据管理中心通过所述地址信息返回的请求失败通知的情形下,确定是否接收到锁释放指示消息;所述锁释放指示消息,用于指示所述请求方重新发送数据处理请求;在接收到所述锁释放指示消息的情形下,重新发送所述数据处理请求。

12、在一些实施例中,所述目标处理类型为读数据处理,所述按照所述目标处理类型对所述数据标识对应的数据进行处理,包括:确定所述数据管理中心中所述数据的第一版本信息,以及所述请求方中所述数据的第二版本信息;在所述第一版本信息与所述第二版本信息不一致的情形下,按照所述目标处理类型对所述数据标识对应的数据进行处理。

13、本技术第三方面实施例提出了一种数据处理装置,应用于数据管理中心,所述装置包括:接收模块,用于接收数据处理请求,所述数据处理请求包括:请求方的地址信息、目标处理类型、数据标识;第一确定模块,用于根据所述目标处理类型,确定待申请锁类型;获取模块,用于获取所述数据标识对应的数据的当前锁类型;处理模块,用于在所述当前锁类型与所述待申请锁类型未冲突的情形下,通过所述地址信息向所述请求方发送请求成功通知,以执行所述数据处理请求。

14、在一些实施例中,所述装置还包括:第一发送模块,用于在未获取到所述当前锁类型的情形下,通过所述地址信息向所述请求方发送请求成功通知。

15、在一些实施例中,所述装置还包括:第一更新模块、第二发送模块;第一更新模块,用于在所述当前锁类型与所述待申请锁类型冲突的情形下,根据所述数据处理请求对失败请求列表进行更新处理;和/或,第二发送模块,用于通过所述地址信息向所述请求方发送请求失败通知。

16、在一些实施例中,所述装置还包括:第三发送模块,用于在接收到针对所述当前锁释放的情形下,向失败请求列表中的请求方发送锁释放指示消息;所述锁释放指示消息,用于指示所述失败请求列表中的请求方重新发送数据处理请求。

17、在一些实施例中,所述装置还包括:第二更新模块,用于在所述待申请锁类型为写锁,且所述请求方根据所述请求成功通知完成对目标数据的处理的情形下,对所述数据进行版本信息更新处理。

18、在一些实施例中,所述待申请锁类型包括:写锁和读锁;在所述当前锁类型为写锁的情形下,与所述写锁存在冲突的待申请锁类型包括以下至少一种:写锁、读锁;在所述当前锁类型为读锁的情形下,与所述读锁存在冲突的待申请锁类型为写锁。

19、在一些实施例中,所述装置还包括:第三更新模块,用于根据所述待申请锁类型对所述数据的当前锁类型进行更新处理。

20、在一些实施例中,所述第一确定模块具体用于,所述目标处理类型为写数据处理时,确定待申请锁类型为写锁;所述目标处理类型为读数据处理时,确定待申请锁类型为读锁。

21、在一些实施例中,所述装置还包括:第二确定模块、第四发送模块;所述第二确定模块,用于在所述目标处理类型为写数据处理的情形下,确定是否存在与所述数据处理请求关联的第一数据处理请求,所述第一数据处理请求中携带所述数据标识,且所述第一数据处理请求中的目标处理类型为读数据处理;所述第四发送模块,用于在存在关联的第一数据处理请求时,向所述第一数据请求处理请求中的请求方发送请求指示消息或者请求成功通知,所述请求指示消息用于指示所述第一数据请求处理请求中的请求方发送所述第一数据处理请求。

22、本技术第四方面实施例提出了一种数据处理装置,应用于与数据管理中心交互的请求方,所述装置包括:第一发送模块,用于向所述数据管理中心发送数据处理请求,所述数据处理请求包括:请求方的地址信息、目标处理类型、数据标识;处理模块,用于在接收到所述数据管理中心通过所述地址信息返回的请求成功通知的情形下,按照所述目标处理类型对所述数据标识对应的数据进行处理。

23、在一些实施例中,所述装置还包括:确定模块、第二发送模块;所述确定模块,用于在接收到所述数据管理中心通过所述地址信息返回的请求失败通知的情形下,确定是否接收到锁释放指示消息;所述锁释放指示消息,用于指示所述请求方重新发送数据处理请求;所述发送模块,用于在接收到所述锁释放指示消息的情形下,重新发送所述数据处理请求。

24、在一些实施例中,所述目标处理类型为读数据处理,所述处理模块具体用于,确定所述数据管理中心中所述数据的第一版本信息,以及所述请求方中所述数据的第二版本信息;在所述第一版本信息与所述第二版本信息不一致的情形下,按照所述目标处理类型对所述数据标识对应的数据进行处理。

25、本技术第五方面实施例提出了一种电子设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如第一方面所述的数据处理方法,或者,第二方面所述的数据处理方法。

26、本技术第六方面实施例提出了一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如第一方面所述的数据处理方法,或者,第二方面所述的数据处理方法。

27、本技术实施例所提供的技术方案包含如下的有益效果:

28、通过接收数据处理请求,数据处理请求包括:请求方的地址信息、目标处理类型、数据标识;根据目标处理类型,确定待申请锁类型;获取数据标识对应的数据的当前锁类型;在当前锁类型与待申请锁类型未冲突的情形下,通过地址信息向请求方发送请求成功通知,以执行数据处理请求。由此,根据数据处理请求,确定当前锁类型和申请锁类型,在当前锁类型与待申请锁类型未冲突时,向所述请求方发送请求成功通知,以便执行数据处理请求,从而避免不同数据处理请求之间的影响。

29、本技术附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本技术的实践了解到。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1