数据同步方法、装置、计算机设备和存储介质与流程

文档序号:33647563发布日期:2023-03-29 05:19阅读:来源:国知局

技术特征:
1.一种数据同步方法,其特征在于,所述方法包括:实时获取初始集群的多个初始数据,并周期性获取多个所述初始数据对应的位置信息;对多个所述初始数据进行去重处理,得到去重数据;基于所述初始数据与所述位置信息的映射关系,以及所述初始数据与所述去重数据的数据顺序对应关系,得到所述去重数据与所述位置信息的映射关系;将所述去重数据与所述位置信息的映射关系,以及所述去重数据同步至目标集群。2.根据权利要求1所述的方法,其特征在于,所述初始集群中多个数据包括数据标识;所述实时获取初始集群的多个初始数据,并周期性获取多个所述初始数据对应的位置信息,包括:实时获取目标数据标识,将所述目标数据标识与所述初始集群中多个数据的数据标识进行标识匹配;当所述标识匹配成功时,将匹配成功的数据标识对应的数据作为初始数据;按照预设周期获取所述初始数据对应的位置信息。3.根据权利要求1所述的方法,其特征在于,所述对多个所述初始数据进行去重处理之前,还包括:将多个所述初始数据按照预设写入方式写入第一缓存器;其中,多个所述初始数据在所述第一缓存器内的顺序与多个所述初始数据在所述初始集群中的顺序相一致。4.根据权利要求1所述的方法,其特征在于,所述对多个所述初始数据进行去重处理,得到去重数据,包括:基于多个所述初始数据对应的位置信息,将所述位置信息相同的多个所述初始数据作为重复数据,对所述重复数据进行去重处理,得到去重数据。5.根据权利要求1所述的方法,其特征在于,所述方法还包括:实时获取同步到所述目标集群的所述去重数据,作为中间数据,并将所述中间数据存储到第二缓存器。6.根据权利要求5所述的方法,其特征在于,所述方法还包括:当所述去重数据同步至所述目标集群同步失败时,获取所述第二缓存件中的所述中间数据;基于所述初始数据与所述去重数据的数据顺序对应关系,确定所述去重数据的队列数据;基于所述中间数据与所述去重数据的队列数据,确定同步节点;其中,所述同步节点是指所述去重数据的队列数据中等待同步的第一个所述去重数据。7.一种数据同步装置,其特征在于,所述装置包括:数据获取模块,用于实时获取初始集群的多个初始数据,并周期性获取多个所述初始数据对应的位置信息;去重模块,用于对多个所述初始数据进行去重处理,得到去重数据;映射关系获取模块,用于基于所述初始数据与所述位置信息的映射关系,以及所述初始数据与所述去重数据的数据顺序对应关系,得到所述去重数据与所述位置信息的映射关系;
数据同步模块,用于将所述去重数据与所述位置信息的映射关系,以及所述去重数据同步至目标集群。8.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。10.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

技术总结
本申请涉及一种数据同步方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括:实时获取初始集群的多个初始数据,并周期性获取多个初始数据对应的位置信息;对多个初始数据进行去重处理,得到去重数据;基于初始数据与位置信息的映射关系,以及初始数据与去重数据的数据顺序对应关系,得到去重数据与位置信息的映射关系;将去重数据与位置信息的映射关系,以及去重数据同步至目标集群。本方法通过对初始数据去重处理,可以避免同步重复数据,提高数据同步的效率,减少资源浪费。减少资源浪费。减少资源浪费。


技术研发人员:张鑫 秦文劭 史志龙 杨伏长
受保护的技术使用者:上海浦东发展银行股份有限公司
技术研发日:2022.12.02
技术公布日:2023/3/28
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1