数据处理方法和计算机可读存储介质、电子设备与流程

文档序号:26754470发布日期:2021-09-25 03:32阅读:来源:国知局

技术特征:
1.一种数据处理方法,其特征在于,包括:获取需要更新操作的文档数据集;其中,所述文档数据集中包括多个数据,所述更新操作的操作类型至少包括删除操作;基于所述操作类型对所述文档数据集进行分类,得到所述文档数据集中对应所述删除操作的删除数据集;其中,所述删除数据集中包括至少一个数据;响应于所述删除数据集中存在至少一个缺失路由字段的第一数据,为所述至少一个第一数据中每个所述第一数据确定至少一个设定路由字段;基于每个所述第一数据对应的所述至少一个设定路由字段,对每个所述第一数据执行删除操作。2.根据权利要求1所述的方法,其特征在于,所述基于操作类型对所述文档数据集进行分类,得到所述文档数据集中对应所述删除操作的删除数据集之前,还包括:基于所述文档数据集中的每个数据对应的至少一个更新操作对应的操作类型,对每个所述数据对应的至少一个更新操作进行合并,得到合并数据集;其中,所述合并数据集中每个数据对应一个更新操作;所述基于操作类型对所述文档数据集进行分类,得到所述文档数据集中对应所述删除操作的删除数据集,包括:基于操作类型对所述合并数据集进行分类,得到所述合并数据集中对应所述删除操作的删除数据集。3.根据权利要求2所述的方法,其特征在于,所述基于所述文档数据集中的每个数据对应的至少一个更新操作对应的操作类型,对每个所述数据对应的至少一个更新操作进行合并,包括:针对所述文档数据集中的每个数据,按时间获得所述数据对应的第一更新操作和第二更新操作,合并所述第一更新操作和所述第二更新操作,得到中间更新操作;迭代执行:以所述中间更新操作作为新的第一更新操作,以所述第二更新操作之后的第三更新操作作为新的第二更新操作,合并所述新的第一更新操作和所述新的第二更新操作,得到新的中间更新操作;直到不存在第三更新操作,以得到的中间更新操作作为目标更新操作。4.根据权利要求3所述的方法,其特征在于,所述更新操作的操作类型还包括写入操作和局部更新操作;所述合并所述第一更新操作和所述第二更新操作,得到中间更新操作,包括:响应于所述第一更新操作的操作类型为局部更新操作,以所述第二更新操作的操作类型作为所述中间更新操作的操作类型;或者响应于所述第一更新操作的操作类型为写入操作,当所述第二更新操作的操作类型为写入操作或局部更新操作时,所述中间更新操作的操作类型为写入操作;或者响应于所述第一更新操作的操作类型为写入操作,当所述第二更新操作的操作类型为删除操作时,所述中间更新操作的操作类型为删除操作;或者响应于所述第一更新操作的操作类型为删除操作,所述中间更新操作的操作类型为写入操作。5.根据权利要求1

4任一所述的方法,其特征在于,所述为所述至少一个第一数据中每
个所述第一数据确定至少一个设定路由字段,包括:通过查找彩虹表为每个所述第一数据得到x个设定路由字段以及所述x个设定路由字段对应的x个分片id;其中,x为大于等于1的整数,所述第一数据对应的每个设定路由字段对应一个分片id。6.根据权利要求5所述的方法,其特征在于,所述基于每个所述第一数据对应的所述至少一个设定路由字段,对每个所述第一数据执行删除操作,包括:针对每个所述第一数据,将所述第一数据分别与所述x个设定路由字段进行组合,得到x个组合数据;其中,每个所述组合数据包括一个所述设定路由字段和所述第一数据;基于所述x个设定路由字段与x个分片id的对应关系,在所述x个分片id中执行删除所述组合数据的操作。7.根据权利要求5或6所述的方法,其特征在于,所述为所述至少一个第一数据中每个所述第一数据确定至少一个设定路由字段之前,还包括:基于哈希算法确定多个设定路由字段中每个所述设定路由字段对应的分片id,为每个所述分片id确定至少一个对应的设定路由字段;基于每个所述分片id与所述多个设定路由字段之间的对应关系,建立所述彩虹表。8.一种计算机可读存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序用于执行上述权利要求1

7任一所述的数据处理方法。9.一种电子设备,其特征在于,所述电子设备包括:处理器;用于存储所述处理器可执行指令的存储器;所述处理器,用于从所述存储器中读取所述可执行指令,并执行所述指令以实现上述权利要求1

7任一所述的数据处理方法。10.一种计算机程序产品,所述计算机程序产品包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1

7中任一项所述的数据处理方法的步骤。

技术总结
本公开实施例公开了一种数据处理方法和计算机可读存储介质、电子设备,其中,方法包括:获取需要更新操作的文档数据集;基于操作类型对所述文档数据集进行分类,得到所述文档数据集中对应所述删除操作的删除数据集;其中,所述删除数据集中包括至少一个数据;响应于所述删除数据集中存在至少一个缺失路由字段的第一数据,为所述至少一个第一数据中每个所述第一数据确定至少一个设定路由字段;基于每个所述第一数据对应的所述至少一个设定路由字段,对每个所述第一数据执行删除操作;本实施例通过为需要执行删除操作的第一数据分配至少一个设定路由字段,保证了能够准确删除该第一数据,保证了事务性及数据更新性能。保证了事务性及数据更新性能。保证了事务性及数据更新性能。


技术研发人员:周琦栋
受保护的技术使用者:北京房江湖科技有限公司
技术研发日:2021.06.24
技术公布日:2021/9/24
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1