基于KV索引的热数据增量同步方法及装置与流程

文档序号:21363011发布日期:2020-07-04 04:37阅读:来源:国知局

技术特征:

1.一种基于kv索引的热数据增量同步方法,其特征在于,包括:

实时热点服务循环检查读缓存数据来源;

依据key集获取增量清单;

循环增量清单上面的子项数据;

依据valuetype确定应用最新的value;

判断删除数据还是更新数据以完成本次热数据增量同步。

2.根据权利要求1所述的热数据增量同步方法,其特征在于,所述依据key集获取增量清单,包括:

判断是否需要key集获取后续批量更新的增量;

若需要key集获取后续批量更新的增量,则传入上次更新的最后id及最后时间,并按照对应key集获取增量key变动清单;

若不需要key集获取后续批量更新的增量,则传入上次更新的最后id及最后时间,并获取增量变动清单;

依据增量key变动清单或者增量变动清单获取增量清单。

3.根据权利要求1所述的热数据增量同步方法,其特征在于,所述依据valuetype确定应用最新的value,包括:

依据valuetype判断当前用户是直接更新,还是要重新构造数据;

若当前用户直接更新,则使子项数据value为最新value;

若当前用户重新构造数据,则按照热数据重新构造value;

确定应用最新的value。

4.根据权利要求1所述的热数据增量同步方法,其特征在于,所述判断删除数据还是更新数据以完成本次热数据增量同步,包括:

依据optype判断删除数据还是更新数据;

若删除数据,则删除key;

若更新数据,则替换key对应的value。

5.根据权利要求1所述的热数据增量同步方法,其特征在于,还包括:

完成本次热数据增量同步后,判断是否需要继续循环增量清单上面的子项数据。

6.一种基于kv索引的热数据增量同步装置,其特征在于,包括来源检查模块、增量获取模块、数据循环模块、value确定模块及数据判断模块:

所述来源检查模块,用于实时热点服务循环检查读缓存数据来源;

所述增量获取模块,用于依据key集获取增量清单;

所述数据循环模块,用于循环增量清单上面的子项数据;

所述value确定模块,用于依据valuetype确定应用最新的value;

所述数据判断模块,用于判断删除数据还是更新数据以完成本次热数据增量同步。

7.根据权利要求6所述的热数据增量同步装置,其特征在于,所述增量获取模块包括增量判断子模块、key获取子模块、清单获取子模块及增量获取子模块:

所述增量判断子模块,用于判断是否需要key集获取后续批量更新的增量;

所述key获取子模块,用于在需要key集获取后续批量更新的增量时,则传入上次更新的最后id及最后时间,并按照对应key集获取增量key变动清单;

所述清单获取子模块,用于在不需要key集获取后续批量更新的增量时,则传入上次更新的最后id及最后时间,并获取增量变动清单;

所述增量获取子模块,用于依据增量key变动清单或者增量变动清单获取增量清单。

8.根据权利要求6所述的热数据增量同步装置,其特征在于,所述value确定模块包括valuetype判断子模块、value更新子模块、value构造子模块及value确定子模块:

所述valuetype判断子模块,用于依据valuetype判断当前用户是直接更新,还是要重新构造数据;

所述value更新子模块,用于在当前用户直接更新时,则使子项数据value为最新value;

所述value构造子模块,用于在当前用户重新构造数据时,则按照热数据重新构造value;

所述value确定子模块,用于确定应用最新的value。

所述数据判断模块包括optype判断子模块、key删除子模块及key替换子模块:

所述optype判断子模块,用于依据optype判断删除数据还是更新数据;

所述key删除子模块,用于在删除数据时,则删除key;

所述key替换子模块,用于在更新数据时,则替换key对应的value。

9.根据权利要求6所述的热数据增量同步装置,其特征在于,还包括循环判断模块:

所述循环判断模块,用于完成本次热数据增量同步后,判断是否需要继续循环增量清单上面的子项数据。

10.一种计算机可读存储介质,其特征在于,所述存储介质中存储有多条指令,所述指令适于由处理器加载以执行权利要求1至5任一项所述的热数据增量同步方法。


技术总结
本发明公开了一种基于KV索引的热数据增量同步方法及装置,集成方法包括:实时热点服务循环检查读缓存数据来源;依据Key集获取增量清单;循环增量清单上面的子项数据;依据ValueType确定应用最新的Value;判断删除数据还是更新数据以完成本次热数据增量同步。本发明中的增量同步可以减少同步的数据量,使开发人员减少注意缓存数据有效准确性,将精力更大的投入核心业务逻辑的开发和维护中。

技术研发人员:欧宪东
受保护的技术使用者:深圳联友科技有限公司
技术研发日:2020.02.25
技术公布日:2020.07.03
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1