数据处理方法及装置与流程

文档序号:37552413发布日期:2024-04-08 14:02阅读:11来源:国知局
本说明书一个或多个实施例涉及数据库,尤其涉及一种数据处理方法及装置。
背景技术
::1、在基于日志结构合并树存储结构的数据库中,为了追求数据库的写入性能,在执行数据删除指令时,并不会立刻在磁盘中将相应的数据删除,而是通过写入一个墓碑标记(tombstone)来标记被删除数据。然而,这会对数据库的查询性能产生一定影响,同时具有墓碑标记的无效数据会额外占用磁盘空间。技术实现思路1、有鉴于此,本说明书一个或多个实施例提供一种数据处理方法及装置。2、为实现上述目的,本说明书一个或多个实施例提供技术方案如下:3、根据本说明书一个或多个实施例的第一方面,提出了一种数据处理方法,应用于基于日志结构合并树存储结构的数据库,所述方法包括:4、获取目标分区的增量有序字符串表sstable记录的待删除数据的数量;5、若所述增量sstable记录的待删除数据的数量达到第一数量阈值,则将所述增量sstable合并至所述目标分区的基线sstable中,以便删除待删除数据。6、根据本说明书一个或多个实施例的第二方面,提出了一种数据处理装置,应用于基于日志结构合并树存储结构的数据库,所述装置包括:7、获取模块,用于获取目标分区的增量有序字符串表sstable记录的待删除数据的数量;8、合并模块,用于若所述增量sstable记录的待删除数据的数量达到第一数量阈值,则将所述增量sstable合并至所述目标分区的基线sstable中,以便删除待删除数据。9、根据本说明书一个或多个实施例的第三方面,提出了一种电子设备,包括:10、处理器;11、用于存储处理器可执行指令的存储器;12、其中,处理器通过运行可执行指令以实现如第一方面的方法。13、根据本说明书一个或多个实施例的第四方面,提出了一种计算机可读存储介质,其上存储有计算机指令,该指令被处理器执行时实现如第一方面方法的步骤。14、本说明书提供的方法,可应用于基于日志结构合并树存储结构的数据库。通过获取目标分区的增量sstable记录的待删除数据的数量,随后在增量sstable记录的待删除数据的数量达到第一数量阈值,则将增量sstable合并至目标分区的基线sstable中,以便删除待删除数据。由此,本说明书可以在目标分区中及时的将待删除数据删除,从而优化数据库的查询性能,并减少待删除数据对磁盘空间不必要的占用。技术特征:1.一种数据处理方法,应用于基于日志结构合并树存储结构的数据库,所述方法包括:2.根据权利要求1所述的方法,所述目标分区具有多个副本,所述若所述增量sstable记录的待删除数据的数量达到第一数量阈值,则将所述增量sstable合并至所述目标分区的基线sstable中,包括:3.根据权利要求1所述的方法,所述目标分区具有多个副本,所述多个副本包括主副本和从副本,所述若所述增量sstable记录的待删除数据的数量达到第一数量阈值,则将所述增量sstable合并至所述目标分区的基线sstable中,包括:4.根据权利要求3所述的方法,相邻两次将所述目标分区中每个副本的增量sstable合并至相应的基线sstable中的时间间隔大于第一预设时长。5.根据权利要求1所述的方法,所述目标分区具有多个副本,所述多个副本包括主副本和从副本,所述若所述增量sstable记录的待删除数据的数量达到第一数量阈值,则将所述增量sstable合并至所述目标分区的基线sstable中,包括:6.根据权利要求1所述的方法,所述方法还包括:7.根据权利要求1所述的方法,所述将所述memtable转储为增量sstable,包括:8.一种数据处理装置,应用于基于日志结构合并树存储结构的数据库,所述装置包括:9.一种电子设备,包括:10.一种计算机可读存储介质,其上存储有计算机指令,该指令被处理器执行时实现如权利要求1至7中任一项所述方法的步骤。技术总结本说明书一个或多个实施例提供一种数据处理方法及装置,涉及数据库
技术领域
:。该方法应用于基于日志结构合并树存储结构的数据库。本说明书提供的方案,能够获取目标分区的增量有序字符串表SSTable记录的待删除数据的数量;若增量SSTable记录的待删除数据的数量达到第一数量阈值,则将增量SSTable合并至目标分区的基线SSTable中,以便删除待删除数据。本说明提供的方案,可以在目标分区中及时的将待删除数据删除,从而优化数据库的查询性能,并减少待删除数据对磁盘空间不必要的占用。技术研发人员:冯靖焜受保护的技术使用者:北京奥星贝斯科技有限公司技术研发日:技术公布日:2024/4/7
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1