Hbase数据库的Rowkey设计方法及装置与流程

文档序号:26682555发布日期:2021-09-18 00:58阅读:来源:国知局

技术特征:
1.一种hbase数据库的rowkey设计方法,其特征在于,包括:根据hbase数据库所需存储的数据量,确定所需存储数据需要占用的分区数量;确定数据存储的当前时间,根据所述当前时间和分区数量,确定所需存储数据对应的rowkey的前半段;生成离散随机的通用唯一识别码,确定为所需存储数据对应的rowkey的后半段;整合所需存储数据对应的rowkey的前半段和所需存储数据对应的rowkey的后半段,得到所需存储数据对应的rowkey设计值。2.如权利要求1所述的hbase数据库的rowkey设计方法,其特征在于,根据hbase数据库所需存储的数据量,确定所需存储数据需要占用的分区数量,包括:确定hbase数据库的区域大小;根据hbase数据库的区域大小和所需存储的数据量,确定所需存储数据需要占用的分区数量。3.如权利要求1所述的hbase数据库的rowkey设计方法,其特征在于,确定数据存储的当前时间,根据所述当前时间和分区数量,确定所需存储数据对应的rowkey的前半段,包括:确定hbase数据库并行写入的最小分区数;所述hbase数据库并行写入的最小分区数是确保hbase数据库并行写入时数据接收无延迟的分区数的最小值;根据所述分区数量、hbase数据库并行写入的最小分区数和所述当前时间,确定所需存储数据对应的rowkey的前半段。4.如权利要求1所述的hbase数据库的rowkey设计方法,其特征在于,还包括:获取hbase数据库所需存储数据;将所需存储数据作为一条数据记录,将所需存储数据对应的rowkey设计值,作为所述数据记录的rowkey,将所述数据记录存储于hbase数据库。5.一种hbase数据库的rowkey设计装置,其特征在于,包括:分区数量确定模块,用于根据hbase数据库所需存储的数据量,确定所需存储数据需要占用的分区数量;前半段设计值确定模块,用于确定数据存储的当前时间,根据所述当前时间和分区数量,确定所需存储数据对应的rowkey的前半段;后半段设计值确定模块,用于生成离散随机的通用唯一识别码,确定为所需存储数据对应的rowkey的后半段;rowkey设计值确定模块,用于整合所需存储数据对应的rowkey的前半段和所需存储数据对应的rowkey的后半段,得到所需存储数据对应的rowkey设计值。6.如权利要求5所述的hbase数据库的rowkey设计装置,其特征在于,所述分区数量确定模块,具体用于:确定hbase数据库的区域大小;根据hbase数据库的区域大小和所需存储的数据量,确定所需存储数据需要占用的分区数量。7.如权利要求5所述的hbase数据库的rowkey设计装置,其特征在于,所述前半段设计值确定模块,具体用于:
确定hbase数据库并行写入的最小分区数;所述hbase数据库并行写入的最小分区数是确保hbase数据库并行写入时数据接收无延迟的分区数的最小值;根据所述分区数量、hbase数据库并行写入的最小分区数和所述当前时间,确定所需存储数据对应的rowkey的前半段。8.如权利要求5所述的hbase数据库的rowkey设计装置,其特征在于,还包括:数据存储模块,用于:获取hbase数据库所需存储数据;将所需存储数据作为一条数据记录,将所需存储数据对应的rowkey设计值,作为所述数据记录的rowkey,将所述数据记录存储于hbase数据库。9.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至4任一所述方法。10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有执行权利要求1至4任一所述方法的计算机程序。

技术总结
本发明提供了一种Hbase数据库的Rowkey设计方法及装置,应用于大数据领域,该方法包括:确定所需存储数据需要占用的分区数量;根据当前时间和分区数量,确定所需存储数据对应的Rowkey的前半段;生成离散随机的通用唯一识别码,确定为所需存储数据对应的Rowkey的后半段;整合前半段和后半段,得到Rowkey设计值。进行分段设计,根据当前时间和分区数量,确定前半段为顺序字符串,让数据整体作为一个连续的整体,可以有效提高Hbase的读取效率;后半段由离散随机的通用唯一识别码组成,让数据在一定区域内离散存储,有助于提高数据的并行写入效率,既能提高数据的写入性能,又能提高数据的读取性能。读取性能。读取性能。


技术研发人员:朱阿龙 田林 石慧彪 刘琦 张靖羚 何聪聪 豆敏娟 刘宇琦
受保护的技术使用者:中国银行股份有限公司
技术研发日:2021.06.30
技术公布日:2021/9/17
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1