数据管理方法、数据管理装置及存储介质与流程

文档序号:29444193发布日期:2022-03-30 10:43阅读:来源:国知局

技术特征:
1.数据管理方法,应用于大规模并行处理数据库mppdb,所述数据管理方法包括:基于来自用户的查询请求得到用户对mppdb进行查询的查询行为信息;基于所述查询行为信息,通过机器学习生成存储预测模型并根据所述存储预测模型得到mppdb的预测存储状态;基于所述预测存储状态调整mppdb中的存储分区。2.根据权利要求1所述的数据管理方法,其特征在于,所述基于所述预测存储状态调整mppdb中的存储分区,包括:根据预测存储状态,在mppdb中创建第一存储分区。3.根据权利要求2所述的数据管理方法,其特征在于,所述查询行为信息包括用户的查询粒度,所述预测存储状态包括所述第一存储分区的预测数据写入量;所述基于所述预测存储状态调整mppdb中的存储分区,还包括:根据所述预测数据写入量的大小和所述查询粒度确定所述第一存储分区的时间范围。4.根据权利要求2所述的数据管理方法,其特征在于,所述查询行为信息包括用户对不同存储分区进行查询的查询频率;所述数据管理方法还包括:基于所述查询频率,根据所述存储预测模型得到用户对所述第一存储分区的预测查询频率;当所述预测查询频率大于查询频率阈值,为所述第一存储分区创建索引。5.根据权利要求1所述的数据管理方法,其特征在于,所述查询行为信息包括用户对mppdb中数据进行查询的查询时间范围;所述基于所述预测存储状态调整mppdb中的存储分区,包括:删除超出所述查询时间范围的存储分区中的数据。6.根据权利要求5所述的数据管理方法,其特征在于,所述删除超出所述查询时间范围的存储分区中的数据,包括以下之一:当存储分区中数据的时间戳均超出所述查询时间范围,将所述存储分区删除;当存储分区中一部分数据的时间戳超出所述查询时间范围,将所述存储分区拆分为超期分区和未超期分区,并将所述超期分区删除,其中,所述超期分区中的数据的时间戳均超出所述查询时间范围的分区,所述非超期分区中的数据的时间戳均未超出所述查询时间范围的分区。7.根据权利要求1所述的数据管理方法,其特征在于,所述查询行为信息包括用户对不同存储分区进行查询的查询频率和用户对mppdb中数据进行查询的查询时间范围;所述数据管理方法还包括:当mppdb存储空间的占用率低于第一占用率阈值,删除超过所述查询时间范围的存储分区中的数据;当mppdb存储空间的占用率高于所述第一占用率阈值且低于第二占用率阈值,删除预测查询频率低于查询频率阈值的存储分区的索引;当mppdb存储空间的占用率高于所述第二占用率阈值且低于第三占用率阈值,对存储分区进行分区交换操作以压缩所述存储分区的数据;当mppdb存储空间的占用率高于所述第三占用率阈值,删除所述存储分区中所述预测
查询频率低于所述查询频率阈值的数据。8.根据权利要求7所述的数据管理方法,其特征在于,所述对发生数据膨胀的存储分区进行分区交换操作,包括:新建第二存储分区,将发生数据膨胀的存储分区的数据复制到所述第二存储分区并进行压缩;更新mppdb的分区关联信息,删除所述发生数据膨胀的存储分区。9.根据权利要求1所述的数据管理方法,其特征在于,所述通过机器学习生成存储预测模型,包括:将所述查询行为信息作为训练集,基于堆叠法stacking,通过机器学习对所述查询行为信息进行训练,得到存储预测模型。10.一种数据管理装置,其特征在于,包括至少一个处理器和用于与所述至少一个处理器通信连接的存储器;所述存储器存储有能够被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至9中任意一项所述的数据管理方法。11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行如权利要求1至9中任意一项所述的数据管理方法。

技术总结
本发明公开一种数据管理方法、数据管理装置及存储介质,其中数据管理方法应用于大规模并行处理数据库MPPDB,基于来自用户的查询请求得到用户对MPPDB进行查询的查询行为信息;基于所述查询行为信息,通过机器学习生成存储预测模型并根据所述存储预测模型得到MPPDB的预测存储状态;基于所述预测存储状态调整MPPDB中的存储分区。本发明实施例通过机器学习训练得到MPPDB数据的存储预测模型,根据存储预测模型预测MPPDB中数据的变化,从而预先对存储分区进行优化调整,提高MPPDB进行查询的速度,更好地满足用户的查询和分析需求,同时也减少了MPPDB存储资源投入。时也减少了MPPDB存储资源投入。时也减少了MPPDB存储资源投入。


技术研发人员:郑星权 王爱军 余震
受保护的技术使用者:中兴通讯股份有限公司
技术研发日:2020.09.22
技术公布日:2022/3/29
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1