集群扩容方法、装置和存储介质与流程

文档序号:26297504发布日期:2021-08-17 13:43阅读:来源:国知局

技术特征:

1.一种集群扩容方法,其特征在于,所述方法包括:

确定针对ceph集群的第一数据分布图;

确定目标节点的参数,基于所述目标节点的参数和所述第一数据分布图,生成第二数据分布图;所述目标节点表征待加入所述ceph集群的节点;

根据所述第二数据分布图,规划数据均衡路线,基于所述数据均衡路线进行数据均衡;其中,所述数据均衡路线表征所述ceph集群中针对osd的数据迁移路线。

2.根据权利要求1所述的方法,其特征在于,所述确定针对ceph集群的第一数据分布图,包括:

确定ceph集群的第一参数,根据所述第一参数生成第一数据分布图;

所述第一参数,包括以下至少之一:

osdmap的视图参数;

pgmap的视图参数;

monitor的视图参数;

相应地,所述第一数据分布图,包括以下至少之一:

至少一个pg的数据负载、拓扑结构、网段信息;

至少一个osd的数据负载、拓扑结构、网段信息。

3.根据权利要求1所述的方法,其特征在于,所述目标节点的参数,包括以下至少之一:目标节点的存储网的网段、所述目标节点的业务网的网段、所述目标节点的硬盘数量、所述目标节点的序号;

所述基于所述目标节点的参数和所述第一数据分布图,生成第二数据分布图,包括:

基于所述第一数据分布图,确定加入所述目标节点后的ceph集群对应的第二数据分布图。

4.根据权利要求1所述的方法,其特征在于,所述根据所述的第二数据分布图,规划数据均衡路线,包括:

根据所述的第二数据分布图,确定pg与osd的映射关系;

基于确定的所述pg与osd映射关系,规划数据均衡路线。

5.根据权利要求4所述的方法,其特征在于,所述基于确定的所述pg与osd映射关系,规划数据均衡路线,包括:

基于确定的所述pg与osd映射关系,确定满足第一预设条件的osd;所述满足第一预设条件表征所述osd待进行数据迁移;

针对所述满足第一预设条件的osd,以数据迁移的开始地址和目标地址为规划因素,运用局部最优算法确定针对各osd的数据均衡路线;

其中,所述满足第一预设条件的osd,包括以下至少之一:

存储数据量高于预设存储数据量阈值的osd;

迁出数据量高于预设迁出数据量阈值的osd;

读写业务量高于预设读写业务量阈值的osd;

读写速度低于预设速度的osd;

存储容量低于预设容量的osd。

6.一种集群扩容装置,其特征在于,所述装置包括:第一处理模块、第二处理模块和第三处理模块;其中,

所述第一处理模块,用于确定针对ceph集群的第一数据分布图;

所述第二处理模块,用于确定目标节点的参数,基于所述目标节点的参数和所述第一数据分布图,生成第二数据分布图;所述目标节点表征待加入所述ceph集群的节点;

所述第三处理模块,用于根据所述第二数据分布图,规划数据均衡路线,基于所述数据均衡路线进行数据均衡;其中,所述数据均衡路线表征所述ceph集群中针对osd的数据迁移路线。

7.根据权利要求6所述的装置,其特征在于,所述第一处理模块,用于确定ceph集群的第一参数,根据所述第一参数生成第一数据分布图;

所述第一参数,包括以下至少之一:

osdmap的视图参数;

pgmap的视图参数;

monitor的视图参数;

相应地,所述第一数据分布图,包括以下至少之一:

至少一个pg的数据负载、拓扑结构、网段信息;

至少一个osd的数据负载、拓扑结构、网段信息。

8.根据权利要求6所述的装置,其特征在于,所述目标节点的参数,包括以下至少之一:目标节点的存储网的网段、所述目标节点的业务网的网段、所述目标节点的硬盘数量、所述目标节点的序号;所述第二处理模块,用于基于所述第一数据分布图,确定加入所述目标节点后的ceph集群对应的第二数据分布图。

9.根据权利要求6所述的装置,其特征在于,所述第二处理模块,用于根据所述的第二数据分布图,确定pg与osd的映射关系;

基于确定的所述pg与osd映射关系,规划数据均衡路线。

10.根据权利要求9所述的装置,其特征在于,所述第二处理模块,具体用于基于确定的所述pg与osd映射关系,确定满足第一预设条件的osd;所述满足第一预设条件表征所述osd待进行数据迁移;

针对所述满足第一预设条件的osd,以数据迁移的开始地址和目标地址为规划因素,运用局部最优算法确定针对各osd的数据均衡路线;

其中,所述满足第一预设条件的osd,包括以下至少之一:

存储数据量高于预设存储数据量阈值的osd;

迁出数据量高于预设迁出数据量阈值的osd;

读写业务量高于预设读写业务量阈值的osd;

读写速度低于预设速度的osd;

存储容量低于预设容量的osd。

11.一种集群扩容装置,其特征在于,所述装置包括:处理器和用于存储能够在处理器上运行的计算机程序的存储器;其中,

所述处理器用于运行所述计算机程序时,执行权利要求1至5任一项所述方法的步骤。

12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至5任一项所述方法的步骤。


技术总结
本发明公开了一种集群扩容方法、装置和存储介质,方法包括:确定针对Ceph集群的第一数据分布图;确定目标节点的参数,基于所述目标节点的参数和所述第一数据分布图,生成第二数据分布图;所述目标节点表征待加入所述Ceph集群的节点;根据所述第二数据分布图,规划数据均衡路线,基于所述数据均衡路线进行数据均衡;其中,所述数据均衡路线表征所述Ceph集群中针对OSD的数据迁移路线。本发明提供的方法以OSD为单位逐个进行数据迁移,从OSD的角度对迁移动作进行限制,对业务的影响降到最小,同时也加快了扩容过程。

技术研发人员:李可飞;郑印;陈焱山;刘鸿
受保护的技术使用者:中移(苏州)软件技术有限公司;中国移动通信集团有限公司
技术研发日:2020.02.14
技术公布日:2021.08.17
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1