一种分布式元数据管理方法及系统与流程

文档序号:19799505发布日期:2020-01-31 14:49阅读:来源:国知局

技术特征:

1.一种分布式元数据管理方法,其特征在于,包括:元数据的静态负载均衡方法和元数据的动态负载均衡方法;

所述元数据的静态负载均衡方法为:采用虚拟节点的一致性哈希函数和元数据服务器列表,将所述元数据分配到元数据服务器节点上;其中,所述元数据服务器列表是记录所有虚拟节点到元数据服务器之间的映射关系的表,每个所述元数据服务器节点上存储一个该节点上存储的虚拟节点的列表;

所述元数据的动态负载均衡方法为:采用元数据迁移的方式,将部分元数据从过载节点迁移到过轻节点上;

所述元数据的静态负载均衡方法,包括如下步骤:

a1,系统在启动之后,元数据服务器管理者根据各元数据服务器信息及列表项配置信息生成元数据服务器列表;

a2,根据文件的完整路径,使用一致性哈希函数,找到所述元数据服务器列表中的项,并找到对应的目标元数据服务器;

a3,根据所述元数据服务器节点上存储的虚拟节点的列表,在所述目标元数据服务器的虚拟节点内添加元数据信息;

每个所述元数据服务器出现在所述元数据服务器列表内的项数,采用如下函数计算:

其中,ui表示的是第i台元数据服务器在列表内所出现的次数,c表示列表的项数,n表示所述元数据服务器的总数。

2.根据权利要求1所述的分布式元数据管理方法,其特征在于,所述一致性哈希函数为:

namenode_locator=hash(f)modnnt_length,

其中,namenode_locator表示选择的元数据服务器列表中的项,f为文件的完整路径名称,nnt_length为元数据服务器列表中的总项数。

3.根据权利要求1所述的分布式元数据管理方法,其特征在于,所述元数据的动态负载均衡方法,包括如下步骤:

b1,所述元数据服务器定期采集负载信息,并发送给元数据服务器管理者;

b2,所述元数据服务器管理者定期计算所述元数据服务器的负载均衡度,如果所述元数据服务器的负载均衡度超过了设定的阈值,则所述元数据服务器为过载节点,如果所述元数据服务器的负载均衡度未达到设定的阈值,则所述元数据服务器为过轻节点;

b3,所述元数据服务器管理者将部分元数据从所述过载节点迁移到所述过轻节点上;

b4,所述过载节点和所述过轻节点更新负载信息,并发送给所述元数据服务器管理者。

4.根据权利要求3所述的分布式元数据管理方法,其特征在于,所述元数据服务器的负载均衡度采用如下公式进行计算:

ti=η1di+η2mi,

式中,

ji是i节点在时间t内负载均衡指标;

wi是t时刻内第i个元数据服务器节点的负载指标;

n为元数据服务器的台数;

η1+η2=1,

ti是在t时刻内元数据服务器列表中i项的负载指标,共n项;

di是t时刻内元数据服务器列表中i项的操作响应延迟;

mi是t时刻元数据服务器列表中i项元数据服务器的数目。

5.根据权利要求4所述的分布式元数据管理方法,其特征在于,所述元数据的动态负载均衡方法,还包括步骤:

计算系统的整体负载度,如果系统的整体负载度超过设定的阈值,则在系统中添加元数据服务器节点;其中,采用如下函数计算所述系统的整体负载度:

其中,

e为系统的负载指标,

n为元数据服务器节点个数;

wi是t时刻内第i个元数据服务器节点的负载指标。

6.根据权利要求1所述的分布式元数据管理方法,其特征在于,还包括:采用目录重定向表格进行元数据延迟移动,解决元数据局部一致性问题的方法,具体为:

在每个元数据服务器上维护一张目录路径重定向表格,所述目录路径重定向表格用于存储不在当前元数据服务器上的元数据信息;

所述目录路径重定向表格中的每一项是一对键值<hash(目录路径),虚拟节点>,前者是重命名后的目录路径的哈希值,后者是需要移动的元数据当前的存储位置。

7.一种分布式元数据管理系统,所述管理系统用于实现上述权利要求1至6任一所述的管理方法,其特征在于,所述管理系统包括:元数据服务器管理者和元数据服务器,所述元数据服务器管理者包括元数据服务器列表维护模块、元数据服务器的选择模块和负载均衡模块;所述元数据服务器包括元数据处理模块和负载测量模块;

所述元数据服务器列表维护模块负责维护虚拟节点与元数据服务器节点之间的正确的对应关系;

所述元数据服务器的选择模块用于完成元数据的随机分布,

所述负载均衡模块用于对各个元数据服务器负载信息进行接收,计算系统负载值并对各个元数据服务器的负载进行排序,在系统负载不均衡或者在元数据服务器集群需要调整时进行元数据的移动;

所述负载测量模块用于负责收集当前服务器上的负载信息,计算出每个虚拟节点的负载,由此再计算出当前服务器上的负载,并将负载信息发送给元数据服务器管理者;

所述元数据处理模块包括元数据的读模块、写模块和修改模块,所述读模块负责元数据的获取,所述写模块负责元数据的存储,所述修改模块负责重命名操作后对元数据的处理,维护一个目录路径重定向表格,所述目录路径重定向表格用于存储不在当前元数据服务器上的元数据信息。

8.根据权利要求7所述的分布式元数据管理系统,其特征在于,还包括备份服务器,所述备份服务器包括元数据服务器管理者的备份服务器和元数据服务器的备份服务器,所述元数据服务器管理者的备份服务器,用于在元数据服务器管理者出现故障时负责代替其工作,并对其数据进行恢复;所述元数据服务器的备份服务器,负责在元数据服务器节点发生故障时对其进行数据的恢复。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1