在存储服务器中进行数据压缩管理的方法及设备与流程

文档序号:21970124发布日期:2020-08-25 18:59阅读:来源:国知局

技术特征:

1.一种在一存储服务器中进行数据压缩管理的方法,该方法被施加于该存储服务器,其特征在于,该方法包含:

自一主装置接收数据,其中该数据包含多组局部数据;

分别对该多组局部数据进行熵侦测以产生该多组局部数据的多个熵侦测值,其中该多组局部数据中的任一组局部数据的一熵侦测值是关于用来表示所述任一组局部数据中的多个数据单元中的一数据单元所需的一平均比特数;

分别依据该多组局部数据的该多个熵侦测值对该多组局部数据进行分类,以通过多个数据压缩模块分别对该多组局部数据的至少一部分进行数据压缩,其中该多个数据压缩模块分别对应不同的压缩能力;以及

将该多组局部数据存储至该存储服务器的至少一存储装置,并且分别记录该多组局部数据的地址映射信息,其中该多组局部数据的所述至少一部分被存储为其压缩后数据以节省该存储服务器的存储空间。

2.如权利要求1所述的方法,其特征在于,所述任一组局部数据的该熵侦测值是指出用来存储所述任一组局部数据的压缩版本的每数据单元比特数的一估计值。

3.如权利要求1所述的方法,其特征在于,用来表示该数据单元所需的该平均比特数小于或等于该多个数据单元的每一者的一预定比特数。

4.如权利要求1所述的方法,其特征在于,所述任一组局部数据的该熵侦测值包含一整数部分以及一小数部分,以及形成该小数部分的位数是在一预定位数以内。

5.如权利要求1所述的方法,其特征在于,在该多组局部数据的所述至少一部分中,分别对应于两个不同的分类结果的两组局部数据是分别以该多个数据压缩模块的其中两者来压缩。

6.如权利要求1所述的方法,其特征在于,所述任一组局部数据的一分类结果指出所述任一组局部数据的该熵侦测值是否落在一预定范围内,且该方法还包含:

因应该分类结果,判断是否通过该多个数据压缩模块的其中一者来对所述任一组局部数据进行数据压缩,其中是否对所述任一组局部数据进行数据压缩对应于该熵侦测值是否落在该预定范围内。

7.如权利要求1所述的方法,其特征在于,该多组局部数据的所述至少一部分包含一第一组局部数据以及一第二组局部数据;该第一组局部数据的一第一分类结果指出该第一组局部数据的一第一熵侦测值落在一预定范围的一第一子范围内,且该第二组局部数据的一第二分类结果指出该第二组局部数据的一第二熵侦测值落在该预定范围的一第二子范围内;以及该方法还包含

因应该第一分类结果,通过该多个数据压缩模块的一第一数据压缩模块对该第一组局部数据进行数据压缩,其中该预定范围的该第一子范围关联于该第一数据压缩模块;以及

因应该第二分类结果,通过该多个数据压缩模块的一第二数据压缩模块对该第二组局部数据进行数据压缩,其中该预定范围的该第二子范围关联于该第二数据压缩模块。

8.如权利要求7所述的方法,其特征在于,在该多个数据压缩模块中,对应于一第一等级的压缩能力的一数据压缩模块被利用来作为该第一数据压缩模块,以及对应于一第二等级的压缩能力的一数据压缩模块被利用来作为该第二数据压缩模块。

9.如权利要求1所述的方法,其特征在于,该多组局部数据的所述至少一部分包含一第一组局部数据以及一第二组局部数据;该第一组局部数据的一第一熵侦测值大于该第二组局部数据的一第二熵侦测值;以及该方法还包含:

分别利用该多个数据压缩模块中的对应于一第一等级的压缩能力的一第一数据压缩模块以及对应于一第二等级的压缩能力的一第二数据压缩模块来对该第一组局部数据以及该第二组局部数据进行数据压缩。

10.如权利要求9所述的方法,其特征在于,该第一等级的压缩能力低于该第二等级的压缩能力。

11.如权利要求1所述的方法,其特征在于,还包含:

分别产生该多组局部数据的多个散列值,其中依据该多组局部数据的分类,该多个散列值中的多群散列值分别被存储至多个散列记录表;以及

因应针对该数据中的一目前组局部数据的一散列值与该多群散列值的其中一者中的一散列值之间的比较的一比较结果,对该目前组局部数据进行去重复处理。

12.如权利要求11所述的方法,其特征在于,该多群散列值分别对应该多个熵侦测值的不同的可能范围。

13.如权利要求11所述的方法,其特征在于,该多组局部数据包含一先前组局部数据,且该多个散列值包含该先前组局部数据的一散列值;以及该方法还包含:

依据该先前组局部数据的一分类结果自该多个散列记录表选择一散列记录表,并且将该先前组局部数据的该散列值存储至该散列记录表。

14.如权利要求11所述的方法,其特征在于,还包含:

依据该目前组局部数据的一分类结果自该多个散列记录表选择一散列记录表,其中该散列记录表存储有该多群散列值的所述其中一者。

15.如权利要求14所述的方法,其特征在于,该多组局部数据包含一先前组局部数据,以及该多个散列值包含该先前组局部数据的一散列值,其中该先前组局部数据的该散列值已被存储至该散列记录表中,且该多群散列值的所述其中一者中的该散列值代表该先前组局部数据的该散列值。

16.如权利要求14所述的方法,其特征在于,还包含:

自该散列记录表取得一先前组局部数据的一散列值;以及

将该目前组局部数据的该散列值与该先前组局部数据的该散列值比较以产生该比较结果,其中该比较结果指出该目前组局部数据的该散列值匹配该先前组局部数据的该散列值,以及去重复处理是相对于该先前组局部数据而对该目前组局部数据来进行以节省该存储服务器的存储空间。

17.如权利要求11所述的方法,其特征在于,该比较结果指出该目前组局部数据的该散列值应属于如该多群散列值的所述其中一者的相同的群。

18.如权利要求11所述的方法,其特征在于,还包含:

依据所述任一组局部数据的一分类结果自该多个散列记录表选择一散列记录表,以供存储所述任一组局部数据的一散列值。

19.一种在一存储服务器中进行数据压缩管理的设备,其特征在于,该设备包含:

一控制电路,位于该存储服务器内,用来控制该存储服务器的运作,其中该控制电路控制该存储服务器自一主装置接收数据,该数据包含多组局部数据,以及该控制电路包含:

一基于熵的分类电路,用来进行基于熵的分类,其中:

该基于熵的分类电路分别对该多组局部数据进行熵侦测以产生该多组局部数据的多个熵侦测值,其中该多组局部数据中的任一组局部数据的一熵侦测值是关于用来表示所述任一组局部数据中的多个数据单元中的一数据单元所需的一平均比特数;以及

该基于熵的分类电路分别依据该多组局部数据的该多个熵侦测值对该多组局部数据进行分类,以通过多个数据压缩模块分别对该多组局部数据的至少一部分进行数据压缩,其中该多个数据压缩模块分别对应不同的压缩能力;

其中该控制电路用来将该多组局部数据存储至该存储服务器的至少一存储装置,并且分别记录该多组局部数据的地址映射信息,其中该多组局部数据的所述至少一部分被存储为其压缩后数据以节省该存储服务器的存储空间。

20.如权利要求19所述的设备,其特征在于,该控制电路是该存储服务器的一处理电路。

21.如权利要求19所述的设备,其特征在于,该控制电路是耦接于所述至少一存储装置与该存储服务器的一处理电路之间的一存储接口电路。

22.如权利要求21所述的设备,其特征在于,该控制电路被实施为用来安装于该存储服务器中的一存储接口卡。


技术总结
本发明公开了在存储服务器中进行数据压缩管理的方法,包括:自一主装置接收数据;分别对多组局部数据进行熵侦测以产生所述多组局部数据的多个熵侦测值;分别依据所述多组局部数据的所述多个熵侦测值对所述多组局部数据进行分类,以通过多个数据压缩模块分别对所述多组局部数据的至少一部分进行数据压缩,其中所述多个数据压缩模块分别对应不同的压缩能力;以及将所述多组局部数据存储至所述存储服务器的至少一存储装置,并且分别记录所述多组局部数据的地址映射信息。本发明能大幅增加整体压缩速率且对于去重复处理的准备能进行得非常快速。

技术研发人员:杨宗杰;王文珑
受保护的技术使用者:慧荣科技股份有限公司
技术研发日:2020.02.06
技术公布日:2020.08.25
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1