一种存储系统空间回收的兼容处理方法、系统及设备与流程

文档序号:20369357发布日期:2020-04-14 12:55阅读:342来源:国知局
一种存储系统空间回收的兼容处理方法、系统及设备与流程

本发明涉及存储系统技术领域,更具体的说是涉及一种存储系统空间回收的兼容处理方法、系统及设备。



背景技术:

随着用户数据量的不断增大,对存储空间的需求不断提高,提高存储空间的利用率是众多产品需要解决的问题。自动精简配置的实现原则是从一个精简存储池中按需提供存储空间给用户使用,自动精简配置,相对于传统非精简配置,无需提前分配用不到的磁盘容量所以存储利用率更高。传统的thinlun没有空间回收功能,随着空间的不断分配会导致存储空间耗尽。因此,精简卷的空间回收功能就必不可少,当删除thinlun中的文件时,可以通过主机unmap指令实现空间回收,从而实现存储端空间的反复利用,极大提升存储空间的利用率。

同时对于后端磁盘介质为ssd的全闪存储系统,由于nandflash的读写特点,空间回收操作对提升性能和空间利用率是必不可少的功能。

传统存储系统(hdd机械盘)不会考虑空间回收功能,但随着从传统存储系统到混闪/全闪存储系统的迭代,随着数据量的爆发式增长,空间回收的需求也愈发突出,实现空间回收也绕不开兼容策略。如何有效发挥传统和全闪存储系统的空间回收能力。让传统存储功能性增强,让全闪系统存储效率得到提高,是我们亟待解决的问题。



技术实现要素:

针对以上问题,本发明的目的在于提供一种存储系统空间回收的兼容处理方法、系统及设备,可以有效发挥传统和全闪存储系统的空间回收能力。让传统存储功能性增强,让全闪系统存储效率得到提高。

本发明为实现上述目的,通过以下技术方案实现:一种存储系统空间回收的兼容处理方法,包括:

主机io同时向存储系统内的精简卷和普通卷执行写入操作,通过unmapio写入时,按预设删除策略删除精简卷的元数据,进行空间回收,并对普通卷写入全零io,完成落盘;

将普通卷中已写入的数据同步到精简卷时,加入全零io检测机制,将普通卷中落盘的全零io进行识别。

进一步,还包括:

在数据迁移和拷贝同步时,按照unmapio的场景进行处理。

进一步,所述预设删除策略包括:

所述存储系统采用机械盘和ssd磁盘,机械盘采用精简卷和普通卷,ssd磁盘采用精简卷;

机械盘不需要在删除时进行擦写操作,删除数据块时,直接删除该数据块对应的元数据;同时将该元数据对应的实际物理地址,进行回收,加入unused链表,用于回收利用;

ssd磁盘删除数据块时需要擦写nandflash,在删除数据块时,先将元数据标记为deleting;然后通过后台垃圾回收模块,通过trim异步擦写ssd,用于空间回收。

进一步,所述普通卷内没有维护的元数据,普通卷的空间通过lba到pba映射关系预先分配,当普通卷接收到operating-copde为op_unmapio时,将其作为全零数据写入后端磁盘。

进一步,所述机械盘内的普通卷,在删除操作之前,通过设置grainsize空间确定回收粒度。

相应的,本发明还公开了一种存储系统空间回收的兼容处理系统,包括:删除操作单元,用于主机io同时向存储系统内的精简卷和普通卷执行写入操作,通过unmapio写入时,按预设策略删除精简卷的元数据,进行空间回收,并对普通卷写入全零io,完成落盘;

全零io识别单元,用于将普通卷中已写入的数据同步到精简卷时,加入全零io检测机制,将普通卷中落盘的全零io进行识别。

进一步,还包括:

数据处理单元,用于在数据迁移和拷贝同步时,按照unmapio的场景进行处理。

相应的,本发明还公开了一种存储系统空间回收的兼容处理设备,包括:存储器,用于存储计算机程序;

处理器,用于执行所述计算机程序时实现如上文任一项所述存储系统空间回收的兼容处理方法步骤。

对比现有技术,本发明有益效果在于:本发明提供了一种存储系统空间回收的兼容处理方法、系统及设备,实现了传统/混闪/全闪存储系统使用相同的软件版本,同时支持传统机械盘和ssd存储盘,系统设计的复杂性大大提高。本发明的空间回收功能,基于具有自动精简配置功能的精简卷,利用精简卷的元数据管理和空间管理能力实现数据的空间回收;由于全闪和传统精简卷的元数据管理不同,本发明明确了空间回收的兼容策略。

本发明能够极大的提高系统的存储空间利用率,使后端ssd存储资源发挥最大读写效率,提升系统性能。并且能扩展传统存储产品的功能,提升产品竞争力。

由此可见,本发明与现有技术相比,具有突出的实质性特点和显著的进步,其实施的有益效果也是显而易见的。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。

附图1是本发明的方法示意图。

附图2是本发明的预设删除测量的方法示意图。

附图3是本发明的系统结构图。

具体实施方式

下面结合附图对本发明的具体实施方式做出说明。

如图1所示的一种存储系统空间回收的兼容处理方法,包括:

主机io同时向存储系统内的精简卷和普通卷执行写入操作,通过unmapio写入时,按预设删除策略删除精简卷的元数据,进行空间回收,并对普通卷写入全零io,完成落盘;

将普通卷中已写入的数据同步到精简卷时,加入全零io检测机制,将普通卷中落盘的全零io进行识别。

在数据迁移和拷贝同步时,按照unmapio的场景进行处理。

如图2所示,所述预设删除策略包括:

存储系统采用机械盘和ssd磁盘,机械盘采用精简卷和普通卷,ssd磁盘采用精简卷。普通卷内没有维护的元数据,普通卷的空间通过lba到pba映射关系预先分配,当普通卷接收到operating-copde为op_unmapio时,将其作为全零数据写入后端磁盘。机械盘内的普通卷,在删除操作之前,通过设置grainsize空间确定回收粒度。

机械盘不需要在删除时进行擦写操作,删除数据块时,直接删除该数据块对应的元数据;同时将该元数据对应的实际物理地址,进行回收,加入unused链表,用于回收利用。

ssd磁盘删除数据块时需要擦写nandflash,在删除数据块时,先将元数据标记为deleting;然后通过后台垃圾回收模块,通过trim异步擦写ssd,用于空间回收。

由此可见,空间回收可以通过精简卷的元数据管理实现,unmapio处理时需要将对应数据块元数据删除,普通池仅删除元数据,而全闪精简池则根据ssd的特性需求,需要先将元数据删除,通过后台任务将磁盘上的数据进行trim擦除。同时,存储空间回收支持兼容存储的卷拷贝服务特性,能有效实现数据迁移和备份过程中的空间回收功能。

相应的,如图3所示,本发明还公开了一种存储系统空间回收的兼容处理系统,包括:

删除操作单元,用于主机io同时向存储系统内的精简卷和普通卷执行写入操作,通过unmapio写入时,按预设策略删除精简卷的元数据,进行空间回收,并对普通卷写入全零io,完成落盘。

全零io识别单元,用于将普通卷中已写入的数据同步到精简卷时,加入全零io检测机制,将普通卷中落盘的全零io进行识别。

数据处理单元,用于在数据迁移和拷贝同步时,按照unmapio的场景进行处理。

相应的,本发明还公开了一种存储系统空间回收的兼容处理设备,包括:存储器,用于存储计算机程序;

处理器,用于执行所述计算机程序时实现如上文任一项所述存储系统空间回收的兼容处理方法步骤。

本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中如u盘、移动硬盘、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质,包括若干指令用以使得一台计算机终端(可以是个人计算机,服务器,或者第二终端、网络终端等)执行本发明各个实施例所述方法的全部或部分步骤。本说明书中各个实施例之间相同相似的部分互相参见即可。尤其,对于终端实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例中的说明即可。

在本发明所提供的几个实施例中,应该理解到,所揭露的系统、系统和方法,可以通过其它的方式实现。例如,以上所描述的系统实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,系统或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个单元中。

同理,在本发明各个实施例中的各处理单元可以集成在一个功能模块中,也可以是各个处理单元物理存在,也可以两个或两个以上处理单元集成在一个功能模块中。

结合附图和具体实施例,对本发明作进一步说明。应理解,这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解,在阅读了本发明讲授的内容之后,本领域技术人员可以对本发明作各种改动或修改,这些等价形式同样落于本申请所限定的范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1