分布式存储系统中的磁盘管理方法和设备的制造方法
【技术领域】
[0001]本发明涉及存储技术,更具体地,涉及一种分布式存储系统中的磁盘管理方法和设备。
【背景技术】
[0002]目前广泛使用的目标存储技术在云技术领域、社交网络以及移动互联网领域产生了大量的利用商业磁盘的应用,有些应用每天都产生上亿数量的图片。同时,企业也正逐步采用相同的商业磁盘来存储关键数据,诸如扫描图像、视频、音频记录等等。商业磁盘比起传统的高性能磁盘更容易发生问题,为了防止由于磁盘失效造成的数据丢失,通常使用目标数据复制来在不同的磁盘存储多份拷贝,这些不同的磁盘通常物理上位于不同的节点、不同的存储支架、甚至不同的地方。为了达到高效率和高可用性,目前使用越来越多的商业磁盘以及高度分布式的方式存储数据及其拷贝。
[0003]但是磁盘的消耗的增加,在互联网公司已经产生了很严重的电源消耗问题,当应用要求磁盘上的全部目标数据,无论其是否在正在旋转的磁盘上,还是在几年才访问一次的磁盘上,都保持快速访问并且较长时间保留时,这个问题就成为一个特别的挑战。
【发明内容】
[0004]本发明提出了一种使用商业磁盘但是减少电源消耗的分布式存储系统中的磁盘管理方法和设备。
[0005]根据本发明的一个方面,提供了一种分布式存储系统中的磁盘管理方法,其中,所述分布式存储系统中包含多个组成主盘环的磁盘,所述多个磁盘中存储目标数据,该方法包括:
[0006]将目标数据分为冷数据和热数据;
[0007]根据所述冷数据和热数据所在的磁盘位置,将所述主盘环中的部分磁盘形成冷数据盘环,所述主盘环中的其余磁盘形成热数据盘环;
[0008]将不在所述冷数据盘环的冷数据迀移到所述冷数据盘环的磁盘中,并将不在所述热数据盘环的热数据迀移到所述热数据盘环的磁盘中;以及
[0009]降低所述冷数据盘环中磁盘的转速。
[0010]根据本发明的另一个方面,提供了一种分布式存储系统中的磁盘管理设备,其中,所述分布式存储系统中包含多个组成主盘环的磁盘,所述多个磁盘中存储目标数据,该设备包括:
[0011 ] 划分装置,被配置为将目标数据分为冷数据和热数据;
[0012]分组装置,被配置为根据所述冷数据和热数据所在的磁盘位置,将所述主盘环中的部分磁盘形成冷数据盘环,所述主盘环中的其余磁盘形成热数据盘环;
[0013]第一迀移装置,被配置为将不在所述冷数据盘环的冷数据迀移到所述冷数据盘环的磁盘中,并将不在所述热数据盘环的热数据迀移到所述热数据盘环的磁盘中;以及
[0014]降速装置,被配置为降低所述冷数据盘环中磁盘的转速。
[0015]附说图明
[0016]通过结合附图对本公开示例性实施方式进行更详细的描述,本公开的上述以及其它目的、特征和优势将变得更加明显,其中,在本公开示例性实施方式中,相同的参考标号通常代表相同部件。
[0017]图1示出了适于用来实现本发明实施方式的示例性计算机系统/服务器12的框图;
[0018]图2示出了现有的一个区域的分布式存储结构;
[0019]图3示出了根据本发明一种实施方式的一种分布式存储系统中的磁盘管理方法的流程;
[0020]图4示出图2所示的一个区域的分布式存储结构形成的两个区域的分布式存储结构;以及
[0021]图5示出了根据本发明一种实施方式的分布式存储系统中的磁盘管理设备的结构框图。
【具体实施方式】
[0022]下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式,然而应该理解,可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反,提供这些实施方式是为了使本公开更加透彻和完整,并且能够将本公开的范围完整地传达给本领域的技术人员。
[0023]图1示出了适于用来实现本发明实施方式的示例性计算机系统/服务器12的框图。图1显示的计算机系统/服务器12仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
[0024]如图1所示,计算机系统/服务器12以通用计算设备的形式表现。计算机系统/服务器12的组件可以包括但不限于:一个或者多个处理器或者处理单元16,系统存储器28,连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
[0025]总线18表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
[0026]计算机系统/服务器12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机系统/服务器12访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
[0027]系统存储器28可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM) 30和/或高速缓存存储器32。计算机系统/服务器12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统34可以用于读写不可移动的、非易失性磁介质(图1未显示,通常称为“硬盘驱动器”)。尽管图1中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
[0028]具有一组(至少一个)程序模块42的程序/实用工具40,可以存储在例如存储器28中,这样的程序模块42包括一一但不限于一一操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
[0029]计算机系统/服务器12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信,还可与一个或者多个使得用户能与该计算机系统/服务器12交互的设备通信,和/或与使得该计算机系统/服务器12能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口 22进行。并且,计算机系统/服务器12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器20通过总线18与计算机系统/服务器12的其它模块通信。应当明白,尽管图中未示出,可以结合计算机系统/服务器12使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
[0030]现有的目标存储技术采用分布式存储结构。图2示出了现有的一个区域的分布式存储结构。图2中,M个存储节点将各自的目标数据分别存储到N个磁盘,N个磁盘组成主盘环(Main Disk Ring)。这里盘环并非图论中环的概念,而是本领域技术人员常用的分布式存储系统中的一个逻辑概念,指存储系统中的一些磁盘形成了一个逻辑上的组,从而存储系统可以把目标数据的存放位置按照一定规则映射到了这组磁盘的各个位置上。
[0031 ] 存储系统中,有些数据是被频繁访问的,这里称为热数据;而有些数据访问频率非常低,这里称为冷数据。热数据和冷数据混合地存储在组成主盘环的N个磁盘中,这N个磁盘采用相同的磁盘转速。磁盘一般都可以设置多个转速。磁盘的转速越快,寻找文件的速度也就越快,磁盘的传输速度也就越高。但是,磁盘转速高对商业磁盘也带来了许多负面效应,例如温度升高;电机主轴磨损加大,使得磁盘