基于统计预测的私有云存储资源调配方法
【专利摘要】本发明公开了一种基于统计预测的私有云存储资源调配方法，包括以下步骤：步骤1、将存储设备按块存储方式划分为块存储资源池，将存储设备按对象存储方式来划分为对象存储资源池；步骤2、实时监控数据的状态，通过统计预测，计算实时的数据价值；步骤3、系统通过统计分析存储数据的信息记录，进行数据动态迁移，使数据在相应的时间存放在相应的存储资源池中；步骤4、通过云平台的虚拟化，屏蔽底层存储设备的异构性，为用户提供透明的I/O存储服务。具有减少了存储成本，提高了系统整体的存储性能等优点。
【专利说明】基于统计预测的私有云存储资源调配方法
【技术领域】
[0001]本发明涉及一种数据存储技术，特别涉及一种基于统计预测的私有云存储资源调配方法。
【背景技术】
[0002]存储设备在硬件性能、价格、维护难易程度等方面存在差异。在使用存储设备的过程中，从经济角度考虑，分布式存储的底层存储设备通常是异构的，有不同的等级。根据存储设备的特性与数据的类型，存储方式也是异构的，有块存储、文件存储和对象存储之分。从用户使用习惯来看，存储的内容分为常用数据与归档数据。常用数据通常关注于读写速度，而归档数据则关注于空间利用率、数据稳定性等。存储数据中大约30%属于“热数据”，它们对磁盘性能、数据保护、可用性和安全性的要求相对较高，适合使用传统的块存储和文件存储方式存储这些数据。而另外的70%属于“冷数据”，也就是说在创建之后很少或者从来不被访问，它们更多需要的是可管理性、可访问性、可扩展性、储存和成本，适合对象存储来处理。
[0003]在存储设备、存储方式、存储数据的异构性前提下，既想实现数据自适应分级迁移，又想实现存储透明性，就要求有一种可靠的调配机制。私有云存储恰好能解决上述问题。
[0004]私有云(Private Clouds)是将硬件资源通过虚拟化的形式提供给企业内部使用的计算模式。云存储(Cloud Storage)是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。私有云存储在企业内部的应用主要目的是为了提高硬件和软件资源的利用率，减小项目和应用运营和维护的成本。
【发明内容】
[0005]本发明的目的在于克服现有技术的缺点与不足，提供一种基于统计预测的私有云存储资源调配方法，该方法提高了企业内部存储设备资源利用率，在存储设备、存储方式、存储数据的异构性前提下，既实现数据自适应分级迁移，又实现存储透明性，实行一种可靠的调配机制，优化存储性能，改善数据可用性，减少总体存储成本，实现存储透明性。
[0006]本发明的目的通过下述技术方案实现，基于统计预测的私有云存储资源调配方法，可以包括以下步骤:
[0007]步骤1、将存储设备按块存储方式划分为块存储资源池，将存储设备按对象存储方式来划分为对象存储资源池；
[0008]步骤2、实时监控数据的状态，通过统计预测，计算实时的数据价值；
[0009]步骤3、系统通过统计分析存储数据的信息记录，进行数据动态迁移，使数据在相应的时间存放在相应的存储资源池中；
[0010]步骤4、通过云平台的虚拟化，屏蔽底层存储设备的异构性，为用户提供透明的I/O存储服务。保障用户的存储透明性。
[0011]所述块存储资源池使用高性能、高可靠存储设备群，对象存储资源池使用容量大、价格便宜的存储设备群。所述高性能、高可靠存储设备群指SSD (闪存)、高性能磁盘阵列等存储设备，所述容量大、价格便宜的存储设备群指中端磁盘阵列、磁带库等存储设备。
[0012]根据数据的使用价值来判断数据是按快存储的方式来存储还是按照对象存储方式来存储。使用价值较高的数据以块存储的方式存储，使用价值较低的数据以对象储存方式存储。
[0013]所述步骤3包括以下步骤:
[0014]S1、定义存储数据的使用价值确定数据的迁移；
[0015]S2、依照数据的使用价值量，对数据进行排队形成列队；
[0016]S3、在队列高位的数据存放在块存储资源池，在队列低位的数据存放在对象存储资源池。
[0017]所述步骤3包括以下步骤:
[0018]Al、当块存储资源池的存储量达到存储阈值时，确定数据需要迁移；
[0019]A2、当块存储资源池的存储量高于70%时，块存储资源池中使用价值低的数据迁移到对象存储资源池，直到块存储资源池的存储量低于50%或者对象存储资源池存储量高于 90% ；
[0020]A3、当块存储资源池的存储量小于30%时，对象存储资源池使用价值高的数据从对象存储资源池到块存储资源池发生迁移，直到块存储资源池的存储量高于50%或者对象存储资源池的存储量为空；
[0021]A4、如果数据在迁移过程中被访问，立即中断迁移，访问结束后重新计算使用价值再决定是否迁移；
[0022]A5、迁移过程中保持数据完整，先将数据复制完毕，再删除源数据。
[0023]数据的所述使用价值由数据被访问时间、数据的用户关注度和数据大小来评定；
[0024]数据访问时间；数据访问时间是判断数据价值的重要依据，最新创建或者使用的数据被访问的概率较大。采用t表示数据从开始创建至数据被访问时的访问时间，采用\表示数据从开始创建至数据被修改的时间的修改时间序列Itpt2,…，tn}；
[0025]数据的用户关注度；访问某一数据的用户数量越多，该数据的使用价值就越高。记使用过数据X的用户数量为C;
[0026]数据大小；小而且热的文件跟适合存储在性能高且容量小的块存储资源池中，记数据大小参数为
【权利要求】
1.基于统计预测的私有云存储资源调配方法，其特征在于，包括以下步骤: 步骤1、将存储设备按块存储方式划分为块存储资源池，将存储设备按对象存储方式来划分为对象存储资源池； 步骤2、实时监控数据的状态，通过统计预测，计算实时的数据价值； 步骤3、系统通过统计分析存储数据的信息记录，进行数据动态迁移，使数据在相应的时间存放在相应的存储资源池中； 步骤4、通过云平台的虚拟化，屏蔽底层存储设备的异构性，为用户提供透明的I/O存储服务。
2.如权利I所述的基于统计预测的私有云存储资源调配方法，其特征在于，所述步骤I中，所述块存储资源池使用高性能、高可靠存储设备群，对象存储资源池使用容量大的存储设备群；所述高性能、高可靠存储设备群指闪存或高性能磁盘阵列，所述容量大的存储设备群指中端磁盘阵列或磁带库。
3.如权利I所述的基于统计预测的私有云存储资源调配方法，其特征在于，所述步骤I中，根据数据的使用价值来判断数据是按块存储的方式来存储还是按照对象存储方式来存储。
4.如权利I所述的基于统计预测的私有云存储资源调配方法，其特征在于，所述步骤3包括以下步骤: 51、定义存储数据的使用价值确定数据的迁移； 52、依照数据的使用价值量. 53、在队列高位的数据存放在块存储资源池，在队列低位的数据存放在对象存储资源池。
5.如权利I所述的基于统计预测的私有云存储资源调配方法，其特征在于，所述步骤3包括以下步骤: Al、当块存储资源池的存储量达到存储阈值时，确定数据需要迁移； A2、当块存储资源池的存储量高于70%时，块存储资源池中使用价值低的数据迁移到对象存储资源池，直到块存储资源池的存储量低于50%或者对象存储资源池存储量高于90% ； A3、当块存储资源池的存储量小于30%时，对象存储资源池使用价值高的数据从对象存储资源池到块存储资源池发生迁移，直到块存储资源池的存储量高于50%或者对象存储资源池的存储量为空； A4、如果数据在迁移过程中被访问，立即中断迁移，访问结束后重新计算数据的使用价值再决定是否迁移； A5、迁移过程中保持数据完整，先将数据复制完毕，再删除源数据。
6.如权利3所述的基于统计预测的私有云存储资源调配方法，其特征在于，数据的所述使用价值由数据被访问时间、数据的用户关注度和数据大小来评定； 采用\表示数据从开始创建至数据被修改了 η次的修改时间序列It1, t2，...，tj ;记使用过数据的用户数量为C ; 记数据大小参数为S，所述S的计算公式如下:
【文档编号】G06F3/06GK103442070SQ201310390396
【公开日】2013年12月11日 申请日期:2013年8月30日 优先权日:2013年8月30日
【发明者】吴宗泽, 李其力, 梁啓成, 张勰, 何文涛 申请人:华南理工大学