一种数据存储方法及系统的制作方法
【技术领域】
[0001] 本发明涉及数据存储管理技术,尤其涉及一种数据存储方法及系统。
【背景技术】
[0002] 分级存储是一种根据数据的重要性、访问频率、保留时间、容量、性能等指标,将数 据采取不同的存储方式分别存储在不同性能的存储设备上,从而实现数据客体在存储设备 之间的自动迁移的存储管理技术。通过将不经常访问的数据自动移到存储层次较低的存储 空间,释放出较高成本的一级本地存储空间给更频繁访问的数据,可以获得更好的性价比。 这样,一方面可大大减少非重要性数据在一级本地存储空间中所占用的比例,还可加快整 个系统的存储性能。
[0003] 在实现分级存储过程中,需要对数据进行迁移或备份处理,传统的解决方案主要 包括两个大类:一个大类是根据数据的时间特征,自动或人工对历史的数据进行"增量或全 量"备份,即从高端存储设备移至低端存储设备中,实现数据的备份或迁移,需要查询访问 时,再从低端存储设备恢复到高端存储设备中,或是修改查询链接到低端存储设备,从而完 成数据访问;另一个大类是通过人工决策,周期性分析高端存储设备中的数据,找出一些不 常用的业务信息,迁移到中端或低端存储设备中,并修改应用访问链接指向,最终提升高端 存储设备的空间利用率,节约高端存储空间。
[0004] 上述第一类方式,在数据迁移时仅考虑数据的时间特性,没有关注数据的其它特 征,这样迁移的效果往往不明显,而且自动化的程度低;例如,一个主动销户的用户,其信令 数据和销帐记录等数据,按时间规则是最新的,因此,按照第一类方式不会做迁移。但实际 情况是这些信息基本没有业务应用访问,或访问频率非常低,而这样的数据占用了很多高 端存储空间,影响到了重要数据的访问。
[0005] 上述第二类方式,在通过人工决策进行数据迁移时,主要根据数据的重要性人工 主观决策,但数据众多,这样,工作量巨大,并且简单人工决策,存在以下问题:通常,为了保 证业务应用正常使用,决定迁移的数据量非常少,如80%以上当前业务应用未使用数据,都 不敢做迁移,怕影响重要业务信息的访问完整性和及时性,进而影响业务系统的稳定性,因 此,迁移效果不明显。
[0006] 另外,不管是上述第一类方式还是第二类方式都存在以下缺点:由于数据迁移策 略简单,容易导致由于错误决策而执行的数据迁移,这样的错误将造成原业务系统不能正 常使用,或者造成新的存储设备达不到数据的访问和稳定性要求,从而,影响业务系统正常 使用。
【附图说明】
[0007] 图1为本发明至少一个实施例提供的数据存储方法的流程示意图;
[0008] 图2为本发明至少一个实施例提供的数据存储系统的结构示意图。
【发明内容】
[0009] 有鉴于此,本发明实施例期望提供一种数据存储方法及系统,能够实现数据的快 速、有效迁移。
[0010] 本发明的技术方案是这样实现的:
[0011] 本发明实施例提供了一种数据存储方法,所述方法包括:
[0012] 获取数据的特征信息;
[0013] 根据所述数据的特征信息确定所述数据的迁移率;
[0014] 根据所述迁移率确定是否迁移所述数据。
[0015] 上述方案中,所述特征信息,包括:最后查询更新时间XI、使用频次、分区存储方 式X4、信息重要程度等级X5、使用效率等级X6、数据量X7、不使用时间X8、不使用周期X9、 数据迁移速率X10、迁移影响应用程度等级XII、以及主信息关系;其中,使用频次包括周使 用频次X2和天使用频次X3 ;主信息关系包括三个字段:类别字段X12、关联字段X13、条件 字段X14。
[0016] 上述方案中,所述根据所述数据的特征信息确定所述数据的迁移率P,为:
[0017] P= (1-Yn*con_Y5*w5+Y6*w6+Y#coD*Fuse*m*Fstore+Rkey,
[0018] 其中,F_表示使用频次影响系数;m表示时间可行性系数;Fst_表示分区存储方 式影响系数;I^y表示关联表影响系数;Yn为迁移影响应用程度影响系数;Y5为信息重要程 度等级影响系数;Y6为使用效率等级影响系数为最后查询时间影响系数,代表最后查询 时间对数据迁移的影响程度;《n代表迁移影响应用程度等级XII的权值;代表信息重 要程度等级X5的权值;代表使用效率等级X6的权值;《i代表最后查询更新时间XI的 权值。
[0019] 上述方案中,所述Yi通过下式确定:
[0020]
[0021] 其中,c表示当前日期;
[0022] 所述Y5、Y6以及Yn通过下式确定:
[0023] Y5 =X5/N;
[0024] Y6 =X6/M;
[0025] Yn =Xll/I;
[0026] 其中,N为总信息重要程度等级,M为总使用效率等级,I为总迁移影响应用程度等 级。
[0027] 上述方案中,所述使用频次影响系数F_通过下式确定:
[0028]
[0029] 上述方案中,所述时间可行性系数m通过下式确定:
[0030]
[0031]其中,为迁移准备时间。
[0032] 上述方案中,所述分区存储方式影响系数Fstora通过下式确定:
[0033]
[0034] 上述方案中,所述关联表影响系数Rkey通过下式确定:
[0035]
[0036]上述方案中,所述 = 40%、w5 = 40%、w6 = 10%、= 10%。
[0037] 上述方案中,所述方法还包括:预先设置迁移率阈值;
[0038] 所述根据所述迁移率确定是否迁移所述数据,包括:当迁移率P>迁移率阈值时, 迁移所述数据;当迁移率〈=迁移率阈值时,不迁移所述数据。
[0039] 上述方案中,所述根据迁移率确定迁移所述数据时,该方法还包括:根据数据迁移 率确定数据预迁移到的目标存储设备等级。
[0040] 上述方案中,所述根据数据迁移率确定数据预迁移到的目标存储设备等级,包 括:
[0041] 确定数据当前存储设备的等级N1 ;设数据预迁移到的目标存储设备的等级为N2 ; 通过下式确定所述预迁移到的目标存储设备等级N2:
[0042]
[0043] 其中,INTO表示取整函数,L表示目标存储设备总等级数。
[0044] 本发明实施例还提供了一种数据存储系统,所述系统包括:特征信息获取模块、迁 移率确定模块以及迁移数据确定模块;其中,
[0045] 所述特征信息获取模块,用于获取数据的特征信息;所述迁移率确定模块,用于根 据所述数据的特征信息确定数据的迁移率;所述迁移数据确定模块,用于根据所述迁移率 确定是否迁移所述数据。
[0046] 上述方案中,所述特征信息,包括:最后查询更新时间XI;使用频次;分区存储方 式X4 ;信息重要程度等级X5 ;使用效率等级X6 ;数据量X7 ;不使用时间X8 ;不使用周期X9 ; 数据迁移速率X10;迁移影响应用程度等级XII;主信息关系;其中,使用频次包括周使用频 次X2和天使用频次X3;主信息关系包括3个字段:类别字段X12、关联字段X13、条件字段 X14。
[0047] 上述方案中,所述迁移率确定模块根据所述数据的特征信息确定数据的迁移率P, 为:
[0048] P = (l-YnX on-Y5X w5+Y6X Og+YjX〇XFuseXmXFstore+Rkey,
[0049] 其中,F_表示使用频次影响系数;m表示时间可行性系数;Fst_表示分区存储方 式影响系数;I^y表示关联表影响系数;《n代表迁移影响应用程度等级XI1的权值;《5代 表信息重要程度等级X5的权值;《6代表使用效率等级X6的权值;《i代表最后查询更新 时间XI的权值。
[0050] 上述方案中,所述系统还包括:设置模块,用于预先设置迁移率阈值;
[0051] 所述迁移数据确定模块根据所述迁移率确定是否迁移所述数据,包括:判断迁移 率是否大于迁移率阈值,当迁移率P>迁移率阈值时,迁移所述数据;当迁移率〈=迁移率阈 值时,不迁移所述数据。
[0052] 上述方案中,所述系统进一步包括:迁移处理模块;所述迁移处理模块,用于确定 迁移所述数据时,根据数据迁移率确定数据预迁移到的目标存储设备等级,并执行迁移。
[0053] 上述方案中,所述迁移处理模块根据数据迁移率确定数据预迁移到的目标存储设 备等级,包括:确定数据当前存储设备的等级N1 ;设数据预迁移到的目标存储设备的等级 为N2 ;通过下式确定所述预迁移到的目标存储设备等级N2 :
[0054]
[0055] 其中,INTO表示取整函数,L表示目标存储设备总等级数。
[0056] 本发明实施例所提供的数据存储方法及系统,获取数据的特征信息;根据所述数 据的特征信息确定所述数据的迁移率;根据所述迁移率确定是否迁移所述数据。如此,不只 依据数据时间特性或重要性执行数据迁移,而是依据数据特征信息确定数据迁移率后,根 据数据迁移率确定是否迁移数据;这样,能大大提高数据迁移的准确性,后续执行的数据迁 移处理更加有效,避免错误迁移带来的种种风险。
【具体实施方式】
[0057] 在本发明各种实施例中,获取数据的特征信息;根据所述数据的特征信息确定所 述数据的迁移率;根据所述迁移率确定是否迁移所述数据。
[0058] 下面通过附图及具体实施例对本发明做进一步的详细说明。
[0059] 本发明实施例提供的数据