专利名称：一种多级自适应存储方法
技术领域：
本发明涉及一种多级存储方法。
背景技术：
目前，随着遥感卫星从科学实验型走向工程实践，应用范围有了较大的拓展。当前地面系统存储系统采用的固定天数存储策略已经不能满足应用的需要。固定天数存储策略是这样运行的。在地面系统设计初期，设计人员制定该卫星载荷的分级，一般按照处理程度可以把遥感卫星数据分为至少4级，分别进行了辐射校正，系统几何校正，带控制点的系统精校正，带地形的正射校正的处理。然后设计人员确定每一级产品数据的单产品大小，常规生产和订购生产比例。并依次计算出每一级产品的存储需求，每一级产品在不同存储区域的不同存储介质上的存储时间。最后得到整个地面系统的存储需求。 这样的估算包含很多不确定的因素，导致实际情况与预估出入很大。随着目前卫星载荷越来越复杂，处理流程和技术不断改进，用户的需求日益多样化，估算的结果离实际要求渐行渐远。具体表现在，一是存储资源没有得到充分利用，在线盘阵的使用率不高；二是用户的需求不能快速得到满足，产品在预先定义的在线周期结束后，不管是否仍然被用户使用，仍然从在线盘阵删除，后续的用户请求将导致数据再次从次级存储恢复。
发明内容
本发明的技术解决问题是克服现有技术的不足，提供一种多级自适应存储方法，该方法能够快速、可靠的对外提供存储服务。本发明的技术解决方案是一种多级自适应存储方法，方法依托的存储系统包括执行层和管理层两个逻辑层面；执行层包括迁移器、生命周期、灾备和存储管理四个执行模块；方法包括存储资源变动过程、存储操作过程和存储策略调整及报警三个过程，其中存储资源变动过程的触发条件为存储资源发生变动，触发后的步骤如下(I)管理上述存储资源的执行模块向管理层提出注册或注销资源申请；(2)管理层获取所述存储资源的速度；并将获取的速度记录到可用资源表中；所述的可用资源表存储在管理层且由管理层维护；(3)判断步骤(I)中的申请是否为注销资源，若为注销资源申请，则根据用户定义的注销资源中文件的重要程度，根据用户要求对相应文件进行备份，转步骤(4);否则直接转步骤⑷；(4)存储资源变动过程结束。存储操作过程的触发条件为根据预先设定的时间触发事件触发，或者当管理层接收到外部输入的归档或提取请求，触发后步骤如下第一步，管理层根据触发条件依照文件分布表中的文件分布确定执行的动作序列；
第二步，管理层依照可用资源表，确定待执行的执行模块；第三步，管理层根据第一、二步的结果，生成命令，并将命令存储在任务表中；所述的任务表及文件分布表存储在管理层且由管理层维护；第四步，第二步中确定的执行模块定期从任务表中取命令，并按照命令执行相应动作，并将命令执行情况上报至管理层，由管理层更新任务表及文件分布表；完成存储操作过程；存储策略调整及报警过程的触发条件为根据存储操作的次数或者根据预先设定的时间触发，触发后的步骤包括策略表及可用资源表的维护两部分；其中策略表的维护步骤如下 (a)统计存储操作中具体每个文件的操作次数，根据操作次数及用户操作过程中定义的文件优先级，确定该文件的使用度；所述的使用度为该文件操作过程中所有优先级的和；(b)判断文件使用度是否大于预先设定的阈值，若不大于，则维持策略表不变；否则转步骤(C)；(C)判断文件的大小是否大于预先设定的阈值，若文件的大小大于预先设定的阈值，则延长策略表中该文件的在线天数，否则，将策略表中该文件的在线天数改为永久在线.
-^4 ，可用资源表的维护步骤如下管理层统计每个执行模块上报的命令执行情况，判断命令执行情况是否在预先设定的合理执行范围内，若超出合理执行范围，则将该执行模块设置成报警状态；否则，修改可用资源表中该执行模块对应存储资源的权重。本发明与现有技术相比有益效果为(I)本发明方法可以对由多个存储节点组成的分布式多级存储体系进行有效管理，根据存储节点的容量，速度，通过改变权重等可以使整个存储系统对外提供的存储服务快速，可靠。(2)用户利用本发明方法进行多级存储操作，不需要关心产品数据具体存储在何地以及如何备份，能够非常容易的保证文件存储的可靠性。(3)本发明方法的注册或注销步骤，可以实现根据实际应用时存储的负载情况增删节点而不会影响存储的稳定性，以保证存储具有可扩展性。(4)本发明可以根据实际存储资源的利用情况进行存储策略的持续优化，提高整个存储分布的合理性。
图I为本发明轴向剖视图；图2为本发明存储资源变动过程流程图；图3为本发明存储操作过程流程图；图4为本发明存储策略调整及报警过程流程图。
具体实施方式
一种多级自适应存储方法，方法依托的存储系统如图I所示，包括主区和备区两个存储区，以及部署在每个存储区中的执行层和管理层；执行层和管理层之间通过网络通信；存储区每个区包含多个在线盘阵和多个近线带库；其中执行层包括迁移器、生命周期、灾备和存储管理四个执行模块；迁移器负责通过磁带驱动器在线盘阵和近线带库之间进行数据迁移，管理的存储资源为磁带驱动器；生命周期负责同区内在线盘阵之间的数据迁移，管理的存储资源为在线盘阵；灾备负责主备区之间在线盘阵之间数据的迁移，管理的存储资源为主备区之间的网络；存储管理负责与近线带库通信，把适当的磁带装入磁带驱动器或者从磁带驱动器中卸载磁带，管理的存储资源为近线带库。生命周期和在线盘阵为多对多关系，每一个生命周期模块都可管理本区的所有在线盘阵；其他执行模块与存储资源为--对应关系。存储系统的控制中枢是管理层，系统默认为主区中的管理层工作，此时备区中的管理层不起作用，当主份出故障时，启用备区中的管理层。上述数据迁移实质就是数据之间的拷贝，为目前通用的处理处理技术，此处不进行详细说明。
本发明方法包括存储资源变动过程、存储操作过程和存储策略调整及报警三个过程，其中:存储资源变动过程的触发条件为存储资源发生变动，例如新增磁带驱动器、卸载一个在线盘阵、增加网络带宽等，触发后的步骤如图2所示，具体如下(I)管理上述存储资源的执行模块向管理层提出注册或注销资源申请；例如当需要新增磁带驱动器时，执行模块为迁移器，迁移器向管理层提出注册资源申请；当卸载一个在线盘阵，生命周期向管理层提出注销资源申请；当增加网络带宽，灾备向管理层提出注册申请。(2)管理层获取所述存储资源的速度；并将获取的速度记录到可用资源表(表I)中；所述的可用资源表存储在管理层且由管理层维护；
执行模块存储资源速度(ΜΒ/s) ΓΜ
迁移器I磁带驱动器I1305 迁移器2磁带驱动器21204
迁移器η磁带驱动器η
灾备I网络I[~200[~5
灾备η网络η
存储管理I近线带库I/3存储管理η近线带库η―丨
生命周期I在线盘阵I8006
生命周期η在线盘阵η12007(3)判断步骤⑴中的申请是否为注销资源，若为注销资源申请，则根据用户定义的注销资源中文件的重要程度，根据用户要求对相应文件进行备份，转步骤(4);否则直接转步骤⑷；
例如当卸载一个在线盘阵，生命周期向管理层提出注销资源申请；判断该在线盘阵中的文件的重要程度，假设存在20个需要至少2个备份的重要文件，则需要对这20个文件中的每个文件都按照下述步骤处理判断文件分布表中该文件的份数在删除相应在线盘阵后是否少于2份，若少于2份，则管理层发出迁移命令，由生命周期将该文件迁移至另外一个在线盘阵，满足备份要求；(4)存储资源变动过程结束；存储操作过程的触发条件为根据预先设定的时间触发事件触发(一般为定期清理在线盘阵)，或者当管理层接收到外部输入的归档或提取请求，触发后步骤如图3所示，具体如下第一步，管理层根据触发条件依照文件分布表中的文件分布确定执行的动作序列；文件分布表如表2所示
权利要求
1.一种多级自适应存储方法，方法依托的存储系统包括执行层和管理层两个逻辑层面；执行层包括迁移器、生命周期、灾备和存储管理四个执行模块；其特征在于方法包括存储资源变动过程、存储操作过程和存储策略调整及报警三个过程，其中存储资源变动过程的触发条件为存储资源发生变动，触发后的步骤如下(1)管理上述存储资源的执行模块向管理层提出注册或注销资源申请；(2)管理层获取所述存储资源的速度；并将获取的速度记录到可用资源表中；所述的可用资源表存储在管理层且由管理层维护；(3)判断步骤⑴中的申请是否为注销资源，若为注销资源申请，则根据用户定义的注销资源中文件的重要程度，根据用户要求对相应文件进行备份，转步骤(4);否则直接转步骤⑷；(4)存储资源变动过程结束。存储操作过程的触发条件为根据预先设定的时间触发事件触发，或者当管理层接收到外部输入的归档或提取请求，触发后步骤如下第一步，管理层根据触发条件依照文件分布表中的文件分布确定执行的动作序列；第二步，管理层依照可用资源表，确定待执行的执行模块；第三步，管理层根据第一、二步的结果，生成命令，并将命令存储在任务表中；所述的任务表及文件分布表存储在管理层且由管理层维护；第四步，第二步中确定的执行模块定期从任务表中取命令，并按照命令执行相应动作， 并将命令执行情况上报至管理层，由管理层更新任务表及文件分布表；完成存储操作过存储策略调整及报警过程的触发条件为根据存储操作的次数或者根据预先设定的时间触发，触发后的步骤包括策略表及可用资源表的维护两部分；其中策略表的维护步骤如下(a)统计存储操作中具体每个文件的操作次数，根据操作次数及用户操作过程中定义的文件优先级，确定该件的使用度；所述的使用度为该文件操作过程中所有优先级的和；(b)判断文件使用度是否大于预先设定的阈值，若不大于，则维持策略表不变；否则转步骤(C)；(C)判断文件的大小是否大于预先设定的阈值，若文件的大小大于预先设定的阈值，则延长策略表中该文件的在线天数，否则，将策略表中该文件的在线天数改为永久在线；可用资源表的维护步骤如下管理层统计每个执行模块上报的命令执行情况，判断命令执行情况是否在预先设定的合理执行范围内，若超出合理执行范围，则将该执行模块设置成报警状态；否则，修改可用资源表中该执行模块对应存储资源的权重。
全文摘要
一种多级自适应存储方法，方法依托的存储系统包括执行层和管理层两个逻辑层面；执行层包括迁移器、生命周期、灾备和存储管理四个执行模块；方法包括存储资源变动过程、存储操作过程和存储策略调整及报警三个过程，其中存储资源变动过程的触发条件为存储资源发生变动，存储操作过程的触发条件为根据预先设定的时间触发事件触发，或者当管理层接收到外部输入的归档或提取请求，存储策略调整及报警过程的触发条件为根据存储操作的次数或者根据预先设定的时间触发，触发后的步骤包括策略表及可用资源表的维护两部分。本发明克服现有技术的不足，能够对外提供快速，可靠的存储服务。
文档编号G06F3/06GK102929566SQ20121041110
公开日2013年2月13日 申请日期2012年10月24日 优先权日2012年10月24日
发明者李运伟 申请人:中国资源卫星应用中心