下：由于现实中的数据中心负载呈现非常大的波动，现 实应用表明，绝大部分时候，存储服务器及其中计算与存储部件很少处于峰值工作状态，而 是处于中低强度负载。而即使中低负载强度也需要计算子系统和存储子系统的参与，虽然 当前处理器采用DVFS(DynamicVoltageandFrequencyScaling，动态电压频率调整）具 有较好的负载能耗正比特性，但是就整个计算子系统而言，内存和主板还不能达到较好的 负载能耗正比型，越是高性能计算子系统，其空闲能耗越大。如何尽可能地调整计算子系统 和存储子系统资源使其得到更充分的利用，降低能耗的浪费，是本发明关注的问题。
[0043] 如图1所示，为本发明提供的一种节能的虚拟存储服务器系统的物理结构，整个 存储服务器系统包括一个计算节点和若干个存储节点，其中：
[0044] 所述计算节点包含CPU、内存、主板以及存储部件，所述存储部件由若干固态盘构 成；所述存储节点包含一个低能耗存储控制器（ARM或ATOM处理器）和一组磁盘；所述计算 结点和存储结点之间通过网络互联，网络可以是千兆或者万兆以太网、Inifiniband网络、 光纤通道，或者PCIe网络，虚拟存储服务器通过标准网络和外部服务器进行数据和命令交 互；计算结点的存储空间和存储结点的存储空间共同构成一个虚拟存储空间；
[0045] 在任何时间点，计算结点和存储结点中存在一个作为主存储控制器，整体管理整 个虚拟存储空间，对外提供一个存取本虚拟存储空间数据的入口；
[0046] 计算型任务运行在计算结点上，如果一段时间没有计算型任务，则关闭计算结点， 把数据存取型任务放到存储结点上执行；一旦有计算任务到达本虚拟存储服务器，则启动 计算结点。
[0047] 基于上述物理结构，本发明提供了一个主存储管理器结构（VirtualStorage ServerManager,VSSM)，一般情况下，计算节点和存储节点会运行一个主实例，其中主实例 具体负责元数据（DFAT表，HFT表和计算结点缓存文件表）的更新和同步。如果计算节点 处于活动状态，主实例就运行在计算节点上；如果计算处于休眠或者关闭状态，主实例运行 于其中一个存储节点上。
[0048] 图2为虚拟存储服务管理器结构，虚拟存储服务管理器由几个控制器和核心全 局数据结构构成。控制器包括I/O选择器，域文件分配器，负载监控和能耗调度器，数据 预取器和一致性控制器。I/O选择器根据请求文件名通过域文件分配表（DomainFile AllocationTable，DFAT)查询该文件相应的物理位置。域文件分配器在写过程中根据文 件大小和存储结点上的负载选择分配的存储结点。负载监控和能耗调度器监测每次文件操 作，维护热文件表（HotFilesTable，HFT)。数据预取器负责对SSD中数据的预取。一致 性控制器保证计算结点和存储结点数据上的一致。核心全局数据结构包括域文件分配表， 热文件表，缓存文件表，其中DFAT表最为重要，如表1所示，它是以条目的方式记录全局文 件GFileID和物理子文件SCID之间的映射关系，SCID包含存储结点和内部文件ID两个部 分。L表示该文件是否在计算结点上；S域表示是否是分条文件；S#表示分配编号，Ver表 示版本域，B表示文件最新版本是否已经同步。后面还有其他一些属性。虚拟存储管理服 务器维护一个DFAT。DFAT可以独立于计算结点和存储结点。DFAT表可以文件形式存在，也 具有相应的版本号。能够在节点之间进行拷贝和迀移。
[0049] 表I
[0050]
【主权项】
1. 一种虚拟存储服务器系统，其特征在于，所述系统包括一个计算节点和若干个存储 节点，其中： 所述计算节点包含CPU、内存、主板以及存储部件，所述存储部件由若干固态盘构成； 所述存储节点包含一个低能耗存储控制器和一组磁盘；所述计算结点和存储结点之间通过 网络互联，计算结点的存储空间和存储结点的存储空间共同构成一个虚拟存储空间； 在任何时间点，计算结点和存储结点中存在一个作为主存储控制器，整体管理整个虚 拟存储空间，对外提供一个存取本虚拟存储空间数据的入口； 计算型任务运行在计算结点上，如果一段时间没有计算型任务，则关闭计算结点，把数 据存取型任务放到存储结点上执行；一旦有计算任务到达本虚拟存储服务器，则启动计算 结点。
2. 如权利要求1所述的系统，其特征在于，所述低能耗存储控制器为ARM或ATOM处理 器。
3. 如权利要求1或2所述的系统，其特征在于，连接所述计算结点和存储结点的网络为 千兆或者万兆以太网、Inifiniband网络、光纤通道，或者PCIe网络。
4. 一种基于权利要求1至3任一项所述虚拟存储服务器系统的主存储管理器，其特征 在于，所述主存储管理器由若干个控制器和核心全局数据结构构成，其中： 所述控制器包括I/O选择器、域文件分配器、负载监控和能耗调度器、数据预取器和一 致性控制器，其中所述I/O选择器用于根据请求文件名通过域文件分配表（DomainFile AllocationTable，DFAT)查询该文件相应的物理位置；所述域文件分配器用于在写过程中 根据文件大小和存储结点上的负载选择分配的存储结点；所述负载监控和能耗调度器用于 监测每次文件操作，维护热文件表（HotFilesTable，HFT);所述数据预取器用于负责对 SSD中数据的预取；所述一致性控制器用于保证计算结点和存储结点数据上的一致； 所述核心全局数据结构包括域文件分配表、热文件表、缓存文件表，其中DFAT表以条 目的方式记录全局文件GFileID和物理子文件SCID之间的映射关系，SCID包含存储结点 和内部文件ID两个部分；其中DFAT表中至少包括L字段、S字段、S#字段、Ver字段、B字 段；其中L表示该文件是否在计算结点上；S表示是否是分条文件；S#表示分配编号，Ver表 示版本域，B表示文件最新版本是否已经同步；所述热文件表，用于记录每个文件的最后存 取时间、创建时间、上一个统计段存取次数以及记录数据处理程序处理的文件集合，以方便 文件预取到计算结点中；所述缓存文件表（BufferedFilesTable，BFT)，用于记录缓存在 SSD中的文件。
5. -种基于权利要求4所述主存储管理器的节能调度方法，其特征在于，所述方法包 括： (1) 当计算结点为活动状态的时候，处理流程如下： (I. 1)主实例运行在计算结点上，判断在处理任务完成之后的一个阀值T。时间内是否 有数据处理任务，如果有则进入步骤（1.2)，如果没有，进入步骤（1.3); (1. 2)完成对数据任务的处理，返回步骤（I. 1); (1. 3)主实例把计算结点上的最新元数据和数据更新到存储结点，选择一个热点文件 最多的存储结点作为下一个主实例，然后关闭计算结点，结束。 (2) 当存储结点为活动状态的时候，处理流程如下： (2. 1)判断主实例是否在存储结点上，若不在则进入步骤（2. 2)，若在则进入步骤 (2. 5)； (2. 2)判断在预设阈值时间Ts之内是否有I/O访问，若没有则进入步骤（2. 3)，若有则 进入步骤（2. 4); (2. 3)关闭该节点或将该节点置为休眠状态，结束； (2.4)对存储结点节点进行数据操作，返回步骤（2.2); (2. 5)判断预设时间Tsd之内存储结点每个磁盘是否有数据存取访问，若有则进入步骤 (2. 6)，若没有则进入步骤（2. 7); (2.6)对存储结点节点进行数据存取操作，返回步骤（2.5); (2. 7)将该磁盘关闭，或者根据处理器的节能策略把处理器处于低能耗状态，结束。
6.如权利要求5所述的节能调度方法，其特征在于，所述方法还包括： 读操作：对于读文件的情况，I/O选择器根据请求文件名通过DFAT查询该文件相应的 物理位置，如果计算结点处于活动状态，并且文件在计算结点上，则从计算结点上读取；否 则，I/O选择器通过查询DFAT表找到相应文件所处的存储结点，并读出相应文件； 写操作：针对写过程，域文件分配器根据文件大小和存储结点上的负载选择分配存储 结点，如果文件大小大于阈值，则分条到多个存储结点上；如果文件大小小于阈值，则无需 分条并保存到一个存储结点上； 更新操作：在更新文件情况下，保留文件名，更新文件内容；为了减少对于DFAT的操作 次数，采用创建新文件，然后修改DFAT表形式，按照写操作先进行更新文件的分配写，然后 删除旧的文件分配项，增加新的文件分配项； 数据处理操作：计算结点上能够安装多个数据处理应用的运行环境，当数据处理请求 到达时，提取该请求中的运行参数和处理文件列表，如果相应的文件不在计算结点的SSD 中，则查询DFAT表从存储结点中读取相应文件，之后按照要求启动相应的应用程序，对这 些数据集进行处理；之后如果仅需要结果数据，则返还给外部调用程序；如果需要创建新 文件则在本地计算结点中存放，并尽快更新到存储结点，同时同步DFAT。
【专利摘要】本发明提供了一种虚拟存储服务器系统，所述系统包括一个计算节点和若干个存储节点，其中：所述计算节点包含CPU、内存、主板以及存储部件，所述存储部件由若干固态盘构成；所述存储节点包含一个低能耗存储控制器和一组磁盘；所述计算结点和存储结点之间通过网络互联，计算结点的存储空间和存储结点的存储空间共同构成一个虚拟存储空间；在任何时间点，计算结点和存储结点中存在一个作为主存储控制器，整体管理整个虚拟存储空间，对外提供一个存取本虚拟存储空间数据的入口；计算型任务运行在计算结点上，如果一段时间没有计算型任务，则关闭计算结点，把数据存取型任务放到存储结点上执行；一旦有计算任务到达本虚拟存储服务器，则启动计算结点。
【IPC分类】G06F3-06
【公开号】CN104765572
【申请号】CN201510134591
【发明人】曹强, 万胜刚, 蔡浩然, 谢长生
【申请人】华中科技大学
【公开日】2015年7月8日
【申请日】2015年3月25日