专利名称：一种集群存储系统的存储方法
技术领域：
本发明涉及计算机系统及存储领域，尤其涉及集群存储系统的存储方法。
背景技术：
集群存储是指:由若干个“通用存储设备”组成的用于存储的集群，组成集群存储的每个存储系统的性能和容量均可通过“集群”的方式得以叠加和扩展。集群存储应该包括数据节点、前端网络、后端网络等三个构成元素，每个元素都可以非常容易地采用业界最新技术而不用改变集群存储的架构，且扩展起来非常方便，像搭积木一样进行存储的扩展。特别是对于那些对数据增长趋势较难预测的用户，可以先购买一部分存储，当有需求的时候，随时添加，而不会影响现有存储的使用。集群存储的操作都经由分布式操作系统统一调度和分发，分散到集群存储各个数据节点上完成。使用分布式操作系统带来的好处是各节点之间没有任何区别，没有主次、功能上的区别，所有数据节点功能完全一致。集群存储中，统一命名空间强调的是同一个文件系统下的统一命名空间。它同样可以支持上PB(PowerBuilder)级别的存储空间。如果是通过将若干有空间上限的卷挂载到某一个根目录的方式来达到统一命名空间，其效率和出现存储热点时的性能将会大大低于把上PB级别的存储空间置于同一个文件系统下管理的统一命名空间。集群存储系统中，针对某些高性能数据的特定处理领域，需要存储系统对外提供恒定高于定值的存储性能，如:卫星数据的下传及解压处理等。目前，集群存储系统进入到一个新的阶段。集群存储系任何一级因统中素发生短暂故障或异常都会造成整个系统的使用受到影响，特别是系统规模扩大对底层微小故障具有放大作用。所谓系统越复杂，稳定性受到的挑战也就越大。在某些行业的特定应用系统中，一些业务需要存储持续提供较高的存储性能输出，而整个系统出现低于要求的最低性能的波动时，就会出现应用的错误运行，甚至是数据的丢失。
发明内容
为了提升集群存储系统存储性能输出的稳定性，本发明提出一种集群存储系统的存储方法。为了解决上述技术问题，本发明提供了一种集群存储系统的存储方法，所述集群存储系统包括i个应用、y个高可用性HA数据节点和m个存储设备，所述1、y、m为正整数，所述方法包括:分别将各存储设备的高可用性HA双控制器与所述y个HA数据节点中的两个HA
数据节点一一对应绑定；当一应用需要访问存储设备时，该应用对应的数据节点通过所绑定的控制器访问逻辑卷，所述逻辑卷为存储设备对外提供的磁盘空间；应用访问存储设备包括读和/或写，数据节点的数据传输包括通过控制器从逻辑卷发送数据和/或接收数据。进一步地，如果一应用要求读写带宽波动范围小于带宽阈值，则该应用对应的数据节点通过所绑定的控制器访问逻辑卷的步骤，是将该应用的数据存储至固定的资源设备存储池，所述资源设备存储池为一组逻辑卷的集合。进一步地，所述带宽阈值为正负5%。进一步地，所述方法还包括:存储设备的控制器将从所绑定的数据节点接收的数据保存在高速缓冲存储器中；当已经保存的数据的大小与高速缓冲存储器容量的比值达到比例阈值时，进行落盘刷新，所述落盘刷新为数据由高速缓冲存储器写入磁盘的过程。进一步地，根据输出带宽、数据落盘刷新速度、控制器数据高级功能确定比例阈值。进一步地，所述比例阈值为30%。进一步地，在存储逻辑卷数据时，存储设备的每个控制器将从数据节点接收的数据存储在所述控制器管理的逻辑卷中。进一步地，在存储逻辑卷数据时，增加存储设备虚拟缓存的大小。与现有技术相比，本发明通过提高高速缓冲存储器(Cache)的刷新比例，降低对磁盘的频繁访问，有效降低磁盘性能对整个系统性能输出波动的影响；尽量使得控制器资源为单独的逻辑卷提供硬件支撑，避免逻辑卷性能争用造成系统性能的波动；通过绑定控制器与数据节点，实现数据节点访问双控存储设备时近端访问，避免控制器资源过多用于双控间的数据传输，造成性能波动频繁；通过增加本地数据卷虚拟缓存有效提升数据节点上的存储性能输出稳定性；将性能稳定性需求高的应用于其他应用进行分割，应用数据可以定向存储。
图1为现有技术中性能波动分析示意图；图2为现有技术中数据节点与控制器路径规划结构示意图；图3为本发明实施例的数据节点与控制器路径规划结构示意图；图4为本发明实施例的集群存储系统的结构示意图。
具体实施例方式为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。本发明实施例提出了一种集群存储系统的存储方法，应用于集群存储系统，所述集群存储系统包括i个应用、y个高可用性HA数据节点和m个存储设备，所述1、y、m为正整数，所述方法包括:分别将各存储设备的高可用性HA双控制器与所述y个HA数据节点中的两个HA
数据节点一一对应绑定；当一应用需要访问存储设备时，该应用对应的数据节点通过所绑定的控制器访问逻辑卷，所述逻辑卷为存储设备对外提供的磁盘空间；应用访问存储设备包括读和/或写，数据节点的数据传输包括通过控制器从逻辑卷发送数据和/或接收数据。
集群存储系统的稳定性一般要求系统实现双路径冗余提供服务，本发明实施例的方法通过将HA双控制器与HA双数据节点分别绑定，实现数据节点通过单控制器访问逻辑卷。避免双路径数据在控制器缓存之间交互后落到远端控制器磁盘上，避免性能争用，进而造成整个存储系统性能波动。本发明实施例将要求读写带宽波动范围小于带宽阈值的应用的数据存储至固定的资源设备存储池，具体的做法为:如果一应用要求读写带宽波动范围小于带宽阈值，则该应用对应的数据节点通过所绑定的控制器访问逻辑卷的步骤，是将该应用的数据存储至固定的资源设备存储池，所述资源设备存储池为一组逻辑卷的集合，属于存储设备提供的一种逻辑空间。在集群存储系统中，将性能稳定性需求高的应用于其他应用进行分割，应用数据可以定向存储。传统集群存储系统一般都支持存储池的数据条带分布，目前存储应用提的较多的分级存储大多依靠热点数据访问频度对数据进行存储资源定向。本发明实施例的方法根据特定应用将其数据定向至固定资源设备存储池。在整个集群存储系统中，根据应用不同实现数据存储分割。以此避免了大量的应用服务访问统一存储空间时造成应用之间互相干扰，避免特定应用的任务失效。本发明实施例将存储设备的控制器接收的数据在高速缓冲存储器中达到比例阈值时，进行落盘刷新，所述落盘刷新为数据由高速缓冲存储器写入磁盘的过程。比例阈值需根据特定存储进行测试验证，与输出带宽、数据落盘刷新速度、控制器数据高级功能有关。底层设备接收的数据在cache中达到一定比例进行落盘刷新，通过设置阵列控制中cache刷新比例，降低对磁盘的频繁访问，可有效降低磁盘性能对整个系统性能输出波动的影响。在存储逻辑卷数据时，存储设备的每个控制器将数据存储在所述控制器管理的逻辑卷中。一台存储设备中可以有很多逻辑卷，其中存储设备中两台控制器分别管理其中一部分的逻辑卷(双控可以交叉访问逻辑卷)。在双控AA (active-active)工作模式时,双路径数据在控制器缓存之间交互后落到远端控制器磁盘上造成性能争用，由于磁盘阵列控制的处理能力及本地缓存资源有限，当一个控制器控制多个逻辑卷，并且由于RAID(磁盘阵列,Redundant Arrays of Inexpensive Disks)损坏导致控制器进行重构等工作时，其他逻辑卷的访问性能受到明显的影响。本发明实施例每个控制器只操作自己管理的那部分硬件逻辑卷。本发明实施例在数据节点的数据写入逻辑卷时，增加存储设备虚拟缓存的大小。数据节点上的数据在写入逻辑卷时，首先数据要在本地缓存中暂存，这个暂存空间是可以通过集群文件系统的内部参数进行调整的。通过增加本地存储设备虚拟缓存有效提升数据节点上的存储性能输出稳定性。实施例在整个集群存储系统的部署初期，统一进行cache参数针对特定应用的调整，由于参数定制会造成系统平均输出性能的降低，可针对特定应用做参数定制，将带宽波动范围为小于5%的数据定向至固定资源设备存储池。实现逻辑卷与控制器资源的一对一服务。
存储设备的控制器接收的数据在高速缓冲存储器中达到30%时，进行落盘刷新。集群存储的数据节点与双控制器磁盘阵列互联时，后端数据网络连接HA双控制器与HA双数据节点实现分别绑定，数据节点I通过路径1、2访问控制器I上资源，数据节点2通过路径3、4访问控制器2上的资源。避免数据节点I通过路径1、2同时访问控制器
1、2，如图3所示，本发明实施例的方法通过将HA双控制器与HA双数据节点分别绑定，实现数据节点通过单控制器访问逻辑卷。通过设置集群文件系统中本地缓存中用于集群系统逻辑卷的缓存大小，如将集群存储系统中缓存大小从默认的32MB提升至256MB。特定应用的读入数据或写入数据存放在此资源池中，其他应用的其他数据设置成该资源池外的存储空间。整个数据存储实现分割，但所有应用对整个存储空间可以统一访问。以上实施例仅用以说明本发明的技术方案而非限制，仅仅参照较佳实施例对本发明进行了详细说明。本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。
权利要求
1.一种集群存储系统的存储方法，其特征在于:所述集群存储系统包括i个应用、y个高可用性HA数据节点和m个存储设备，所述1、y、m为正整数，所述方法包括: 分别将各存储设备的高可用性HA双控制器与所述y个HA数据节点中的两个HA数据节点一一对应绑定； 当一应用需要访问存储设备时，该应用对应的数据节点通过所绑定的控制器访问逻辑卷，所述逻辑卷为存储设备对外提供的磁盘空间；应用访问存储设备包括读和/或写，数据节点的数据传输包括通过控制器从逻辑卷发送数据和/或接收数据。
2.按权利要求1所述的存储方法，其特征在于:如果一应用要求读写带宽波动范围小于带宽阈值，则该应用对应的数据节点通过所绑定的控制器访问逻辑卷的步骤，是将该应用的数据存储至固定的资源设备存储池，所述资源设备存储池为一组逻辑卷的集合。
3.按权利要求2所述的存储方法，其特征在于:所述带宽阈值为正负5%。
4.按权利要求1所述的存储方法，其特征在于，还包括:存储设备的控制器将从所绑定的数据节点接收的数据保存在高速缓冲存储器中； 当已经保存的数据的大小与高速缓冲存储器容量的比值达到比例阈值时，进行落盘刷新，所述落盘刷新为数据由高速缓冲存储器写入磁盘的过程。
5.按权利要求4所述的存储方法，其特征在于:根据输出带宽、数据落盘刷新速度、控制器数据高级功能确定比例阈值。
6.按权利要求4所述的存储方法，其特征在于:所述比例阈值为30%。
7.按权利要求1所述的存储方法，其特征在于:在存储逻辑卷数据时，存储设备的每个控制器将从数据节点接收的数据存储在所述控制器管理的逻辑卷中。
8.按权利要求1所述的存储方法，其特征在于:在存储逻辑卷数据时，增加存储设备虚拟缓存的大小。
全文摘要
一种集群存储系统的存储方法，涉及计算机系统及存储领域，所述集群存储系统包括i个应用、y个高可用性HA数据节点和m个存储设备，所述i、y、m为正整数，所述方法包括将一台存储设备的高可用性HA双控制器与所述y个HA数据节点中的两个HA数据节点一一对应绑定；当一应用需要访问存储设备时，该应用对应的数据节点通过所绑定的控制器访问逻辑卷，所述逻辑卷为存储设备对外提供的磁盘空间。与现有技术相比，本发明通过绑定控制器与数据节点，实现数据节点访问双控存储设备时近端访问，避免控制器资源过多用于双控间的数据传输，造成性能波动频繁。本发明用于集群存储系统。
文档编号G06F12/08GK103092532SQ20131002266
公开日2013年5月8日 申请日期2013年1月21日 优先权日2013年1月21日
发明者刘希猛 申请人:浪潮(北京)电子信息产业有限公司