一种SAN共享文件存储和归档方法和系统与流程

本发明涉及存储技术领域，尤指一种san共享文件存储和归档方法和系统。

背景技术：

san(storageareanetwork，存储区域网络)是一种类似于普通局域网的高速存储网络，通过专用的集线器、交换机和网关建立起服务器和磁盘阵列之间的直接连接。san的优点主要体现在：资源共享。san文件系统简化了san管理，减小了存储和恢复时间，优化了存储资源的使用，并允许单独缩小网络元件，同时避免了冗余存储。san编程包括各个服务器上的客户程序，它专门用于服务器使用的操作平台。如果要创建或写文件，客户程序向控制san通信的公共元数据服务器发出请求，一旦允许访问，服务器可以不经过元数据服务器而访问文件，并保证大多数输入输出(i/o)的性能不下降。

但元数据服务器是其中的瓶颈和单点故障点，一旦元数据服务器出现问题，导致客户端无法与系统中元数据服务器通讯，致使san网络瘫痪。在这种情况下相关技术中的san共享文件系统做法是停止写操作，等待与元数据服务器恢复通信后，再进行写操作。当元数据服务器故障或者lan网络出现问题导致san共享文件系统不可用即离线状态时，无法继续写入数据，严重影响了客户的应用。

技术实现要素：

为了解决上述技术问题，本发明提供了一种san共享文件存储和归档方法和系统，使得san共享文件系统可充分发挥存储硬件、连接网络的带宽，为各种不同的非结构化数据的应用提供极高的存储性能。

为了达到本发明目的，本发明提供了一种san共享文件存储和归档方法，包括：

在接收到数据操作请求时；判断元数据主服务器是否正常在线工作；

如果是，则将所述数据操作请求通过所述元数据主服务器进行处理并将所述数据操作请求对应的数据和数据信息存储至后端存储池中；

如果否，则将所述数据操作请求通过所述元数据备份服务器进行处理并所述数据操作请求对应的数据和数据信息存储至后端存储池中。

优选地，所述的方法，还包括：

当检测到所述元数据主服务器上线时，所述元数据备份服务器未处理的数据操作请求迁移至所述元数据主服务器，由所述元数据主服务器处理所述数据操作请求并将所述数据操作请求对应的数据和数据信息存储至后端存储池中。

优选地，所述的方法，还包括：将存储在存储池的所述数据和数据信息备份至元数据备份存储器。

优选地，将所述数据操作请求对应的数据和数据信息存储至后端存储池中包括：

将所述数据以串行方式写入磁盘卷；

所述数据信息写入到与所述数据不同的磁盘卷。

优选地，接收到数据操作请求以后还包括：对所述数据操作请求进行鉴权，当鉴权通过时，根据数据操作请求的访问权限，执行对应的数据操作；当鉴权不通过时，返回失败处理结果。

优选地，所述数据操作请求包括以下之一：

写入数据请求、更新数据请求、删除数据请求。

优选地，所述方法之前还包括：

在所述元数据主服务器和所述元数据备份服务器中安装san共享文件系统软件，所述san共享文件系统软件将后端存储池以san的形式映射至一种或者多种架构的客户端，以使得所述客户端利用映射的磁盘上进行数据读写操作。

本发明的实施例还提供了一种san共享文件存储和归档系统，包括：

判断模块，设置为在接收到数据操作请求时；判断元数据主服务器是否正常在线工作；

处理模块，设置为如果元数据主服务器正常在线工作，则将所述数据操作请求通过所述元数据主服务器进行处理并将所述数据操作请求对应的数据和数据信息存储至后端存储池中；

如果元数据主服务器不正常在线工作，则将所述数据操作请求通过所述元数据备份服务器进行处理并所述数据操作请求对应的数据和数据信息存储至后端存储池中。

优选地，所述处理模块，还设置为：

当检测到所述元数据主服务器上线时，所述元数据备份服务器未处理的数据操作请求迁移至所述元数据主服务器，由所述元数据主服务器处理所述数据操作请求并将所述数据操作请求对应的数据和数据信息存储至后端存储池中。

优选地，所述的系统，还包括：备份模块，设置为将存储在存储池的所述数据和数据信息备份至元数据备份存储器。

优选地，将所述数据操作请求对应的数据和数据信息存储至后端存储池中包括：

将所述数据以串行方式写入磁盘卷；

所述数据信息写入到与所述数据不同的磁盘卷。

优选地，所述的系统，还包括：鉴权模块，设置为对所述数据操作请求进行鉴权，当鉴权通过时，根据数据操作请求的访问权限，执行对应的数据操作；当鉴权不通过时，返回失败处理结果。

针对相关技术中用户往往在业务上线几年后发现系统性能低、存储空间不够用的，本发明在共享san文件系统中实现跨异构操作和服务器硬件平台同步共享信息，同时将存储数据和其他重要数字资产建立起一个共享存储池，从而加快业务运营，有效处理和和分发整个工作流中的内容。本发明能够解决客户在成本有限条件下对提升性能的需求，具有广泛应用性。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。

图1为本发明实施例的san共享文件存储和归档方法的流程图；

图2为本发明实施例的san共享文件存储和归档系统的一个示例的结构示意图；

图3本发明实施例的冗余架构的共享文件系统搭建的示意图；

图4本发明实施例的存储池划分的示意图。

具体实施方式

为使本发明的发明目的、技术方案和有益效果更加清楚明了，下面结合附图对本发明的实施例进行说明，需要说明的是，在不冲突的情况下，本申请中的实施例和实施例中的特征可以相互任意组合。

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

如图1所示，本发明实施例提供一种san共享文件存储和归档方法，所述方法可以包括步骤s101-步骤s103：

s101、在接收到数据操作请求时；判断元数据主服务器是否正常在线工作；

s102、如果是，则将所述数据操作请求通过所述元数据主服务器进行处理并将所述数据操作请求对应的数据和数据信息存储至后端存储池中；

s103、如果否，则将所述数据操作请求通过所述元数据备份服务器进行处理并所述数据操作请求对应的数据和数据信息存储至后端存储池中。

本发明实施例中，所述的方法，还包括：

s104、当检测到所述元数据主服务器上线时，所述元数据备份服务器未处理的数据操作请求迁移至所述元数据主服务器，由所述元数据主服务器处理所述数据操作请求并将所述数据操作请求对应的数据和数据信息存储至后端存储池中。

本发明实施例中，所述的方法，还包括：将存储在存储池的所述数据和数据信息备份至元数据备份存储器。

本发明实施例中，步骤s102中将所述数据操作请求对应的数据和数据信息存储至后端存储池中包括：

将所述数据以串行方式写入磁盘卷；

所述数据信息写入到与所述数据不同的磁盘卷。

本发明实施例中，步骤s101中接收到数据操作请求以后还包括：对所述数据操作请求进行鉴权，当鉴权通过时，根据数据操作请求的访问权限，执行对应的数据操作；当鉴权不通过时，返回失败处理结果。

本发明实施例中，所述数据操作请求包括以下之一：

写入数据请求、更新数据请求、删除数据请求。

本发明实施例中，所述方法之前还包括：

在所述元数据主服务器和所述元数据备份服务器中安装san共享文件系统软件，所述san共享文件系统软件将后端存储池以san的形式映射至一种或者多种架构的客户端，以使得所述客户端利用映射的磁盘上进行数据读写操作。

本发明实施例中，通过在元数据主服务器和元数据备份服务器的os系统中安装san共享文件系统软件，这个软件可以将后端存储空间以san的形式映射给不同os架构的客户端系统。客户端可以在映射过来的磁盘上进行数据读写操作。控制不同客户端同时读写之间的冲突是通过文件系统的文件锁来控制，同一个时间仅一个客户端可以进行写操作。

如图2所示，本发明实施例还提供一种san共享文件存储和归档系统，包括：

判断模块，设置为在接收到数据操作请求时；判断元数据主服务器是否正常在线工作；

处理模块，设置为如果元数据主服务器正常在线工作，则将所述数据操作请求通过所述元数据主服务器进行处理并将所述数据操作请求对应的数据和数据信息存储至后端存储池中；

如果元数据主服务器不正常在线工作，则将所述数据操作请求通过所述元数据备份服务器进行处理并所述数据操作请求对应的数据和数据信息存储至后端存储池中。

本发明实施例中，处理模块，还设置为：

当检测到所述元数据主服务器上线时，所述元数据备份服务器未处理的数据操作请求迁移至所述元数据主服务器，由所述元数据主服务器处理所述数据操作请求并将所述数据操作请求对应的数据和数据信息存储至后端存储池中。

本发明实施例中，所述的系统，还包括：备份模块，设置为将存储在存储池的所述数据和数据信息备份至元数据备份存储器。

本发明实施例中，将所述数据操作请求对应的数据和数据信息存储至后端存储池中包括：

将所述数据以串行方式写入磁盘卷；

所述数据信息写入到与所述数据不同的磁盘卷。

本发明实施例中，所述的系统，还包括：鉴权模块，设置为对所述数据操作请求进行鉴权，当鉴权通过时，根据数据操作请求的访问权限，执行对应的数据操作；当鉴权不通过时，返回失败处理结果。

实施例一

面临极速增长的数据，客户需要面对长期保留数据也越来越多。作为一种高性能文件系统，san共享文件系统可充分发挥存储硬件、连接网络的带宽，为各种不同的非结构化数据的应用提供极高的存储性能。能够支持跨linux、mac、unix和windows操作系统的异构环境，san中的所有主机都可以轻松访问所有文件，确保数据传输透明化、文件在线并可供访问。san中的主机和应用系统共享存储设备和数据；优秀的扩展能力，在不影响主机和应用系统运行的情况下，存储容最和性能都可以无限扩展，增加主机也不影响存储系统；光纤通道可以使存储设备远离主机系统，便于灾难恢复；数据和存储设备整合，将设备和数据统一存储和管理，降低采购、管理和维护成本，便于进行数据保护；满足海量存储环节的高性能需求，适合于高速数据流。

该发明涉及的系统分为元数据服务器部分、共享文件系统部分、客户端部分、介质池部分和网络部分。

元数据服务器部分：元数据服务器由两个高可用服务器节点组成ha集群，用于控制和管理元数据。文件由内容(实际数据)和元数据(有关文件的信息，包括属性、许可等)两部分组成。元数据会在写入、更新或删除文件时变更，这意味着写入文件时不仅必须写入数据还必须写入元数据。对于更大的文件，虽然为了获得高性能而采用串行方式写入文件会导致写入性能下降，但元数据的写入操作要求磁盘磁头突然移动到磁盘上的另一个位置。此发明中允许将元数据写入到不同的磁盘卷，从而使数据的串行写入免受更随机的元数据写入的影响，以最大限度地提高吞吐量。

共享文件系统部分：在元数据服务器的os上安装nfs文件系统，san中的所有主机都可以轻松访问所有文件，确保数据传输透明化、文件在线并可供访问。

客户端部分：存在于和元数据服务器san连接的windows、linux、unix或macos服务器。元数据控制器将担当连接至数据库和san存储的共享异构服务器的“流量巡警”。需要在客户端上按照agent，使得和元数据服务器可以访问和控制数据流。

介质池部分：可以为虚拟带库(virtuallibrary)，也可以为物理带库(tape)划分的存储介质池。

网络部分：以fc光纤交换机链接元数据服务器、客户端和存储介质组成的san网络系统。

实施例二

本发明实施例中利用冗余架构的共享文件系统搭建，实现跨异构操作系统和服务器硬件平台同步共享信息。如上图3所示，是在客户需要提升性能和存储能力时进行搭建的部分，即本发明实施例所述的元数据服务器部分、共享文件系统部分、客户端部分、介质池部分和网络部分。元数据服务器通过四个万兆以太网口接入和客户端节点所在的lan网络中；高性能磁盘系统和物理带库通过8gbfc接入。

(1)搭建高可用元数据服务器

选用两台硬件配置相同的服务器，每台服务器选取两个硬盘创建raid0分别灌装centos系统，可以为centos6.1及以上版本；在两台元数据服务器上安装相同版本的共享文件系统软件；在主服务器上添加nameserver，要求主机的ip在前，备机ip在后；在主机的tools下的convert下进行配置使其建立ha集群。它主要负责协调访问并确保客户端间保持一致(这对允许对单个文件执行实时并行读/写操作至关重要)。客户端通过ip连接与mdc进行通信，以此来获取有关文件位置和数据块分配的信息，从而为磁盘提供数据块级别的直接访问安装客户端。

在需要访问共享文件系统的机台上安装客户端agent，打通元数据服务器和客户端之间的访问权限；只有指定服务器上的用户和应用程序才能访问该文件系统。基于客户端的软件允许多个服务器与一个命名空间共享同一个脱机磁带。应用程序像其他文件系统(如：windowsntfs)一样将数据发送到共享的文件系统目录(或文件夹)其区别在于负责在本地处理读、写操作，并协调与所有其他服务器和客户端的连接是客户端文件系统软件而不是文件服务器。大多数文件系统都缺少卷管理功能，都必须利用其他第三方卷管理工具。共享文件系统都是同构系统，它们允许一种os(通常是linux)的多台服务器共享文件系统。

(2)设置介质池

将san网络环境中的存储介质比如raid5后的磁盘空间作为一个存储池，如图4所示，把该存储池划分成不同的sg(stripegroup)，不同的sg组成一个文件系统。需要从存储池中划分成不同的lun映射给元数据服务器和每一个客户端。存储池分为两级，一级为高性能磁盘系统一般以高速读写的sas盘，二级为物理带库和磁带。当业务闲暇时，通过归档策略将一级存储介质中的数据转移到二级介质池中，以便于数据的长期归档和一级存储介质池空间的释放。

(3)共享文件系统创建

通过共享文件系统软件创建一个文件系统，在各客户端挂载该文件系统后，分别识别到该共享文件系统。利用一个共享文件系统，不仅能将文件保留在san存储上，还能同时为运行访问相同文件的各种应用程序的多种os提供这些文件。这使得用户无需通过物理移动文件或转换格式去适应本地的文件系统。

(4)网络部分

如图3所示，网络部分分为lan网络和san网络；lan网络是元数据处理的路径；san网络是实体数据传输路径。

本发明实施例建立的共享san文件系统能够实现跨异构操作和服务器硬件平台同步共享信息，同时将存储数据和其他重要数字资产建立起一个共享存储池，从而加快业务运营，有效处理和和分发整个工作流中的内容。本发明能够解决客户在成本有限条件下对提升性能的需求，具有广泛应用性。

创新点主要有：

1.共享文件系统支持跨多个异构平台同时访问文件。

2.san文件系统可提供高性能文件创建、存储与共享

3.分布式lan客户端(dlc)提供类似nas的可扩展性，可扩展至数千台服务器和计算节点。

4.高可用ha集群设计，增强数据的安全性。

5.部署这一自动化分级存储解决方案，客户可以避免为了将文件从一个存储层移动到另一个存储层而引入第三方应用程序导致存储环境成本上升、复杂程度增加。

虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。