专利名称：一种可扩充的高速存储网络缓存系统的制作方法
技术领域：
本发明是关于一种可扩充的高速存储网络缓存系统，应用于存储网络中，由存储网络管理器管理。
背景技术：
大容量和集中式的存储网络是存储技术发展的一个重要的趋势。目前的存储网络多用磁盘阵列设备作为通用存储系统，解决了存储容量和传输带宽的问题。
由于硬磁盘机的机械结构的限制，磁头寻道时间需要大约10毫秒，一个硬磁盘机对随机请求的响应率仅仅约为每秒100请求。即使是网络存储使用磁盘阵列的前提下，把请求分配到各个磁盘上，也很难突破每秒1000请求。
许多方案被提出来用于解决这个问题。利用缓存技术是最常见的方法，目前大部分缓存技术是基于服务器的，或基于相应的磁盘存储系统，如图1所示的缓存系统，每个磁盘存储系统对应有自己的高速缓存。但这些方案有一定的局限性，如缓存的容量有限制，不能在多个磁盘存储系统之间共享缓存等。鉴于这些局限性，有必要提出新的解决方案。
发明内容
为了克服现有技术的不足，本发明提供一种可扩充的高速存储网络缓存系统，能突破现有对请求响应的极限，实现高速响应服务器的输入输出请求。
本发明的技术内容是一种可扩充的高速存储网络缓存系统，其特征在于包括连接在所述存储网络上的由至少一个高速存储网络缓存模块构成的高速存储网络缓存系统，由至少一个存储网络管理模块构成的存储网络管理器，所述高速存储网络缓存模块由硬件平台单元和软件平台单元组成，所述硬件平台单元采用嵌入式系统平台或服务器平台，所述高速存储网络缓存系统由存储网络管理器管理，可供连接在存储网络上的服务器和存储系统共享使用。
本发明由于在存储网络中接入了高速存储网络缓存系统，而组成该系统的高速存储网络缓存模块由硬件平台单元和软件平台单元组成，且硬件平台单元是直接利用嵌入式系统平台或服务器平台硬件资源，当配以相应的软件平台单元后，使高速存储网络缓存系统成为在存储网络管理器管理下在存储网络中能被所有服务器和存储系统共享使用的网络存储设备。这种网络设备是虚拟成的高速缓存系统，利用的是嵌入式系统平台或服务器平台的内存资源或扩展内存资源，而不是硬磁盘存储设备，因此本发明大大突破了硬磁盘机寻道缓慢的瓶颈问题，实现了对服务器的输入输出请求的高速响应。
更进一步，所述硬件平台单元包括中央处理器、接口硬件单元、高速缓存硬件单元和数据保障单元，高速缓存硬件单元在高速缓存软件单元的作用下，通过管理系统内部的内存或扩展内存，把内存虚拟成为硬盘使用；接口硬件单元的设置，使该高速存储网络缓存系统可以被连入存储网络的服务器和硬盘存储系统通过存储网络管理器的管理识别它并作为一个普通的高速缓存存储器使用；中央处理器的设置，又使其具有读写其他存储器的服务功能。由于高速存储网络缓存系统与磁盘存储系统连通，因此它又是一个“透明”的存储设备，最终数据将转移到磁盘存储系统上。为使上述硬件平台单元充分发挥作用，设置了合理的软件平台单元，如软件平台单元的数据转移单元采用缓存优化模块，实现一定的优化算法，减少对存储网络带宽的占用。再有，网络存储管理器管理整个存储网络系统，检测存储模块(包括高速存储网络缓存模块和存储系统)扩充；并且控制数据的流向，随机数据的请求发送给高速存储网络缓存系统，连续数据的请求直接发送给磁盘存储系统。上述技术方案的设置能使随机请求的响应率可以大大改善。
因此，高速存储网络缓存系统可以直接作为一个高性能的存储器给服务器使用，在网络存储管理器的控制下，易于实现多个用户之间的空间共享、空间动态分配以及缓存模块的动态容量增长。
图1是现有不能实现存储系统共享的缓存系统结构示意图。
图2是本发明系统的结构示意图。
图3是本发明高速存储网络缓存模块的结构框图。
图4是本发明系统应用于存储网络的示意图。
具体实施例方式
图1描述了现有的存储网络系统架构。存储网络2上连接有服务器1和磁盘存储系统4，单个磁盘存储系统(401、402、403)都包含有自己的高速缓存，其高速缓存只能被单个磁盘存储系统所有，而不能被其他磁盘存储系统共享。
图2描述了本发明系统和其运行机理。存储网络2上的连有磁盘存储系统4(图2中显示了三个磁盘存储系统)和各种服务器1，本发明系统包括连接在存储网络2上的由高速存储网络缓存模块构成的高速存储网络缓存系统5和由存储网络管理模块构成的存储网络管理器3。在此图中只显示了两个高速存储网络缓存模块，分别是501、502。其配置可以采用数据冗余的形式构成阵列，配置成镜像或Raid5(需要3个以上的高速存储网络缓存模块)，以存放数据，使数据的存放得到保障。图中也显示了2个存储网络管理模块。高速存储网络缓存系统5与磁盘存储系统4通过存储网络2连通，且由硬件平台单元和软件平台单元组成，所述硬件平台单元采用嵌入式系统或服务器系统的硬件资源。高速存储网络缓存系统5由存储网络管理器3管理，可供连接在存储网络上的服务器1和存储系统4共享使用，由于不受磁盘机的机械结构的限制，而且能实现对缓存的共享，因此本发明系统能高速响应服务器的请求。
图3显示了本发明高速存储网络缓存模块的结构示意图。高速存储网络缓存模块8，由硬件平台单元70和软件平台单元60组成，其中硬件平台单元70可以是基于服务器平台或嵌入式系统平台，具有中央处理器705、接口硬件单元701和702、高速缓存硬件单元(包括内存703或PCI内存扩展单元704)及数据保障单元(即后备电池模块706)中。接口硬件单元可以是以太网口(Ethernet)或光纤通道口(fiber channel)，每个高速存储网络缓存模块至少具备两个存储网络接口硬件单元，分别给两种模式下的接口软件单元使用；所述高速缓存硬件单元在服务器平台或嵌入式系统的平台上，可以用两种平台的大容量内存实现，也可以用总线扩展的缓存模块实现；高速存储网络缓存模块8配备的作为数据保障单元的后备电池模块706，在外接电源断电的情况下，仍然能够在一定时间内保持储存在所述高速缓存硬件单元内的数据，并使得高速存储网络缓存模块8能继续运行，保障数据最后能全部转移到磁盘存储系统。
构成高速存储网络缓存模块8的软件平台单元60包括工作在目标模式下的接口软件单元601、工作在主机模式下的接口软件单元602、高速缓存管理单元603、数据转移软件单元604。两个接口软件单元601、602用于提供硬件接口驱动，使硬件接口单元701、702可提供基于光纤通道SCSI(FC SCSI)或网际网络SCSI(iSCSI)的数据块级设备接口；也可以提供文件级设备接口(如NFS和CIFS)；也可以提供基于对象的接口(如OSD)。目标模式下的接口软件单元601在硬件接口单元701上运行，使高速存储网络缓存模块8模拟一个存储设备，服务器可以读写这个存储设备。主机模式下的接口软件单元602在硬件接口单元702上运行，使高速存储网络缓存模块如同一个服务器，可以读写其他连接在存储网络上的通用磁盘存储系统。高速缓存管理单元603可以利用高端内存(非系统使用内存)或映射PCI总线扩展的内存的方式实现；可采用操作系统具有的虚拟内存文件系统(RAM File System)或虚拟内存盘(RAM Disk)的方式实现，它的功能是把从接口软件单元所收到的数据，映射到所述高速缓存硬件单元(即虚拟文件系统或虚拟内存盘上)。所述数据转移软件单元604根据写入请求的最终目的，把从服务器写入的数据，由主机模式下的接口软件单元通过接口硬件单元，写入到连接在存储网络上的通用磁盘存储系统。所述数据转移软件单元设置有缓存优化模块，该模块采用优化算法，整合发送到磁盘存储系统的数据，减少转移数据占用的带宽，具体的做法是合并重复写请求，把多次重复写请求最后一次写的数据写入磁盘存储系统，减少转移数据占用的带宽，且合并可能的连续写请求，一次写入到磁盘存储系统中。
图3的处理流程为来自于服务器的输入输出请求通过接口硬件单元701送到高速存储网络缓存模块8，由目标模式接口软件单元601进行处理；接口软件单元601把数据发送给高速缓存管理单元603；由高速缓存管理单元603把数据映射到内存中；数据转移软件单元604采用优化算法，在写入数据映射到内存后通过主机模式接口硬件单元702把数据写入其它的磁盘存储系统中。
高速存储网络缓存系统可由一个或多个高速存储网络缓存模块8构成。同时连接到存储网络的多个高速存储网络缓存模块8可以采用数据冗余的形式构造成阵列(如镜像或Raid5)。
高速存储网络缓存系统可以高速响应服务器的输入输出请求，在处理随机输入输出请求时，与以普通硬磁盘为存储介质的通用磁盘存储系统相比，具有非常高的性能，能使随机请求的响应率改善上百上千倍。高速存储网络缓存系统具有可扩充性。高速存储网络缓存系统的管理和扩充性，需要结合存储网络管理器来实现。存储网络管理器中包括资源管理单元，用于管理整个存储网络的资源信息，包括高速存储网络缓存系统和通用磁盘存储系统的地址、容量等；资源分配单元，分配高速网络存储缓存系统的空间；扩充管理单元，用于管理高速存储网络缓存系统的扩充，当存储网络增加或减少一个高速存储网络缓存模块时，存储网络管理模块将自动测试存储网络资源的变化(新增加的或减少的模块)，然后根据一定的算法将该高速存储网络缓存模块并入缓存系统。数据流控制单元，用于协调服务器到高速存储网络缓存系统和磁盘存储系统之间的数据流控制，数据流控制单元根据请求类型来分配数据的流向，随机的高频率的请求通过高速存储网络缓存系统来存取，连续的大的请求通过磁盘存储系统直接存取。
存储网络管理器还包括一个自动测试单元，存有当前所有可能连接在存储网络的模块的状态，定时(间隔一段时间)给不同的设备发送命令，根据响应状态判断该模块工作正常或已经断开联系。
图4所示的存储网络示意图中服务器1从存储网络管理器3获取存储网络的信息，由这些信息来决定数据的流向，随机请求发送到高速存储网络缓存系统5，其它请求发送到磁盘存储系统4。高速存储网络缓存系统5和磁盘存储系统4之间通过存储网络2来连接，写入高速存储网络缓存系统5的数据最终将转移到磁盘存储系统4。本图中高速存储网络缓存模块5和存储网络管理器3均采取镜像设置。
权利要求
1.一种可扩充的高速存储网络缓存系统，其特征在于包括连接在存储网络上的由至少一个高速存储网络缓存模块构成的高速存储网络缓存系统和连接在存储网络上的由至少一个存储网络管理模块构成的存储网络管理器，所述高速存储网络缓存模块由硬件平台单元和软件平台单元组成，所述硬件平台单元采用嵌入式系统平台或服务器平台，所述高速存储网络缓存系统由存储网络管理器管理，可供连接在存储网络上的服务器和磁盘存储系统共享使用。
2.根据权利要求1所述的可扩充的高速存储网络缓存系统，其特征在于所述硬件平台单元包括中央处理器、接口硬件单元、高速缓存硬件单元和数据保障单元。
3.根据权利要求2所述的可扩充的高速存储网络缓存系统，其特征在于所述接口硬件单元为各种存储网络硬件接口，包括光纤通道接口和以太网接口。
4.根据权利要求2所述的可扩充的高速存储网络缓存系统，其特征在于所述高速缓存硬件单元采用服务器平台或嵌入式系统平台的大容量内存，或采用两种平台的总线扩展的内存。
5.根据权利要求2所述的可扩充的高速存储网络缓存系统，其特征在于所述数据保障单元为配置在所述硬件平台单元内的后备电池模块。
6.根据权利要求1所述的可扩充的高速存储网络缓存系统，其特征在于所述软件平台单元包括工作在目标模式下的接口软件单元、工作在主机模式下的接口软件单元、高速缓存管理单元、数据转移软件单元，所述两个接口软件单元用于提供硬件接口驱动，所述高速缓存管理单元用于把从接口软件单元所收到的数据，映射到所述高速缓存硬件单元，所述数据转移软件单元根据写入请求的最终目的，把从服务器写入的数据，由主机模式下的接口软件单元通过接口硬件单元，写入到连接在存储网络上的存储系统，所述数据转移软件单元设置有缓存优化模块，该模块采用优化算法，整合发送到存储系统的数据，减少转移数据占用的带宽。
7.根据权利要求1所述的可扩充的高速存储网络缓存系统，其特征在于所述存储网络管理模块包括资源管理单元，用于管理整个存储网络的资源信息；资源分配单元，用于分配高速存储网络缓存系统的空间给各个服务器和/或磁盘存储系统；扩充管理单元，用于管理高速存储网络缓存系统的扩充；数据流控制单元，用于协调服务器到高速存储网络缓存系统和磁盘存储系统之间的数据流控制。
8.根据权利要求7所述的可扩充的高速存储网络缓存系统，其特征在于数据流控制单元根据请求类型来分配数据的流向，随机数据的请求写入高速存储网络缓存系统，连续数据的请求写入磁盘存储模块。
9.根据权利要求1所述的可扩充的高速存储网络缓存系统，其特征在于所述存储网络管理模块为两台，采用镜像配置，所述高速存储网络缓存模块为两台或两台以上，配置成冗余阵列的形式。
全文摘要
本发明一种可扩充的高速存储网络缓存系统，解决了硬磁盘机寻道缓慢的瓶颈问题，实现了对服务器的输入输出请求的高速响应。本发明系统包括连接在所述存储网络上的由至少一个高速存储网络缓存模块构成的高速存储网络缓存系统，由至少一个存储网络管理模块构成的存储网络管理器，所述高速存储网络缓存模块由硬件平台单元和软件平台单元组成，所述硬件平台单元采用嵌入式系统平台或服务器平台，所述高速存储网络缓存系统由存储网络管理器管理，可供连接在存储网络上的服务器和存储系统共享使用。
文档编号G06F12/08GK1664794SQ20051001142
公开日2005年9月7日 申请日期2005年3月14日 优先权日2005年3月14日
发明者祝夭龙, 熊晖, 严杰 申请人:北京邦诺存储科技有限公司