专利名称：用于顺序记录和存档大量视频数据的系统和方法
技术领域：
本发明涉及用于顺序记录和存档大量视频数据的数据存储系统和方法。
背景技术：
对典型数据存储应用来说，现代硬盘驱动一般是很可靠的。然而，对数据密集型存 储应用，比如大楼、购物中心、机场等中的数字视频记录系统，这些数据密集型应用以变化 范围很大的输入速率获取数据，硬盘驱动受到其限制，使得存在发生磁盘故障的高风险。事 实上，本领域技术人员广泛接受的是，硬盘是任何一个基于硬盘的较大数据存储系统的可 靠性的最薄弱的点。当使用大量的磁盘时，驱动故障发生的可能性与当前驱动的数量成正 比增加。由于记录的数据可以是非常重要的，并可能需要为证据目的被保存，提供高数据 完整性的常规方案包括使用磁盘阵列，例如具有一些比如镜像、奇偶性模式等冗余形式的 廉价磁盘冗余阵列(RAID)。例如，RAID5使用η个硬盘的阵列来提供n-1个硬盘的有效阵 列，每个磁盘的奇偶数据以一个预先确定的模式在所有其他驱动中被展开。当其中一个磁 盘发生故障时，故障磁盘上的数据以该奇偶数据为基础再生。然而，鉴于奇偶数据被展开， 这种系统要求阵列中的所有磁盘都能够连续运作。这可能导致过多的热耗散、噪音、对磁盘 多次读/写操作，所有这些可能会增加磁盘故障的风险。本领域还知道的是，多数硬盘故障 发生在写操作期间，因为写数据包括主动地改变记录表面的磁性状态。从W0-A-2007/110577获知一种用于顺序记录大量数据的系统和方法。该顺序记 录过程包括启动用于记录数据的硬盘，在该磁盘上以全部容量记录数据，只有接近该全部 容量时才启动第二个硬盘用于记录数据。一旦完成第一个磁盘的写入，该磁盘被停止。这 样，实际上某一时间只有一个硬盘在工作。然而，该系统的缺点是数据能够被记录的速率是 有限的，导致该系统不可靠。
发明内容
本发明的目的是提供一种更为可靠的系统和方法，用于顺序记录和存档大量视频 数据。该目的由独立要求的系统和方法实现。根据本发明的数据存储系统包含排列成阵列的多个数据记录设备。每个阵列包括 服务器和多个连接到该服务器的数据记录设备。每个阵列能够顺序地记录数据，该数据以 低于给定最大输入速率的输入速率通过其服务器提供给该阵列，该最大输入速率由阵列设 备的规范所确定。该系统还包括网络交换机，作为数据记录设备的阵列与用于获取数据的 数据获取设备，比如摄像机的网络之间的接口。根据情况，比如时刻，该获取并要记录的数 据量可能会很大程度地改变，所以总体数据获取速率是可变的。例如，在摄像机被运动传感 器触发的情况下，在白天通常会比在夜间获取更多的活动行为。该网络交换机将获取的数 据流传送到数据记录设备的阵列。
根据本发明，阵列的服务器每个还配备有监视装置，用以相对于其最大输入速率 来监视相应的阵列的输入速率。此外，服务器被此通信地链接，并且提供至少一个服务器用 于作为用于控制至少一个其他服务器并响应其监视装置将获取数据流的一部分分配给至 少一个其他服务器的控制器。换句话说，至少某些服务器通信地链接为主-从配置，其中一 个主服务器控制一个或多个从服务器的运行。对现有技术进行分析发现，在RAID系统中，由于许多记录设备连续地并同时地运 行，会产生热、噪声、振动等缺陷的事实而影响可靠性，在已知的顺序记录系统中，由于只有 一个记录设备运行，这限制了其可以处理的数据量，并限制当高速率输入时数据丢失的风 险。在本发明的系统中，监视每个(活动的)服务器的输入速率，并且在数据被获取的总体 速率超过当前运行的阵列的最大输入速率总和时，将启动一个后续阵列。在这种方式下，即 使获取数据的总体速率在很大范围内变化时，本发明的系统仍采用顺序记录过程应用，并 避免了在多个记录设备同时运行时热、噪音和振动缺陷发生。由于该监视和控制过程在单 一服务器控制下执行，可以避免一个单独的控制器作为所有阵列的所有服务器的开销的需 要。换句话说，避免了可能会发生故障的额外硬件的需要。此外，阵列中的每个部件可以是 通用的、非专用的硬件元件。这显示了本发明的系统可以在多方面改进可靠性。本发明中所用的“顺序记录”试图表示数据记录设备的阵列中的记录过程，其包括 以下连续的步骤启动相应阵列的第一记录设备，将数据流记录到该第一记录设备以基本 上达到其全部存储容量，在第一记录设备达到其全部存储容量之前的短时间内，启动相应 阵列的第二记录设备，将数据流记录到第二记录设备并在第一记录设备达到其全部存储容 量后停止该第一记录设备。因此该顺序记录过程具有以下优点，即只有整个阵列中的一个 或少数几个数据记录设备在同一时间运行。 优选地，在本发明的系统中，提供在主服务器控制下的服务器之一，用于在主服务 器故障时接管控制。这样更进一步保证了可靠性。优选地，根据本发明的系统包括作为数据记录设备的阵列与数据获取设备的网络 之间接口的第二网络交换机，提供该第二网络交换机用于在第一数据交换机故障时接管第 一网络交换机进行操作。这样更进一步保证了可靠性。优选地，每个阵列的数据记录设备都被组合在存储单元中，每个数据记录设备都 被包含在一个卡盘中，该卡盘可以从存储单元中移除，并具有一个承载用于存档目的的标 识符的标签，该标识符同样记入数据记录设备中。这样，当数据记录设备已经记录达到其 容量时，可以很容易地从系统中移除，存储到存档中，并可以在以后很容易的被检索。数据 记录设备上的标签标识符的题字本身是保证可靠性的另一种方式。这些标签可以是比如 RF-ID标签，其可以借助于适当的扫描设备扫描，以使存档的数据记录设备在需要时可以被 容易并快速地检索到。根据本发明，数据记录设备可以是硬盘、非易失性存储设备或本领域技术人员公 知的任何其他数据记录设备。根据本发明，优选地，获取数据流同时向第一和第二组传输，每个组包括数据记录 设备的至少一个阵列，使得该第二组记录由该第一组记录的数据的镜像。这样，在数据记录 设备阵列的整个组故障的情况下，存在冗余数据，所以进一步保证了可靠性。以视频信息为 例，现有相机的图像获取速率相对较高，优选地，该视频数据流被分为两个交替记录到第一和第二组中的半流。这意味着该视频数据流以这样的方式被分开，使得对每个记录在第一 组中的图像，其直接随后的图像被记录在第二组中。如果照相机的图像获取速率是足够的， 丢失一半视频数据不是太大的问题，并且其余的一半仍然可以提供作为证据目的的足够的 数据。
现在通过下文以及附图更进一步阐述本发明。图1示出了根据本发明数据存储系统优选实施例的概况；图2示出了包括数据记录设备的阵列的存储单元的细节；
具体实施例方式关于特定的实施例并参考某些附图来描述本发明，但本发明并不限于此，本发明 的保护范围只取决于权利要求。描绘的附图只是示意性的，而不限于此。在附图中，为了便 于说明，某些元素的尺寸可能是夸大的，并且没有按照比例来画。这些尺寸和相应的尺寸并 不必然对应于实现本发明的实际缩小。此外，说明书和权利要求书中的术语第一、第二、第三等，是为了区别相似的元素 而使用的，并不必然是用于描述顺序的或是时间顺序。在适当的情况下，这些术语可以互 换，并且本发明的实施例也可以其他顺序操作，而不是以此处描述和演示的顺序。另外，说明书和权利要求书中的术语顶部、底部、上面、下面等，是为了说明的目的 而使用的，而不必然是用于说明相对位置。在适当的情况下，这些所使用的术语互换，此处 描述的本发明的实施例可以其他方位关系操作，而不是以此处描述和演示的方式。权利要求书中使用的术语“包含”，并不应该解释为限于其后所列出的方式，其不 排除其他元素或步骤。其需要解释为指定存在所描述的特性、整数、步骤或提及的元素，但 并没有排除存在或添加一个或多个其他的特征、整数、步骤或部件、或其组合。因此，“一种 包含A和B的设备”表述的范围不应限于只是由元素A和B组成的设备。根据本发明，其含 义是该设备的相关部件仅仅是元素A和B。提供图1所示的数据存储系统用于顺序记录和存档大量视频数据。其包含多个数 据记录设备10，数据记录设备10位于阵列11-14中。每个阵列包括服务器21-24，以及连 接到服务器的许多数据记录设备10，图中有两个存储单元20，每个存储单元具有12个数据 记录设备，但是其他数量的存储单元20和以及每个单元中的数据记录设备10也是可能的。 提供每个阵列11-14用于顺序记录数据，该数据以低于给定最大输入速率的输入速率，通 过其服务器21-M提供给该阵列，该最大输入速率由相应阵列部件的规范来确定。该系统还包括一对网络交换机1、2，作为数据记录设备的阵列11-14和数据获取 设备的网络(未示出)之间的接口，该数据获取设备中数据以可变总体数据获取速率获取， 例如摄像机网络。提供该交换机1和2用于将获取自数据获取设备网络的获取数据流传送 到数据记录设备10的阵列11-14。为阵列的每个服务器2114提供监控装置(未示出)，用于监控相应阵列相对于其 最大输入速率的输入速率。这些服务器彼此通信地链接，以使其中一个服务器可以作为其 他服务器的控制器。这样，当对控制器服务器的输入速率超过最大输入速率时，其监视装置将表明，该控制器服务器可以将其中一部分获取数据的输入流分配给其他服务器之一。换 句话说，该控制器服务器操作为其它服务器的主设备，其他服务器操作为从设备。在图1的系统中，在任一给定时间内，根据具体情况，每个服务器11-14都可以作 为主设备。无论如何，当主服务器故障时，从设备中的一个自动接管主设备的功能。该主服 务器还控制到每个活动分支的部分数据流以使得负载平衡。在所示情况中，从网络交换机 获取的数据的引入流是一个X比特/秒的流，其均勻地分布于这四个分支11-14中。所以 通过每个服务器的输入速率是X/N比特/秒，其中N = 4。由于所示情形中所有四个分支都 处于运行状态，因此这意味着该引入数据流的数据速率X超过该分支最大输入速率的3倍 (假定所有分支的最大输入速率相等)。如图2所示，每个阵列/分支11-14的数据记录设备10组合在一个存储单元20 中，其通过比如SAS的存储总线19与该分支的服务器相连。可以建立服务器11-14与相应 阵列的数据记录设备10之间的单向或双向连接，以使该服务器在需要时，即使在一个存储 单元中，也可以创建两个连续的数据记录设备10链路，因此实现单一阵列中的双向顺序记 录过程。例如SATA II硬盘的每个数据记录设备10被包含在一个卡盘15中，该卡盘可以 从存储单元20中移除，并具有RF-ID标签16，该标签承载用于存档目的的标识符。该标识 符还记于数据记录设备10上，更适宜的是以加密的格式。这样，任一基本存满的数据记录 设备10可以从该存储单元20中转储到存档中，而存储单元20仍留在其卡盘15中。通过 RF-ID标签和合适的详细目录，其可以在稍后很容易地被检看，以得知哪个数据被记录到哪 个存储设备中。其后检索所需的存储设备10，例如几年后，则可以很快很容易地被一个适当 的用于扫描该RF-ID标签的扫描设备实现。相应设备10上的标识符的题字确保万一 RF-ID 标签故障时的可靠性。代替了一个数据记录设备的是，每个卡盘15同样可以包括多个数据记录设备。卡盘15上提供与RF-ID标签16相邻的LED状态指示器17。其可以指示比如以下 状态“就绪”(准备好用于题字)、“活动”(当前已被记下)、“准备移动”(存储已满)和/ 或“故障”。卡盘优选地只有在从管理平台手动确认后，才允许从存储单元移出。优选地，一 旦存储设备被写满或者移除将激活写保护，这样当其重新插入存储设备时，其中的数据是 只读的。该数据记录设备10可以是硬盘、非易失性存储设备或者任何其他类型的本领域 技术人员公知的数据存储设备。该数据记录设备10优选地以其自身的文件系统格式化，使得他们可以分别地作 为存档。该文件系统具有一个特定的文件结构并自我管理。该文件结构容许不同外部格式 的存储器，并在同一时间保存关于访问开始以及写入、读取和最后允许读取每个数据流的 时间的信息。图1中的数据存储系统将以下述方式运行。获取数据流通过活动的网络交换机1 或2传送给数据记录设备10的阵列11-14。启动该阵列中的第一个，比如11以使获取数据 流顺序地记录在第一阵列11的数据记录设备上。通过其监控装置，服务器21相对于该第 一阵列11的最大输入速率来监控向第一阵列11的输入速率。一旦输入速率超过最大输入 速率，服务器21将作为第二阵列12的第二服务器22的控制器，以启动该第二阵列并分配该获取数据流的一部分给第二阵列12。优选地，该数据流被以这样的方式重新分配，即阵列 11和12承载基本上相同的负载。一旦向该第一或第二阵列的输入速率超过相应阵列的最 大输入速率，则启动第三阵列13，并重新分配负载等等。当服务器的监视装置指示输入速率 已经低于一个给定预确定的值时，这说明可以关闭其中一个阵列，该控制器服务器21将关 闭相应阵列12、13或14，以确保在每一时刻只有最少可能数量的数据记录设备10在运行。为了确保可靠性，优选地当其中一个服务器故障时，分配给该阵列的数据流基本 上立即分配给另一个服务器，使得可以避免数据丢失的风险。类似的，优选地，当第一个网 络交换机故障时，该网络交换机的业务被转移到其他网络交换机。优选地，图1的系统中，获取数据流同时传送给第一和第二组，每个组包括数据记 录设备的至少一个阵列。示例性地考虑将阵列11和12组成第一组，阵列13和14组成第二 组。提供该第二组以记录由第一组记录的数据的镜像。这样，如果数据记录设备的整个阵 列组故障时将存在冗余数据，使得更进一步保证了可靠性。假设对于视频信息，现有照相机 的图像获取速率相对较高，优选地该视频数据流被分为两个交替记录到第一和第二组中的 半流。这意味着该视频数据流以这样的方式被分开，使得对每个记录在第一组11-12中的 图像，其直接随后的图像被记录在第二组13-14中。如果照相机的图像获取速率是足够的， 丢失一半视频数据不是太大的问题，并且其余的一半仍然可以提供作为证据目的的足够的 数据。总之，图1的系统示出如下优点-利用单独存储设备10的文件系统，为海量数据提供高性能和可靠性数据存储，-由于存储设备具有其自己的文件系统，因此可被用作存档，-不同分支/阵列之间的互相作用允许接管数据流以及实现自动负载平衡，-存储器群集的每个分支/阵列允许单向或双向到数据网络(比如以太网)的连 接，-可以建立服务器11-14与相应阵列中的数据记录设备10之间的单向或双向连 接，-具有唯一ID的数据记录设备的RF-ID标签，用于存档检索。
权利要求
1.一种用于顺序记录和存档大量视频数据的数据存储系统，包括-排列成阵列(11-14)的多个数据记录设备(10)，每个阵列包括服务器(21-24)和与 服务器连接的所述多个数据记录设备(10)，提供每个阵列用于顺序地记录数据，所述数据 以低于给定最大输入速率的输入速率通过其服务器提供给所述阵列，以及-网络交换机(1)，其作为数据记录设备的阵列与数据获取设备的网络之间的接口，其 中以可变总体数据获取速率获取数据，提供所述交换机用于将获取数据流传送到数据记录 设备的阵列，其特征在于-阵列的服务器(21-24)每个都配备有监视装置，监视装置用于相对于其最大输入速 率来监视相应阵列的输入速率，-服务器彼此通信地链接，以及-提供至少一个服务器用于用作控制器，用于控制至少一个其他服务器，并响应其监视 装置来将获取数据流的一部分分配给至少一个其他服务器。
2.根据权利要求1所述的数据存储系统，其特征在于当最初控制其他服务器的服务器 故障时，提供其他服务器中的一个服务器用于接管控制。
3.根据权利要求1所述的数据存储系统，其特征在于该系统包括作为数据记录设备的 阵列与数据获取设备的网络之间接口的第二网络交换机O)，在故障时，提供第二网络交换 机用于接管第一网络交换机的操作。
4.根据权利要求1所述的数据存储系统，其特征在于将每个阵列的数据记录设备组合 在存储单元00)中，每个数据记录设备被包含到卡盘(15)中，卡盘(15)可以从存储单元 中移除，并且具有承载用于存档目的的标识符的标签(16)，该标识符也被记入数据记录设 备上。
5.根据权利要求4所述的数据存储系统，其特征在于该标签是RF-ID标签(16)。
6.根据权利要求1所述的数据存储系统，其特征在于每个数据记录设备都配备有写保 护装置。
7.根据上述任一权利要求所述的数据存储系统，其特征在于该数据记录设备中，至少有一些是硬盘。
8.根据上述任一权利要求所述的数据存储系统，其特征在于该数据记录设备中，至少 有一些是非易失性存储设备。
9.一种用于顺序记录和存档大量视频数据到根据上述任一权利要求之一所述的数据 存储系统的方法，该方法包括下述步骤a)通过所述网络交换机(1)将获取数据流传送到数据记录设备(10)的阵列(11-14)，b)启动第一所述阵列(11)，并且顺序地将所述获取数据记录到第一阵列的数据记录 设备，c)相对于第一阵列(11)的最大输入速率，监视第一阵列的服务器的输入速率，d)如果输入速率超过最大输入速率，启动在第一阵列的服务器控制下的第二所 述阵列(12)，并将获取数据流的一部分分配给第二阵列(12)。
10.根据权利要求9所述的方法，其特征在于获取数据流同时传送给所述数据记录设 备的至少一个所述阵列(11-14)的第一和第二组，并且第二组记录由第一组记录的数据的镜像。
11.根据权利要求10所述的方法，其特征在于获取数据是视频数据，包括交替传送到 第一和第二组的图像序列。
12.根据权利要求9-11中任一个所述的方法，其特征在于步骤d)包括e)启动所述第二阵列，f)将所述获取数据流分为第一数据子流和第二数据子流，g)顺序地将所述第一数据子流记录到第一阵列(11)的数据记录设备上，h)顺序地将所述第二数据子流记录到第二阵列(1 中的数据记录设备上。
13.根据权利要求9-12中任一个所述的方法，其特征在于所述顺序记录包括以下连续 的步骤只启动相应阵列的第一记录设备，将获取数据记录到所述第一记录设备上直到达 到其全部存储容量，在第一记录设备达到其全部存储容量之前的短时间内，只启动相应阵 列的第二记录设备，将获取数据记录到所述第二记录设备上并在第一记录设备达到其全部 存储容量后停止第一记录设备。
14.根据权利要求9-13中任一个所述的方法，还包括以下步骤i)如果第一阵列的服务器发生故障，将控制转移到第二阵列的服务器02)，j)启动在第二阵列的服务器0 控制下的第三(1 所述阵列，并将获取数据流中之 前分配给第一阵列(11)的一部分分配给第三阵列(13)。
15.根据权利要求9-14中任一个所述的方法，还包括步骤当第一网络交换机发生故障时，将第一网络交换机(1)的操作转移到第二网络交换机⑵。
全文摘要
本发明涉及一种包括多个服务器阵列和多个数据记录设备的数据存储系统，其能够以低于给定最大输入速率的输入速率，顺序地记录提供的数据。该系统还包括网络交换机，其作为该数据记录设备的阵列与数据获取设备的网络之间的接口，其中有可变总体数据获取速率。服务器每个都配备有用于监视相应阵列的输入速率的监视装置。服务器彼此通信地链接，并且提供至少一个服务器用于用作控制器，用于控制至少一个其他服务器，并响应于其监视装置，将获取数据流的一部分分配给至少一个其他服务器。
文档编号G06F3/06GK102089739SQ200880130021
公开日2011年6月8日 申请日期2008年5月8日 优先权日2008年5月8日
发明者R·霍夫斯特 申请人:V.S.K.电子产品公司