访问云数据的方法、服务器、传统存储设备、架构的制作方法
【技术领域】
[0001] 本申请涉及云存储技术,尤其涉及分布式文件系统访问云数据的方法、元数据服 务器、传统存储设备及兼容传统数据的云存储架构。
【背景技术】
[0002] 企业业务正快速转向云的存储方式。以分布式文件系统(一种云存储系统,所存 储的数据非本地直连,需要通过网络协议对其进行访问)为例,图1是系统架构,云存储系 统通常包括应用端和服务端,云数据存储于服务端的存储集群中,通过服务端将存储集群 的各个不同类型的存储设备集合起来协同工作,共同对外提供数据存储,位于应用端的客 户端软件实现业务访问功能。
[0003] 目前,不管是公有云、私有云或者混合云,为了保存云数据,需要将传统存储设备 (Legacy Storage)中的数据导入到云存储系统。在企业迀移大量数据时,云服务提供商需 要将企业内部存储在传统存储设备上的传统数据上传到云存储系统中。将大量传统数据上 传到云存储系统中通常通过以下方式实现:
[0004] 客户端与传统存储设备通信,读取传统存储设备中的传统数据并写入存储集群 中,之后当用户访问云数据时,客户端从存储集群中读取目标云数据提供给用户。
[0005] 通常一个4TB硬盘大小的传统存储设备中的数据,以100MB/S的速度拷贝,需要11 个小时左右。图2为Amazon列出的一张表,表中列举了不同网络连接速度上传ITB文件所 用的时间。可见现有技术数据云存储的方法耗时很长,导致在数据上传到云存储系统的漫 长过程中,企业无法对云数据进行访问。
【发明内容】
[0006] 本申请提供一种分布式文件系统访问云数据的方法、元数据服务器、传统存储设 备及兼容传统数据的云存储架构,解决因上传数据而导致的数据访问问题。
[0007] 根据本申请实施例的第一方面,提供一种分布式文件系统中访问云数据的方法, 所述分布式文件系统包括服务端和客户端,包括步骤:
[0008] 服务端采集传统存储设备所存储数据对应的元数据并记录;所采集的元数据包括 所述传统存储设备所存储的数据的存放路径信息;
[0009] 当客户端请求读取目标云数据时,服务端查找元数据中所述目标云数据的存放路 径信息,并将所述目标云数据的存放路径信息返回给所述客户端;
[0010] 如果所述目标云数据的存放路径信息指向所述传统存储设备,则所述客户端从所 述传统存储设备获取所述目标云数据。
[0011] 本申请还提供一种元数据服务器,位于分布式文件系统的服务端,包括:
[0012] 数据采集模块,用于采集传统存储设备所存储数据对应的元数据,所采集的元数 据包括所述传统存储设备所存储的数据的存放路径信息;
[0013] 元数据存储模块,用于存储所采集的元数据;
[0014] 存储路径路由模块,用于当客户端读取目标云数据时,将所述元数据中目标云数 据的存放路径信息发给所述客户端。
[0015] 本申请还提供一种传统存储设备,包括:
[0016] 数据扫描模块,用于扫描并生成所存储的数据的元数据,将所述元数据发给分布 式文件系统的服务端;所述元数据包括数据的存放路径信息;
[0017] 传统数据存储模块,用于存储数据;
[0018] 通信模块,用于当收到分布式文件系统的客户端访问云数据的请求时,根据所述 请求中的存放路径信息获取相关的数据发给所述客户端。
[0019] 本申请还提供一种兼容传统数据的云存储架构,包括:
[0020] 分布式文件系统和传统存储设备,
[0021] 所述分布式文件系统包括:
[0022] 元数据服务器,用于采集传统存储设备所存储数据对应的元数据并记录,所采集 的元数据包括所述传统存储设备所存储的数据的存放路径信息;以及当客户端请求读取目 标云数据时,查找所述目标云数据的存放路径信息,并将所读取的云数据的存放路径信息 返回给所述客户端;
[0023] 客户端,用于向所述元数据服务器请求读取目标云数据,以及当所述元数据服务 器所返回的存放路径信息指向所述传统存储设备时,从所述传统存储设备获取所述云数 据;
[0024] 所述传统存储设备包括:
[0025] 数据扫描模块,用于扫描并生成所存储的数据的元数据,将所述元数据发给分布 式文件系统的元数据服务器;所述元数据包括数据的存放路径信息;
[0026] 传统数据存储模块,用于存储数据;
[0027] 通信模块,用于当收到分布式文件系统的客户端访问云数据的请求时,根据所述 请求中的存放路径信息获取相关的数据发给所述客户端。
[0028] 现有技术中,存储在传统存储设备上的传统数据需要上传到云存储系统中的存储 集群中方能在云存储系统提供云服务时被访问,而传统数据上传时间漫长且上传过程会妨 碍用户对数据的访问,本申请通过云服务系统采集传统存储设备的元数据并记录,无需将 传统存储设备中的数据上传到云服务系统,当客户端请求读取云数据时,如果访问的云数 据被存储于传统存储设备中,则直接从传统存储设备中获取数据,可见本申请突破性的将 传统存储设备伪装成云存储系统中的一个存储设备,将传统数据成功的变成了可以通过客 户端访问的云数据,成功解决了因上传数据而导致的数据访问问题。
【附图说明】
[0029] 图1为现有技术中传统数据上传云存储系统的示意图;
[0030]图2为现有技术上传数据的耗时统计表;
[0031] 图3为本申请实施例中兼容传统数据的云存储架构下访问数据的示意图;
[0032] 图4为本申请实施例中访问云存储数据的流程图;
[0033] 图5为本申请实施例中写入云数据的流程图;
[0034] 图6为本申请实施例中一个应用场景下兼容传统数据的云存储架构下访问数据 的不意图;
[0035] 图7为本申请实施例中元数据服务器的硬件结构图;
[0036] 图8为本申请实施例中元数据服务器的结构逻辑框图;
[0037] 图9为本申请实施例中传统存储设备的工作原理流程图;
[0038] 图10为本申请实施例中传统存储设备的硬件结构图;
[0039] 图11为本申请实施例中传统存储设备的内部结构逻辑框图;
[0040] 图12为一应用实例中向传统存储设备采集元数据的流程图;
[0041] 图13为一应用实例中读取云数据的流程图;
[0042] 图14为一应用实例中写入云数据的流程图。
【具体实施方式】
[0043] 这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及 附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例 中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附 权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
[0044] 在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。 在本申请和所附权利要求书中所使用