一种基于云信息云计算服务的云存储终端设备的制作方法

文档序号:13516285阅读:258来源:国知局

本发明涉及计算机信息的存储终端,特别涉及一种基于云信息云计算服务的云存储终端设备。



背景技术:

传统网盘最初是对邮箱和即时通讯这两款产品提供补充出现的,以满足用户的个性化需求。随web2.0的兴起,传统网盘从附属产品独立出来形成完整的产品线,以满足用户多样的网络存储需求,用户对传统网盘的更多需求还是在于存储和资源共享。作为备份过程的一部分,应用备份软件或系统设备把数据写入磁带或自动磁带库内,数据从磁盘上被保存到磁带上。这些磁带和它们所包含的数据按普通备份和指定一个漫长的保留期间被区分开,通常是从10年到无限长。当数据备份从服务器的磁盘驱动器中删除的时候,这些归档磁带被送到异地存储设备永久存储。磁带的不利就是在你可以取回数据前不得不等磁带从异地取回,然后也需要时间来扫描磁带,找到需要恢复的数据,重新创建磁带存储数据。此外它限制爆炸性的数据增长导致以往缩小备份窗口,限制保留的能力,没有切实可行的手段来验证磁带介质及其数据存储年限的完整性。

数据存储无节制的增加和web2.0应用的兴起迫使人们重新思考存储。由于数据存储量每年以60%的速度增长,企业面临一种可怕的情形。投入更多硬盘不再能解决存储问题。在存储领域,直到现在,阻力最小的路径是治标,购买更多的硬盘,造成大量的资金浪费!对于视频监控的数据来说,由于网络视频监控是基于网络的音视频流传输,在大量音视频流传输的情况下会对视频监控管理服务器的性能产生很大影响,数据越多,视频监控管理服务器对i/o操作的调度和缓存的管理就变得越复杂,往往会出现多台摄像头对单台服务器,多台服务器对一台后端存储设备的情况,对存储设备的频繁访问以及多个摄像头多个服务器的存储需求,需要占用大量的资源,影响了其处理能力。



技术实现要素:

为了解决背景技术存在的问题,采用的技术方案如下:一种基于云信息云计算服务的云存储终端设备,其特征是:由硬盘、控制模块、usb接口组成,硬盘和usb接口之间通过控制模块连接。

所述的硬盘由主服务控制机群、存储节点机群、应用节点机群、计算节点机群、输人设备和输出设备组成。

所述的控制模块由中央处理器、内存、固态存储器、无线网络模块、有线网络模块、vga接口、com接口、网络接口、mc接口、spk接口组成。

云信息为服务器需要处理的客户端大量数据量,这些数据量可能是文档或者来自各种各样的应用程序,有本地的也有在线的。云计算是网格计算、分布式计算、并行计算、效用计算、网络存储、虚拟化、负载均衡等传统计算机和网络技术发展融合的产物。通过使计算分布在大量的分布式计算机上,而非本地计算机或远程服务器中,企业数据中心的运行将与互联网更相似。这使得企业能够将资源切换到需要的应用上,根据需求访问计算机和存储系统。云计算是一种新兴的共享基础架构的方法。它统一管理大量的物理资源,并将这些资源虚拟化,形成一个巨大的虚拟化资源池。云是一类并行和分布式的系统,这些系统由一系列互联的虚拟计算机组成。这些虚拟计算机是基于服务级别协议(供应者和消费者之问协商确定)被动态部署的,并且作为一个或多个统一的计算资源而存在。云计算可以按照用户对资源和计算能力的需求动态部署虚拟资源,而不受物理资源的限制。用户所有基于云的计算和应用工作在虚拟化的资源上,不需要关心这些资源部署在哪些物理资源上,用户可以方便地变更对计算资源的需求。云存储通过集群应用、网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统。当云计算系统运算和处理的核心是大量数据的存储和管理时,云计算系统中就需要配置大量的存储设备,那么云计算系统就转变成为一个云存储系统。与传统的存储设备相比,云存储不仅仅是一个硬件,而是一个网络设备、存储设备、服务器、应用软件、公用访问接口、接入网、和客户端程序等多个部分组成的复杂系统。各部分以存储设备为核心,通过应用软件来对外提供数据存储和业务访问服务。

本发明专利的优点是:客户端的设备要求最低,使用起来也最方便,智能整理文档自动同步网盘,实现不同设备间的数据与应用共享。

附图说明

图1是本发明实施例提供的框架结构图。

具体实施方式

如图1所示为本发明的框架结构图,一种基于云信息云计算服务的云存储终端设备,其特征是:由硬盘、控制模块、usb接口组成,硬盘和usb接口之间通过控制模块连接。所述的硬盘由主服务控制机群、存储节点机群、应用节点机群、计算节点机群、输人设备和输出设备组成。所述的控制模块由中央处理器、内存、固态存储器、无线网络模块、有线网络模块、vga接口、com接口、网络接口、mc接口、spk接口组成。usb接口通过控制模块对硬盘读写,实现云信息云计算服务。

云存储终端的资源池层是将大量相同类型的资源构成同构或接近同构的资源池,如计算资源池、数据资源池等。构建资源池更多的是物理资源的集成和管理工作,例如研究在一个标准集装箱的空间如何装下2000个服务器、解决散热和故障节点替换的问题并降低能耗。管理中间件层负责对云计算的资源进行管理,并对众多应用任务进行调度,使资源能够高效、安全地为应用提供服务。面向服务的体系结构层将云计算能力封装成标准的webservices服务,并纳入到面向服务的体系结构层体系进行管理和使用,包括服务接口、服务注册、服务查找、服务访问和服务工作流等。管理中间件层和资源池层是云计算技术的最关键部分,面向服务的体系结构层的功能更多依靠外部设施提供。用户交互接口向应用以webservices方式提供访问接口,获取用户需求。服务目录是用户可以访问的服务清单。系统管理模块负责管理和分配所有可用的资源,其核心是负载均衡。配置工具负责在分配的节点上准备任务运行环境。监视统计模块负责监视节点的运行状态,并完成用户使用节点情况的统计。执行过程并不复杂,用户交互接口允许用户从目录中选取并调用一个服务,该请求传递给系统管理模块后,它将为用户分配恰当的资源,然后调用配置工具为用户准备运行环境。

云计算将整个系统的节点分为三类角色:客户端、主服务器和数据块服务器。客户端是提供给应用程序的访问接口,它是一组专用接口,不遵守posix规范,以库文件的形式提供。应用程序直接调用这些库函数,并与该库链接在一起。主服务器是管理节点,在逻辑上只有一个,它保存系统的元数据,负责整个文件系统的管理,是文件系统中的大脑。数据块服务器负责具体的存储工作。数据以文件的形式存储在数据块服务器上,数据块服务器的个数可以有多个,它的数目直接决定了系统的规模。系统将文件按照固定大小进行分块,默认是64mb,每一块称为一个数据块,每个数据块都有一个对应的索引号。

客户端在访问系统时,首先访问主服务器节点,获取将要与之进行交互的数据块服务器信息,然后直接访问这些数据块服务器完成数据存取。这种设计方法实现了控制流和数据流的分离。客户端与主服务器之间只有控制流,而无数据流,这样就极大地降低了主服务器的负载,使之不成为系统性能的一个瓶颈。客户端与数据块服务器之间直接传输数据流,同时由于文件被分成多个数据块进行分布式存储,客户端可以同时访问多个数据块服务器,从而使得整个系统高度并行,系统整体性能得到提高。

存储层是云存储最基础的部分,设备可以是fc光纤通道存储设备,可以是nas和iscsi等ip存储设备,也可以是scsi或sas等das存储设备。云存储中的存储设备往往数量庞大且分布在不同地域,彼此之间通过广域网、互联网或者fc光纤通道网络连接在一起。存储设备之上是一个统一存储设备管理系统,可以实现存储设备的逻辑虚拟化管理、多链路冗余管理,以及硬件设备的状态监控和故障维护。

基础管理层是云存储最核心的部分,也是云存储中最难以实现的部分。基础管理层通过集群、分布式文件系统和网格计算等技术,实现云存储中多个存储设备之间的协同工作,使多个的存储设备可以对外提供同一种服务,并提供更大更强更好的数据访问性能。cdn内容分发系统、数据加密技术保证云存储中的数据不会被未授权的用户所访问,同时,通过数据备份和容灾技术等措施可以保证云存储中的数据不会丢失,保证云存储自身的安全和稳定。

应用接口层是云存储最灵活多变的部分。不同的云存储运营单位可以根据实际业务类型,开发不同的应用服务接口,提供不同的应用服务。比如视频监控应用平台、视频点播应用平台、网络硬盘引用平台和远程数据备份应用平台等。为了实现读写权限控制,每份数据除了需要密钥。用于加密之外,还需要一个公私钥对,用于对加密后的数据进行签名和用于对签名结果进行验证。

访问层中的任何一个授权用户都可以通过标准的公用应用接口来登录云存储系统,享受云存储服务。是云存储的运营单位不同,所提供的访问类型和访问手段也不同。

当使用硬盘的时候,上传过程为:选择要上传的本地文件,执行上传操作时,首先将要上传的文件信息和其它信息发送给主服务器,服务器接收到文件信息后,首先根据文件大小进行切块计算,文件被分割成固定尺寸的块。在每个块创建的时候,服务器分配给它一个不变的、全球唯一的位的块句柄对它进行标识,块服务器把块作为linux文件保存在filesystem硬盘上,并根据指定的块句柄和字节范围来读写块数据。根据监控系统所提供节点信息判断存储节点状态,将文件块均衡分配到各节点;最后,将文件信息和文件块信息插入到数据库,服务器将文件块信息以xml格式发送给客户端,客户端为每个存储节点建立一个文件块队列,将文件块并行上传到对应的节点。存储节点每接收到一个文件块后,向服务器发送一条确认信息,服务器将数据库中该文件块的状态改为1表示已经上传成功。当文件所有块都上传成功后,服务器将数据库中该文件的状态改为1。当服务器通过实时监控信息,发现某个节点失效时,立即将正在上传的部分文件重新进行分配。

下载过程为:选择要下载的文件,向服务器发送一个下载请求,服务器接收到下载请求后,从数据库中查找该文件的块信息,一个节点想要搜索资源时,将带有所搜索资源的标识的搜索请求发送到中央服务器,中央服务器负责检索资源索引,告知资源请求者拥存放信息的节点及路径。服务器将文件块信息以xml格式发送给客户端。客户端根据接收到的文件块信息,为每个存储节点创建一个线程,将文件块并行下载到本地计算机临时文件夹中。客户端下载完所有文件块后,将其整合为一个完整的文件,并删除文件块。当服务器通过实时监控信息,发现某个节点失效时,立即将正在下载的部分文件重新进行分配。从数据节点选取合适的节点并且并行地发出读请求,读请求可以是针对不同的块也可以是同一个块的不同部分,但是不会是同一个块的同一个部分。不同的请求一般会发送到不同的数据节点。不同的数据节点接收到数据后进行内容汇聚,然后显示给用户。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1