一种分布式数据存储的方法和系统与流程

文档序号:14481231阅读:134来源:国知局

本发明涉及信息技术领域,特别涉及一种分布式数据存储的方法和系统。



背景技术:

互联网发展迅速,已成为人们生活的重要组成部分和人类文明传播发展的重要载体,渗透到经济、政治、文化、社会生活各个方面,改变着人们的交往方式和思维方式。无论是在工业领域或者是在社会生活领域,互联网给人的改变是巨大的。

作为互联网数据记录的核心,数据库也渗透到社会的各个方面,得到广泛的发展和应用。数据库是按照一定的结构和规则组织起来的相关数据的集合,是从全局观点出发建立的,按一定的数据模型进行组织、描述和存储。其结构基于数据间的自然联系,从而可提供一切必要的存取路径,且数据不再针对某一应用,而是面向全组织,具有整体的结构化特征。

数据库用于数据的存储和处理,存储的是属于企业、事业部门、团体和个人的有关数据的集合,是一个单位或是一个应用领域的通用数据处理系统。数据库中的数据是为众多用户所共享其信息而建立的,已经摆脱了具体程序的限制和制约。不同的用户可以按各自的用法使用数据库中的数据;多个用户可以同时共享数据库中的数据资源,即不同的用户可以同时存取数据库中的同一个数据。数据共享性不仅满足了各用户对信息内容的要求,同时也满足了各用户之间信息通信的要求。

数据库是重要的电子资源,是适应互联网发展的信息技术,具有以下特点:

1)、数据的结构化数据库中的数据并不是杂乱无章、毫不相干的,它们具有一定的组织结构,属于同一集合的数据具有相似的特征。

2)、数据具共享性。在一个单位的各个部门之间,存在着大量的重复信息。使用数据库的目的就是要统一管理这些信息,减少冗余度,使各个部门共同享有相同的数据。

3)、数据的独立性。数据的独立性是指数据记录和数据管理软件之间的独立。数据及其结构应具有独立性,而不应该去改变应用程序。

4)、数据的完整性。数据的完整性是指保证数据库中数据的正确性。可能造成数据不正确的原因很多,数据库管理系统通过对数据性质进行检查而管理它们。

5)、数据的灵活性。数据库管理系统不是把数据简单堆积,它在记录数据信息的基础上具有很多的管理功能,如输入、输出、查询、编辑修改等。

6)、数据的安全性。根据用户的职责,不同级别的人对数据库具有不同的权限,数据库管理系统能够确保数据的安全性。

随着数据库技术的广泛应用,信息量增长与传播速度达到了前所未有的高度。信息媒介类型的多样化、信息源的快速发展,都使信息数据的数量越来越大,对数据的存储提出了更高的要求。为了应对数据存储提出的挑战,分布式存储是减缓存储压力的有效方法。

分布式存储系统是将数据分散存储在多台独立的设备上的存储方式。传统的网络存储系统采用集中的存储服务器存放所有数据,存储服务器成为系统性能的瓶颈,也是可靠性和安全性的焦点,不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构,利用多台存储服务器分担存储负荷,利用位置服务器定位存储信息,它不但提高了系统的可靠性、可用性和存取效率,还易于扩展。

目前主流的分布式存储技术架构包括:

1)、c/s架构。客户使用本地操作系统提供的系统调用对远程服务器所管理的文件系统进行透明访问,客户并不知道文件的实际位置,又称远程访问模型。其典型代表是sunmicrosystem的网络文件系统(networkfilesystemnfs)。

该技术架构的特征是:a)nfs是典型的c/s架构的体系结构的分布式存储架构;b)远程访问模型,有别于上传/下载模型;c)通过远程过程调用rpc实现;d)文件系统模型参考posixapi实现。

2)、共享存储san架构。存储区域网络san是一个用在应用服务器和存储资源之间的专用的高性能的网络体系,在多台主机和多个存储设备之间提供任意两个结点之间的通信通道。

该技术架构的特征是:a)服务器共享存储san;b)mdc管理元数据;c)san共享文件系统;d)性能和容量可单独扩展;e)成本高,规模有限。

3)、基于集群的分布式架构。这种存储架构当前分布式存储的主流架构,通常将元数据与数据两者独立开来,即控制流与数据流进行分离,从而获得更高的系统扩展性和i/o并发性。其典型代表是googlefs。

该技术架构的特征是:a)分布式文件系统;b)服务器直连各自存储节点;c)mds管理元数据;d)raid、卷管理、文件系统三者合一;e)性能和容量同时扩展,规模可以很大。

4)、p2p对称式体系结构。这是一种基于对等技术的去中心化、全对称的架构,其设计思想是采用一致性哈希consistenthash算法来定位文件在存储节点中的位置,从而取消了metadataserver的角色。理想情况下,这种模型消除了元数据的性能瓶颈、单点故障、数据一致性等一系列相关问题,系统扩展性显著提高,系统并发性和性能将实现线性扩展增长。该技术架构的典型代表是glusterfs。

该技术架构的特征是:a)无中心结构,完全对等式结构;b)需要p2p文件系统支持;c)基于chorddht构建;d)不需要元数据服务器;e)可基于块或文件;f)可用性面临巨大挑战。

现有的分布式数据存储技术方案,主要是考虑海量大数据存储,以满足大数据量存储的需求。但是,不适用于解决数据库大批量存储情况下的存储情况,需要优化对数据库大批量数据读写效率,以适应广泛的应用场景。



技术实现要素:

本发明提供一种分布式数据存储的方法和系统,优化了大批量数据存储在分布式存储系统中的流程,增强了对大批量数据存储的应对能力,扩展了分布式存储架构下的应用场景,降低了整体技术方案的成本,提高了分布式库存储的效率,适应了数据库技术和市场快速发展的需求。

本发明的技术方案提供了一种分布式数据存储的方法,包括以下步骤:

新数据信息写入内存数据库;

更新所述内存数据库和分布式数据库的分布式存储。

进一步的,新数据信息实时写入所述内存数据库,每当读取到新数据信息,实时写入所述内存数据库。

进一步的,所述内存数据库和分布式数据库共同构成分布式存储的架构。

进一步的,所述内存数据库和分布式数据库构成的分布式存储进行定时更新,每隔20ms更新一次。

进一步的,所述分布式存储更新完成后,所述内存数据库保存不超过200条的数据信息。

进一步的,超出200条的数据信息保存于所述分布式数据库。

进一步的,所述内存数据库的数据采取先进先出的原则。

本发明的技术方案还提供了一种分布式数据存储的系统,包括:管理单元、内存数据库和分布式数据库,其中,

管理单元用于管理内存数据库和分布式数据库的更新和对数据信息进行分布式存储;

内存数据库和分布式数据库用于存储数据信息,并执行更新。

进一步的,新的数据信息实时写入所述内存数据库,所述内存数据库和分布式数据库构成的分布式存储采取定时更新。

进一步的,所述内存数据库的数据采取先进先出的原则;

所述分布式存储更新完成后,所述内存数据库保存不超过200条的数据信息。

本发明技术方案优化了大批量数据存储在分布式存储系统中的流程,增强了对大批量数据存储的应对能力,扩展了分布式存储架构下的应用场景,降低了整体技术方案的成本,提高了分布式库存储的效率,适应了数据库技术和市场快速发展的需求。

本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:

图1为本发明实施例一中分布式数据存储的方法流程图;

图2为本发明实施例一中分布式数据存储的系统结构图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。

图1为本发明实施例一中分布式数据存储的方法流程图。如图1所示,该流程包括以下步骤:

步骤101、新数据信息写入内存数据库。

新数据信息实时写入内存数据库,每当读取到新数据信息即实时写入内存数据库。

步骤102、更新内存数据库和分布式数据库的分布式存储。

内存数据库和分布式数据库共同构成分布式存储的架构。

内存数据库和分布式数据库构成的分布式存储进行定时更新,每隔20ms更新一次。

分布式存储更新完成后,内存数据库保存不超过200条的数据信息;

超出200条的数据信息保存于分布式数据库。

内存数据库的数据采取先进先出的原则,即最先写入的数据信息,最先转移存储于分布式数据库。

为了实现上述方法流程,本实施例还提供了一种分布式数据存储的系统,图2为本发明实施例一中分布式数据存储的系统结构图。如图2所示,该系统包括:管理单元201、内存数据库202和分布式数据库203,其中,

管理单元用于管理内存数据库和分布式数据库的更新和对数据信息进行分布式存储;

内存数据库和分布式数据库共同构成分布式存储,用于存储数据信息,并执行更新。

新的数据信息到来后,实时写入内存数据库。

内存数据库和分布式数据库构成的分布式存储采取定时更新的模式。

分布式存储更新完成后,内存数据库保存不超过200条的数据信息;

内存数据库的数据采取先进先出的原则进行数据信息的转移存储。

本发明技术方案优化了大批量数据存储在分布式存储系统中的流程,增强了对大批量数据存储的应对能力,扩展了分布式存储架构下的应用场景,降低了整体技术方案的成本,提高了分布式库存储的效率,适应了数据库技术和市场快速发展的需求。

本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1