一种分布式多集群的数据存储方法、装置及存储介质与流程

1.本发明涉及数据存储技术领域，尤其涉及一种分布式多集群的数据存储方法、装置及存储介质。


背景技术：

2.集群储存是指：由若干个“通用储存设备”组成的用于储存的集群，组成集群储存的每个储存系统的性能和容量均可通过“集群”的方式得以叠加和扩展。传统的数据存储方法由于受到其物理组成（例如:控制器性能，总线性能，磁盘驱动器的数量，所连接服务器的数量，内存大小，nas头的性能等）的限制，以及功能上的局限（例如:支持文件系统的容量，元数据和数据处理通路的耦合，快照或复制的数量等），造成了数据存储瓶颈的出现，影响了存储效率。
3.因此，现有技术还有待改进和提高。


技术实现要素：

4.本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种分布式多集群的数据存储方法、装置及存储介质，旨在解决现有技术中数据存储方法受到物理组成以功能的局限，影响存储效率的问题。
5.为了解决上述技术问题，本发明所采用的技术方案如下：第一方面，本发明提供一种分布式多集群的数据存储方法，其中，所述方法包括：获取待存储文件数据，并根据所述待存储文件数据搜索集群服务器中与所述待存储文件数据匹配的文件数据；若所述集群服务器中不存在与所述待存储文件数据匹配的文件数据，则对所述待存储文件数据进行加密处理，并将加密处理后的所述待存储文件数据存储至目标服务器中；生成用于下载所述待存储文件数据的快捷文件链接，并将所述快捷文件链接存储至所述集群服务器中的稳定节点中，以使得所述集群服务器中的各个服务器通过所述稳定节点得到所述快捷文件链接。
6.在一种实现方式中，所述获取待存储文件数据，并根据所述待存储文件数据搜索集群服务器中与所述待存储文件数据匹配的文件数据，包括：获取所述待存储文件数据，并从所述待存储文件数据中提取文件信息，所述文件信息包括：文件名、关键词、文件类型、文件数据量；根据所述文件信息，在所述集群服务器中搜索与所述文件信息匹配的文件数据。
7.在一种实现方式中，所述根据所述文件信息，在所述集群服务器中搜索与所述文件信息匹配的文件数据，包括：根据所述文件信息，在所述集群服务器中搜索具有相同文件信息的文件数据。
8.在一种实现方式中，所述若所述集群服务器中不存在与所述待存储文件数据，则
对所述待存储文件数据进行加密处理，包括：若所述集群服务器中不存在与所述待存储文件数据匹配的文件数据，则生成存储钥匙，所述存储钥匙携带唯一的存储标识；将所述存储钥匙与所述待存储文件数据进行绑定，以实现加密处理。
9.在一种实现方式中，所述将加密处理后的所述待存储文件数据存储至目标服务器中，包括：获取所述集群服务器中各个服务器的存储空间；筛选出所述存储空间最大的服务器，并将所述存储空间最大的服务器作为所述目标服务器；将加密处理后的所述待存储文件数据存储至所述目标服务器中。
10.在一种实现方式中，所述生成用于下载所述待存储文件数据的快捷文件链接，并将所述快捷文件链接存储至所述集群服务器中的稳定节点中，包括：根据所述目标服务器的地址，生成所述快捷文件链接，所述快捷文件链接用于下载所述待存储文件数据；将所述快捷文件链接存储至所述集群服务器中的稳定节点中；通过各服务器的所述稳定节点的数据储存模块将所述快捷文件链接存入各自的服务器，并结束行程。
11.在一种实现方式中，所述方法还包括：若所述集群服务器中存在与所述待存储文件数据匹配的文件数据，则提示所述待存储文件数据已经上传，并结束行程。
12.第二方面，本发明实施例还提供一种分布式多集群的数据存储装置，其中，所述装置包括：文件数据搜索模块，用于获取待存储文件数据，并根据所述待存储文件数据搜索集群服务器中与所述待存储文件数据匹配的文件数据；文件数据存储模块，用于若所述集群服务器中不存在与所述待存储文件数据匹配的文件数据，则对所述待存储文件数据进行加密处理，并将加密处理后的所述待存储文件数据存储至目标服务器中；文件链接生成模块，用于生成用于下载所述待存储文件数据的快捷文件链接，并将所述快捷文件链接存储至所述集群服务器中的稳定节点中，以使得所述集群服务器中的各个服务器通过所述稳定节点得到所述快捷文件链接。
13.第三方面，本发明实施例还提供一种终端设备，其中，所述终端设备包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的分布式多集群的数据存储程序，所述处理器执行所述分布式多集群的数据存储程序时，实现上述方案中任一项所述的分布式多集群的数据存储方法的步骤。
14.第四方面，本发明实施例还提供一种计算机可读存储介质，其中，所述计算机可读存储介质上存储有分布式多集群的数据存储程序，所述分布式多集群的数据存储程序被处理器执行时，实现上述方案中任一项所述的分布式多集群的数据存储方法的步骤。
15.有益效果：与现有技术相比，本发明提供了一种分布式多集群的数据存储方法，本发明获取待存储文件数据，并根据所述待存储文件数据搜索集群服务器中与所述待存储文
件数据匹配的文件数据；若所述集群服务器中不存在与所述待存储文件数据匹配的文件数据，则对所述待存储文件数据进行加密处理，并将加密处理后的所述待存储文件数据存储至目标服务器中；生成用于下载所述待存储文件数据的快捷文件链接，并将所述快捷文件链接存储至所述集群服务器中的稳定节点中，以使得所述集群服务器中的各个服务器通过所述稳定节点得到所述快捷文件链接。该发明通过将待存储文件数据进行对比查重，然后再储存至目标服务器中，大大节省了储存效率，节约储存空间。并且生成待存储文件的快捷文件链接，并存储至集群服务器中的稳定节点中，方便各服务器之间数据的快速查找和下载。
附图说明
16.图1为本发明实施例提供的分布式多集群的数据存储方法的具体实施方式的流程图。
17.图2是本发明实施例提供的分布式多集群的数据存储装置的原理框图。
18.图3是本发明实施例提供的终端设备的内部结构原理框图。
具体实施方式
19.为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
20.本发明实施例提供一种分布式多集群的数据存储方法。具体实施时，本实施例获取待存储文件数据，并根据所述待存储文件数据搜索集群服务器中与所述待存储文件数据匹配的文件数据；若所述集群服务器中不存在与所述待存储文件数据匹配的文件数据，则对所述待存储文件数据进行加密处理，并将加密处理后的所述待存储文件数据存储至目标服务器中；生成用于下载所述待存储文件数据的快捷文件链接，并将所述快捷文件链接存储至所述集群服务器中的稳定节点中，以使得所述集群服务器中的各个服务器通过所述稳定节点得到所述快捷文件链接。该发明通过将待存储文件数据进行对比查重，然后再储存至目标服务器中，大大节省了储存效率，节约储存空间。并且生成待存储文件的快捷文件链接，并存储至集群服务器中的稳定节点中，方便各服务器之间数据的快速查找和下载。
21.本实施例的分布式多集群的数据存储方法可应用于终端设备，该终端设备可为电脑、手机、智能电视等智能化产品。如图1中所示，本实施例中的分布式多集群的数据存储方法包括如下步骤：步骤s100、获取待存储文件数据，并根据所述待存储文件数据搜索集群服务器中与所述待存储文件数据匹配的文件数据。
22.本实施例首先获取待存储文件数据，该待存储文件数据为用户通过终端设备选择是需要上传至服务器中的文件数据。当获取到待存储文件数据后，本实施例将在集群服务器中搜索是否在存在与该待存储文件数据匹配的文件数据。本实施例中的分布式集群服务器由多个通过网络互相连接的服务器构成，并采用开放式架构、分布式操作系统以及统一命名空间。
23.在一种实现方式中，本实施例中在确定集群服务器中是否存在与该待存储文件数
据时包括如下步骤：步骤s101、获取所述待存储文件数据，并从所述待存储文件数据中提取文件信息，所述文件信息包括：文件名、关键词、文件类型、文件数据量；步骤s102、根据所述文件信息，在所述集群服务器中搜索与所述文件信息匹配的文件数据。
24.具体实施时，本实施例首先获取待存储文件数据，然后从该待存储文件数据中提取文件信息，该文件信息包括：文件名、关键词、文件类型、文件数据量。然后，终端设备基于这些文件信息在集群服务器中搜索是否存在相同文件信息的文件数据，以便确定出是否需要将该待存储文件数据进行存储。在另一种实现方式中，本实施例的终端设备还可为该待存储文件数据生成相应的校验码，并通过校验码来判断所述集群储存服务器中的校验码集群中是否存在相同的校验码。具体地，该校验码包含文件名、关键词、文件类型以及文件大小类型信号，通过终端设备将校验码发送至集群服务器中中，并在集群服务器中进行查找是否有相同的校验码，并反馈至终端设备。
25.步骤s200、若所述集群服务器中不存在与所述待存储文件数据匹配的文件数据，则对所述待存储文件数据进行加密处理，并将加密处理后的所述待存储文件数据存储至目标服务器中。
26.在终端设备基于上述文件信息在集群服务器中搜索是否存在相同文件信息后，确定出集群服务器中不存在与所述待存储文件数据匹配的文件数据，此时则就需要将该待存储文件进行存储。本实施例中首先对该到待存储文件数据进行加密处理，然后再将经过加密处理后的所述待存储文件数据存储至目标服务器中。由此可见，在本实施例中，在将待存储文件数据保存至目标服务器时，会首先判断集群服务器中是否存在待存储文件数据，只有集群服务器中不存在待存储文件数据时，才会将待存储文件数据存储至目标服务器中。
27.在一种实现方式中，本实施例在对待存储文件数据进行加密处理时包括如下步骤：步骤s201、若所述集群服务器中不存在与所述待存储文件数据匹配的文件数据，则生成存储钥匙，所述存储钥匙携带唯一的存储标识；步骤s202、将所述存储钥匙与所述待存储文件数据进行绑定，以实现加密处理。
28.具体实施时，如果集群服务器中不存在与所述待存储文件数据匹配的文件数据，则生成存储钥匙，该存储钥匙具有唯一的存储标识，该存储钥匙为秘钥，便于文件数据的下载解密使用。在终端设备生成该存储钥匙后，本实施例将该存储钥匙与待存储文件数据进行绑定，并为加密处理。由于本实施例将待存储文件数据与存储钥匙绑定了，因此在后续解密的过程中，只有待存储文件数据与存储钥匙存在绑定关系，才可以使用该存储钥匙对待存储文件数据进行解密。在另一种实现方式中，若所述集群服务器中存在与所述待存储文件数据匹配的文件数据，则提示所述待存储文件数据已经上传，并结束行程。
29.在本实施例对待存储文件数据进行加密后，会将经过加密处理后的待存储文件数据上传至目标服务器，具体包括如下步骤：步骤s21、获取所述集群服务器中各个服务器的存储空间；步骤s22、筛选出所述存储空间最大的服务器，并将所述存储空间最大的服务器作为所述目标服务器；
步骤s23、将加密处理后的所述待存储文件数据存储至所述目标服务器中。
30.在本实施例中，终端设备首先获取所述集群服务器中各个服务器的存储空间，然后对比各个服务器的存储空间，筛选出所述存储空间最大的服务器，并将所述存储空间最大的服务器作为所述目标服务器；最后将加密处理后的所述待存储文件数据存储至所述目标服务器中。也就是说，本实施例时将待存储文件数据上传至存储空间最大的服务器中进行存储，有利于合理利用存储空间，且提高存储效率。此外，本实施例在将待存储文件数据上传至目标服务器时，还会将存储钥匙一同上传至目标服务器中。
31.步骤s300、生成用于下载所述待存储文件数据的快捷文件链接，并将所述快捷文件链接存储至所述集群服务器中的稳定节点中，以使得所述集群服务器中的各个服务器通过所述稳定节点得到所述快捷文件链接。
32.在本实施例中，当将所述待存储文件数据上传至目标服务器后，本实施例生成用于下载所述待存储文件数据的快捷文件链接，该快捷文件链接携带有关键词，便于对该快捷文件链接进行管理，然后将所述快捷文件链接存储至所述集群服务器中的稳定节点中。该快捷文件链接可用于定位待存储文件数据的存储地址，以便在后续步骤中下载该待存储文件数据。此外，由于将所述快捷文件链接存储至所述集群服务器中的稳定节点中，该稳定节点为过渡节点，相当于数据传输器，因此该集群服务器中的各个服务器都可通过稳定节点获取到待存储文件数据。
33.在一种实现方式中，上述步骤s300具体包括如下步骤：步骤s301、根据所述目标服务器的地址，生成所述快捷文件链接，所述快捷文件链接用于下载所述待存储文件数据；步骤s302、将所述快捷文件链接存储至所述集群服务器中的稳定节点中；步骤s303、通过各服务器的所述稳定节点的数据储存模块将所述快捷文件链接存入各自的服务器，并结束行程。
34.具体地，由于本实施例中的快捷文件链接是用于下载该待存储文件数据的，因此该快捷文件链接是需要携带目标服务器的地址的，为此，本实施例的终端设备首先获取目标服务器的地址，然后生成快捷文件链接。接着，终端设备将待存储文件数据的快捷文件链接和文件储存钥匙传送至集群服务器的稳定节点中，该快捷文件链接具体为便于文件提取的下载链接，由于各服务器为集群储存系统，因此通过任意服务器可以下载分享其他服务器的待存储文件数据。
35.由此可见，本实施例首先获取待存储文件数据，并根据所述待存储文件数据搜索集群服务器中与所述待存储文件数据匹配的文件数据。若所述集群服务器中不存在与所述待存储文件数据匹配的文件数据，则对所述待存储文件数据进行加密处理，并将加密处理后的所述待存储文件数据存储至目标服务器中。最后，生成用于下载所述待存储文件数据的快捷文件链接，并将所述快捷文件链接存储至所述集群服务器中的稳定节点中，以使得所述集群服务器中的各个服务器通过所述稳定节点得到所述快捷文件链接。本实施例通过将待存储文件数据进行对比查重，然后再储存至目标服务器中，大大节省了储存效率，节约储存空间。并且生成待存储文件的快捷文件链接，并存储至集群服务器中的稳定节点中，方便各服务器之间数据的快速查找和下载。
36.基于上述实施例，本发明还提供一种分布式多集群的数据存储装置，如图2所示，
所述装置包括：文件数据搜索模块10、文件数据存储模块20以及文件链接生成模块30。具体地，所述文件数据搜索模块10，用于获取待存储文件数据，并根据所述待存储文件数据搜索集群服务器中与所述待存储文件数据匹配的文件数据。所述文件数据存储模块20，用于若所述集群服务器中不存在与所述待存储文件数据匹配的文件数据，则对所述待存储文件数据进行加密处理，并将加密处理后的所述待存储文件数据存储至目标服务器中。所述文件链接生成模块30，用于生成用于下载所述待存储文件数据的快捷文件链接，并将所述快捷文件链接存储至所述集群服务器中的稳定节点中，以使得所述集群服务器中的各个服务器通过所述稳定节点得到所述快捷文件链接。
37.在一种实现方式中，所述文件数据搜索模块10包括：数据获取单元，用于获取所述待存储文件数据，并从所述待存储文件数据中提取文件信息，所述文件信息包括：文件名、关键词、文件类型、文件数据量；数据匹配单元，用于根据所述文件信息，在所述集群服务器中搜索与所述文件信息匹配的文件数据。
38.在一种实现方式中，所述数据匹配单元包括：数据对比单元，用于根据所述文件信息，在所述集群服务器中搜索具有相同文件信息的文件数据。
39.在一种实现方式中，所述文件数据存储模块20包括：存储钥匙生成单元，用于若所述集群服务器中不存在与所述待存储文件数据匹配的文件数据，则生成存储钥匙，所述存储钥匙携带唯一的存储标识；加密处理单元，用于将所述存储钥匙与所述待存储文件数据进行绑定，以实现加密处理。
40.在一种实现方式中，所述加密处理单元包括：存储空间获取子单元，用于获取所述集群服务器中各个服务器的存储空间；服务器确定子单元，用于筛选出所述存储空间最大的服务器，并将所述存储空间最大的服务器作为所述目标服务器；加密处理子单元，用于将加密处理后的所述待存储文件数据存储至所述目标服务器中。
41.在一种实现方式中，所述文件链接生成模块30包括：链接生成单元，用于根据所述目标服务器的地址，生成所述快捷文件链接，所述快捷文件链接用于下载所述待存储文件数据；链接存储单元，用于将所述快捷文件链接存储至所述集群服务器中的稳定节点中；链接共享单元，用于通过各服务器的所述稳定节点的数据储存模块将所述快捷文件链接存入各自的服务器，并结束行程。
42.在一种实现方式中，所述装置还包括：提示模块，用于若所述集群服务器中存在与所述待存储文件数据匹配的文件数据，则提示所述待存储文件数据已经上传，并结束行程。
43.本实施例中的分布式多集群的数据存储装置中的各个模块的工作原理与上述实施例中的分布式多集群的数据存储方法的工作原理是相同的，此处不在赘述。
44.基于上述实施例，本发明还提供了一种终端设备，其原理框图可以如图3所示。该终端设备包括通过系统总线连接的处理器、存储器。其中，该终端设备的处理器用于提供计算和控制能力。该终端设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该终端设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种分布式多集群的数据存储方法。
45.本领域技术人员可以理解，图3中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的终端设备的限定，具体的终端设备以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
46.在一个实施例中，提供了一种终端设备，终端设备包括存储器、处理器及存储在存储器中并可在处理器上运行的分布式多集群的数据存储程序，处理器执行分布式多集群的数据存储程序时，实现如下操作指令：获取待存储文件数据，并根据所述待存储文件数据搜索集群服务器中与所述待存储文件数据匹配的文件数据；若所述集群服务器中不存在与所述待存储文件数据匹配的文件数据，则对所述待存储文件数据进行加密处理，并将加密处理后的所述待存储文件数据存储至目标服务器中；生成用于下载所述待存储文件数据的快捷文件链接，并将所述快捷文件链接存储至所述集群服务器中的稳定节点中，以使得所述集群服务器中的各个服务器通过所述稳定节点得到所述快捷文件链接。
47.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、运营数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（rom）、可编程rom（prom）、电可编程rom（eprom）、电可擦除可编程rom（eeprom）或闪存。易失性存储器可包括随机存取存储器（ram）或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram（sram）、动态ram（dram）、同步dram（sdram）、双运营数据率sdram（ddrsdram）、增强型sdram（esdram）、同步链路（synchlink） dram（sldram）、存储器总线（rambus）直接ram（rdram）、直接存储器总线动态ram（drdram）、以及存储器总线动态ram（rdram）等。
48.综上，本发明公开了一种分布式多集群的数据存储方法、装置及存储介质，方法包括：获取待存储文件数据，并根据待存储文件数据搜索集群服务器中与待存储文件数据匹配的文件数据；若集群服务器中不存在与待存储文件数据匹配的文件数据，则对待存储文件进行加密处理，并将加密处理后的待存储文件数据存储至目标服务器中；生成用于下载待存储文件的快捷文件链接，并将快捷文件链接存储至集群服务器中的稳定节点中。本发明通过将待存储文件数据进行对比查重，然后再储存至目标服务器中，节省了储存效率。并且将待存储文件的快捷文件链接存储至集群服务器中的稳定节点中，方便各服务器之间数据的快速查找和下载。
49.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。