基于区块链的分布式数据动态存储方法和电子设备与流程

本公开实施例涉及区块链和数据存储领域，具体涉及一种基于区块链的分布式数据存储方法、电子设备。

背景技术：

当今时代，网络环境下产生的数据量不断飞速增长，分布式存储作为一种新兴的网络在线存储技术得到了越来越广泛的应用。依托区块链的去中心化、可追溯性特点，基于区块链的分布式存储有效保证了存储与通信的机密性、可信性，推动了基于区块链的分布式数据存储的发展和应用。近些年不断兴起的短视频社交平台和电商网络每天都会产生大量的短视频和图片，这些段视频和图片类型的数据存储空间相对较小。针对海量小文件的动态存储访问是当前分布式数据存储研究的热点领域。

具体的，当在实际业务中进行海量小文件、小数据的分布式动态存储时，会面临以下技术问题：

第一，采用纠删码策略来提高数据存储的可靠性存在修复带宽开销过大的问题，在存储节点故障修复过程中计算复杂度较高，修复时间较长，无法满足海量小文件的存储速度要求。

第二，随机选择存储节点进行存储的方式没有考虑各个存储节点的性能，无法有效利用存储节点实现快速、高效的存储。

技术实现要素：

本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

本公开的一些实施例提出了基于区块链的分布式数据存储更新方法和电子设备，来解决以上背景技术部分提到的技术问题中的一项或多项。

第一方面，本公开的一些实施例提供了一种基于区块链的分布式数据动态存储方法，该方法包括：获取待存储的目标数据和目标元数据；基于目标数据，生成目标数据块集合；将目标数据块集合存储于存储节点组中；基于目标元数据和目标数据块集合，确定存储关系集合；将存储关系集合存储于至少一个元数据管理节点中；更新所述区块链。

第二方面，本公开的一些实施例提供了一种基于区块链的分布式数据动态存储装置，装置包括：接收单元，被配置成获取待存储的目标数据和目标元数据；生成单元，被配置成基于目标数据，生成目标数据块集合；第一存储单元，被配置成将目标数据块集合存储于存储节点组中；第一处理单元，被配置成基于目标元数据和目标数据块集合，确定存储关系集合；第二存储单元，被配置成将目标元数据和存储关系集合存储于至少一个元数据管理节点中；第二处理单元，被配置成更新区块链。

第三方面，本公开的一些实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面中任一的方法。

第四方面，本公开的一些实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，程序被处理器执行时实现如第一方面中任一的方法。

本公开的上述各个实施例具有如下有益效果：首先，该方法在对待存储的目标数据块进行切分和复制处理后生成目标数据块集合。直接采用复制机制生成待存储的目标数据块的副本，复制和恢复的处理速度较快，能够满足海量小文件的动态存储需要。多副本的目标数据块集合保证了分布式存储数据的安全性和可恢复性。其次，将目标数据块集合存储于存储节点组中，根据存储节点组中各个存储节点的综合性能指标动态选择当前综合性能指标最高的存储节点进行存储，提高了存储的效率和性能。最后，将存储记录表记录到区块链中。利用区块链的去中心化、可追溯特点，实现基于区块链的分布式数据存储。该方法在保证分布式存储数据安全性和可恢复性的同时有效利用了存储综合性能指标最高的存储节点。该方法适用于海量小文件的动态存储，提高了动态存储的效率。

附图说明

结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。

图1是本公开的一些实施例可以应用于其中的示例性系统的架构图；

图2是根据本公开的一些实施例的基于区块链的分布式数据动态存储方法的一些实施例的流程图；

图3是根据本公开的一些实施例的基于区块链的分布式数据动态存储装置的一些实施例的流程图；

图4是适于用来实现本公开的一些实施例的电子设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例。相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。

需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。

需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。

下面将参考附图并结合实施例来详细说明本公开。

图1示出了可以应用本公开的基于区块链的分布式数据动态存储方法的实施例的示例性系统架构100。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如数据存储应用、数据加密应用、数据分析应用等。

终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是具有显示屏的各种终端设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的终端设备中。其可以实现成多个软件或软件模块(例如用来提供目标数据块输入等)，也可以实现成单个软件或软件模块。在此不做具体限定。

服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103输入的目标数据进行存储的服务器等。服务器可以对接收到的目标数据进行切分以及分发、存储等处理，并将处理结果(例如切分的数据块)反馈给终端设备。

需要说明的是，本公开实施例所提供的基于区块链的分布式数据动态存储方法可以由服务器105，也可以由终端设备执行。

需要指出的是，服务器105的本地也可以直接存储数据，服务器105可以直接提取本地的数据通过切分处理后得到数据块集合，此时，示例性系统架构100可以不包括终端设备101、102、103和网络104。

还需要指出的是，终端设备101、102、103中也可以安装有存储类应用，此时，编码处理方法也可以由终端设备101、102、103执行。此时，示例性系统架构100也可以不包括服务器105和网络104。

需要说明的是，服务器105可以是硬件，也可以是软件。当服务器105为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块(例如用来提供存储服务)，也可以实现成单个软件或软件模块。在此不做具体限定。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的电子设备、网络和服务器。

继续参考图2，示出了根据本公开的基于区块链的分布式数据动态存储方法的一些实施例的流程200。该基于区块链的分布式数据动态存储方法，包括以下步骤：

步骤201，获取待存储的目标数据和目标元数据。

在一些实施例中，基于区块链的分布式数据动态存储方法的执行主体(例如图1所示的电子设备)可以直接获取目标用户待存储的目标数据和目标元数据。可选的，目标用户是指提供待存储的目标数据的用户。目标元数据是电子目录，目标元数据记录目标数据块集合的存储位置、目标数据块集合名称、目标数据块集合创建时间、私钥、公钥。

可选的，区块链包括至少一个元数据管理节点和至少一个存储节点。至少一个元数据管理节点存储元数据，至少一个存储节点组成存储节点组。存储节点组用于存储数据。

步骤202，基于目标数据，生成目标数据块集合。

在一些实施例中，上述执行主体确定目标数据块大小。利用下式，确定切分后的目标数据块数量：

n＝ceil(s/d)，

其中，n表示目标数据块数量，s表示目标数据大小，d表示确定的目标数据块大小，ceil表示用于获取大于s和d的商s/d的最小整数的函数。

生成初始目标数据块集合f＝{x1,x2,...,xn}。其中，x表示初始目标数据块，x1表示第一个初始目标数据块，x2表示第二个初始目标数据块，xn表示第n个初始目标数据块。n表示初始目标数据块集合中的初始目标数据块数量。f表示初始目标数据块集合。

对所述初始目标数据块集合进行复制处理，生成所述目标数据块集合。可选的，对于初始目标数据块集合中的每个初始目标数据块，将该初始目标数据块复制2份，生成2个初始复制目标数据块，以得到初始复制目标数据块集合。

将初始复制目标数据块集合确定为目标数据块集合。其中，目标数据块集合包括第一数目个目标数据块。

上述公式作为本公开的实施例的一个发明点，解决了背景技术提及的技术问题一。首先，根据目标数据块大小确定待存储的目标数据的切分块数，生成初始目标数据块集合。其次，对于初始目标数据块集合中的每个初始目标数据块进行复制处理，得到目标数据块集合。这种复制机制处理方式简单、处理速度快。在海量小文件的应用场景下不会造成存储空间的浪费。复制和恢复的处理速度较快，能够满足海量小文件的动态存储需要。这种方法的计算复杂度低，计算速度快，在进行数据复原的过程中修复时间短。多副本的目标数据块集合保证了分布式存储数据的安全性、可恢复性和高效性，从而解决了技术问题一。

步骤203，将目标数据块集合存储于存储节点组中。

在一些实施例中，上述执行主体将目标数据块集合存储于存储节点组中。可选的，上述执行主体对于存储节点组中的每个存储节点，确定该存储节点的综合性能指标，以得到综合性能指标集合。可选的，利用下式确定该存储节点的处理性能指标：

其中，a表示存储节点的处理性能，i为存储节点计数，ai表示该存储节点的处理性能。a1表示第一个存储节点的处理性能，a2表示第二个存储节点的处理性能，am表示第m个存储节点的处理性能。m为存储节点组中包括的存储节点数目。max()表示求最大值处理，cp为处理性能指标，cpi为该存储节点的处理性能指标。

利用下式确定该存储节点的内存性能指标：

其中，n表示存储节点的内存性能，i为存储节点计数，ni表示该存储节点的内存性能。n1表示第一个存储节点的内存性能，n2表示第二个存储节点的内存性能，nm表示第m个存储节点的内存性能。m为存储节点组中包括的存储节点数目。max()表示求最大值处理，np为内存性能指标，npi为该存储节点的内存性能指标。

利用下式确定该存储节点的磁盘性能指标：其中，s表示存储节点的磁盘性能，i为存储节点计数，si表示该存储节点的磁盘性能，s1表示第一个存储节点的磁盘性能，s2表示第二个存储节点的磁盘性能，sm表示第m个存储节点的磁盘性能，m为所述存储节点组中包括的存储节点数目，max()表示求最大值处理，sp为磁盘性能指标，spi为该存储节点的磁盘性能指标；

利用下式确定该存储节点的网络性能指标：

其中，d表示存储节点的网络性能，i为存储节点计数，di表示该存储节点的网络性能。d1表示第一个存储节点的网络性能，d2表示第二个存储节点的网络性能，dm表示第m个存储节点的网络性能。m为所述存储节点组中包括的存储节点数目，max()表示求最大值处理。dp为网络性能指标，dpi为该存储节点的网络性能指标。

利用下式确定该存储节点的综合性能指标：

zpi＝a*cpi+b*npi+c*spi+d*dpi，

其中，a、b、c、d分别为权重参数，a、b、c、d取值范围为[0,1]。i为存储节点计数，cpi为该存储节点的处理性能指标。npi为该存储节点的内存性能指标，spi为该存储节点的磁盘性能指标，dpi为该存储节点的网络性能指标，zpi为该存储节点的综合性能指标。

可选的，对综合性能指标集合中的每个综合性能指标，按照数值从大到小重新排序，生成综合性能指标序列。将目标数据块集合中的第一数目个目标数据块，分别存储到所述综合性能指标序列中的前第一数目个综合性能指标对应的存储节点中。

上述方法作为本公开的实施例的一个发明点，解决了背景技术提及的技术问题二“随机选择存储节点进行存储的方式没有考虑各个存储节点的性能，无法有效利用存储节点实现快速、高效的存储。”首先，将存储节点的处理性能指标、内存性能指标、磁盘性能指标、网络性能指标确定为该存储节点的综合性能指标，综合考虑处理性能、内存、磁盘和网络等条件，确定存储节点的性能。其次，对各个存储节点按照综合性能指标进行排序，筛选出综合性能指标较优的存储节点。最后，将目标数据块集合中的第一数目个目标数据块，分别存储到所述综合性能指标序列中的前第一数目个综合性能指标对应的存储节点中。根据存储节点组中各个存储节点的综合性能指标动态选择当前综合性能指标最高的存储节点进行存储，提高了存储的效率和性能。这种方法能够保证在动态存储的过程中选择最佳存储节点进行存储，有效利用存储节点实现快速、高效的存储，从而解决了技术问题二。

步骤204，基于目标元数据和目标数据块集合，确定存储关系集合。

在一些实施例中，上述执行主体对于目标数据块集合中的每个目标数据块，将该目标数据块的起始字节与目标元数据的集合确定为该目标数据块的数据标签组，以得到数据标签组集合。

对于数据标签组集合中的每个数据标签组，将该数据标签组与存储该数据标签组对应的目标数据块的存储节点的组合，确定为该目标数据块的存储关系，以得到所述存储关系集合。

步骤205，将存储关系集合存储于至少一个元数据管理节点中。

在一些实施例中，上述执行主体将存储关系集合存储于至少一个元数据管理节点中。至少一个元数据管理节点用于存储区块链中的元数据。具体的，元数据是电子目录，元数据记录数据块集合的存储位置、数据块集合名称、数据块集合创建时间、私钥、公钥。存储关系集合用于表征数据块集合的存储位置。

将存储关系结合存储于至少一个元数据管理节点中。从至少一个元数据管理节点中随机确定目标元数据管理节点。将存储关系结合存储于目标元数据管理节点中。

步骤206，更新区块链。

在一些实施例中，上述执行主体将存储关系集合记录到区块链中，更新区块链。可选的，调用智能合约，其中，智能合约包括智能合约代码、实例和执行数据。智能合约包括智能合约代码、实例和执行数据。智能合约是一套以数字形式定义的承诺。智能合约可以控制区块链中的数据，约定区块链中各个参与终端的权利和义务。智能合约可以由计算机系统自动执行。具体的，智能合约包括智能合约代码、实例和执行数据。智能合约代码可以是智能合约的源代码。智能合约代码可以是一份计算机系统能够执行的代码。实例可以是区块链中运行智能合约的一个实际业务。执行数据可以是执行一个实例后在区块链中留存的数据。

运行所述智能合约代码，将存储该存储关系集合的目标元数据管理节点存储在区块链中。具体的，可以将目标元数据管理节点确定为一个区块。运行智能合约代码，将该区块添加到区块链中。具体的，记录该区块的智能合约在运行过程中产生实例和执行数据。将该实例和执行数据记录在区块链中。

图2给出的一个实施例具有如下有益效果：首先，该方法在对待存储的目标数据块进行切分和复制处理后生成目标数据块集合。直接采用复制机制生成待存储的目标数据块的副本，复制和恢复的处理速度较快，能够满足海量小文件的动态存储需要。多副本的目标数据块集合保证了分布式存储数据的安全性和可恢复性。其次，将目标数据块集合存储于存储节点组中，根据存储节点组中各个存储节点的综合性能指标动态选择当前综合性能指标最高的存储节点进行存储，提高了存储的效率和性能。最后，将存储记录表记录到区块链中。利用区块链的去中心化、可追溯特点，实现基于区块链的分布式数据存储。该方法在保证分布式存储数据安全性和可恢复性的同时有效利用了存储综合性能指标最高的存储节点。该方法适用于海量小文件的动态存储，提高了动态存储的效率。

进一步参考图3，作为对上述各图上述方法的实现，本公开提供了一种基于区块链的分布式数据存储更新装置的一些实施例，这些装置实施例与图2上述的那些方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图3所示，一些实施例的基于区块链的分布式数据存储更新装置300，装置包括：接收单元301、生成单元302、第一存储单元303、第一处理单元304、第二存储单元305、第二处理单元306。其中，接收单元301，被配置成获取待存储的目标数据和目标元数据。生成单元302，被配置成基于目标数据，生成目标数据块集合。第一存储单元303，被配置成将目标数据块集合存储于存储节点组中。第一处理单元304，被配置成基于目标元数据和目标数据块集合，确定存储关系集合。第二存储单元305，被配置成将目标元数据和存储关系集合存储于至少一个元数据管理节点中。第二处理单元306，被配置成更新区块链。

可以理解的是，该装置300中记载的诸单元与参考图2描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作、特征以及产生的有益效果同样适用于装置300及其中包含的单元，在此不再赘述。

下面参考图4，其示出了适于用来实现本公开实施例的服务器的计算机系统400的结构示意图。图4示出的服务器仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图4所示，计算机系统400包括中央处理单元(cpu，centralprocessingunit)401，其可以根据存储在只读存储器(rom，readonlymemory)402中的程序或者从存储部分408加载到随机访问存储器(ram，randomaccessmemory)403中的程序而执行各种适当的动作和处理。在ram403中，还存储有系统400操作所需的各种程序和数据。cpu401、rom402以及ram403通过总线404彼此相连。输入/输出(i/o，input/output)接口405也连接至总线404。

以下部件连接至i/o接口405：包括硬盘等的存储部分406；以及包括诸如lan(局域网，localareanetwork)卡、调制解调器等的网络接口卡的通信部分407。通信部分407经由诸如因特网的网络执行通信处理。驱动器408也根据需要连接至i/o接口405。可拆卸介质409，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器408上，以便于从其上读出的计算机程序根据需要被安装入存储部分406。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分407从网络上被下载和安装，和/或从可拆卸介质409被安装。在该计算机程序被中央处理单元(cpu)401执行时，执行本公开的方法中限定的上述功能。需要说明的是，本公开所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如c语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。