文件分布式存储方法及装置、节点服务器与流程

本发明涉及文件存储技术领域，特别是涉及一种文件分布式存储方法及装置、节点服务器。

背景技术：

一般的，文件被整体存储于特定服务器，客户端需要下载该文件时，通过向该特定服务器发送http请求，以便从该特定服务器下载该文件。

发明人在实现本发明的过程中，发现传统技术至少存在以下问题：首先，将文件整体存储于特定服务器，导致后期客户端下载该文件的效率低下，并造成特定服务器过载。并且，特定服务器容易受到攻击，导致客户端容易访问到伪装服务器并将其发送的文件作为真实文件。

技术实现要素：

本发明实施例一个目的旨在提供一种文件分布式存储方法及装置、节点服务器，其能够使得客户端高效率地、安全地下载文件。

为解决上述技术问题，本发明实施例提供以下技术方案：

在第一方面，本发明实施例提供一种文件分布式存储方法，包括：

将文件分片成若干片段，不同所述片段存储于不同节点服务器，每个所述节点服务器皆对应有节点身份信息，任意两个所述节点服务器的身份信息皆不同，每个所述节点服务器皆配置有私钥与公钥，所述公钥被广播于全部节点服务器；

按照预设组合顺序，组合所述片段的片段编号以及存储所述片段的目标节点服务器的节点身份信息，得到组合信息；

将所述组合信息作哈希运算，得到哈希摘要；

使用所述私钥对所述哈希摘要作签名处理，得到签名文件；

将所述片段以及所述签名文件存储于所述目标节点服务器，所述公钥用于验证所述签名文件的合法性。

可选地，所述方法还包括：

将所述片段作哈希运算，得到片段信息，其中，所述片段信息、所述片段编号以及所述节点身份信息的数据位数皆相同；

所述按照预设组合顺序，组合所述片段的片段编号以及存储所述片段的目标节点服务器的节点身份信息，得到组合信息，包括：

按照预设组合顺序，组合所述片段的片段信息、所述片段编号以及存储所述片段的目标节点服务器的节点身份信息，得到组合信息。

可选地，所述方法还包括：

根据所述文件的访问热度，在每个所述节点服务器备份每个所述片段。

可选地，所述根据所述文件的访问热度，备份每个所述片段，包括：

获取所述文件的访问次数；

判断所述文件的访问次数是否大于预设次数阈值；

若大于，备份每个所述片段；

若小于，不备份每个所述片段。

可选地，所述方法还包括：

接收客户端发送的跳转请求，在所述客户端向全部节点服务器广播文件下载请求，并且所述全部节点服务器中一个或两个以上节点服务器未响应所述文件下载请求时，所述客户端产生所述跳转请求；

根据所述跳转请求，向所述客户端发送重定向请求，以使所述客户端在验证所述重定向请求合法时，根据所述重定向请求下载所述文件，其中，所述重定向请求携带有重定向地址以及签名文件，所述重定向地址指向内容服务器，所述内容服务器存储所述文件。

在第二方面，本发明实施例提供一种文件分布式存储装置，包括：

分片模块，用于将文件分片成若干片段，不同所述片段存储于不同节点服务器，每个所述节点服务器皆对应有节点身份信息，任意两个所述节点服务器的身份信息皆不同，每个所述节点服务器皆配置有私钥与公钥，所述公钥被广播于全部节点服务器；

组合模块，用于按照预设组合顺序，组合所述片段的片段编号以及存储所述片段的目标节点服务器的节点身份信息，得到组合信息；

摘要计算模块，用于将所述组合信息作哈希运算，得到哈希摘要；

签名模块，用于使用所述私钥对所述哈希摘要作签名处理，得到签名文件；

存储模块，用于将所述片段以及所述签名文件存储于所述目标节点服务器，所述公钥用于验证所述签名文件的合法性。

可选地，所述装置还包括：片段计算模块，用于将所述片段作哈希运算，得到片段信息，其中，所述片段信息、所述片段编号以及所述节点身份信息的数据位数皆相同；

所述组合模块具体用于：

按照预设组合顺序，组合所述片段的片段信息、所述片段编号以及存储所述片段的目标节点服务器的节点身份信息，得到组合信息。

可选地，所述装置还包括：备份模块，用于根据所述文件的访问热度，在每个所述节点服务器备份每个所述片段。

可选地，所述备份模块具体用于：

获取所述文件的访问次数；

判断所述文件的访问次数是否大于预设次数阈值；

若大于，备份每个所述片段；

若小于，不备份每个所述片段。

在第三方面，本发明实施例提供一种节点服务器，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够用于执行任一项所述的文件分布式存储方法。

在第四方面，本发明实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使节点服务器执行任一项所述的文件分布式存储方法。

在第五方面，本发明实施例提供一种计算机程序产品，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被节点服务器执行时，使所述节点服务器执行任一项所述的文件分布式存储方法。

在本发明各个实施例提供的文件分布式存储方法及装置、节点服务器中，首先，将文件分片成若干片段，不同片段存储于不同节点服务器，每个节点服务器皆对应有节点身份信息，任意两个节点服务器的身份信息皆不同，每个节点服务器皆配置有私钥与公钥，公钥被广播于全部节点服务器；其次，按照预设组合顺序，组合片段的片段编号以及存储片段的目标节点服务器的节点身份信息，得到组合信息；再次，将组合信息作哈希运算，得到哈希摘要；再次，使用私钥对哈希摘要作签名处理，得到签名文件；最后，将片段以及签名文件存储于目标节点服务器，公钥用于验证签名文件的合法性。一方面，将文件分片成若干片段并存储于不同节点服务器，客户端需要下载各个片段时，可以分别从各个节点服务器下载对应片段，从而提高下载文件的效率。另一方面，客户端下载文件时，其可以使用公钥验证签名文件的合法性，以验证各个片段的合法来源，从而提高下载文件的安全性。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1是本发明实施例提供一种文件分布式存储系统的结构示意图；

图2是本发明实施例提供一种文件分布式存储方法的流程示意图；

图3是图2是本发明另一实施例提供一种文件分布式存储方法的流程示意图；

图4是本发明实施例提供一种文件分布式存储装置的结构示意图；

图5是本发明另一实施例提供一种文件分布式存储装置的结构示意图；

图6是本发明再另一实施例提供一种文件分布式存储装置的结构示意图；

图7是本发明实施例提供一种节点服务器的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

请参阅图1，图1是本发明实施例提供一种文件分布式存储系统。如图1所示，文件分布式存储系统100包括若干个客户端11以及若干个节点服务器12。

客户端11可以为以下任意一种电子设备：电视机、智能手机、计算机、掌上电脑(personaldigitalassistant，pda)、平板电脑、电子书等等。

客户端11具有显示屏幕，显示屏幕可以是触控屏幕或者非触控屏幕，可以是tft屏幕(thinfilmtransistor，tft薄膜场效应晶体管)、tfd屏幕(thinfilmdiode，tfd薄膜二极管)、ufb屏幕(ultrafinebright，ufb)、stn屏幕(supertwistednematic，stn)、oled屏幕(organiclight-emittingdiode，oled有机发光二极管)、amoled屏幕(activematrix/organiclightemittingdiode，amoled有源矩阵有机发光二极体面板)，以及等等。

客户端11支持各种应用程序的安装，诸如以下应用程序中的一个或者多个桌面应用程序：绘图应用程序、演示应用程序、文字处理应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息应用程序、训练支持应用程序、照片应用程序、数码相机应用程序、数码录像机应用程序、网页浏览应用程序、数字音乐播放器应用程序、数字视频播放器应用程序以及等等。在一些实施例中，一些应用程序包括有联系人，例如：电话应用程序、电子邮件应用程序、即时消息应用程序等等。

节点服务器12分别与各个客户端11通讯，其中，该通讯方式可以为无线通讯，亦可以为有线通讯。

此处的节点服务器12可以是一个物理服务器或者多个物理服务器虚拟而成的一个逻辑服务器。服务器也可以是多个可互联通信的服务器组成的服务器群，且各个功能模块可分别分布在服务器群中的各个服务器上。

请参阅图2，图2是本发明实施例提供一种文件分布式存储方法的流程示意图。请一并参阅图1与图2，文件分布式存储方法s200包括：

s21、将文件分片成若干片段，不同片段存储于不同节点服务器，每个节点服务器皆对应有节点身份信息，任意两个节点服务器的身份信息皆不同，每个节点服务器皆配置有私钥与公钥，公钥被广播于全部节点服务器；

在本实施例中，按照业务需求，可以将文件分片成预设数量个片段。例如，如图1所示，设计者设计了四个节点服务器，分别为第一节点服务器121、第二节点服务器122、第三节点服务器123及第四节点服务器124。设计者还按照文件m的容量大小，平均分片成4个片段，分别为m1、m2、m3及m4。其中，片段m1存储于第一节点服务器121，片段m2存储于第二节点服务器122，片段m3存储于第三节点服务器123，片段m4存储于第四节点服务器124。其中，第一节点服务器121、第二节点服务器122、第三节点服务器123及第四节点服务器124的节点身份信息皆不同。

在本实施例中，节点服务器保存着对应的私钥，公钥被广播于全部节点服务器。当新节点服务器加入文件分布式存储系统时，系统在验证新节点服务器为合法节点后，新节点服务器开始向系统广播自身的公钥。

s22、按照预设组合顺序，组合片段的片段编号以及存储片段的目标节点服务器的节点身份信息，得到组合信息；

s23、将组合信息作哈希运算，得到哈希摘要；

预设组合顺序由设计者自行定义，例如，按照从左到右的次序，组合片段m1的片段编号与第一节点服务器121的节点身份信息，得到组合信息；或者，按照从左到右的次序，组合第一节点服务器121的节点身份信息与片段m1的片段编号，得到组合信息。

在本实施例中，目标节点服务器为相对于特定片段编号的片段而言，存储该片段的节点服务器，例如，存储片段m1的第一节点服务器121为目标节点服务器，存储片段m2的第二节点服务器122为目标节点服务器，以此类推，在此不再赘述。

哈希运算采用的哈希算法包括：sha3、sha1、sha224、sha256、sha384或者sha512。

如前所述，采用不同预设组合顺序组合出的组合信息计算出的哈希摘要是不同的，因此，在本实施例中，为了保证哈希运算的一致性，其需要按照固定的预设组合顺序作哈希运算。

在本实施例中，各个节点服务器的节点身份信息也皆广播于其它节点服务器，亦即，各个节点服务器的节点身份信息已被公开。并且，每个片段的片段编号也被公开。为了方便客户端验证后续签名文件的合法性，客户端可以结合片段的片段编号与节点身份信息组合出的组合信息，使用目标节点服务器的公钥，倒推验证签名文件的合法性。

为了防止恶意节点服务器篡改文件的片段，在一些实施例中，首先，目标节点服务器将片段作哈希运算，得到片段信息，其中，片段信息、片段编号以及节点身份信息的数据位数皆相同。其次，目标节点服务器按照预设组合顺序，组合片段的片段信息、片段编号以及存储片段的目标节点服务器的节点身份信息，得到组合信息。后续步骤根据组合信息生成签名文件后，并且客户端验证签名文件的合法性时，若恶意节点服务器篡改片段，其必然导致客户端验证出的签名文件是非法的。

s24、使用私钥对哈希摘要作签名处理，得到签名文件；

s25、将片段以及签名文件存储于目标节点服务器，公钥用于验证签名文件的合法性。

在本实施例中，客户端下载文件时，向各个节点服务器广播该文件的名称，存储有该文件的片段的节点服务器都向客户端发送返回片段编号以及各个节点服务器的网络地址，客户端根据返回的各个节点服务器的网络地址，向各个节点服务器发送文件下载请求。各个节点服务器根据客户端发送的文件下载请求，向客户端返回签名文件以及对应的片段。在存储对应片段时，首先，客户端使用各自目标节点服务器的公钥处理签名文件，得到待验证哈希摘要。其次，客户端组合该片段的片段编号以及存储该片段的目标节点服务器的节点身份信息，得到组合信息，将组合信息作哈希运算，得到目标哈希摘要，并将目标哈希摘要与待验证哈希摘要比对，若一致，该签名文件是合法的，若不一致，该签名文件是非法的。

当签名文件是合法的，客户端存储该片段。当签名文件是非法的，客户端丢弃该片段。

综上，一方面，将文件分片成若干片段并存储于不同节点服务器，客户端需要下载各个片段时，可以分别从各个节点服务器下载对应片段，从而提高下载文件的效率。另一方面，客户端下载文件时，其可以使用公钥验证签名文件的合法性，以验证各个片段的合法来源，从而提高下载文件的安全性。

一般的，文件的访问热度高低不一，节点服务器可以灵活存储文件。在一些实施例中，节点服务器可以根据文件的访问热度，备份每个片段。例如，首先，节点服务器获取文件的访问次数。其次，节点服务器判断文件的访问次数是否大于预设次数阈值，若大于，备份每个片段；若小于，不备份每个片段。

通过此种方式，其能够增强文件存储的安全性。

当某个或多个节点服务器处于故障状态时，其未能够响应客户端发送的下载请求。为了提高下载文件的可靠性，在一些实施例中，请参阅图3，文件分布式存储方法s200还包括：

s26、接收客户端发送的跳转请求，在客户端向全部节点服务器广播文件下载请求，并且全部节点服务器中一个或两个以上节点服务器未响应文件下载请求时，客户端产生跳转请求；

在本实施例中，客户端向全部节点服务器广播文件下载请求，存储有该文件的片段的节点服务器都向客户端发送返回片段编号以及各个节点服务器的网络地址，若客户端检测出全部节点服务器中一个或两个以上节点服务器未响应文件下载请求时，客户端产生跳转请求。

在一些实施例中，客户端还可以组合存储有该文件的片段的节点服务器都向客户端发送返回的不同片段编号，并判断所述不同片段编号对应的片段是否构成一个完整文件，若构成，便根据各个节点服务器的网络地址访问节点服务器，并从各个节点服务器下载对应片段。若未构成，客户端判断出某个或多个节点服务器出现故障而未能够成功返回片段编号及其网络地址，于是，客户端产生跳转请求。

s27、根据跳转请求，向客户端发送重定向请求，以使客户端在验证重定向请求合法时，根据重定向请求下载文件，其中，重定向请求携带有重定向地址以及签名文件，重定向地址指向内容服务器，内容服务器存储文件。

在本实施例中，节点服务器预存有重定向地址，重定向地址指向内容服务器，内容服务器存储文件。一般的，该内容服务器不容易工作在故障状态或者容易受到攻击。因此，当某个或多个节点服务器未能够及时响应客户端发送的文件下载请求，为了保证客户端能够顺利下载文件，节点服务器可以向客户端发送重定向请求，客户端根据重定向请求的重定向地址访问内容服务器，从内容服务器下载文件。

为了保证重定向请求的来源合法性，重定向请求还需要携带签名文件，客户端接收到重定向请求时，先验证签名文件的合法性，若合法，方可根据重定向地址下载文件。若非法，不响应该重定向请求，并且继续向节点服务器发送跳转请求，以便能够成功下载文件。

需要说明的是，在上述各个实施例中，上述各步骤之间并不必然存在一定的先后顺序，本领域普通技术人员，根据本发明实施例的描述可以理解，不同实施例中，上述各步骤可以有不同的执行顺序，亦即，可以并行执行，亦可以交换执行等等。

作为本发明实施例的另一方面，本发明实施例提供一种文件分布式存储装置。本发明实施例的文件分布式存储装置可以作为其中一个软件功能单元，文件分布式存储装置包括若干指令，该若干指令存储于存储器内，处理器可以访问该存储器，调用指令进行执行，以完成上述文件分布式存储方法。

请参阅图4，图4是本发明实施例提供一种文件分布式存储装置的结构示意图。如图4所示，文件分布式存储400包括：分片模块41、组合模块42、摘要计算模块43、签名模块44及存储模块45。

分片模块41用于将文件分片成若干片段，不同所述片段存储于不同节点服务器，每个所述节点服务器皆对应有节点身份信息，任意两个所述节点服务器的身份信息皆不同，每个所述节点服务器皆配置有私钥与公钥，所述公钥被广播于全部节点服务器；

组合模块42用于按照预设组合顺序，组合所述片段的片段编号以及存储所述片段的目标节点服务器的节点身份信息，得到组合信息；

摘要计算模块43用于将所述组合信息作哈希运算，得到哈希摘要；

签名模块44用于使用所述私钥对所述哈希摘要作签名处理，得到签名文件；

存储模块45用于将所述片段以及所述签名文件存储于所述目标节点服务器，所述公钥用于验证所述签名文件的合法性。

综上，一方面，将文件分片成若干片段并存储于不同节点服务器，客户端需要下载各个片段时，可以分别从各个节点服务器下载对应片段，从而提高下载文件的效率。另一方面，客户端下载文件时，其可以使用公钥验证签名文件的合法性，以验证各个片段的合法来源，从而提高下载文件的安全性。

请参阅图5，文件分布式存储400还包括片段计算模块46，片段计算模块46用于将所述片段作哈希运算，得到片段信息，其中，所述片段信息、所述片段编号以及所述节点身份信息的数据位数皆相同。

组合模块42具体用于：按照预设组合顺序，组合所述片段的片段信息、所述片段编号以及存储所述片段的目标节点服务器的节点身份信息，得到组合信息。

请参阅图6，文件分布式存储400还包括备份模块47，备份模块47用于根据所述文件的访问热度，备份每个所述片段。

在一些实施例中，备份模块47具体用于：获取所述文件的访问次数；判断所述文件的访问次数是否大于预设次数阈值；若大于，备份每个所述片段；若小于，不备份每个所述片段。

需要说明的是，上述文件分布式存储装置可执行本发明实施例所提供的文件分布式存储方法，具备执行方法相应的功能模块和有益效果。未在文件分布式存储装置实施例中详尽描述的技术细节，可参见本发明实施例所提供的文件分布式存储方法。

作为本发明实施例的又另一方面，本发明实施例提供一种节点服务器。如图7所示，该节点服务器700包括：一个或多个处理器71以及存储器72。其中，图7中以一个处理器71为例。

处理器71和存储器72可以通过总线或者其他方式连接，图7中以通过总线连接为例。

存储器72作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的文件分布式存储方法对应的程序指令/模块。处理器71通过运行存储在存储器72中的非易失性软件程序、指令以及模块，从而执行文件分布式存储装置的各种功能应用以及数据处理，即实现上述方法实施例文件分布式存储方法以及上述装置实施例的各个模块的功能。

存储器72可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器72可选包括相对于处理器71远程设置的存储器，这些远程存储器可以通过网络连接至处理器71。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述程序指令/模块存储在所述存储器72中，当被所述一个或者多个处理器71执行时，执行上述任意方法实施例中的文件分布式存储方法，例如，执行以上描述的图2与图3所示的各个步骤；也可实现附图4至图6所述的各个模块和单元的功能。

本发明实施例还提供了一种非易失性计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，例如图7中的一个处理器71，可使得上述一个或多个处理器可执行上述任意方法实施例中的文件分布式存储方法，例如，执行上述任意方法实施例中的文件分布式存储方法，例如，执行以上描述的执行以上描述的执行以上描述的图2与图3所示的各个步骤；也可实现附图4至图6所述的各个模块和单元的功能。

以上所描述的装置或设备实施例仅仅是示意性的，其中所述作为分离部件说明的单元模块可以是或者也可以不是物理上分开的，作为模块单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络模块单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用直至得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。