一种存取文件的方法、装置及分布式存储系统的制作方法_3

文档序号:8412266阅读:来源:国知局

[0089]可以理解,由于分片的大小是一定的,因此更新操作可能会使得分片的长度超过预定值。此时,可以将不能保存在原文片中的内容重新进行分片,并提交至数据服务器集群进行存储,并将存储索引提交给元数据服务器集群101进行存储。
[0090]本实施例的分布式存储系统100中,元数据与数据正文分别存储在元数据服务器集群101与数据服务器集群102/104/106中,而且数据服务器集群102/104/106是分布在不同的数据中心内。因此,可以避免所有数据存储在一个数据中心容易导致数量超过单一数据中心的承载量的问题。降低数据中心的分布式存储系统的运营成本。
[0091]第二实施例
[0092]第二实施例提供一种在分布式存储系统中存取文件的方法,其可用于图1所示的入口服务器200中。参阅图8,本实施例的方法包括以下步骤:
[0093]步骤S201、接收客户端上传的文件。
[0094]此处的客户端例如是指图1所示的用户终端300。用户终端300可通过运行的应用程序(如浏览器)登陆入口服务器200提供的网络应用,并通过该网络应用向入口服务器200上传文件。相应地,入口服务器200接收用户终端300上传的文件。
[0095]步骤S202、向所述元数据服务器集群发送文件索引获取请求以获取所述元数据服务器集群返回的元数据索引。
[0096]文件索引获取请求内可包括文件的一些元数据,例如文件长度、文件名、文件特征码等。元数据服务器集群101在接收到文件索引获取请求后,向用于存储元数据的分布式文件存储系统申请建立一条新的记录,该新记录的内容可包括上述的文件索引获取请求内的元数据如文件长度、文件名、文件特征码等;而该新记录的键(Key)可为文件的唯一标识符。元数据服务器集群101将上述的新记录的键作为文件的索引返回给入口服务器200。
[0097]步骤S203、将所述文件或者所述文件的分片发送给选择的数据服务器集群进行存储。
[0098]具体地,先判断文件是否超过预定的大小,若是,则需要对文件进行分片处理,然后对每个分片进行存储操作;若否,无须进行分片,可以直接进行存储操作。
[0099]存储操作可包括以下步骤:为要存储的文件或者分片选择一个数据服务器集群;然后将要存储的文件或者分片发送到选择的数据服务器集群中进行存储。入口服务器200可以根据预定的规则选择数据服务器集群或者向元数据服务器集群101请求分配数据服务器集群。
[0100]步骤S204、将所述文件或者分片在所述选择的数据服务器集群内的存储索引、所述选择的数据服务器集群的标识以及所述元数据索引发送给所述元数据服务器集群进行关联存储。
[0101]所述文件或者分片在所述选择的数据服务器集群内的存储索引是指所述文件或者分片在数据服务器集群内的分布式存储系统内的键。关联存储例如是指上述的存储索引以及数据服务器集群的标识可保存在以所述元数据索引为键的记录内。
[0102]根据本实施例的在分布式存储系统中存取文件的方法,元数据与数据正文分别存储在元数据服务器集群与数据服务器集群中,而且数据服务器集群是分布在不同的数据中心内。因此,可以避免所有数据存储在一个数据中心容易导致数量超过单一数据中心的承载量的问题。降低数据中心的分布式存储系统的运营成本。
[0103]第三实施例
[0104]第三实施例提供一种在分布式存储系统中存取文件的方法,其可用于图1所示的入口服务器200中。参阅图9,本实施例的方法包括以下步骤:
[0105]步骤S301,接收所述客户端的文件下载请求。
[0106]用户终端300可通过运行的应用程序(如浏览器)登陆入口服务器200提供的网络应用,并通过该网络应用向入口服务器200发送文件下载请求。该文件下载请求是与一个或多个目标文件关联的。
[0107]步骤S302,向所述元数据服务器集群发送元数据查询请求以获取所述元数据服务器集群返回的所述至少一个目标文件的元数据。
[0108]入口服务器200向元数据服务器集群101发送元数据查询请求以获取元数据服务器集群101返回的元数据。元数据查询请求内应包括上述的至少一个目标文件的元数据索引。
[0109]步骤S303,从所述目标文件的元数据中解析出所述至少一个目标文件的存储索引以及所存储的数据服务器集群的标识。
[0110]元数据服务器集群101在接收到元数据查询请求后,从中解析出目标文件的元数据索引,根据该元数据索引向其内的分布式存储系统发起存储索引读取请求以读取与该键对应的元数据,并将获取的元数据返回至入口服务器200。
[0111]在接收到元数据服务器集群101返回的元数据后,入口服务器200可从元数据中解析出文件或者分片所存储的数据服务器集群,以及对应的存储索引。
[0112]步骤S304,向与所述至少一个目标文件所存储的数据服务器集群发送下载请求以获取所述至少一个目标文件。
[0113]根据数据服务器集群向外提供的接口提交下载请求,在下载请求中包括存储索引作为参数。
[0114]步骤S305,将所述至少一个目标文件返回所述客户端。
[0115]数据服务器集群会接收到入口服务器200发送的下载请求,从下载请求中解析出存储索引,根据存储索引在数据服务器集群内的分布式存储系统中获取对应的文件或进分片,并将获取的文件或者分片返回给入口服务器200。
[0116]如果是完整文件,可以直接返回入口服务器200,如果是分片,可以将分片直接返回入口服务器200,也可以在获取所有分片后组装成完整的文件后返回给入口服务器200。
[0117]根据本实施例的方法,可通过部署在不同数据中心内的分布式存储系统提供文件下载服务,可避免所有数据存储在一个数据中心容易导致数量超过单一数据中心的承载量的问题。降低数据中心的分布式存储系统的运营成本。
[0118]第四实施例
[0119]第四实施例提供一种在分布式存储系统中存取文件的方法,其可用于图1所示的入口服务器200中。参阅图10,本实施例的方法包括以下步骤:
[0120]步骤S401,接收所述客户端的文件删除请求。
[0121]用户终端300可通过运行的应用程序(如浏览器)登陆入口服务器200提供的网络应用,并通过该网络应用向入口服务器200发送文件删除请求。该文件删除请求是与一个或多个目标文件关联的。
[0122]步骤S402,向所述元数据服务器集群发送文件索引删除请求以使所述元数据服务器集群返回并删除所述至少一个目标文件的元数据。
[0123]入口服务器200向元数据服务器集群101发送文件索引删除请求以获取元数据服务器集群101返回的元数据并使元数据服务器集群101删除目标文件的元数据。文件索引删除请求内应包括目标文件的元数据索引。
[0124]元数据服务器集群101在接收到文件索引删除请求后,从中解析出目标文件的元数据索引,根据该元数据索引向其内的分布式存储系统发起元数据读取请求以读取与该键对应的元数据,并将获取的元数据返回至入口服务器200。此外,除了将元数据返回至入口服务器200,还将与该元数据索引对应的记录删除。
[0125]步骤S403,从所述元数据中解析出所述至少一个目标文件的存储索引以及所存储的数据服务器集群的标识。
[0126]在接收到元数据服务器集群101返回的元数据后,入口服务器200可从元数据中解析出文件或者分片所存储的数据服务器集群,以及对应的存储索引。
[0127]步骤S404,根据所述至少一个目标文件的存储索引向对应的数据服务器集群发送文件删除请求以使所述数据服务器集群删除对应的文件或者分片。
[0128]入口服务器200分别向数据服务器集群发送删除请求,该删除请求内可包括上述的存储索引。相应地,数据服务器集群会接收到入口服务器200发送的删除请求,从删除请求中解析出存储索引,根据存储索引在数据服务器集群内的分布式存储系统中删除对应的文件或进分片。
[0129]根据本实施例的方法,可通过部署在不同数据中心内的分布式存储系统提供文件删除服务,可避免所有数据存储在一个数据中心容易导致数量超过单一数据中心的承载量的问题。降低数据中心的分布式存储系统的运营成本。
[0130]第五实施例
[0131]第五实施例提供一种在分布式存储系统中存取文件的方法,其可用于图1所示的入口服务器200中。参阅图11,本实施例的方法包括以下步骤:
[0132]步骤S501,接收所述客户端的文件更新请求。
[0133]用户终端300可通过运行的应用程序(如浏览器)登陆入口服务器200提供的网络应用,并通过该网络应用向入口服务器200发送文件更新请求。该文件更新请求是与一个或多个目标文件关联的。
[0134]步骤S502,向所述元数据服务器集群发送元数据查询请求以获取所述元数据服务器集群返回的与所述至少一个目标文件的元数据。
[0135]入口服务器200向元数据服务器集群101发送元数据查询请求以获取元数据服务器集群101返回的元数据。元数据查询请求内应包括目标文件的元数据索引。
[0136]元数据服务器集群101在接收到元数据查询请求后,从中解析出目标文件的元数据索引,根据该元数据索引向其内的分布式存储系统发起元数据读取请求以读取与该元数据索引对应的元数据,并将获取的元数据返回至入口服务器200。
[0137]步骤S503,从所述目标文件的元数据中解析出所述目标文件的存储索引以及所存储的数据服务器集群的标识。
[0138]在接收到元数据服务器集群101返回的元数据后,入口服务器200可从元数据中解析出文件或者分片所存储的数据服务器集群,以及对应的存储索引。
[0139]步骤S504,根据所述至少一个目标文件的存储索引向所述数据服务器集群发送文件更新请求以使所述数据服务器集群更新对应的文件或者分片。
[0140]A 口服务器200分析更新所涉及的数据,从而找出更新所涉及的分片。然后,入口服务器200分别向所涉及的分片对应的数据服务器集群发送更新请求,该更新请求内可包括上述的存储索引以及更新后的数据。相应地,数据服务器集群会接收到入口服务器200发送的更新请求,从更新请求中解析出存储索引以及更新后的数据,根据存储索引以及更新后的数据在数据服务器集群内的分布式存储系统中进行内容更新操作。
[0141]根据本实施例的方法,可通过部署在不同数据中心内的分布式存储系统提供文件更新服务,可避免所有数据存储在一个数据中心容易导致数量超过单一数据中心的承载量的问题。降低数据中心的分布式存储系统的运营成本。
[0142]第六实施例
[0143]第六实施例提供一种在分布式存储系统中存取文件的装置,其可用于图1所示的入口服务器200中。参阅图12,本实
当前第3页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1