一种基于kdfs系统的文件备份方法与系统的制作方法
【技术领域】
[0001]本发明涉及文件备份领域，特别是涉及一种基于KDFS系统的文件备份方法与系统。
【背景技术】
[0002]在云存储服务中，文件冗余备份是非常重要的组成部分。由于容量、扩容、数据安全、数据备份等方面的优势，文件都是存储在分布式文件系统中。KDFS为一种跨集群的分布式文件系统，如图1所示，KDFS系统包括Hadoop分布式文件系统HDFS和FASTDFS轻量级分布式文件系统FastDFS。
[0003]用户上传文件后，分布式文件系统会将文件的多个备份分散存储在集群内的多个服务器上，保证文件不会因为某个服务器宕机或磁盘损坏等故障导致文件丢失，在现有的分布式文件系统和云存储服务中普遍采用冗余备份的方式保存文件。
[0004]然而，现有的文件备份机制都是基于集群的，开发者只能设置文件在单个集群中的备份数量，这就导致在KDFS中文件的备份数量过多，有些备份为非必要的，进行不必要的备份可能会对磁盘空间造成负担。
【发明内容】
[0005]有鉴于此，本发明的主要目的在于提供一种基于KDFS系统的文件备份方法与系统，可以有针对地调整集群的备份数量进行文件备份。
[0006]为实现上述目的，本发明提供了一种基于KDFS系统的文件备份方法，包括:
[0007]步骤A:获取用户上传文件；
[0008]步骤B:通过预设级别判定规则判定所述文件所属的应用标识的级别；
[0009]步骤C:根据所述级别通过预设备份数量确定规则确定KDFS系统中各集群的目标备份数量；
[0010]步骤D:根据所述目标备份数量对所述各集群分别进行所述文件的备份。
[0011]优选地，通过预设级别判定规则判定所述文件所属的应用标识的级别包括:
[0012]判断所述文件所属的应用标识是否存储于优先级列表中，如果是，则确定所述文件所属的应用标识为优先级别，否则将所有评级的应用标识对应的访问参数由大到小进行排序，当所述应用标识对应的访问参数在所述排序中位于前第一预设比例时，确定所述应用标识为第一级别，当在所述排序中位于前第一预设比例至前第二预设比例之间时，确定所述应用标识为第二级别，当在所述排序中位于前第二预设比例之后时，确定所述应用标识为第三级别。
[0013]优选地，所述访问参数包括:
[0014]所述应用标识对应的访问用户数量与所述应用标识对应的访问次数。
[0015]优选地，根据所述级别通过预设备份数量确定规则确定KDFS系统中各集群的目标备份数量包括:
[0016]当所述文件所属的应用标识为优先级别时，根据指令确定KDFS系统中各集群的目标备份数量；
[0017]当所述文件所属的应用标识为第一级别时，确定KDFS系统中各集群的目标备份数量均为第一预设数量；
[0018]当所述文件所属的应用标识为第二级别时，确定上传的所述文件所在集群的目标备份数量为第一预设数量，确定KDFS系统中除上传的所述文件所在集群之外的其他各集群的目标备份数量均为小于第一预设数量的第二预设数量；
[0019]当所述文件所属的应用标识为第三级别时，确定KDFS系统中各集群的目标备份数量均为第二预设数量。
[0020]优选地，根据所述目标备份数量对所述各集群分别进行所述文件的备份后还包括:
[0021 ]获取所述应用标识对应的访问记录；
[0022]根据应用标识对应的访问记录调整级别，返回步骤C。
[0023]优选地，根据所述目标备份数量对所述各集群分别进行所述文件的备份后还包括:
[0024]响应用户的下载指令在指定的集群中下载所述文件。
[0025]本发明还提供了一种基于KDFS系统的文件备份系统，包括:
[0026]文件获取模块，用于获取用户上传文件；
[0027]级别确定模块，与所述文件获取模块相连接，用于通过预设级别判定规则判定所述文件所属的应用标识的级别；
[0028]集群备份数量确定模块，与所述级别确定模块相连接，用于根据所述级别通过预设备份数量确定规则确定KDFS系统中各集群的目标备份数量；
[0029]集群备份模块，与所述集群备份数量确定模块相连接，用于根据所述目标备份数量对所述各集群分别进行所述文件的备份。
[0030]优选地，所述基于KDFS系统的文件备份系统还包括:
[0031]访问记录获取模块，用于获取所述应用标识对应的访问记录。
[0032]优选地，所述基于KDFS系统的文件备份系统还包括:
[0033]级别调整模块，与所述访问记录获取模块以及所述集群备份数量确定模块均相连接，用于根据应用标识对应的访问记录调整级别，令所述集群备份数量确定模块工作。
[0034]优选地，所述基于KDFS系统的文件备份系统还包括:
[0035]文件下载模块，与所述集群备份模块相连接，用于响应用户的下载指令在指定的集群中下载所述文件。
[0036]应用本发明提供的一种基于KDFS系统的文件备份方法与系统，获取用户上传文件，通过预设级别判定规则判定所述文件所属的应用标识的级别，根据所述级别通过预设备份数量确定规则确定KDFS系统中各集群的目标备份数量，根据所述目标备份数量对所述各集群分别进行所述文件的备份，可以为上传文件所属的应用标识进行等级划分，根据不同的等级对KDFS系统中的各集群分别进行不同备份数量的文件备份，可以根据文件所属应用标识对应的重要程度有针对地调整集群的备份数量进行文件备份，在保证文件安全的同时，极大地减少文件备份对磁盘空间的负担。
【附图说明】
[0037]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0038]图1为KDFS系统的结构示意图；
[0039]图2为本发明一种基于KDFS系统的文件备份方法实施例一的流程图；
[0040]图3为本发明一种基于KDFS系统的文件备份方法实施例一的原理示意图；
[0041]图4为本发明一种基于KDFS系统的文件备份系统实施例二的结构示意图；
[0042]图5为本发明一种基于KDFS系统的文件备份系统实施例三的结构示意图。
【具体实施方式】
[0043]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0044]实施例一:
[0045]本发明提供了一种基于KDFS系统的文件备份方法，图2示出了本发明基于KDFS系统的文件备份方法实施例一的流程图，包括:
[0046]步骤SlOl:获取用户上传文件；
[0047]步骤S102:通过预设级别判定规则判定所述文件所属的应用标识的级别；
[0048]使用KDFS的应用标识为APPID，判断所述文件所属的APPID是否存储于优先级列表中，如果是，则确定所述文件所属的APPID为优先级别，否则将所有评级的APPID对应的访问参数由大到小进行排序，访问参数包括所述APPID对应的访问用户数量与所述APPID对应的访问次数，当所述APPID对应的访问参数在所述排序中位于前第一预设比例时，确定所述APPID为第一级别，当在所述排序中位于前第一预设比例至前第二预设比例之间时，确定所述APPID为第二级别，当在所述排序中位于前第二预设比例之后时，确定所述APPID为第三级别，例如将所有参与评级的APPID中，排在前面的20%为确定为I级，最后的20%确定为3级，其他的确定为2级。
[0049]步骤S103:根据所述级别通过预设备份数量确定规则确定KDFS系统中各集群的目标备份数量；
[0050]当所述APPID为优先级别时，根据指令确定KDFS系统中各集群的目标备份数量，SP可根据用户设置指定各集群的备份数量；
[0051]当所述文件所属的应用标识为第一级别时，确定KDFS系统中各集群的目标备份数量均为第一预设数量；
[0052]当所述文件所属的应用标识为第二级别时，确定上传的所述文件所在集群的目标备份数量为第一预设数量，确定KDFS系统中除上传的所述文件所在集群之外的其他各集群的目标备份数量均为小于第一预设数量的第二预设数量；
[0053]当所述文件所属的应用标识为第三级别时，确定KDFS系统中各集群的目标备份数量均为第二预设数量；
[0054]例如:第一预设数量为12，第二预设数量为I，当所述APPID为I级时，确定KDFS系统中各集群的目标备份数量均为2;当所述APPID为2级时，确定上传的所述文件所在集群的目标备份数量为2，确定KDFS系统中除上传的所述文件所在集群之外的其他各集群的目标备份数量均为I，即用户最初上传的集群增加I个备份;当所述APPID为3级时，确定