永久增量备份数据储存的处理方法、系统及数据恢复方法与流程

本发明属于数据备份与恢复，涉及一种永久增量备份数据储存的处理方法、系统及完备数据恢复方法。

背景技术：

1、定时备份是指按照预定的时间间隔执行备份操作，往往会将数据的完整副本复制到备份介质中（如磁盘或磁带），以确保数据在备份时刻的快照被保存。增量备份是一种备份类型，仅备份自上次全备份或增量备份以来发生变化的数据。定时备份和增量备份结合使用，可以提供完整的备份链，备份链具有定时备份提供的数据完整快照和增量备份提供的仅备份变化的部分，通过备份链则可以还原完整数据，一定程度地提高了备份效率和节省了存储空间。

2、由于备份存储空间不是无限的，为了让备份能够永续运行，会引入保留策略，保留策略能够在某次备份完成后进行空间的自动回收，一般情况下会删除最早的备份数据集，以达到释放储存空间的效果。而由于数据链的存在，无论删除备份链的完备点时，还是删除备份链上任意中间的增量点，都需要同时删除后续依赖它的所有增量点，这样备份链不完整，便无法还原完整数据。

3、目前，现有技术是主要是周期性地执行完全备份，以此产生多条备份链，否则一条备份链上一直做增量备份，将会导致备份存储空间最终耗尽。但是，周期性地执行完全备份会降低备份效率，备份存储空间也至少需要完备点两倍以上的数据存储空间，而对此现有技术中没有较好的解决方法。

4、因此，如何在保证备份链完整情况下，再减少占用的备份数据存储空间，是当前急需解决的技术问题。

技术实现思路

1、本发明为了解决上述背景技术中的技术问题，提供一种永久增量备份数据储存的处理方法、系统及数据恢复方法。

2、本发明解决上述技术问题的技术方案如下：

3、第一个方面，提供了一种永久增量备份数据储存的处理方法，所述方法，包括步骤：

4、生成全量数据文件步骤，获取时间点t0，创建磁盘（t0）的快照，生成一份全量数据文件；

5、创建索引文件（t0）步骤，创建磁盘（t0）的索引文件（t0），所述索引文件（t0）的索引与磁盘（t0）的数据块一一对应，索引结构包括数据块有效数据情况标识、数据块偏移、数据块长度和时间点标识；

6、生成增量数据文件（t1）步骤，获取时间点t1，生成与全量数据文件形成依赖关系的增量数据文件（t1）；

7、生成索引文件（t1）步骤，拷贝索引文件（t0），再遍历磁盘（t1）后，结合索引文件（t0）生成索引文件（t1），索引文件（t1）中变化数据块对应的索引得到更新；

8、生成备份链步骤，在时间点t1后，重复生成增量数据文件（t1）步骤和生成索引文件（t1）步骤，生成一条备份链；

9、备份数据文件合并处理步骤，获取处理时间点tn，在当前备份链上获得数据文件（tn）和时间点tn下一时间点的数据文件（tn+1），再根据数据块有效数据情况标识和时间点标识，判断目标数据块（tn）对应的索引与目标数据块（tn+1）对应的索引是否相同，若相同，直接使用索引文件（tn）；若不相同，将索引文件（tn）与索引文件（tn+1）合并，数据文件（tn）与数据文件（tn+1）合并。

10、在其中一个实施例中，所述创建索引文件（t0）步骤，还包括：

11、计算生成时间点t0的唯一标识tp0；

12、遍历磁盘（t0）的数据块，生成索引文件（t0），索引文件（t0）的索引与磁盘（t0）的数据块一一对应，索引结构包括数据块有效数据情况标识、数据块偏移、数据块长度和时间点标识，其中时间点标识为唯一标识tp0；

13、读取全量数据文件，依次记录每个索引中的数据块有效数据情况标识、数据块偏移和数据块长度。

14、在其中一个实施例中，所述创建索引文件（t0）步骤中，所述索引结构还包括保留标识。

15、在其中一个实施例中，所述生成索引文件（t1）步骤，还包括：

16、计算生成时间点t1的唯一标识tp1；

17、将时间点t1依赖的上一时间点t0的索引文件（t0）拷贝到当前时间点t1；

18、遍历磁盘（t1）的数据块，再结合索引文件（t0）生成索引文件（t1），索引文件（t1）的索引结构包括数据块有效数据情况标识、数据块偏移、数据块长度和时间点标识，其中时间点标识为唯一标识tp1；

19、读取增量数据文件（t1），更新目标索引中数据块有效数据情况标识、数据块偏移和数据块长度。

20、在其中一个实施例中，所述备份数据文件合并处理步骤，还包括：

21、获取处理时间点tn，在当前备份链上获得数据文件（tn）和时间点tn下一时间点的数据文件（tn+1）；

22、判断目标数据块（tn）对应的索引与目标数据块（tn+1）对应的索引是否相同；

23、若满足以下两个条件中任一条件：（1）两目标数据块有效数据情况均为不存在有效数据；（2）两目标数据块有效数据情况均为有效数据，且两目标数据块的索引均指向目标数据块（tn），即判断为相同，则直接使用索引文件（tn）；

24、若满足以下两个条件中任一条件：（1）目标数据块（tn）有效数据情况为存在有效数据，目标数据块（tn+1）有效数据情况为不存在有效数据；（2）两目标数据块有效数据情况均为存在有效数据，但目标数据块（tn）的索引指向目标数据块（tn），目标数据块（tn+1）的索引指向目标数据块（tn+1），即判断为不相同，并将索引文件（tn）与索引文件（tn+1）、数据文件（tn）与数据文件（tn+1）分别合并。

25、第二个方面，提供了一种永久增量备份数据储存的处理系统，所述系统，包括：

26、生成全量数据文件模块，用于获取时间点t0，创建磁盘（t0）的快照，生成一份全量数据文件；

27、创建索引文件（t0）模块，用于创建磁盘（t0）的索引文件（t0），所述索引文件（t0）的索引与磁盘（t0）的数据块一一对应，索引结构包括数据块有效数据情况标识、数据块偏移、数据块长度和时间点标识；

28、生成增量数据文件（t1）模块，用于获取时间点t1，生成与全量数据文件形成依赖关系的增量数据文件（t1）；

29、生成索引文件（t1）模块，用于拷贝索引文件（t0），再遍历磁盘（t1）后，结合索引文件（t0）生成索引文件（t1），索引文件（t1）中变化数据块对应的索引得到更新；

30、生成备份链模块，用于在时间点t1后，重复生成增量数据文件（t1）模块和生成索引文件（t1）模块，生成一条备份链；

31、备份数据文件合并处理模块，用于获取处理时间点tn，在当前备份链上获得数据文件（tn）和时间点tn下一时间点的数据文件（tn+1），再根据数据块有效数据情况标识和时间点标识，判断目标数据块（tn）对应的索引与目标数据块（tn+1）对应的索引是否相同，若相同，直接使用索引文件（tn）；若不相同，将索引文件（tn）与索引文件（tn+1）合并，数据文件（tn）与数据文件（tn+1）合并。

32、在其中一个实施例中，所述创建索引文件（t0）模块，还包括：

33、生成唯一标识tp0单元，用于计算生成时间点t0的唯一标识tp0；

34、生成索引文件（t0）单元，用于遍历磁盘（t0）的数据块，生成索引文件（t0），索引文件（t0）的索引与磁盘（t0）的数据块一一对应，索引结构包括数据块有效数据情况标识、数据块偏移、数据块长度和时间点标识，其中时间点标识为唯一标识tp0；

35、设置索引单元，用于读取全量数据文件，依次记录每个索引中的数据块有效数据情况标识、数据块偏移和数据块长度。

36、在其中一个实施例中，所述生成索引文件（t1）模块，还包括：

37、生成唯一标识tp1单元，用于计算生成时间点t1的唯一标识tp1；

38、拷贝索引文件（t0）单元，用于将时间点t1依赖的上一时间点t0的索引文件（t0）拷贝到当前时间点t1；

39、生成索引文件（t1）单元，用于遍历磁盘（t1）的数据块，再结合索引文件（t0）生成索引文件（t1），索引文件（t1）的索引结构包括数据块有效数据情况标识、数据块偏移、数据块长度和时间点标识，其中时间点标识为唯一标识tp1；

40、更新目标索引单元，用于读取增量数据文件（t1），更新目标索引中数据块有效数据情况标识、数据块偏移和数据块长度。

41、在其中一个实施例中，所述备份数据文件合并处理模块，还包括：

42、获取处理时间点数据文件单元，用于获取处理时间点tn，在当前备份链上获得数据文件（tn）和时间点tn下一时间点的数据文件（tn+1）；

43、判断处理单元，用于判断目标数据块（tn）对应的索引与目标数据块（tn+1）对应的索引是否相同；

44、若满足以下两个条件中任一条件：（1）两目标数据块有效数据情况均为不存在有效数据；（2）两目标数据块有效数据情况均为有效数据，且两目标数据块的索引均指向目标数据块（tn），即判断为相同，则直接使用索引文件（tn）；

45、若满足以下两个条件中任一条件：（1）目标数据块（tn）有效数据情况为存在有效数据，目标数据块（tn+1）有效数据情况为不存在有效数据；（2）两目标数据块有效数据情况均为存在有效数据，但目标数据块（tn）的索引指向目标数据块（tn），目标数据块（tn+1）的索引指向目标数据块（tn+1），即判断为不相同，并将索引文件（tn）与索引文件（tn+1）、数据文件（tn）与数据文件（tn+1）分别合并。

46、第三个方面，提供了一种数据恢复方法，利用上述任一项所述永久增量备份数据储存的处理方法，还包括步骤：

47、获取恢复时间点tg，得到恢复时间点的备份链；

48、遍历恢复时间点备份链上的索引文件，获得目标增量数据文件（tg）和全量数据文件中的目标原始数据块，其中目标原始数据块与目标增量数据文件（tg）的数据量总和小于等于原始磁盘的数据量；

49、通过目标增量数据文件（tg）和目标原始数据块，恢复时间点tg的磁盘数据。

50、本发明的有益效果是：

51、（1）本发明通过索引结构，帮助实现了增量数据文件自动合并，不需要按照现有保留策略进行备份链的删除，也保证了备份链的完整，支持永久做增量备份；

52、（2）本发明不需要周期性地执行完全备份，一条备份链即可还原完整数据，这样不仅能够提高备份效率，也有助于减少备份存储空间；

53、（3）本发明通过索引结构，备份链上任意相邻两个备份数据文件均可以实现合并，不受限于处理时间点备份数据文件的位置，灵活方便，且应用范围更广。