一种数据卷导入数据校验方法、装置、终端及存储介质与流程

1.本发明涉及数据校验领域，具体涉及一种数据卷导入数据校验方法、装置、终端及存储介质。


背景技术：

2.在云计算时代，海量数据通过rbd客户端存入数据卷中，通过rbd（rados block device，分布式文件系统对外提供的块设备服务）客户端的数据卷导入导出功能，用户可以将分布式系统中的数据卷中的数据存入特定的文件中，实现数据卷的本地备份。但是，在数据卷导入过程中，普通rbd客户端仅仅进行数据的导入，不进行数据的一致性校验，容易造成数据卷卷导入后数据不一致问题，降低存储系统数据存储的可靠性。另一方面，通过手动校验数据文件的方式，数据校验码不便于保存，效率没有保障。


技术实现要素：

3.为解决上述问题，本发明提供一种数据卷导入数据校验方法、装置、终端及存储介质，实现数据卷中的数据导入目标文件时自动进行数据一致性校验。
4.本发明的技术方案是：一种数据卷导入数据校验方法，包括以下步骤：将数据从原数据卷导出时，采用预设数据校验算法对数据进行校验生成数据校验值；将所生成数据校验值、所采用数据校验算法添加到导出的数据中；将数据导入目标文件时，读取数据中的数据校验值和数据校验算法；采用所读取的数据校验算法对数据重新进行校验生成新的数据校验值；比较新的数据校验值与从数据中读取的数据校验值是否相同，若相同，则反馈导入过程数据一致，否则反馈导入过程数据不一致。
5.进一步地，该方法还包括：根据需要将元数据信息添加到导出的数据中。
6.进一步地，元数据信息包括数据卷名称、数据卷大小、数据卷类型、对象大小。
7.进一步地，将数据导入目标文件，采用所读取的数据校验算法对数据重新进行校验前，还包括以下步骤：判断数据中是否添加有元数据信息；若有元数据信息，则根据该元数据信息创建数据卷；若无元数据信息，则根据记录的原数据卷的信息创建数据卷。
8.本发明的技术方案还包括一种数据卷导入数据校验装置，包括，导出数据校验模块：将数据从原数据卷导出时，采用预设数据校验算法对数据进行校验生成数据校验值；信息添加模块：将所生成数据校验值、所采用数据校验算法添加到导出的数据中；信息读取模块：将数据导入目标文件时，读取数据中的数据校验值和数据校验算
法；导入数据校验模块：采用所读取的数据校验算法对数据重新进行校验生成新的数据校验值；一致性判断模块：比较新的数据校验值与从数据中读取的数据校验值是否相同，若相同，则反馈导入过程数据一致，否则反馈导入过程数据不一致。
9.进一步地，信息添加模块还根据需要将元数据信息添加到导出的数据中。
10.进一步地，元数据信息包括数据卷名称、数据卷大小、数据卷类型、对象（存储拆分对象）大小。
11.进一步地，该装置还包括，数据卷创建模块：判断数据中是否添加有元数据信息；若有元数据信息，则根据该元数据信息创建数据卷；若无元数据信息，则根据记录的原数据卷的信息创建数据卷。
12.本发明的技术方案还包括一种终端，包括：处理器；用于存储处理器的执行指令的存储器；其中，所述处理器被配置为执行上述任一项所述的方法。
13.本发明的技术方案还包括一种存储有计算机程序的计算机可读存储介质，该程序被处理器执行时实现上述任一项所述的方法。
14.本发明提供的一种数据卷导入数据校验方法、装置、终端及存储介质，在数据卷导入/导出过程中添加数据校验，同时将数据校验方法和数据校验值存入导出的数据文件中，一方面方便数据校验值的永久保存，另一方面，保证了在数据卷导入时数据的一致性，改善数据卷导入过程中数据校验的准确性和效率，从而提高存储系统的可靠性。
附图说明
15.图1是本发明具体实施例一方法流程示意图；图2是本发明具体实施例一导出文件数据格式示意图；图3是本发明具体实施例二结构示意框图。
具体实施方式
16.下面结合附图并通过具体实施例对本发明进行详细阐述，以下实施例是对本发明的解释，而本发明并不局限于以下实施方式。
17.实施例一如图1所示，本实施例提供一种数据卷导入数据校验方法，需要说明的是，这里的导入是指基于rbd客户端将数据卷中的数据导入特定的目标文件，实现数据卷的本地备份。
18.该方法包括以下步骤：s1，将数据从原数据卷导出时，采用预设数据校验算法对数据进行校验生成数据校验值；本实施例在数据导出时添加数据校验过程，生成数据校验值，为后续校验数据一致性提供依据。
19.s2，将所生成数据校验值、所采用数据校验算法添加到导出的数据中；
需要说明的是，导出的数据写入迁移文件中，在迁移文件中分配特定的空间用于存放步骤s1所生成的数据校验值和所采用的数据校验算法。
20.本实施例中，还根据需要将元数据信息添加到导出的数据中，即将元数据信息也添加到所分配的迁移文件的特定空间中。元数据信息为创建数据卷所需要的信息，包括数据卷名称、数据卷大小、数据卷类型、对象（指数据卷的存储拆分对象）大小等。若将数据导入目标文件时，用户需要创建与原数据卷（即数据所导出的数据卷）不同的数据卷以存放数据，即可添加元数据信息，后续根据元数据信息创建数据卷。
21.添加元数据信息的导出文件格式如图2所示，包括元数据部分、数据校验部分和数据部分。
22.s3，将数据导入目标文件时，读取数据中的数据校验值和数据校验算法；需要说明的是，在读取相关信息前，先创建数据卷以存放数据，具体包括：判断数据中是否添加有元数据信息；若有元数据信息，则根据该元数据信息创建数据卷；若无元数据信息，则根据记录的原数据卷的信息创建数据卷。
23.即根据是否定义了元数据信息，若定义了元数据信息则根据元数据信息创建数据卷；若未定义，则根据默认的原数据卷信息创建，需要说明的是，在从原数据卷导出数据时，默认会记录原数据卷的信息。
24.s4，采用所读取的数据校验算法对数据重新进行校验生成新的数据校验值；对导入的数据重新进行校验，以判断数据的一致性。
25.s5，比较新的数据校验值与从数据中读取的数据校验值是否相同，若相同，则反馈导入过程数据一致，否则反馈导入过程数据不一致；数据中已存储有导出时校验的数据校验值，导入时再次以相同数据校验算法进行校验，若新的数据校验值与之前导出时校验的数据校验值相同，则说明数据导入时保持一致，否则说明数据导入时未保持一致。
26.实施例二如图3所示，在实施例一基础上，本实施例提供一种数据卷导入数据校验装置，包括以下功能模块。
27.（1）导出数据校验模块101：将数据从原数据卷导出时，采用预设数据校验算法对数据进行校验生成数据校验值；本实施例在数据导出功能中添加数据校验过程，生成数据校验值，为后续校验数据一致性提供依据。
28.（2）信息添加模块102：将所生成数据校验值、所采用数据校验算法添加到导出的数据中；需要说明的是，导出的数据写入迁移文件中，在迁移文件中分配特定的空间用于存放导出数据校验模块101所生成的数据校验值和所采用的数据校验算法。
29.本实施例中，还根据需要将元数据信息添加到导出的数据中，即将元数据信息也添加到所分配的迁移文件的特定空间中。元数据信息为创建数据卷所需要的信息，包括数据卷名称、数据卷大小、数据卷类型、对象（指数据卷的存储拆分对象）大小等。若将数据导入目标文件时，用户需要创建与原数据卷（即数据所导出的数据卷）不同的数据卷以存放数
据，即可添加元数据信息，后续根据元数据信息创建数据卷。
30.添加元数据信息的导出文件格式如图2所示，包括元数据部分、数据校验部分和数据部分。
31.（3）数据卷创建模块103：判断数据中是否添加有元数据信息；若有元数据信息，则根据该元数据信息创建数据卷；若无元数据信息，则根据记录的原数据卷的信息创建数据卷；在将数据导入目标文件时，首先创建数据卷以存放数据，根据是否添加了元数据信息进行创建。
32.（4）信息读取模块104：将数据导入目标文件时，读取数据中的数据校验值和数据校验算法。
33.（5）导入数据校验模块105：采用所读取的数据校验算法对数据重新进行校验生成新的数据校验值；对导入的数据重新进行校验，以判断数据的一致性。
34.（6）一致性判断模块106：比较新的数据校验值与从数据中读取的数据校验值是否相同，若相同，则反馈导入过程数据一致，否则反馈导入过程数据不一致；数据中已存储有导出时校验的数据校验值，导入时再次以相同数据校验算法进行校验，若新的数据校验值与之前导出时校验的数据校验值相同，则说明数据导入时保持一致，否则说明数据导入时未保持一致。
35.实施例三本实施例提供一种终端，该终端包括处理器和存储器。
36.存储器用于存储处理器的执行指令。存储器可以由任何类型的易失性或非易失性存储终端或者它们的组合实现，如静态随机存取存储器（sram），电可擦除可编程只读存储器（eeprom），可擦除可编程只读存储器（eprom），可编程只读存储器（prom），只读存储器（rom），磁存储器，快闪存储器，磁盘或光盘。当存储器中的执行指令由处理器执行时，使得终端能够执行上述方法实施例中的部分或全部步骤。
37.处理器为存储终端的控制中心，利用各种接口和线路连接整个电子终端的各个部分，通过运行或执行存储在存储器内的软件程序和/或模块，以及调用存储在存储器内的数据，以执行电子终端的各种功能和/或处理数据。所述处理器可以由集成电路(integrated circuit，简称ic) 组成，例如可以由单颗封装的ic 所组成，也可以由连接多颗相同功能或不同功能的封装ic而组成。
38.实施例四本实施例提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可包括本发明提供的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体（英文：read
‑
only memory，简称：rom）或随机存储记忆体（英文：random access memory，简称：ram）等。
39.以上公开的仅为本发明的优选实施方式，但本发明并非局限于此，任何本领域的技术人员能思之的没有创造性的变化，以及在不脱离本发明原理前提下所作的若干改进和润饰，都应落在本发明的保护范围内。