一种数据导出方法、装置、电子设备及存储介质与流程

本发明涉及数据导出，特别是涉及一种数据导出方法、一种数据导出装置、一种电子设备以及一种计算机可读存储介质。

背景技术：

1、hbase是一种大数据领域常用的分布式的、面向列的开源数据库，在hbase表数据迁移时，通常采用snapshot迁移，又称快照迁移，快照迁移具有简单、易操作、对生产集群影响小的优势，相当于将源集群表完全拷贝一份到目标集群中，但同时，也会给某些特殊场景下的表数据迁移带来一些问题，如在跨版本和跨平台场景下，因为hbase的版本、平台和自研特性等的差异，会导致表的元数据信息不兼容，从而表数据自源集群导出后，在目标集群中不可用的情况。

2、因此，如何进行针对表数据的快照迁移是本领域内技术人员需要克服的问题。

技术实现思路

1、本发明实施例是提供一种数据导出方法、装置、电子设备以及计算机可读存储介质，以解决元数据信息不兼容的情况下如何进行快照迁移的问题。

2、本发明实施例公开了一种数据导出方法，应用于目标集群，所述目标集群具有对应的初始集群，所述初始集群用于，确定待发送数据，以及针对所述待发送数据的快照导出脚本参数；基于所述快照导出脚本参数构建针对所述待发送数据的快照元数据；所述快照元数据包括针对用于表达所述目标集群和所述初始集群之间排他性的指定配置文件；向所述目标集群发送所述快照元数据，可以包括：

3、接收所述快照元数据；

4、当所述目标集群通过所述快照导出脚本参数导出所述待发送数据，且通过所述指定配置文件判定所述快照元数据不兼容时，基于所述指定配置文件从所述快照元数据中确定出可用快照元数据；

5、导出所述可用快照元数据，以生成与所述可用快照元数据对应的目标待发送数据。

6、可选地，所述快照导出脚本参数可以包括：针对所述待发送数据的表名信息和认证信息，以及针对所述目标集群的互联网协议地址信息和导出路径信息。

7、可选地，所述快照元数据具有对应的第一快照表，所述基于所述指定配置文件从所述快照元数据中确定出可用快照元数据的步骤可以包括：

8、采用所述指定配置文件和所述第一快照表构建针对所述可用快照元数据的第二快照表；

9、基于所述第二快照表从所述快照元数据中确定出可用快照元数据。

10、可选地，还可以包括：

11、基于所述导出路径信息确定针对所述快照元数据的目录层级；

12、将所述可用快照元数据保存于所述目录层级。

13、可选地，所述初始集群和所述目标集群为分布式数据库hbase，所述快照元数据包括数据显示文件，还可以包括：

14、当所述目标集群通过所述快照导出脚本参数导出所述待发送数据，且通过所述指定配置文件判定所述快照元数据兼容时，读取所述数据显示文件；所述数据显示文件包括区域信息region，和，针对所述待发送数据的底层数据单元文件信息hfile；

15、基于所述区域信息region和所述底层数据单元文件信息hfile导出所述待发送数据。

16、本发明实施例还公开了一种数据导出方法，应用于初始集群，所述初始集群具有对应的目标集群，可以包括：

17、确定待发送数据，以及针对所述待发送数据的快照导出脚本参数；

18、基于所述快照导出脚本参数构建针对所述待发送数据的快照元数据；所述快照元数据包括针对用于表达所述目标集群和所述初始集群之间排他性的指定配置文件；

19、向所述目标集群发送所述快照元数据，所述目标集群用于接收所述快照元数据；当所述目标集群通过所述快照导出脚本参数导出所述待发送数据，且通过所述指定配置文件判定所述快照元数据不兼容时，基于所述指定配置文件从所述快照元数据中确定出可用快照元数据；导出所述可用快照元数据，以生成与所述可用快照元数据对应的目标待发送数据。

20、本发明实施例还公开了一种数据导出装置，应用于目标集群，所述目标集群具有对应的初始集群，所述初始集群用于，确定待发送数据，以及针对所述待发送数据的快照导出脚本参数；基于所述快照导出脚本参数构建针对所述待发送数据的快照元数据；所述快照元数据包括针对用于表达所述目标集群和所述初始集群之间排他性的指定配置文件；向所述目标集群发送所述快照元数据，可以包括：

21、快照元数据接收模块，用于接收所述快照元数据；

22、可用快照元数据确定模块，用于当所述目标集群通过所述快照导出脚本参数导出所述待发送数据，且通过所述指定配置文件判定所述快照元数据不兼容时，基于所述指定配置文件从所述快照元数据中确定出可用快照元数据；

23、可用快照元数据导出模块，用于导出所述可用快照元数据，以生成与所述可用快照元数据对应的目标待发送数据。

24、可选地，所述快照导出脚本参数可以包括：针对所述待发送数据的表名信息和认证信息，以及针对所述目标集群的互联网协议地址信息和导出路径信息。

25、可选地，所述快照元数据具有对应的第一快照表，所述可用快照元数据确定模块可以包括：

26、第二快照表构建子模块，用于采用所述指定配置文件和所述第一快照表构建针对所述可用快照元数据的第二快照表；

27、可用快照元数据确定子模块，用于基于所述第二快照表从所述快照元数据中确定出可用快照元数据。

28、可选地，还可以包括：

29、目录层级确定模块，用于基于所述导出路径信息确定针对所述快照元数据的目录层级；

30、可用快照元数据保存模块，用于将所述可用快照元数据保存于所述目录层级。

31、可选地，所述初始集群和所述目标集群为分布式数据库hbase，所述快照元数据包括数据显示文件，还可以包括：

32、数据显示文件读取模块，用于当所述目标集群通过所述快照导出脚本参数导出所述待发送数据，且通过所述指定配置文件判定所述快照元数据兼容时，读取所述数据显示文件；所述数据显示文件包括区域信息region，和，针对所述待发送数据的底层数据单元文件信息hfile；

33、待发送数据导出模块，用于基于所述区域信息region和所述底层数据单元文件信息hfile导出所述待发送数据。

34、本发明实施例还公开了一种数据导出装置，应用于初始集群，所述初始集群具有对应的目标集群，可以包括：

35、待发送数据确定模块，用于确定待发送数据，以及针对所述待发送数据的快照导出脚本参数；

36、快照元数据构建模块，用于基于所述快照导出脚本参数构建针对所述待发送数据的快照元数据；所述快照元数据包括针对用于表达所述目标集群和所述初始集群之间排他性的指定配置文件；

37、快照元数据发送模块，用于向所述目标集群发送所述快照元数据，所述目标集群用于接收所述快照元数据；当所述目标集群通过所述快照导出脚本参数导出所述待发送数据，且通过所述指定配置文件判定所述快照元数据不兼容时，基于所述指定配置文件从所述快照元数据中确定出可用快照元数据；导出所述可用快照元数据，以生成与所述可用快照元数据对应的目标待发送数据。

38、本发明实施例还公开了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口以及所述存储器通过所述通信总线完成相互间的通信；

39、所述存储器，用于存放计算机程序；

40、所述处理器，用于执行存储器上所存放的程序时，实现如本发明实施例所述的方法。

41、本发明实施例还公开了一种计算机可读存储介质，其上存储有指令，当由一个或多个处理器执行时，使得所述处理器执行如本发明实施例所述的方法。

42、本发明实施例包括以下优点：

43、本发明实施例，通过接收所述快照元数据；当所述目标集群通过所述快照导出脚本参数导出所述待发送数据，且通过所述指定配置文件判定所述快照元数据不兼容时，基于所述指定配置文件从所述快照元数据中确定出可用快照元数据；导出所述可用快照元数据，以生成与所述可用快照元数据对应的目标待发送数据，从而实现了在元数据信息不兼容的情况下针对表数据进行快照迁移，提升了快照迁移的可用性。