数据交互方法、装置、计算机设备和存储介质与流程

本技术涉及大数据，特别是涉及一种数据交互方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术：

1、随着大数据技术的发展，元数据的概念逐渐被广泛应用。元数据主要记录了数据的大小、上传时间以及所在位置等索引信息。因此，通过元数据可以精准查找得到目标数据，从而实现对目标数据的高效交互。目前，为了便于对元数据的存储及使用，数据存储网关通常会通过一个关系型数据库来管理全部元数据。

2、然而，采用这种方式在存储元数据的关系型数据库发生故障不可用的情况下，会导致整个系统的元数据都无法访问，极大地影响了数据的检索和使用；现有技术中，通常会对元数据进行备份，用于在关系型数据发生故障时可以及时利用备份的元数据进行检索和使用。然而，元数据的备份过程会消耗极大的存储资源和时间，且备份的完整性无法保证，因此无法满足实际需求。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种数据交互方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

2、第一方面，本技术提供了一种数据交互方法。所述方法包括：

3、响应于对存储集群中的目标数据的交互请求，在元数据中心存在异常的情况下，利用所述交互请求中携带的所述目标数据的标识信息，从与所述元数据中心相对应的备份数据中匹配与所述标识信息对应的目标合并文件标识信息；

4、利用所述合并文件标识信息对应的记录信息，确定所述目标数据的元数据；其中，所述记录信息包括合并文件中存储的数据的标识信息以及所述存储的数据的元数据；

5、根据所述目标数据的元数据，对所述存储集群中的目标数据进行交互操作。

6、在其中一个实施例中，所述在元数据中心存在异常的情况下，利用所述交互请求中携带的所述目标数据的标识信息，从与所述元数据中心相对应的备份数据中匹配与所述标识信息对应的目标合并文件标识信息，包括：

7、在元数据中心存在异常的情况下，确定所述交互请求的交互类型；

8、在所述交互类型为增量读写请求的情况下，将所述交互请求的交互地址切换到预设的目标地址中，并进行相应的交互操作；

9、在所述交互类型为存量读写请求的情况下，利用所述交互请求中携带的所述目标数据的标识信息，从与所述元数据中心相对应的备份数据中匹配与所述标识信息对应的目标合并文件标识信息。

10、在其中一个实施例中，所述方法还包括：

11、在未匹配到所述合并文件标识信息的情况下，依次对各存储集群中的各数据池进行遍历，查找所述目标数据对应的数据文件，并对所述目标数据进行相应的交互操作。

12、在其中一个实施例中，所述目标数据包括单个或多个，所述依次对各存储集群中的各数据池进行遍历，查找所述目标数据对应的数据文件，包括：

13、对各存储集群中的各数据池进行全排列处理，达到多个队列，并为各所述队列分别建立遍历线程；

14、利用各所述遍历线程，查找各所述目标数据对应的数据文件。

15、在其中一个实施例中，生成所述元数据中心相对应的备份数据，包括：

16、定期从所述元数据中心获取各数据与合并文件的关联关系；

17、将所述关联关系存储到预设的静态元数据中。

18、在其中一个实施例中，生成所述合并文件，包括：

19、获取待合并的数据文件；

20、将所述数据文件中的数据存储到目标合并文件中，并建立所述目标合并文件的记录信息；

21、在所述合并文件存储的数据量达到预设阈值的情况下，将所述合并文件存储到预设的存储集群中。

22、第二方面，本技术还提供了一种数据交互装置。所述装置包括：

23、合并文件匹配模块，用于响应于对存储集群中的目标数据的交互请求，在元数据中心存在异常的情况下，利用所述交互请求中携带的所述目标数据的标识信息，从与所述元数据中心相对应的备份数据中匹配与所述标识信息对应的目标合并文件标识信息；

24、元数据确定模块，用于利用所述合并文件标识信息对应的记录信息，确定所述目标数据的元数据；其中，所述记录信息包括合并文件中存储的数据的标识信息以及所述存储的数据的元数据；

25、交互操作模块，用于根据所述目标数据的元数据，对所述存储集群中的目标数据进行交互操作。

26、在其中一个实施例中，所述合并文件匹配模块，包括：

27、交互类型确定子模块，用于在元数据中心存在异常的情况下，确定所述交互请求的交互类型；

28、交互操作子模块，用于在所述交互类型为增量读写请求的情况下，将所述交互请求的交互地址切换到预设的目标地址中，并进行相应的交互操作；

29、合并文件匹配子模块，用于在所述交互类型为存量读写请求的情况下，利用所述交互请求中携带的所述目标数据的标识信息，从与所述元数据中心相对应的备份数据中匹配与所述标识信息对应的目标合并文件标识信息。

30、在其中一个实施例中，所述交互操作模块，还用于：

31、在未匹配到所述合并文件标识信息的情况下，依次对各存储集群中的各数据池进行遍历，查找所述目标数据对应的数据文件，并对所述目标数据进行相应的交互操作。

32、在其中一个实施例中，所述目标数据包括单个或多个，所述交互操作模块，包括：

33、线程建立子模块，用于对各存储集群中的各数据池进行全排列处理，达到多个队列，并为各所述队列分别建立遍历线程；

34、文件查找子模块，用于利用各所述遍历线程，查找各所述目标数据对应的数据文件。

35、在其中一个实施例中，所述装置，还包括：

36、关联关系获取模块，用于定期从所述元数据中心获取各数据与合并文件的关联关系；

37、关联关系存储模块，用于将所述关联关系存储到预设的静态元数据中。

38、在其中一个实施例中，所述装置，还包括：

39、数据文件模块，用于获取待合并的数据文件；

40、数据文件合并模块，用于将所述数据文件中的数据存储到目标合并文件中，并建立所述目标合并文件的记录信息；

41、合并文件存储模块，用于在所述合并文件存储的数据量达到预设阈值的情况下，将所述合并文件存储到预设的存储集群中。

42、第三方面，本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如本公开实施例任一项所述的数据交互方法。

43、第四方面，本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如本公开实施例任一项所述的数据交互方法。

44、第五方面，本技术还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如本公开实施例任一项所述的数据交互方法。

45、上述数据交互方法、装置、计算机设备、存储介质和计算机程序产品，在元数据中心存在异常的情况下，匹配交互请求对应的合并文件标识，并利用合并文件标识对应的记录信息，确定目标数据的元数据，根据所述元数据，对存储集群中的目标数据进行交互操作。在元数据中心出现异常的情况下，通过交互请求中携带的目标数据标识信息，从备份数据中匹配目标合并文件的标识信息并根据合并文件标识的记录信息，可以有效地恢复和识别目标数据的元数据。这种方法确保了即使在元数据中心失效的情况下，存储集群仍能保持快速对目标数据的访问和交互，提升了系统的可靠性和数据恢复能力，确保了业务连续性和数据完整性。同时，通过利用记录信息进行元数据的恢复，降低了数据丢失的风险，为存储管理提供了更为安全的保障。