一种数据移动方法、装置、设备及计算机可读存储介质与流程

本发明涉及数据处理，特别是涉及一种数据移动方法、装置、设备及计算机可读存储介质。

背景技术：

1、为了减少io（输入输出）路径上的系统内存拷贝，有许多技术在这方面做出了贡献。rdma（远程直接数据存取）技术可以减少数据的拷贝次数，但并不能做到零拷贝。如果该数据需要在dpu（数据处理器单元）中进行处理，然后在存储于nvme（专为非易失性存储设备设计的高性能接口标准）盘上。其需要从系统内存经过内存总线和外设总线拷贝数据到dpu，在dpu处理完成后，其又要拷贝数据到系统内存，然后再把数据从系统内存存储到nvme盘。整个过程系统内存要经过多次内存总线和外设总线，这将严重影响系统的性能。

2、可见，如何提高数据移动的效率，是本领域技术人员急需解决的技术问题。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种数据移动方法、装置、设备及计算机可读存储介质，解决了现有技术中数据移动慢的技术问题。

2、为解决上述技术问题，本发明提供了一种数据移动方法，包括：

3、获取不同类型的待移动数据，根据所述待移动数据的数据类型确定目标类；其中，每种类表示一类相同的操作，每种类对应的处理设备一致；

4、根据每个所述目标类对应的处理流程，确定目标流；其中，每种流表示一个类中能使用同一类处理设备并行处理的处理流程；

5、确定所述目标类和所述目标流对应的每个处理设备的处理资源；

6、将所述待移动数据直接发送至所述目标类下的所述目标流对应的第一个处理设备，以使所述第一个处理设备根据分配好的处理资源对所述待移动数据进行处理后，将处理后的待移动数据直接发送给下一个处理设备直接进行处理，当所有处理设备处理结束后，得到目标移动数据。

7、一方面，当所述目标类为文本类、图像类和视频类时，所述根据每个所述目标类对应的处理流程确定目标流，包括：

8、根据所述文本类对应的处理流程，确定第一目标流；其中，所述第一目标流包括文本清洗、分词处理和构建词汇表；

9、根据所述图像类对应的处理流程，确定第二目标流；其中，所述第二目标流包括第一格式转换和第一分辨率调整；

10、根据所述视频类对应的处理流程，确定第三目标流；其中，所述第三目标流包括抽帧、第二格式转换、第二分辨率调整和数组存储操作；所述数组存储操作是指将所有抽出来的视频帧按时间顺序，以数组的方式顺序存放；每个目标流对应的处理设备的数量根据需求确定。

11、一方面，在确定所述目标类和所述目标流对应的每个处理设备的处理资源之后，还包括：

12、当确定当前处理设备对应的处理资源无法满足处理所述目标类和所述目标流的资源需求时，确定对处理设备进行增加处理；

13、当确定当前处理设备中存在不使用的处理设备时，确定对不使用的处理设备进行删除。

14、一方面，确定所述目标类和所述目标流对应的每个处理设备的处理资源，包括：

15、确定当前目标类对应的处理设备；

16、根据每个处理设备对当前目标类下的流进行处理的时间，得到每个处理设备对应的处理时间比值；

17、基于所述处理时间比值确定每个处理设备上当前目标类下每个流的硬件资源份数；

18、基于当前目标类下每个流的硬件资源份数，确定每个处理设备的所述处理资源。

19、一方面，当所述处理设备包括网卡、数据处理器和存储设备时，将所述待移动数据直接发送至所述目标类下的所述目标流对应的第一个处理设备，以使所述第一个处理设备根据分配好的处理资源对所述待移动数据进行处理后，将处理后的待移动数据直接发送给下一个处理设备直接进行处理，当所有处理设备处理结束后，得到目标移动数据，包括：

20、将所述待移动数据直接发送至所述网卡；

21、利用所述网卡根据为网卡分配的处理资源，对当前目标类下的流进行并行处理，得到第一处理数据；

22、将所述第一处理数据直接发送至所述数据处理器；

23、利用所述数据处理器根据为数据处理器分配的处理资源，对当前数据处理器中，当前目标类下的流进行处理，得到第二处理数据；

24、将所述第二处理数据发送至所述存储介质；其中，所述存储介质为记录和存储数据的物理设备或媒介；

25、利用所述存储介质根据为存储介质分配的处理资源，对存储介质中当前目标类下的流进行存储，得到所述目标移动数据。

26、一方面，上述数据移动方法，还包括：

27、对整个数据移动过程进行监控，当确定数据移动完毕时，确定是否移动成功；

28、当未移动成功时，确定出错码、出错位置和出错原因；其中，所述出错位置包括出错类、出错流和出错处理设备。

29、一方面，在确定出错码、出错位置和出错原因之后，还包括：

30、根据所述出错位置和所述出错原因确定当前问题是否存在对应的修复策略；

31、当存在修复策略时，确定基于所述修复策略进行修复，当修复成功后，重新执行该数据移动请求；

32、当不存在修复策略时，将出错码发给用户。

33、本发明实施例提供了一种数据移动方法，包括：

34、目标类确定模块，用于获取不同类型的待移动数据，根据所述待移动数据的数据类型确定目标类；其中，每种类表示一类相同的操作，每种类对应的处理设备一致；

35、目标流确定模块，用于根据每个所述目标类对应的处理流程，确定目标流；其中，每种流表示一个类中能使用同一类处理设备并行处理的处理流程；

36、处理资源确定模块，用于确定所述目标类和所述目标流对应的每个处理设备的处理资源；

37、目标移动数据确定模块，用于将所述待移动数据直接发送至所述目标类下的所述目标流对应的第一个处理设备，以使所述第一个处理设备根据分配好的处理资源对所述待移动数据进行处理后，将处理后的待移动数据直接发送给下一个处理设备直接进行处理，当所有处理设备处理结束后，得到目标移动数据。

38、本发明实施例还提供了一种数据移动设备，包括：

39、存储器，用于存储计算机程序；

40、处理器，用于执行所述计算机程序以实现如上述数据移动方法的步骤。

41、本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述数据移动方法的步骤。

42、本发明还提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述数据移动方法的步骤。

43、本发明实施例的目的是提供一种数据移动方法、装置、设备及计算机可读存储介质，可以解决数据移动效率低的技术问题。

44、为解决上述技术问题，本发明实施例提供了一种数据移动方法可以包括：

45、获取不同类型的待移动数据，根据待移动数据的数据类型确定目标类；其中，每种类表示一类相同的操作，每种类对应的处理设备一致；根据每个目标类对应的处理流程，确定目标流；其中，每种流表示一个类中能使用同一类处理设备并行处理的处理流程；确定目标类和目标流对应的每个处理设备的处理资源；将待移动数据直接发送至目标类下的目标流对应的第一个处理设备，以使第一个处理设备根据分配好的处理资源对待移动数据进行处理后，将处理后的待移动数据直接发送给下一个处理设备直接进行处理，当所有处理设备处理结束后，得到目标移动数据。

46、由上述技术方案可以看出，本发明的有益效果在于：和当前需要利用内存总线和外设总线进行传输处理相比，本发明通过确定待移动数据对应的目标类和目标流，进而根据目标类和目标流确定对应的处理设备资源，从而在数据处理时，可以直接根据分配好的处理设备资源对数据直接进行处理，无需利用内存总线和外设总线进行传输，从而减少了资源使用，提高了数据移动的效率和整个存储系统的性能。