一种冷文件查找方法、装置、电子设备及存储介质与流程

本申请涉及计算机，尤其涉及一种冷文件查找方法、装置、电子设备及存储介质。

背景技术：

1、在实际应用中，分布式文件系统中的文件数量都是在千万级甚至上亿级，大量文件的堆积会使得分布式文件系统的稳定性变差，特别是存在许多不再使用或者不常使用的冷文件时，占用了分布式文件系统的大量内存空间，进一步影响存储系统的稳定性。

2、针对上述问题，现有技术通常是利用遍历文件列表的方法来递归整个分布式文件系统的目录结构树来获取所有的文件列表，由此确定所有文件列表中的冷文件列表，从而查找出冷文件在分布式文件系统中的存储位置。

3、然而，遍历文件列表的方法在查找冷文件时，会影响系统正常数据业务的实施情况，且查找效率不高。

技术实现思路

1、本申请提供一种冷文件查找方法、装置、电子设备及存储介质，用以解决在冷文件查找过程中，限制系统正常数据业务实施以及查找效率不高的问题。

2、第一方面，本申请提供一种冷文件查找方法，包括：

3、接收文件拷贝指令；

4、根据文件拷贝指令，将待定位集群的存储文件发送至目标集群，其中，待定位集群和目标集群为分布式文件系统中各个服务器的集合，待定位集群为目标对象正在使用的集群，目标集群为处于空闲状态、且与目标对象不具有使用关系的集群；

5、控制目标集群对存储文件的数据结构进行转换，得到目标文件；

6、根据目标文件，构建映射文件，映射文件用于存储目标文件与目标文件的访问时间的对应关系；

7、根据目标文件的访问时间，从映射文件中确定冷文件列表；

8、根据冷文件列表，得到冷文件的地址。

9、在本申请实施例中，在根据文件拷贝指令，将待定位集群的存储文件发送至目标集群之前，该方法还包括：

10、接收目标对象发送的文件读取指令；

11、根据文件读取指令，确定与目标对象具有使用关系的待定位集群；

12、根据待定位集群，确定分布式文件系统中其他集群；

13、确定待定位集群的地址信息和其他集群的地址信息；

14、根据待定位集群的地址信息和其他集群的地址信息，确定其他集群中的目标集群，目标集群的地址信息与待定位集群的地址信息满足预设地址要求。

15、在本申请实施例中，根据文件拷贝指令，将待定位集群的存储文件发送至目标集群，包括：

16、根据文件拷贝指令，确定待定位集群的存储文件；

17、根据待定位集群的存储文件，得到副本存储文件；

18、根据目标集群的地址信息，将待定位集群的副本存储文件发送至目标集群。

19、在本申请实施例中，控制目标集群对存储文件的数据结构进行转换，得到目标文件，包括：

20、根据存储文件，确定存储文件的文件属性信息和文件存储信息；

21、构建对象输入流；

22、通过对象输入流读取文件属性信息和文件存储信息，得到目标文件。

23、在本申请实施例中，根据目标文件，构建映射文件，包括：

24、确定目标文件的路径、目标文件的访问时间、以及目标文件的路径和目标文件的访问时间的对应关系；

25、将目标文件的路径和目标文件的访问时间的对应关系写入预先构建的文件映射数据库，得到映射文件。

26、在本申请实施例中，根据目标文件的访问时间，从映射文件中确定冷文件列表，包括：

27、确定预设的冷文件访问时间；

28、根据冷文件访问时间，查询映射文件，得到冷文件列表。

29、在本申请实施例中，根据冷文件访问时间，查询映射文件，得到冷文件列表，包括：

30、根据冷文件访问时间，构建映射文件查询语句；

31、根据映射文件查询语句，查询映射文件，确定冷文件存储信息；

32、根据冷文件存储信息，生成冷文件列表。

33、第二方面，本申请提供一种冷文件查找装置，包括：

34、接收模块，用于接收文件拷贝指令；

35、发送模块，用于根据文件拷贝指令，将待定位集群的存储文件发送至目标集群，其中，待定位集群和目标集群为分布式文件系统中各个服务器的集合，待定位集群为目标对象正在使用的集群，目标集群为处于空闲状态、且与目标对象不具有使用关系的集群；

36、转换模块，用于控制目标集群对存储文件的数据结构进行转换，得到目标文件；

37、第一确定模块，用于根据目标文件，构建映射文件，映射文件用于存储目标文件与目标文件的访问时间的对应关系；

38、第二确定模块，用于根据目标文件的访问时间，从映射文件中确定冷文件列表；

39、得到模块，用于根据冷文件列表，得到冷文件的地址。

40、第三方面，本申请提供了一种电子设备，包括：处理器，以及与处理器通信连接的存储器；

41、存储器存储计算机执行指令；

42、处理器执行存储器存储的计算机执行指令，以实现本申请实施例的冷文件查找方法。

43、第四方面，一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现本申请实施例的冷文件查找方法。

44、本申请提供的一种冷文件查找方法、装置、电子设备及存储介质，通过接收文件拷贝指令；根据文件拷贝指令，将待定位集群的存储文件发送至目标集群，其中，待定位集群和目标集群为分布式文件系统中各个服务器的集合，待定位集群为目标对象正在使用的集群，目标集群为处于空闲状态、且与目标对象不具有使用关系的集群；控制目标集群对存储文件的数据结构进行转换，得到目标文件；根据目标文件，构建映射文件，映射文件用于存储目标文件与目标文件的访问时间的对应关系；根据目标文件的访问时间，从映射文件中确定冷文件列表；根据冷文件列表，得到冷文件的地址的手段，使得查找冷文件的过程在目标集群上进行，不会影响到系统正常数据业务的实施情况，从而在查找过程中保护了系统的存储数据不被损坏，同时，通过冷文件的访问时间，实现了快速查找冷文件的效果。

技术特征：

1.一种冷文件查找方法，其特征在于，应用于分布式文件系统，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，在所述根据所述文件拷贝指令，将待定位集群的存储文件发送至目标集群之前，所述方法还包括：

3.根据权利要求1所述的方法，其特征在于，所述根据所述文件拷贝指令，将待定位集群的存储文件发送至目标集群，包括：

4.根据权利要求1所述的方法，其特征在于，所述控制所述目标集群对所述存储文件的数据结构进行转换，得到目标文件，包括：

5.根据权利要求1所述的方法，其特征在于，所述根据所述目标文件，构建映射文件，包括：

6.根据权利要求1所述的方法，其特征在于，所述根据所述目标文件的访问时间，从所述映射文件中确定冷文件列表，包括：

7.根据权利要求6所述的方法，其特征在于，所述根据所述冷文件访问时间，查询所述映射文件，得到所述冷文件列表，包括：

8.一种冷文件查找装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至7任一项所述的冷文件查找方法。

技术总结
本申请提供一种冷文件查找方法、装置、电子设备及存储介质。该方法包括：接收文件拷贝指令；根据文件拷贝指令，将待定位集群的存储文件发送至目标集群，其中，待定位集群和目标集群为分布式文件系统中各个服务器的集合；控制目标集群对存储文件的数据结构进行转换，得到目标文件；根据目标文件，构建映射文件，映射文件用于存储目标文件与目标文件的访问时间的对应关系；根据目标文件的访问时间，从映射文件中确定冷文件列表；根据冷文件列表，得到冷文件的地址。本申请的方法，可以在不影响文件系统数据的情况下，快速查找出冷文件的存储位置，为文件系统处理冷文件提供了位置支持，从而提高了文件处理效率以及分布式文件系统的稳定性。

技术研发人员：穆纯进,姜雨彤,王云朋,霍勇杰,李振豪,张逸明,郝树运,冯佳佳,茅矛
受保护的技术使用者：中国联合网络通信集团有限公司
技术研发日：
技术公布日：2024/2/6