目录分布方法、电子设备及计算机可读存储介质

本申请属于数据存储，涉及一种目录分布方法、电子设备及计算机可读存储介质。

背景技术：

1、目前，随着移动互联网应用和科学计算应用的高速发展，数据爆炸式增长，日益增长的数据量要求底层的分布式文件系统能够支撑大规模的文件数量和包含海量文件的大目录，因此，如何实现多元数据节点间高效的目录分布，是目前分布式文件系统设计亟需解决的问题。当前在单目录划分模式下，通过giga+(generalized infinitesimal gradientascent，梯度上升算法)将目录划分为固定大小的目录分块，将各目录分块扩展到多元数据节点上，并通过跨节点位图存储各元数据节点中的目录块，从而实现在多元数据节点存储目录，且通过跨节点位图实现对目录块的查找，但由于是对固定大小的目录分块进行存储，进而难以权衡目录块的大小，若划分的目录块过小，当目录不断增大时目录块的数量会不断增多导致跨节点位图过大从而影响目录块的查询效率，若划分的目录块过大，则在目录块内查询数据时效率低下，且在目录块分块存储时由于目录块过大需迁移存储的数据也会增多也会影响目录的分裂存储效率。所以，在存储海量数据时，由于在分布式文件系统的各元数据节点上创建目录时，难以权衡存储的目录块大小导致的分布式文件系统中目录的创建不够高效的技术问题。

2、上述内容仅用于辅助理解本申请技术方案，并不代表承认上述内容为现有技术。

技术实现思路

1、本申请的主要目的在于提供一种目录分布方法、电子设备及计算机可读存储介质，旨在解决分布式文件系统中目录创建不够高效的技术问题。

2、为实现上述目的，本申请提供一种目录分布方法，应用于分布式文件系统，所述目录分布方法包括：

3、响应于目录项创建指令，在所述分布式文件系统中启动目录创建流程；

4、其中，所述目录创建流程为：基于跳跃一致性哈希算法在所述分布式文件系统的虚拟集合的虚拟目录中插入待创建目录项，若所述虚拟目录的存储量大于预设存储阈值，则判断所述分布式文件系统中所述虚拟集合的集合数量是否小于预设集合阈值；

5、若是，则从所述虚拟集合中分裂出新目录集合，并为所述新目录集合分配元数据节点以在所述新目录集合中进行目录存储；

6、若否，则判断所述虚拟目录的目录数量是否小于预设目录阈值；

7、若所述目录数量小于所述预设目录阈值，则基于所述虚拟目录所在的所述虚拟集合的全局位图进行目录分裂，其中，所述目录分裂为对所述虚拟目录进行分裂；

8、若所述目录数量大于或等于所述预设目录阈值，则控制目录扩展和目录分裂交替进行，其中，所述目录扩展为扩展所述虚拟目录的存储量。

9、为实现上述目的，本申请提供一种目录创建装置，所述目录创建装置包括：

10、响应模块，用于响应于目录项创建指令，在所述分布式文件系统中启动目录创建流程；

11、第一判断模块，用于其中，所述目录创建流程为：基于跳跃一致性哈希算法在所述分布式文件系统的虚拟集合的虚拟目录中插入待创建目录项，若所述虚拟目录的存储量大于预设存储阈值，则判断所述分布式文件系统中所述虚拟集合的集合数量是否小于预设集合阈值；

12、集合分裂模块，用于若是，则从所述虚拟集合中分裂出新目录集合，并为所述新目录集合分配元数据节点以在所述新目录集合中进行目录存储；

13、第二判断模块，用于若否，则判断所述虚拟目录的目录数量是否小于预设目录阈值；

14、目录分裂模块，用于若所述目录数量小于所述预设目录阈值，则基于所述虚拟目录所在的所述虚拟集合的全局位图进行目录分裂，其中，所述目录分裂为对所述虚拟目录进行分裂；

15、交替分裂模块，用于若所述目录数量大于或等于所述预设目录阈值，则控制目录扩展和目录分裂交替进行，其中，所述目录扩展为扩展所述虚拟目录的存储量。

16、本申请还提供一种电子设备，所述电子设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的所述目录分布方法的程序，所述目录分布方法的程序被处理器执行时可实现如上述的目录分布方法的步骤。

17、本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有实现目录分布方法的程序，所述目录分布方法的程序被处理器执行时实现如上述的目录分布方法的步骤。

18、本申请还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述的目录分布方法的步骤。

19、本申请提供了一种目录分布方法、电子设备及计算机可读存储介质，本申请通过在分布式文件系统中创建待创建目录项时，对分布式文件系统中虚拟集合的虚拟目录进行存储量大小的判断，进而虚拟目录的存储量大于预设存储阈值，且虚拟集合的集合数量小于预设集合阈值时对虚拟集合进行分裂，并在分布式文件系统中为分裂产生的新目录集合分配元数据节点，以将所述待创建目录项存储至新目录集合中，从而在当有新的目录项需要插入，虚拟目录的存储量达到预设存储阈值而分布式文件系统中的虚拟集合的数量未到达预设集合阈值时，可以分裂虚拟集合，并为分裂产生的新目录集合分配元数据节点以在新目录集合中进行目录存储，从而避免一直将待创建目录项插入到同一个虚拟集合中，实现可以在各虚拟集合中插入待创建目录项，从而实现在各元数据节点间插入待创建目录项，进而实现在各元数据节点上进行目录存储。

20、进一步的，在虚拟目录的存储量达到预设存储阈值而虚拟集合数量大于或等于预设集合阈值，且虚拟目录的目录数量小于预设目录阈值时，可以基于虚拟集合的全局位图对虚拟集合中虚拟目录进行分裂，从而可以扩大虚拟集合的存储空间以存储大量的数据，进一步的，当虚拟集合中的目录数量大于或等于与预设目录阈值时，则控制目录扩展和目录分裂交替进行，实现虚拟目录的大小扩展和虚拟目录的数量增加交替进行，从而避免虚拟集合中的虚拟目录的数量过多导致虚拟集合的全局位图过大，避免因全局位图过大导致的虚拟目录分裂效率低，进而导致目录创建效率低的问题，所以本申请通过对虚拟集合进行分裂以实现在各元数据节点存储数据，并在虚拟集合的集合数量达到预设集合阈值时对虚拟集合中的虚拟目录进行分裂进而在虚拟目录的目录数量达到预设目录阈值时控制目录扩展和目录分裂交替进行，从而实现分布式文件系统中虚拟目录数量和虚拟目录大小自适应增长，解决分布式文件系统中因难以权衡目录数量和目录大小导致的目录创建不够高效的技术问题。

技术特征：

1.一种目录分布方法，其特征在于，应用于分布式文件系统，所述目录分布方法包括：

2.如权利要求1所述的目录分布方法，其特征在于，所述在所述分布式文件系统的虚拟集合的虚拟目录中创建待创建目录项的步骤包括：

3.如权利要求2所述的目录分布方法，其特征在于，所述根据所述待创建目录项的创建名称以及所述集合数量，确定所述待创建目录项所在的虚拟目录的步骤包括：

4.如权利要求1所述的目录分布方法，其特征在于，所述从所述虚拟集合中分裂出新目录集合，并为所述新目录集合分配元数据节点以在所述新目录集合中进行目录存储的步骤包括：

5.如权利要求1所述的目录分布方法，其特征在于，所述基于所述虚拟目录所在的所述虚拟集合的全局位图进行目录分裂的步骤包括：

6.如权利要求1所述的目录分布方法，其特征在于，所述控制目录扩展和目录分裂交替进行的步骤包括：

7.如权利要求1-6任一项所述的目录分布方法，其特征在于，在所述分布式文件系统中分裂所述虚拟集合的步骤之后，所述目录分布方法还包括：

8.如权利要求1所述的目录分布方法，其特征在于，在所述响应于目录项创建指令，在分布式文件系统中启动目录创建流程的步骤之后，所述目录分布方法还包括：

9.一种电子设备，其特征在于，所述电子设备包括：

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有实现目录分布方法的程序，所述实现目录分布方法的程序被处理器执行以实现如权利要求1至8中任一项所述目录分布方法的步骤。

技术总结
本申请为数据存储领域，公开了一种目录分布方法、电子设备及计算机可读存储介质，包括：基于跳跃一致性哈希算法在分布式文件系统的虚拟集合的虚拟目录中插入待创建目录项，若虚拟目录的存储量大于预设存储阈值，则判断分布式文件系统中虚拟集合的集合数量是否小于预设集合阈值；若是则从虚拟集合中分裂出新目录集合并为新目录集合分配元数据节点；若否则判断虚拟目录的目录数量是否小于预设目录阈值；若目录数量小于预设目录阈值则基于虚拟目录所在的虚拟集合的全局位图进行目录分裂；若目录数量大于或等于预设目录阈值则控制目录扩展和目录分裂交替进行分裂。本申请旨在解决分布式文件系统中目录创建不够高效的技术问题。

技术研发人员：胡泽杰,罗嘉文,刘志勇,陈志广,卢宇彤
受保护的技术使用者：中山大学
技术研发日：
技术公布日：2024/1/16