智慧城市系统文件处理方法、装置、设备及介质与流程

本申请涉及智慧城市，尤其涉及一种智慧城市系统文件处理方法、装置、设备及介质。

背景技术：

1、在智慧城市系统中，传感器等硬件设备以及监测平台等软件设备每时每刻都在产生大量数据，智慧城市系统通常采用分布式存储系统存储这些大量数据，在这些大量数据中往往参杂着海量小文件，其特点是数据体积小、种类繁多、数据庞大，分布式存储系统在存储智慧城市系统产生的这些大量数据的过程中往往会忽略小文件存储时的性能，当海量小文件上传至分布式存储系统时，会增加数量块产生的数量以及元数据存储的压力。

2、为解决分布式存储系统对智慧城市系统中海量小文件进行存储时的性能问题，现有技术提出了基于数量块合并的小文件合并策略，也即通过数据块的合并达到减少元数据占用的内存资源，这种小文件合并策略由于数据块通常有数据大小限制，数据块的大小都是相等的，简单的数据块合并还是会浪费很多存储空间，而且对合并后的数据块进行常规操作存在一定限制，例如难以快速实现文件查找、读取、编辑、删除等常规操作。

技术实现思路

1、本申请提供了一种智慧城市系统文件处理方法、装置、设备及介质，用以解决现有技术在存储智慧城市系统产生的小文件时存在的存储空间浪费、常规操作复杂的问题，具体的，本申请提供的技术方案如下：

2、一方面，本申请提供了一种智慧城市系统文件处理方法，包括：

3、基于各个智慧城市系统小文件的文件特征，对各个智慧城市系统小文件进行分类得到各个目标智慧城市小文件分组；

4、针对每一目标智慧城市小文件分组，基于各个缓存队列的剩余缓存体积以及目标智慧城市小文件分组中各个智慧城市系统小文件的文件体积，将目标智慧城市小文件分组中的各个智慧城市系统小文件分别匹配到相应的缓存队列中；针对每一缓存队列，确定缓存队列的文件总体积不低于第一阈值时，将缓存队列中文件体积不低于第二阈值的智慧城市系统小文件加入合并队列；对合并队列中的智慧城市系统小文件进行合并得到合并后的智慧城市系统小文件；基于合并后的智慧城市系统小文件和目标智慧城市小文件分组中未合并的智慧城市系统小文件，生成目标智慧城市小文件集合。

5、另一方面，本申请提供了一种智慧城市系统文件处理装置，包括：

6、小文件分类模块，用于基于各个智慧城市系统小文件的文件特征，对各个智慧城市系统小文件进行分类得到各个目标智慧城市小文件分组；

7、小文件合并模块，用于针对每一目标智慧城市小文件分组，基于各个缓存队列的剩余缓存体积以及目标智慧城市小文件分组中各个智慧城市系统小文件的文件体积，将目标智慧城市小文件分组中的各个智慧城市系统小文件分别匹配到相应的缓存队列中；针对每一缓存队列，确定缓存队列的文件总体积不低于第一阈值时，将缓存队列中文件体积不低于第二阈值的智慧城市系统小文件加入合并队列；对合并队列中的智慧城市系统小文件进行合并得到合并后的智慧城市系统小文件；基于合并后的智慧城市系统小文件和目标智慧城市小文件分组中未合并的智慧城市系统小文件，生成目标智慧城市小文件集合。

8、另一方面，本申请提供了一种电子设备，包括存储器、处理器和存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述智慧城市系统文件处理方法。

9、另一方面，本申请提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令被处理器执行时实现上述智慧城市系统文件处理方法。

10、本申请的有益效果如下：

11、本申请通过对智慧城市系统小文件进行分类，并在分类后的目标智慧城市小文件分组内进行智慧城市系统小文件合并，可以降低合并后的智慧城市系统小文件集合的存储空间浪费，同时，可以提高合并后的智慧城市系统小文件集合中智慧城市系统小文件的可操作性。

12、本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地可以从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中特别指出的结构来实现和获得。

技术特征：

1.一种智慧城市系统文件处理方法，其特征在于，包括：

2.如权利要求1所述的智慧城市系统文件处理方法，其特征在于，基于各个智慧城市系统小文件的文件特征，对所述各个智慧城市系统小文件进行分类得到各个目标智慧城市小文件分组，包括：

3.如权利要求2所述的智慧城市系统文件处理方法，其特征在于，基于所述初始智慧城市小文件分组中的各个智慧城市系统小文件的文件内容特征，对所述初始智慧城市小文件分组中的各个智慧城市系统小文件进行二次分类得到各个目标智慧城市小文件分组，包括：

4.如权利要求1所述的智慧城市系统文件处理方法，其特征在于，基于合并后的所述智慧城市系统小文件和所述目标智慧城市小文件分组中未合并的所述智慧城市系统小文件，生成目标智慧城市小文件集合之后，还包括：

5.如权利要求1-4任一项所述的智慧城市系统文件处理方法，其特征在于，基于合并后的所述智慧城市系统小文件和所述目标智慧城市小文件分组中未合并的所述智慧城市系统小文件，生成目标智慧城市小文件集合之后，还包括：

6.如权利要求5所述的智慧城市系统文件处理方法，其特征在于，基于各个所述智慧城市系统小文件对应的所述目标哈希值和所述目标索引数据，对各个所述智慧城市系统小文件进行存储之后，还包括：

7.如权利要求5所述的智慧城市系统文件处理方法，其特征在于，基于各个所述智慧城市系统小文件对应的所述目标哈希值和所述目标索引数据，对各个所述智慧城市系统小文件进行存储，包括：

8.一种智慧城市系统文件处理装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-7任一项所述的智慧城市系统文件处理方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令被处理器执行时实现如权利要求1-7任一项所述的智慧城市系统文件处理方法。

技术总结
本申请公开了一种智慧城市系统文件处理方法、装置、设备及介质，应用于智慧城市技术领域，包括基于各个智慧城市系统小文件的文件特征，对各个智慧城市系统小文件进行分类得到各个目标智慧城市小文件分组；针对每一目标智慧城市小文件分组，将目标智慧城市小文件分组中的各个智慧城市系统小文件分别匹配到相应的缓存队列中；针对每一缓存队列，确定缓存队列的文件总体积不低于第一阈值时，将缓存队列中文件体积满足目标条件的智慧城市系统小文件加入合并队列；对合并队列中的智慧城市系统小文件进行合并得到目标智慧城市系统文件。这样，通过对小文件进行分组并按照分组进行合并，可以提高合并后的目标文件的可操作性，降低存储空间的浪费。

技术研发人员：李晨昊,陈浩,张致铨
受保护的技术使用者：中电信数字城市科技有限公司
技术研发日：
技术公布日：2024/3/17