面向城市片区多格式数据分类存储方法及装置与流程

本申请涉及分布式存储，尤其涉及一种面向城市片区多格式数据分类存储方法及装置。

背景技术：

1、随着城市化进程的加速，城市更新和未来社区已成为城市发展的重要方向之一。在系统建设过程中需要保存大量的数据，不但涉及到多种格式的数据，就连数据的业务分类也是多种多样的，例如城市规划、建筑设计、施工管理以及社区运营管理等，在过程中会产生大量各种格式的数据，例如：文档、图片、ppt、pdf、模型、视频、业务数据、资产数据等，虽然目前有通用的对象存储技术(例如：数据湖、阿里云oss等)可以统一保存这些数据，但是没办法根据数据的类型、格式以及业务场景进行自动整理分类，客户端要自行记录存储位置，复杂度高，很难分类，而且没有统一的解决方案。

技术实现思路

1、为了解决上述技术缺陷，本申请实施例提供了一种面向城市片区多格式数据分类存储方法及装置。

2、本申请实施例提供了一种面向城市片区多格式数据分类存储方法，包括：

3、获取面向城市片区的目标数据资源，并确定所述目标数据资源的标签；

4、根据所述目标数据资源及所述目标数据资源的标签，确定所述目标数据资源对应的数据类型和数据分类；

5、根据所述数据类型和所述数据分类确定所述目标数据资源的存储节点；

6、在存储引擎中存储所述目标数据资源与所述标签、所述数据类型、所述数据分类以及所述存储节点的对应关系。

7、优选地，根据所述目标数据资源及所述目标数据资源的标签，确定所述目标数据资源对应的数据类型包括：

8、获取用户为所述目标数据资源标记的类型标签，或者根据所述目标数据资源的文件后缀为所述目标数据资源标记类型标签；

9、根据所述目标数据资源的类型标签，确定所述目标数据资源对应的数据类型。

10、优选地，根据所述目标数据资源及所述目标数据资源的标签，确定所述目标数据资源对应的数据分类包括：

11、获取用户为所述目标数据资源标记的分类标签，或者根据所述目标数据资源的业务场景需求、文件名和数据内容为所述目标数据资源标记分类标签；

12、根据所述目标数据资源的分类标签，确定所述目标数据资源对应的数据分类。

13、优选地，根据所述目标数据资源的文件后缀为所述目标数据资源标记类型标签包括：

14、根据文件后缀，确定所述目标数据资源对应的类型标签，所述类型标签包括：文档标签、视频标签、模型标签、图片标签、业务数据标签；

15、根据所述目标数据资源的文件内容，确定所述目标数据资源对应的类型标签；

16、当根据文件后缀和文件内容均无法确定所述目标数据资源对应的类型标签时，为所述目标数据资源标记“未知类型”标签。

17、优选地，根据所述目标数据资源的业务场景需求、文件名和数据内容为所述目标数据资源标记分类标签包括：

18、搜索所述目标数据资源的文件名和/或文件内容中是否包含业务场景关键字，如果搜索到业务场景关键字，则为所述目标数据资源标记对应的分类标签；

19、搜索所述目标数据资源的文件名和/或文件内容中是否包含项目名称，如果包含项目名称，则为所述目标数据资源标记对应的分类标签；

20、如果业务场景和项目名称都没有匹配到所述目标数据资源对应的分类标签时，为所述目标数据资源标记“未知分类”标签。

21、优选地，搜索所述目标数据资源的文件名和/或文件内容中是否包含业务场景关键字，及搜索所述目标数据资源的文件名和/或文件内容中是否包含项目名称包括：

22、判断所述目标数据资源的文件类型是否为文档；

23、当所述目标数据资源的文件类型不是文档时，根据所述目标数据资源的文件名称搜索是否包含业务场景关键字，及是否包含项目名称；

24、当所述目标数据资源的文件类型是文档时，判断所述目标数据资源的文件大小是否超过设定阈值；

25、当所述目标数据资源的文件大小超过设定阈值时，根据所述目标数据资源的文件名称搜索是否包含业务场景关键字，及是否包含项目名称；

26、当所述目标数据资源的文件大小未超过设定阈值时，搜索所述目标数据资源的文件名和文件内容中是否包含业务场景关键字，及搜索所述目标数据资源的文件名和文件内容中是否包含项目名称。

27、优选地，所述的分类存储方法，还包括：

28、周期性或者触发式检测所述存储引擎中存储的每个目标数据资源对应的标签、数据类型、数据分类以及存储节点，如果发现相同数据类型和相同数据分类下存在文件名相同的数据文件，提示用户删除旧文件，或者替换重名文件。

29、优选地，所述的分类存储方法，还包括：

30、接收用户变更的所述目标数据资源对应的类型标签和/或分类标签，根据变更后的类型标签和/或分类标签重新确定所述目标数据资源的存储节点；

31、提示用户删除原存储节点内的所述目标数据资源，或者删除原存储节点内的所述目标数据资源；

32、在存储引擎中存储所述目标数据资源与变更后的标签、变更后的数据类型、变更后的数据分类以及变更后的存储节点的对应关系。

33、第二方面，本发明还提供一种面向城市片区多格式数据分类存储装置，包括：

34、获取模块，用于获取面向城市片区的目标数据资源，并确定所述目标数据资源的标签；

35、分类模块，用于根据所述目标数据资源及所述目标数据资源的标签，确定所述目标数据资源对应的数据类型和数据分类；

36、存储模块，用于根据所述数据类型和所述数据分类确定所述目标数据资源的存储节点；

37、统计模块，用于在存储引擎中存储所述目标数据资源与所述标签、所述数据类型、所述数据分类以及所述存储节点的对应关系。

38、优选地，所述分类模块包括：

39、类型标记单元，用于获取用户为所述目标数据资源标记的类型标签，或者根据所述目标数据资源的文件后缀为所述目标数据资源标记类型标签；

40、确定类型单元，用于根据所述目标数据资源的类型标签，确定所述目标数据资源对应的数据类型。

41、优选地，所述分类模块包括：

42、分类标记单元，用于获取用户为所述目标数据资源标记的分类标签，或者根据所述目标数据资源的业务场景需求、文件名和数据内容为所述目标数据资源标记分类标签；

43、确定分类单元，根据所述目标数据资源的分类标签，确定所述目标数据资源对应的数据分类。

44、针对城市片区多种数据类型、格式、以及涉及到多个业务场景的数据储存和自动整理分类问题，本申请的面向城市片区多格式数据分类存储方法及装置，可以简单、高效的实现多格式数据的分类和存储，能够实现城市片区数据存储行业的多个业务场景数据自动整理分类。本申请可以根据业务场景需要，对数据进行统一分类和汇总，进一步还可以进行数据整理排重。

技术特征：

1.一种面向城市片区多格式数据分类存储方法，其特征在于，包括：

2.根据权利要求1所述的分类存储方法，其特征在于，根据所述目标数据资源及所述目标数据资源的标签，确定所述目标数据资源对应的数据类型包括：

3.根据权利要求1所述的分类存储方法，其特征在于，根据所述目标数据资源及所述目标数据资源的标签，确定所述目标数据资源对应的数据分类包括：

4.根据权利要求2所述的分类存储方法，其特征在于，根据所述目标数据资源的文件后缀为所述目标数据资源标记类型标签包括：

5.根据权利要求3所述的分类存储方法，其特征在于，根据所述目标数据资源的业务场景需求、文件名和数据内容为所述目标数据资源标记分类标签包括：

6.根据权利要求5所述的分类存储方法，其特征在于，搜索所述目标数据资源的文件名和/或文件内容中是否包含业务场景关键字，及搜索所述目标数据资源的文件名和/或文件内容中是否包含项目名称包括：

7.根据权利要求1所述的分类存储方法，其特征在于，还包括：

8.根据权利要求2或3所述的分类存储方法，其特征在于，还包括：

9.一种面向城市片区多格式数据分类存储装置，其特征在于，包括：

10.根据权利要求9所述的分类存储装置，其特征在于，所述分类模块包括：

11.根据权利要求9所述的分类存储装置，其特征在于，所述分类模块包括：

技术总结
本申请提供一种面向城市片区多格式数据分类存储方法及装置，涉及分布式存储技术领域，解决无法根据数据的类型、格式以及业务场景进行自动整理分类的问题。所述方法包括：获取面向城市片区的目标数据资源，并确定所述目标数据资源的标签；根据所述目标数据资源及所述目标数据资源的标签，确定所述目标数据资源对应的数据类型和数据分类；根据所述数据类型和所述数据分类确定所述目标数据资源的存储节点；在存储引擎中存储所述目标数据资源与所述标签、所述数据类型、所述数据分类以及所述存储节点的对应关系。本申请可以简单、高效的实现多格式数据的分类和存储，能够实现城市片区数据存储行业的多个业务场景数据自动整理分类。

技术研发人员：孔德立,寇智聪,张维
受保护的技术使用者：中国铁建股份有限公司
技术研发日：
技术公布日：2024/2/29