基于分布式服务器的非结构化数据处理方法及相关装置与流程

本发明涉及数据处理，尤其涉及一种基于分布式服务器的非结构化数据处理方法及相关装置。

背景技术：

1、计算机信息技术以及大数据技术的发展，使得相关的项目数据越来越多，并且为非结构化数据，而对于这些非结构化数据采用传统的数据库集中存储的方式进无法满足存储需求，并且可能降低储存效率；同时传统的存储方式对同属于相同项目名称的非结构化数据之间无法具有相应的关联关系，在对同一个项目名称的非结构化数据进行查询时，将无法快速在数据库中查询多完整的非结构化数据，查询效率较低，无法满足用户的需求。

技术实现思路

1、本发明的目的在于克服现有技术的不足，本发明提供了一种基于分布式服务器的非结构化数据处理方法及相关装置，实现对非结构化数据分类存储到分布式服务器中，提高了存储性能，并且通过构建映射关系方便后续对存储的非结构化数据的查询。

2、为了解决上述技术问题，本发明提供了一种基于分布式服务器的非结构化数据处理方法，所述方法包括：

3、分布式服务器基于数据引擎接口接收客户端上传的非结构化数据，所述非结构化数据中标注有所述客户端的mac地址及所属的数据项目名称id，且所述数据项目名称id具有唯一性；

4、对所述非结构化数据按照数据类型进行分类处理，获得分类后的非结构化数据；

5、基于所述非结构化数据中标注的所述客户端的mac地址确定在所述分布式服务器的存储位置；

6、基于所述非结构化数据中标注的所属的若干个数据项目名称id与分类后的非结构化数据进行映射关系建立处理，获得若干个数据项目名称id与分类后的非结构化数据之间的关联映射关系；

7、基于所述关联映射关系将所述若干个数据项目名称id与分类后的非结构化数据在所述存储位置中的对应的多个数据存储节点中进行关联存储处理，所述多个数据存储节点为一个数据存储节点用于存储若干个数据项目名称id，另外的每一个数据存储节点用于存储一个分类后的非结构化数据。

8、可选的，所述方法还包括：

9、所述分布式服务器接收请求端基于分配权限生成的数据查询请求，所述数据查询请求中包括查询数据项目名称id；

10、所述分布式服务器基于所述数据查询请求中的查询数据项目名称id利用所述关联映射关系在多个数据存储节点中获得对应的查询非结构化数据，并形成非结构化数据查询列表；

11、所述分布式服务器将所述非结构化数据查询列表加载至所述请求端。

12、可选的，所述分布式服务器基于所述数据查询请求中的查询数据项目名称id利用所述关联映射关系在多个数据存储节点中获得对应的查询非结构化数据，包括：

13、所述分布式服务器利用所述数据查询请求中的查询数据项目名称id在所有存储位置的所有用于存储所述数据项目名称id的数据存储节点中进行检索匹配处理，获得检索匹配的匹配数据项目名称id；

14、基于所述匹配数据项目名称id所对应的关联映射关系在对应的数据存储节点中索引获得对应的查询非结构化数据。

15、可选的，所述形成非结构化数据查询列表，包括：

16、基于对应的查询非结构化数据的数据类型进行列表构建处理，获得构建列表；

17、将对应的查询非结构化数据在若干个数据存储节点中的存储索引路径按照所述的数据类型对应填写至所述构建列表中，形成非结构化数据查询列表。

18、可选的，所述对所述非结构化数据按照数据类型进行分类处理，获得分类后的非结构化数据，包括：

19、获得所述非结构化数据中所标记的数据类型；

20、基于所述非结构化数据中所标记的数据类型按照所属的数据类型进行分类处理，获得分类后的非结构化数据。

21、可选的，所述基于所述非结构化数据中标注的所属的若干个数据项目名称id与分类后的非结构化数据进行映射关系建立处理，包括：

22、获得所述非结构化数据中标注的所属的若干个数据项目名称id及分类后的非结构化数据所对应的数据项目名称id；

23、利用所述非结构化数据中标注的所属的若干个数据项目名称id中与分类后的非结构化数据所对应的数据项目名称id中相同的数据项目名称id所对应的分类后的非结构化数据建立关联映射关系，获得数据项目名称id与分类后的非结构化数据之间的关联映射关系。

24、可选的，所述基于所述关联映射关系将所述数据项目名称id与分类后的非结构化数据在所述存储位置中的对应的多个数据存储节点中进行关联存储处理，包括：

25、基于分类后的非结构化数据的分类数量在所述存储位置中的分配出在所述分类数量上曾加一个的多个数据存储节点；

26、基于所述关联映射关系将所述数据项目名称id与分类后的非结构化数据分别关联存储到对应的多个数据存储节点中。

27、另外，本发明还提供了一种基于分布式服务器的非结构化数据处理装置，所述装置包括：

28、数据接收模块：用于分布式服务器基于数据引擎接口接收客户端上传的非结构化数据，所述非结构化数据中标注有所述客户端的mac地址及所属的数据项目名称id，且所述数据项目名称id具有唯一性；

29、数据分类模块：用于对所述非结构化数据按照数据类型进行分类处理，获得分类后的非结构化数据；

30、存储位置确定模块：用于基于所述非结构化数据中标注的所述客户端的mac地址确定在所述分布式服务器的存储位置；

31、映射关系建立模块：用于基于所述非结构化数据中标注的所属的若干个数据项目名称id与分类后的非结构化数据进行映射关系建立处理，获得若干个数据项目名称id与分类后的非结构化数据之间的关联映射关系；

32、数据存储模块：用于基于所述关联映射关系将所述若干个数据项目名称id与分类后的非结构化数据在所述存储位置中的对应的多个数据存储节点中进行关联存储处理，所述多个数据存储节点为一个数据存储节点用于存储若干个数据项目名称id，另外的每一个数据存储节点用于存储一个分类后的非结构化数据。

33、另外，本发明还提供了一种分布式服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述中任一所述方法的步骤。

34、另外，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述中任一所述方法的步骤。

35、在本发明实施例中，通过对非结构化数据按照数据类型进行分类，然后使用非结构化数据所标注的数据项目名称id与非结构化数据建立关联映射关系，并存储在分布式服务器中的若干个数据存储节点；实现对非结构化数据分类存储到分布式服务器中，提高了存储性能，并且通过构建映射关系方便后续对存储的非结构化数据的查询。

技术特征：

1.一种基于分布式服务器的非结构化数据处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的非结构化数据处理方法，其特征在于，所述方法还包括：

3.根据权利要求2所述的非结构化数据处理方法，其特征在于，所述分布式服务器基于所述数据查询请求中的查询数据项目名称id利用所述关联映射关系在多个数据存储节点中获得对应的查询非结构化数据，包括：

4.根据权利要求2所述的非结构化数据处理方法，其特征在于，所述形成非结构化数据查询列表，包括：

5.根据权利要求1所述的非结构化数据处理方法，其特征在于，所述对所述非结构化数据按照数据类型进行分类处理，获得分类后的非结构化数据，包括：

6.根据权利要求1所述的非结构化数据处理方法，其特征在于，所述基于所述非结构化数据中标注的所属的若干个数据项目名称id与分类后的非结构化数据进行映射关系建立处理，包括：

7.根据权利要求1所述的非结构化数据处理方法，其特征在于，所述基于所述关联映射关系将所述数据项目名称id与分类后的非结构化数据在所述存储位置中的对应的多个数据存储节点中进行关联存储处理，包括：

8.一种基于分布式服务器的非结构化数据处理装置，其特征在于，所述装置包括：

9.一种分布式服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述方法的步骤。

技术总结
本发明公开了一种基于分布式服务器的非结构化数据处理方法及相关装置，涉及数据处理技术领域，所述方法包括：分布式服务器基于数据引擎接口接收客户端上传的非结构化数据；对所述非结构化数据按照数据类型进行分类处理；基于非结构化数据中标注的客户端的MAC地址确定在分布式服务器的存储位置；进行映射关系建立处理，获得关联映射关系；基于关联映射关系将若干个数据项目名称ID与分类后的非结构化数据在存储位置中的对应的多个数据存储节点中进行关联存储处理。在本发明实施例中，实现对非结构化数据分类存储到分布式服务器中，提高了存储性能，并且通过构建映射关系方便后续对存储的非结构化数据的查询。

技术研发人员：杨胜,赵保国,曾海波,袁平,唐必成,黄瑛
受保护的技术使用者：佳瑛科技有限公司
技术研发日：
技术公布日：2024/1/15