一种用于物联网的大数据分布式存储方法及系统与流程

本发明涉及数据处理领域，特别涉及一种用于物联网的大数据分布式存储方法及系统。

背景技术：

1、随着物联网技术的迅速发展，越来越多的物联网设备接入互联网，形成了庞大的网络。随着物联网的发展，迅速增长的物联网设备采集了大量的数据，推动着智慧医疗、智能制造和智能交通的快速发展。

2、现有的数据存储方式通常是集中式的，需要大型的数据中心或服务器来承载数据存储和处理的任务，这种方式存在数据安全性差、可靠性低、以及数据维护成本高等问题

3、因此，需要提供一种用于物联网的大数据分布式存储方法及系统，用于提高物联网的大数据存储的安全性。

技术实现思路

1、本发明提供一种用于物联网的大数据分布式存储系统，包括：数据处理模块，用于接收多个物联网终端采集的物联网数据并进行存储预处理；所述数据处理模块包括算力调度节点及多个数据预处理节点，所述算力调度节点用于为所述物联网数据分配数据预处理节点，所述数据预处理节点用于对所述物联网数据进行存储预处理，并判断是否对所述物联网数据进行缓存；数据存储模块，包括存储调度节点及多个数据存储节点，其中，所述存储调度节点用于为预处理后的物联网数据分配多个最优数据存储节点，所述多个最优数据存储节点用于存储预处理后的物联网数据；数据缓存模块，用于缓存调度节点及多个数据缓存节点，其中，所述缓存调度节点用于在所述数据预处理节点判定对所述物联网数据进行缓存后，为预处理后的物联网数据分配多个最优数据缓存节点，所述多个最优数据缓存节点用于缓存预处理后的物联网数据；所述算力调度节点还用于为用户终端发起的数据查询请求分配数据预处理节点，所述数据预处理节点用于从所述数据存储模块或所述数据缓存模块调取所述数据查询请求对应的目标物联网数据。

2、进一步地，所述数据预处理节点对所述物联网数据进行存储预处理，包括：判断所述物联网终端的历史数据上传次数是否大于预设次数阈值；若所述物联网终端的历史数据上传次数大于预设次数阈值，基于所述物联网终端的历史物联网数据的访问信息，确定所述物联网终端对应的第一分片大小；若所述物联网终端的历史数据上传次数小于或等于预设次数阈值，基于相似物联网终端的访问信息，确定所述物联网终端对应的第一分片大小；基于所述第一分片大小对所述物联网数据进行切分处理。

3、进一步地，所述数据预处理节点基于所述物联网终端的历史物联网数据的访问信息，确定所述物联网终端对应的第一分片大小，包括：基于所述物联网终端的每份历史物联网数据的访问次数，计算第一访问次数均值及第一访问次数离散度参数；基于所述第一访问次数均值及第一访问次数离散度参数，确定所述物联网终端对应的第一分片大小。

4、进一步地，所述数据预处理节点确定所述相似物联网终端，包括：获取所述物联网数据的多个关键词；获取每个所述物联网终端的多个关键词；对于每个所述物联网终端，基于所述物联网数据的多个关键词和所述物联网终端的多个关键词，确定所述物联网终端的相似度，基于所述物联网终端的相似度，判定所述物联网终端是否为相似物联网终端。

5、进一步地，所述数据预处理节点基于相似物联网终端的访问信息，确定所述物联网终端对应的第一分片大小，包括：对于每个所述相似物联网终端，计算所述相似物联网终端对应的第一分片大小；基于每个所述相似物联网终端对应的第一分片大小，计算分片大小离散度参数；当所述分片大小离散度参数小于预设分片大小离散度参数阈值时，计算所述相似物联网终端对应的第一分片大小的均值作为所述物联网终端对应的第一分片大小；当所述分片大小离散度参数大于或等于预设分片大小离散度参数阈值时，根据调整规则，基于所述相似物联网终端对应的第一分片大小的均值和所述分片大小离散度参数，确定所述物联网终端对应的第一分片大小。

6、进一步地，所述数据预处理节点判断是否对所述物联网数据进行缓存，包括：判断所述物联网终端的历史数据上传次数是否大于预设次数阈值；若所述物联网终端的历史数据上传次数大于预设次数阈值，基于所述物联网终端的历史物联网数据的访问信息，判断是否对所述物联网数据进行缓存；若所述物联网终端的历史数据上传次数小于或等于预设次数阈值，基于相似物联网终端的访问信息，判断是否对所述物联网数据进行缓存。

7、进一步地，所述数据预处理节点基于所述物联网终端的历史物联网数据的访问信息，判断是否对所述物联网数据进行缓存，包括：对于每份所述历史物联网数据，基于所述历史物联网数据的相邻两次访问的时间间隔，确定第一访问时间间隔均值和第一访问时间间隔离散度参数；基于每份所述历史物联网数据对应的第一访问时间间隔均值和第一访问时间间隔离散度参数，确定第二访问时间间隔均值和第二访问时间间隔离散度参数；基于第二访问时间间隔均值和第二访问时间间隔离散度参数，判断是否对所述物联网数据进行缓存。

8、进一步地，所述数据预处理节点还用于：基于所述物联网终端的历史物联网数据的访问信息，判定对所述物联网数据进行缓存后，基于所述第二访问时间间隔均值和第二访问时间间隔离散度参数，确定第二数据切片大小和缓存时间；基于所述第二数据切片大小对所述物联网数据进行切分处理；所述最优数据缓存节点还用于基于所述缓存时间存储基于所述第二数据切片大小切分处理后的物联网数据。

9、进一步地，所述缓存调度节点为预处理后的物联网数据分配多个最优数据缓存节点，包括：对于每个所述数据缓存节点，基于所述数据缓存节点存储的物联网数据的缓存时间，预测所述数据缓存节点在多个未来时间点的负载，计算所述数据缓存节点的负载均值和负载离散参数；基于每个所述数据缓存节点的负载均值和负载离散参数，为预处理后的物联网数据分配多个最优数据缓存节点。

10、本发明提供一种用于物联网的大数据分布式存储方法，包括：接收多个物联网终端采集的物联网数据并进行存储预处理；算力调度节点为所述物联网数据分配数据预处理节点；所述数据预处理节点对所述物联网数据进行存储预处理，并判断是否对所述物联网数据进行缓存；存储调度节点为预处理后的物联网数据分配多个最优数据存储节点；所述多个最优数据存储节点存储预处理后的物联网数据；缓存调度节点在所述数据预处理节点判定对所述物联网数据进行缓存后，为预处理后的物联网数据分配多个最优数据缓存节点；所述多个最优数据缓存节点缓存预处理后的物联网数据；所述算力调度节点为用户终端发起的数据查询请求分配数据预处理节点；所述数据预处理节点从所述数据存储模块或所述数据缓存模块调取所述数据查询请求对应的目标物联网数据。

11、相比于现有技术，本发明提供的一种用于物联网的大数据分布式存储方法及系统，至少具备以下有益效果：

12、1、通过对物联网终端采集的物联网数据并进行存储预处理，使用更智能的数据分片策略，确保数据在多个数据存储节点间的均匀分布和高效访问，通过对多个数据预处理节点进行调度，优化并发访问机制，确保在高并发场景下系统的稳定性和性能，并通过自动负载均衡技术，将数据均匀分布到各个节点上，避免单点瓶颈。

13、2、提高数据访问速度：通过预测性预取，可以确保当数据被访问时已经在缓存中，从而减少了数据访问的延迟。降低系统负载：通过提前加载数据到缓存中，可以减少降低数据存储模块的访问频率，提高数据交互效率。