一种基于物联网的大数据采集与处理方法及系统与流程

本发明涉及数据处理领域，特别涉及一种基于物联网的大数据采集与处理方法及系统。

背景技术：

1、物联网是新一代信息技术的重要组成部分，也是“信息化”时代的重要发展阶段。其英文名称是：“internet of things(iot)”。顾名思义，物联网就是物物相连的互联网。这有两层意思：其一，物联网的核心和基础仍然是互联网，是在互联网基础上的延伸和扩展的网络；其二，其用户端延伸和扩展到了任何物品与物品之间，进行信息交换和通信，也就是物物相息。物联网通过智能感知、识别技术与普适计算等通信感知技术，广泛应用于网络的融合中，也因此被称为继计算机、互联网之后世界信息产业发展的第三次浪潮。物联网是互联网的应用拓展。大数据(big data)，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

2、物联网将生活中的人与物联网联系起来，产生了大量的数据，虽然目前物联网给我们提供了具体的解决措施：云计算技术、分布式技术，已经成为物联网时代的一项基本计算技术。由于大数据的信息量巨大，物联网数据的分析以及处理也是目前人们面临的一大难题。

3、因此，需要提供一种基于物联网的大数据采集与处理方法及系统，用于提高基于物联网的大数据采集与处理的效率。

技术实现思路

1、本发明提供一种基于物联网的大数据采集与处理系统，包括：数据采集模块，包括多个物联网采集单元，其中，所述物联网采集单元用于采集物联网数据；数据处理模块，包括多个数据处理单元，其中，每个所述数据处理单元用于处理至少一个的物联网采集单元采集的物联网数据，还用于确定所述物联网采集单元对应的实时计算资源需求；异常监测模块，包括多个异常监测单元，其中，所述异常监测单元用于接收至少一个数据处理单元上传的心跳数据包，并基于所述心跳数据包，确定所述数据处理单元的实时状态；动态调控模块，用于基于每个所述物联网采集单元对应的实时计算资源需求和每个所述数据处理单元的实时状态，确定所述数据处理模块的第一资源分配策略，基于所述数据处理单元的实时状态，确定所述异常监测模块的第二资源分配策略。

2、进一步地，所述心跳数据包包括实时cpu使用率、实时内存占用率及实时网络流量；所述异常监测模块基于所述心跳数据包，确定所述数据处理单元的实时状态，包括：获取当前监测周期的多个连续的当前时间段的心跳数据包；对于每个所述当前时间段，基于所述当前时间段包括的多个连续当前时间点的心跳数据包，确定所述当前时间段对应的心跳特征参数；基于每个所述当前时间段对应的心跳特征参数，确定所述数据处理单元的实时状态。

3、进一步地，所述异常监测模块基于所述当前时间段包括的多个连续当前时间点的心跳数据包，确定所述当前时间段对应的心跳特征参数，包括：基于所述当前时间段包括的多个连续当前时间点的实时cpu使用率，确定所述当前时间段对应的实时cpu使用率均值及实时cpu使用率波动参数；基于所述当前时间段包括的多个连续当前时间点的实时内存占用率，确定所述当前时间段对应的实时内存占用率均值及实时内存占用率波动参数；基于所述当前时间段包括的多个连续当前时间点的实时网络流量，确定所述当前时间段对应的实时网络流量均值及实时网络流量波动参数；对于每个所述当前时间段，基于所述当前时间段对应的实时cpu使用率波动参数、实时内存占用率波动参数及实时网络流量波动参数，判断所述当前时间段是否为第一异常时间段；确定所述数据处理单元在当前监测周期的第一异常时间段频次，其中，所述当前时间段对应的心跳特征参数包括每个所述当前时间段对应的实时cpu使用率均值、实时内存占用率均值和实时网络流量均值及第一异常时间段频次。

4、进一步地，所述动态调控模块还用于：获取所述多个数据处理单元在多个历史监测周期的多个连续的历史时间段的心跳数据包；对于每个所述历史时间段，基于任意两个所述数据处理单元在所述历史时间段包括的多个连续历史时间点的心跳数据包，确定两个所述数据处理单元对应的所述历史时间段的第一状态相关系数；对于每个所述历史监测周期，基于任意两个所述数据处理单元对应的所述历史监测周期包括的每个所述历史时间段的第一状态相关系数，确定两个所述数据处理单元对应的所述历史监测周期的第二状态相关系数；对于任意两个所述数据处理单元，基于两个所述数据处理单元对应每个所述历史监测周期的第二状态相关系数，计算两个所述数据处理单元对应的相关系数均值及相关系数波动参数，基于两个所述数据处理单元对应的相关系数均值及相关系数波动参数，确定两个所述数据处理单元对应的第三状态相关系数；通过k均值聚类算法基于任意两个所述数据处理单元对应的第三状态相关系数，对所述多个数据处理单元进行聚类，确定多个数据处理单元簇；所述异常监测模块基于每个所述当前时间段对应的心跳特征参数，确定所述数据处理单元的实时状态，包括：基于所述多个数据处理单元簇和所述数据处理单元对应每个所述当前时间段对应的心跳特征参数，确定所述数据处理单元的实时状态。

5、进一步地，所述异常监测模块基于所述多个数据处理单元簇和所述数据处理单元对应每个所述当前时间段对应的心跳特征参数，确定所述数据处理单元的实时状态，包括：确定所述数据处理单元对应的目标数据处理单元簇；基于所述数据处理单元簇包括的每个数据处理单元在每个所述当前时间段对应的实时cpu使用率均值、实时内存占用率均值和实时网络流量均值，确定所述数据处理单元在当前监测周期的第二异常时间段频次；基于所述数据处理单元在当前监测周期的第一异常时间段频次和第二异常时间段频次，确定所述数据处理单元的实时状态。

6、进一步地，所述动态调控模块基于每个所述物联网采集单元对应的实时计算资源需求和每个所述数据处理单元的实时状态，确定所述数据处理模块的第一资源分配策略，包括：对于每个所述数据处理单元簇，基于所述数据处理单元簇包括的每个数据处理单元在每个所述当前时间段对应的实时cpu使用率均值、实时内存占用率均值和实时网络流量均值，预测所述数据处理单元簇对应的未来资源需求波动参数；将未来资源需求波动参数大于预设波动参数阈值的数据处理单元簇作为目标数据处理单元簇；将所述目标数据处理单元簇包括的每个所述数据处理单元对应的物联网采集单元，作为目标物联网采集单元；对于任意两个所述物联网采集单元，基于两个所述物联网采集单元在多个历史时间点的历史计算资源需求，计算两个所述物联网采集单元之间的需求相似度；通过k均值聚类算法基于任意两个所述物联网采集单元之间的需求相似度，对所述多个物联网采集单元进行聚类，确定多个物联网采集单元簇；对于每个所述目标物联网采集单元，基于所述目标物联网采集单元包括的每个物联网采集单元在当前监测周期的多个当前时间点的实时计算资源需求，确定所述目标物联网采集单元的未来计算资源需求；基于每个所述目标物联网采集单元的未来计算资源需求和每个所述数据处理单元的实时状态，确定所述数据处理模块的第一资源分配策略。

7、进一步地，所述异常监测模块还用于基于所述数据处理单元的实时状态，调整所述数据处理单元的心跳数据包上传频率；所述动态调控模块基于所述数据处理单元的实时状态，确定所述异常监测模块的第二资源分配策略，包括：基于每个所述数据处理单元的心跳数据包上传频率，确定所述异常监测模块的第二资源分配策略。

8、进一步地，所述物联网采集单元还用于：基于所述第一资源分配策略，对所述物联网数据进行加密后发送至数据处理单元。

9、进一步地，所述数据处理模块还用于：基于所述第二资源分配策略，对所述心跳数据包进行加密后发送至异常监测单元。

10、本发明提供一种基于物联网的大数据采集与处理方法，包括：获取多个物联网采集单元采集的物联网数据；接收至少一个数据处理单元上传的心跳数据包，并基于所述心跳数据包，确定所述数据处理单元的实时状态；基于每个所述物联网采集单元对应的实时计算资源需求和每个所述数据处理单元的实时状态，确定第一资源分配策略；根据所述第一资源分配策略，处理至少一个的物联网采集单元采集的物联网数据及确定所述物联网采集单元对应的实时计算资源需求；基于所述数据处理单元的实时状态，确定第二资源分配策略。

11、相比于现有技术，本发明提供的一种基于物联网的大数据采集与处理方法及系统，至少具备以下有益效果：

12、1、通过设置多个数据处理单元，实现物联网数据的分布式处理，提高数据处理的实时性，通过设置多个异常监测单元，实现数据处理单元的实时状态的监测，在此基础之上，基于每个物联网采集单元对应的实时计算资源需求和每个数据处理单元的实时状态，确定数据处理模块的第一资源分配策略，基于数据处理单元的实时状态，确定异常监测模块的第二资源分配策略，实现动态调控，能够根据实时的物联网数据数据量，合理分配和调整计算和存储资源。这种灵活性能够应对各种复杂的物联网应用需求，无论是在高峰时段还是低峰时段，都能保持高效稳定的运行。

13、2、深度挖掘多个物联网采集单元之间的关联性和多个数据处理单元之间的关联性，为预测物联网采集单元的未来计算资源需求和确定数据处理单元的实时状态提供更高维度的数据支持，提高预测物联网采集单元的未来计算资源需求和确定数据处理单元的实时状态的准确度。

14、3、基于第一资源分配策略，对物联网数据进行加密后发送至数据处理单元，基于第二资源分配策略，对心跳数据包进行加密后发送至异常监测单元，提高数据传输的安全性，有效防止数据泄密。