本发明涉及数据采集与智能化的数据处理的自动化装备,具体涉及一种物联网数据采集与智能化的大数据处理方法及云平台系统。
背景技术:
1、利用物联网与云平台进行数据采集与处理,可以有效提取大量的信息用于实际应用、业务流程、产品开发等方面,使其具有逻辑上的集成性,成为未来信息化工作的关键。收集、处理和分析物联网数据有助于消费者和组织获得有价值的信息,及时做出更好的决策。数据采集与处理技术主要包括数据的采集、存储、分析和监控等功能,已经成为目前亟须深入研究的技术领域。物联网数据采集与智能化的大数据处理方法及云平台系统通过传感器阵列参数处理模块、物联网数据采集与智能化的大数据处理子系统和物联网数据采集与智能化的大数据处理的云平台系统之间协调配合工作,增强物联网多元信息数据采集与处理能力,该系统将云数据库作为数据信息存储空间,可以有效提升数据存储容量,云数据库还可以解决突发访问高峰带来的请求压力,以此提高了数据传输速率,并且稳定数据采集过程中存在的高并发流量情况,进而有效缓解物联网数据采集结构复杂及海量数据的压力。
技术实现思路
1、本发明可以有效解决数据信息突发访问高峰带来的请求压力,以此提高数据传输速率,并且稳定数据采集过程中存在的高并发流量情况,进而有效缓解物联网数据采集结构复杂及海量数据的压力问题。
2、为解决上述问题,本发明采用如下的技术方案:
3、一、物联网数据采集与智能化的大数据处理方法:
4、1、构建传感器阵列参数处理模块,传感器阵列参数处理模块包括降噪自编码器-pso的cnn卷积神经网络模型、降噪自编码器-pso的grnn神经网络模型、降噪自编码器-pso的narx神经网络模型、pso的narx神经网络模型-pso的递归模糊神经网络模型、pso的narx神经网络模型-pso的grnn神经网络模型、pso的narx神经网络模型-pso的drnn神经网络模型、pso的narx神经网络模型、积分回路、bigru神经网络模型-arima时间序列模型、tdl按拍延时器、动态三角模糊数的bigru神经网络模型-模糊小波神经网络模型;传感器阵列参数处理模块见图1所示。
5、2、传感器阵列输出值分别作为降噪自编码器-pso的cnn卷积神经网络模型、降噪自编码器-pso的grnn神经网络模型和降噪自编码器-pso的narx神经网络模型的多个对应输入,降噪自编码器-pso的cnn卷积神经网络模型、降噪自编码器-pso的grnn神经网络模型和降噪自编码器-pso的narx神经网络模型的输出分别作为pso的narx神经网络模型-pso的递归模糊神经网络模型、pso的narx神经网络模型-pso的grnn神经网络模型和pso的narx神经网络模型-pso的drnn神经网络模型的多个对应输入,pso的narx神经网络模型-pso的递归模糊神经网络模型、pso的narx神经网络模型-pso的grnn神经网络模型、pso的narx神经网络模型-pso的drnn神经网络模型的输出分别作为bigru神经网络模型-arima时间序列模型1、bigru神经网络模型-arima时间序列模型2和bigru神经网络模型-arima时间序列模型3的对应输入,bigru神经网络模型-arima时间序列模型1输出作为bigru神经网络模型-arima时间序列模型2的对应输入,bigru神经网络模型-arima时间序列模型2输出作为bigru神经网络模型-arima时间序列模型3的对应输入,bigru神经网络模型-arima时间序列模型3输出作为tdl按拍延时器3的输入;pso的narx神经网络模型-pso的递归模糊神经网络模型与pso的narx神经网络模型-pso的grnn神经网络模型的输出时间序列差和pso的narx神经网络模型-pso的grnn神经网络模型与pso的narx神经网络模型-pso的drnn神经网络模型的输出时间序列差分别作为pso的narx神经网络模型1和pso的narx神经网络模型2的对应输入,pso的narx神经网络模型1输出分别作为积分回路1的输入和tdl按拍延时器1的对应输入,积分回路1输出作为tdl按拍延时器1的对应输入;pso的narx神经网络模型2输出分别作为积分回路2的输入和tdl按拍延时器2的对应输入,积分回路2的输出作为tdl按拍延时器2的对应输入,tdl按拍延时器1、tdl按拍延时器2和tdl按拍延时器3的输出分别作为动态三角模糊数的bigru神经网络模型-模糊小波神经网络模型的对应输入,动态三角模糊数的bigru神经网络模型-模糊小波神经网络模型输出作为tdl按拍延时器4的输入,tdl按拍延时器4输出分别作为动态三角模糊数的bigru神经网络模型-模糊小波神经网络模型、pso的narx神经网络模型1、pso的narx神经网络模型2和bigru神经网络模型-arima时间序列模型3的对应输入,动态三角模糊数的bigru神经网络模型-模糊小波神经网络模型输出的五个参数分别为i、j、k、l、m构成参数传感器阵列输出的动态三角模糊数值为[(i,j),k,(l,m)],动态三角模糊数的bigru神经网络模型-模糊小波神经网络模型输出作为传感器阵列参数处理模块输出;
6、3、构建物联网数据采集与智能化的大数据处理子系统,物联网数据采集与智能化的大数据处理子系统包括降噪自编码器-pso的cnn卷积神经网络模型、降噪自编码器-arima时间序列模型、积分回路、tdl按拍延时器、bigru神经网络模型-pso的narx神经网络模型、传感器阵列参数处理模块和动态三角模糊数的bigru神经网络模型-pso的递归模糊神经网络模型;物联网数据采集与智能化的大数据处理子系统见图2所示。
7、4、温湿度传感器输出值分别作为降噪自编码器-pso的cnn卷积神经网络模型和降噪自编码器-arima时间序列模型的对应输入,降噪自编码器-pso的cnn卷积神经网络模型输出分别作为tdl按拍延时器1和积分回路1的对应输入,积分回路1输出作为tdl按拍延时器1的对应输入,降噪自编码器-arima时间序列模型输出分别作为tdl按拍延时器2和积分回路2的对应输入,积分回路2输出作为tdl按拍延时器2的对应输入,参数传感器阵列输出作为传感器阵列参数处理模块输入,传感器阵列参数处理模块输出作为tdl按拍延时器3的对应输入,tdl按拍延时器1和tdl按拍延时器2的输出分别作为bigru神经网络模型-pso的narx神经网络模型的对应输入,bigru神经网络模型-pso的narx神经网络模型和tdl按拍延时器3的输出分别作为动态三角模糊数的bigru神经网络模型-pso的递归模糊神经网络模型的对应输入,动态三角模糊数的bigru神经网络模型-pso的递归模糊神经网络模型输出作为tdl按拍延时器4的输入,tdl按拍延时器4输出作为动态三角模糊数的bigru神经网络模型-pso的递归模糊神经网络模型、tdl按拍延时器3和bigru神经网络模型-pso的narx神经网络模型的对应输入,动态三角模糊数的bigru神经网络模型-pso的递归模糊神经网络模型输出的五个参数分别为a、b、c、d、e构成动态三角模糊数值为[(a,b),c,(d,e)]为参数传感器阵列环境校正输出值;动态三角模糊数值[(a,b),c,(d,e)]为物联网数据采集与智能化的大数据处理子系统输出;
8、5、积分回路由2个积分算子s相串联构成,1个积分算子s的输入作为积分回路输入,2个积分算子连接端和1个积分算子输出端作为积分回路输出。
9、二、物联网数据采集与智能化的大数据处理的云平台系统:
10、参数采集终端采集参数经网关节点上传到云平台,并利用云平台提供的数据给客户端app,客户端app通过云平台提供的数据信息可实时监测采集参数和调节控制终端的外部设备,参数采集终端和控制终端负责采集参数信息和控制外部设备,通过网关节点实现参数采集终端、控制终端、现场监控端、云平台和客户端app的双向通信,实现参数采集和环境设备调节。物联网数据采集与智能化的大数据处理的云平台系结构见图3所示。
11、相比于现有技术,本发明具有以下明显优点:
12、一、本发明针对传感器阵列参数采集过程中,传感器精度误差、干扰和测量环境异常等问题存在的不确定性和随机性,本发明专利将传感器阵列传感器输出用动态区间数形式表示,有效地处理了传感器阵列测量参数的模糊性和不确定性,提高了传感器阵列传感器值融合值的客观性和可信度。
13、二、本发明递归模糊神经网络模型通过在模糊规则层引入内部变量,使静态网络具有动态特性;网络在k时刻每条规则的激活度不仅包括由当前输入计算得出的激活度值,而且包括前一时刻所有规则激活度值的贡献,其反馈连接由一组“结构”单元组成,用于记忆隐层过去的状态,并且在下一时刻连同网络输入一起作为隐层单元的输入,这一性质使得部分递归网络具有动态记忆功能,从而适合用来建立时间序列预测模型,仿真实验表明该模型动态性能好,预测精度高,预测性能稳定。
14、三、本发明采用grnn神经网络模型具有很强的非线性映射能力和柔性网络结构以及高度的容错性和鲁棒性,grnn神经网络模型在逼近能力和学习速度上较rbf网络有更强的优势,网络最后收敛于样本量积聚较多的优化回归面并且在样本数据较少时,grnn神经网络模型还可以处理不稳定数据,预测效果也较好。grnn神经网络模型泛化能力强,预测精度高,算法稳定,grnn网络模型还具有收敛速度快、调整参数少和不易陷入局部极小值等优点,预测网络运算速度快。
15、四、本发明采用arima时间序列模型整合了输入参数变化的趋势因素、周期因素和随机误差等因素的原始时间序列变量,通过差分数据转换等方法将非平稳序列转变为零均值的平稳随机序列,通过反复识别和模型诊断比较并选择理想的模型进行输入参数数据拟合和预测。该方法结合了自回归和移动平均方法的长处,具有不受数据类型束缚和适用性强的特点,是一种对输入数据进行短期预测效果较好的模型。
16、五、本发明bigru神经网络模型由2个信息传递方向相反的gru神经网络模型的循环层构成,其中第1层按时间顺序传递信息(顺时间循环层),第2层按时间逆序传递信息(逆时间循环层)。bigru神经网络模型通过顺时间循环层得到正向隐藏状态,通过逆时间循环层得到反向隐藏状态,再将正向隐藏状态和反向隐藏状态拼接,得到bigru神经网络模型最终输出的隐藏状态。bigru神经网络模型能通过正向负向相结合的方式同时获取输入信息的顺序和逆序信息特征,提高检测参数传感器信息的准确性和可靠性。