一种基于变分混合的无线传感网深度容错压缩方法及系统与流程

本发明涉及无线传感网和深度学习技术领域，尤其涉及一种基于变分混合的无线传感网深度容错压缩方法及系统。

背景技术：

随着计算机和相关技术的不断发展，使得将传感、通信与计算等功能集成在一个微小模块成为可能，从而促进了无线传感网络(wsn)技术的深入发展和广泛应用。人们可以通过无线传感网络感知客观世界，而不必亲自去观测区进行观测。但由于无线传感网络的特殊性，其发展仍面临许多待解决的问题。

由于节点计算能力、存储能力、通信带宽及电源能量都很有限，同时又由于无线传感网络中大量节点获取的原始数据存在严重的数据冗余，包括同一节点相邻时刻所采集数据之间的相似性造成的时域冗余，相邻节点在相同时刻所采集数据之间的相似性造成的空域冗余。若直接传输这些原始数据，不仅会使有限的带宽资源得不到充分利用，同时会由于要传输的原始数据量太大而导致系统存在较大时延，严重的影响了整个无线传感网络系统对监测对象的实时监测，而且传输存在大量冗余的原始数据会很快耗尽节点有限的能量，严重影响整个系统的寿命。针对无线传感网络中存在的数据冗余，在保证精度损失小的情况下，对无线传感网络进行数据压缩显得非常有必要。

现有的针对无线传感网络的数据压缩算法根据不同的分类标准可以分为无损与有损算法、分布式与本地算法、浅层压缩与深度压缩算法等。针对浅层压缩与深度压缩算法，国内学者李国华总结基于时空相关性的wsn数据流压缩算法，印度科学家reshma提出运行长度编码非常适用wsn流数据压缩。2016年国际会议icact上学者应蓓华提出基于空间相关性的数据轻量化压缩算法，在相同失真率的情况下，节省了比小波压缩更多的能量。上述均为浅层压缩算法，对深度高阶特征的学习能力较弱。美国院士hinton教授提出深度神经网络数据压缩方法，该理论主要指出：深层神经网络rbm能够学习高维向量的非线性特征，并且可以实现特征可视化。网络逐层预训练较好地解决了深度神经网络模型训练的梯度弥散问题。通过对比散度算法进行调整可以获得全局较优权重参数且收敛深度快。

目前将深度学习模型应用于wsn数据压缩的研究较少，只有邱立达提出基于栈式自编码模型进行数据压缩，该方法将堆栈自动编码器和wsn集群路由协议相结合，与传统压缩算法相比可将数据融合精度提高7.5个百分点。综上所述，寻找一种能够将深度学习模型应用于wsn数据压缩的算法是很有必要的。

技术实现要素：

为了解决上述问题，本发明提供了一种基于变分混合的无线传感网深度容错压缩方法及系统，一种基于变分混合的无线传感网深度容错压缩方法，主要包括以下步骤：

s101：获取无线传感网各终端感知节点的温度数据，并将从各节点获取的温度数据组成对应节点的训练数据集；

s102：对所述训练数据集中的温度数据进行预处理，得到预处理后的训练数据集；

s103：构建栈式rbm网络，使用预处理后的训练数据集对栈式rbm网络进行预训练，得到预训练后的栈式rbm网络模型的权值和偏置；

s104：将预训练后的栈式rbm网络模型和变分混合编码器模型结合，构造出变分混合差错压缩网络；

s105：使用所述预处理后的训练数据集对变分混合差错压缩网络进行训练，得到训练后的变分混合差错压缩网络；

s106：获取无线传感网各终端感知节点的真实温度数据，将从对应节点获取的真实温度数据组成对应节点的测试数据集；并将所述测试数据集输入训练后的变分混合差错压缩网络，得到对应节点真实温度数据的压缩数据。

进一步地，步骤s101中，所述温度数据为加州大学英特尔实验室无线传感网络研究团队，从2004年2月28日至4月5日在实验室安放54个传感器节点收集的环境温度数据信息，传感器节点每31秒收集一次时间戳拓扑信息，共3308442个温度数据。

进一步地，步骤s102中，对所述训练数据集中的温度数据进行预处理的步骤如下：

s201：去除所述训练数据集中小于-5℃和大于45℃的异常温度数据，得到第一预处理数据集；

s202：采用三倍标准差法去除所述第一预处理数据集中的其他异常数据，得到第二预处理数据集；

s203：将所述第二预处理数据集归一化映射到[0,1]区间，得到预处理后的训练数据集。

进一步地，步骤s203中，归一化方法采用最大最小归一化方法。

进一步地，步骤s103中，采用四个rbm网络依次堆叠构成栈式rbm网络；上个rbm网络的隐藏层作为下个rbm网络的可视层，逐层提取特征、依次降维；并利用rbm逐层数据压缩预训练算法对栈式rbm网络进行预训练。

进一步地，步骤s104中，将训练得到的栈式rbm编码网络做对称转置，得到栈式rbm解码网络；将栈式rbm编解码网络作为vae的编解码器，并将vae编码器输出的两组数据分别作为高斯分布的均值和方差，通过变分采样的方法生成vae解码器的输入，构成变分混合差错压缩网络。

进一步地，步骤s105中，使用所述预处理后的训练数据集对变分混合差错压缩网络进行训练的方法为：首先使用训练后的栈式rbm编解码网络参数初始化变分混合差错压缩网络的参数，得到初始化后的变分混合差错压缩网络；

然后使用所述预处理后的训练数据集对初始化后的变分混合差错压缩网络进行训练，得到训练后的变分混合差错压缩网络；训练方法为：使用变分混合差错压缩与重构算法对初始化后的变分混合差错压缩网络进行参数微调。

进一步地，步骤s106中，获取无线传感网各终端感知节点的真实温度数据的方法为：利用传感器对无线传感网各个终端感知节点采集温度流数据进行采集。

进一步地，一种基于变分混合的无线传感网深度容错压缩系统，其特征在于：包括以下步骤：

数据获取模块，用于获取无线传感网各终端感知节点的温度数据，并将从各节点获取的温度数据组成对应节点的训练数据集；

预训练模块，用于对所述训练数据集中的温度数据进行预处理，得到预处理后的训练数据集；

模型搭建模块，用于构建栈式rbm网络，使用预处理后的训练数据集对栈式rbm网络进行预训练，得到预训练后的栈式rbm网络模型的权值和偏置；

网络构造模块，用于将预训练后的栈式rbm网络模型和变分混合编码器模型结合，构造出变分混合差错压缩网络；

网络训练模块，用于使用所述预处理后的训练数据集对变分混合差错压缩网络进行训练，得到训练后的变分混合差错压缩网络；

测试模块，用于获取获取无线传感网各终端感知节点的真实温度数据，将从对应节点获取的真实温度数据组成对应节点的测试数据集；并将所述测试数据集输入训练后的变分混合差错压缩网络，得到对应该节点真实温度数据的压缩数据。

进一步地，预训练模块中，对所述训练数据集中的温度数据进行预处理的步骤包括以下单元：

异常剔除单元，用于去除所述训练数据集中小于-5℃和大于45℃的异常温度数据，得到第一预处理数据集；

标准差单元，用于采用三倍标准差法去除所述第一预处理数据集中的其他异常数据，得到第二预处理数据集；

归一化单元，用于将所述第二预处理数据集归一化映射到[0,1]区间，得到预处理后的训练数据集。

本发明提供的技术方案带来的有益效果是：本发明提出的技术方案有效的降低了无线传感网的节点能耗消耗，并具有良好的压缩率和鲁棒性，提高了无线传感网的生命工作周期，为提高wsn及时性、节能性与可靠性提出了一种新方法。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例中一种基于变分混合的无线传感网深度容错压缩方法的流程图；

图2(a)是本发明实施例中原始温度序数据序列；

图2(b)是本发明实施例中设阈值后温度序列；

图2(c)是本发明实施例中进行三倍标准差后的温度数据序列；

图2(d)是本发明实施例中归一化后温度数据序列；

图3是本发明实施例中栈式rbm编解码网络模型结构示意图；

图4是本发明实施例中变分混合差错压缩网络结构示意图；

图5是本发明实施例中一种基于变分混合的无线传感网深度容错压缩系统的模块组成示意图；

图6是本发明实施例中变分混合差错压缩网络对训练样本的重构结果示意图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。

本发明的实施例提供了一种基于变分混合的无线传感网深度容错压缩方法及系统。

请参考图1，图1是本发明实施例中一种基于变分混合的无线传感网深度容错压缩方法的流程图，具体包括如下步骤：

s101：获取无线传感网各终端感知节点的温度数据，并将从各节点获取的温度数据组成对应节点的训练数据集；

s102：对所述训练数据集中的温度数据进行预处理，得到预处理后的训练数据集；

s103：构建栈式rbm网络，使用预处理后的训练数据集对栈式rbm网络进行预训练，得到预训练后的栈式rbm网络模型的权值和偏置；

s104：将预训练后的栈式rbm网络模型和变分混合编码器模型结合，构造出变分混合差错压缩网络；

将预训练后的栈式rbm网络模型和变分混合编码器模型结合的方法如下：

首先将预训练后的栈式rbm网络模型作为变分混合编码器(vae)模型的编码器，然后将预训练后的栈式rbm网络模型进行转置，并将转置后的rbm网络模型作为变分混合解码器(vae)模型的编码器，进而构造出变分混合差错压缩网络；

s105：使用所述预处理后的训练数据集对变分混合差错压缩网络进行训练，得到训练后的变分混合差错压缩网络；

s106：获取无线传感网各终端感知节点的真实温度数据，将从对应节点获取的真实温度数据组成对应节点的测试数据集；并将所述测试数据集输入训练后的变分混合差错压缩网络，得到对应节点真实温度数据的压缩数据。

步骤s101中，所述温度数据为加州大学英特尔实验室无线传感网络研究团队，从2004年2月28日至4月5日在实验室安放54个传感器节点收集的环境温度数据信息，传感器节点每31秒收集一次时间戳拓扑信息，共3308442个温度数据。

步骤s102中，对所述训练数据集中的温度数据进行预处理的步骤如下：

s201：去除所述训练数据集中小于-5℃和大于45℃的异常温度数据，得到第一预处理数据集；

s202：采用三倍标准差法去除所述第一预处理数据集中的其他异常数据，得到第二预处理数据集；

s203：将所述第二预处理数据集归一化映射到[0,1]区间，得到预处理后的训练数据集。

经过上述步骤对于每个节点的温度进行预处理后，以英特尔实验室中节点7的温度数据作为模型的训练集，温度序列如图2所示，其中图2(a)为原始温度序数据序列，图2(b)为设阈值后温度序列(第一预处理数据集)，图2(c)为进行三倍标准差后的温度数据序列(第二预处理数据集)，图2(d)为归一化后温度数据序列(预处理后的训练数据集)。

步骤s203中，归一化方法采用最大最小归一化方法。

步骤s103中，采用四个rbm网络依次堆叠构成栈式rbm网络；上个rbm网络的隐藏层作为下个rbm网络的可视层，逐层提取特征、依次降维；并利用rbm逐层数据压缩预训练算法对所述栈式rbm网络进行预训练。

步骤s104中，将训练得到的栈式rbm编码网络做对称转置，得到栈式rbm解码网络(栈式rbm编解码网络模型结构如图3所示)；将栈式rbm编解码网络作为vae的编解码器，并将vae编码器输出的两组数据分别作为高斯分布的均值和方差，通过变分采样的方法生成vae解码器的输入，构成变分混合差错压缩网络(如图4所述)。

步骤s105中，使用所述预处理后的训练数据集对变分混合差错压缩网络进行训练的方法为：首先使用训练后的栈式rbm编解码网络参数初始化变分混合差错压缩网络的参数，得到初始化后的变分混合差错压缩网络；

然后使用所述预处理后的训练数据集对初始化后的变分混合差错压缩网络进行训练，得到训练后的变分混合差错压缩网络：使用变分混合差错压缩与重构算法对初始化后的变分混合差错压缩网络进行参数微调。

步骤s106中，获取无线传感网各终端感知节点的真实温度数据的方法为：利用传感器对无线传感网各个终端感知节点采集温度流数据进行采集。

如图5所示，为本发明实施例中一种基于变分混合的无线传感网深度容错压缩系统的模块组成示意图，其特征在于：包括顺次连接的数据获取模块11、预训练模块12、模型搭建模块13、网络构造模块14、网络训练模块15和测试模块16；

数据获取模块11，用于获取无线传感网各终端感知节点的温度数据，并将从各节点获取的温度数据组成对应节点的训练数据集；

预训练模块12，用于对所述训练数据集中的温度数据进行预处理，得到预处理后的训练数据集；

模型搭建模块13，用于构建栈式rbm网络，使用预处理后的训练数据集对栈式rbm网络进行预训练，得到预训练后的栈式rbm网络模型的权值和偏置；

网络构造模块14，用于将预训练后的栈式rbm网络模型和变分混合编码器模型结合，构造出变分混合差错压缩网络；

网络训练模块15，用于使用所述预处理后的训练数据集对变分混合差错压缩网络进行训练，得到训练后的变分混合差错压缩网络；

测试模块16，用于获取无线传感网各终端感知节点的真实温度数据，将从对应节点获取的真实温度数据组成对应节点的测试数据集；并将所述测试数据集输入训练后的变分混合差错压缩网络，得到对应该节点真实温度数据的压缩数据。

在本实施例中，预训练模块12中，对所述训练数据集中的温度数据进行预处理的步骤包括以下单元：

异常剔除单元，用于去除所述训练数据集中小于-5℃和大于45℃的异常温度数据，得到第一预处理数据集；

标准差单元，用于采用三倍标准差法去除所述第一预处理数据集中的其他异常数据，得到第二预处理数据集；

归一化单元，用于将所述第二预处理数据集归一化映射到[0,1]区间，得到预处理后的训练数据集。

本实施例中，将预处理后的训练数据集作为栈式rbm网络的训练集，通过rbm逐层数据压缩预训练算法对栈式rbm网络进行预训练，算法流程如下：

步骤：

1.对栈式rbm编解码网络的参数进行初始化，δw＝0,δb＝0,δc＝0；

2.设定迭代次数初始变量iter＝0；

3.对于训练集合中的每一个训练样本，进行前向传播，得到所有隐藏层单元激活值；

4.对所有隐藏层单元求对应的可视层单元激活值；

5.求可视层各单元精度，计算偏导数值；

6.更新w，

7.iter＝iter+1；

8.如果iter<maxiter，则返回到第3步，否则执行完毕，输出第6步结果.

变分混合差错压缩网络模型经过上述算法训练完成后，在温度数据的压缩与重构上已具有良好的性能。以下将通过几个实验说明来对本发明所提出的技术方案做进一步的解释说明：

实验1：变分混合差错压缩网络对训练样本的重构结果

变分混合差错压缩网络中栈式rbm编解码模块迭代次数为2000，bp反向传播学习次数为500次。整个模型初始向量维度120，压缩倍数为10倍，训练数据取英特尔实验室中节点7的温度数据。图6中方框标注的数据点为训练集中的原始温度数据，实心点标注的数据点为变分混合差错压缩网络重构的温度数据。

从图6中可以看出，变分混合差错压缩网络在压缩倍数为10倍的情况下，重构精度较高，能够比较好地接近于原始温度数据。

实验2：同一节点在不同压缩率下的数据重构误差

变分混合差错压缩网络中栈式rbm编解码模块迭代次数为2000，bp反向传播学习次数为500次。训练数据为1至10号节点的温度数据，整个模型初始向量维度120，通过调节第六层神经元数量改变模型的压缩倍数，压缩倍数依次调节为24、8、4、2、1倍。

实验结果如表1所示：

表1同一节点在不同压缩率下的重构误差

由表1可知：在单个节点上，随着隐藏特征维数的增加，即压缩倍数的减小，节点的重构误差并没有明显的增大或减少，这说明深度学习算法得到的是数据固有属性，固有特征表现在权值矩阵上而与压缩后的维数无关，本算法具有很强的鲁棒性，这是深层压缩方法与浅层压缩方法的不同之处，浅层压缩方法往往是随着压缩倍数增大重构误差会发生明显增大，同时也体现了同一节点温度序列在时间上的相关性。在相同隐藏层特征维数下，即相同压缩倍数时，不同节点的重构误差近似趋同，这说明了深度学习模型的通用性，同样的模型能够学习到不同节点的时间序列的波动性。

实验3：本算法在不同节点上的模型迁移学习实验

为验证变分混合差错压缩网络的泛化性能和不同节点之间的空间相关性，先用节点7的数据做训练，无线传感网中的节点1～20均在此训练的网络参数下进行测试，这在深度学习中被称为迁移学习。同时，将上述得到的各个节点的测试误差与单独对每个节点进行训练，即每个节点都有本节点流数据所对应的训练模型的权值参数，将两个实验得到的各个节点的重构误差作为对比，验证算法在不同节点上的模型迁移学习的能力。隐藏层特征维数均为5维，即压缩倍数为24倍，rbm预训练2000次，bp反向传播200次。实验结果如表2所示：

表2在不同节点上的模型迁移学习(节点1～节点20)

从表2中可以看到测试误差与每个节点自己训练得到的训练误差十分接近，说明在同一wsn中各节点处的数据空间相关性高，也验证了变分混合差错压缩网络有一定的泛化能力

综上所述，本发明提出了一种基于变分混合的无线传感网深度容错压缩方法，该方法首先使用处理过的传感数据集训练四个rbm堆叠成的栈式rbm编解码网络，利用马尔科夫随机场性质、无向图分解性质以及吉布斯采样和k步对比散度算法对每个rbm进行训练。训练完成后，将训练得到的栈式rbm编码网络参数做简单的对称转置，可得到栈式rbm解码网络，进而得到栈式rbm编解码网络模型。将栈式rbm编解码网络作为vae的编解码器，分别将vae编码器输出的两组数据作为高斯分布的均值和方差，通过变分采样生成vae解码器的输入，构成变分混合差错压缩网络。使用训练数据集对变分混合差错压缩网络进行再训练，提高数据压缩率和重构精度。

本发明的有益效果是：本发明提出的技术方案有效的降低了无线传感网的节点能耗消耗，并具有良好的压缩率和鲁棒性，提高了无线传感网的生命工作周期，为提高wsn及时性、节能性与可靠性提出了一种新方法。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。