基于PSVM-LSTM的电子鼻信号长期漂移抑制方法与流程

本发明涉及电子鼻信号和信息处理领域，具体是涉及一种基于psvm-lstm的电子鼻信号长期漂移抑制方法。

背景技术：

电子鼻作为一种模仿生物嗅觉系统的智能装置，能够利用气体传感器阵列的响应图谱等信号特征来实现简单或复杂气味的识别。其操作简单，快速有效，且适合现场检测，因而被广泛应用于环境、食品、医疗等领域。理论上，相同测量条件下的电子鼻对同一气体的同一浓度响应应当是相同的。然而，实际应用中，电子鼻的传感器随着使用时间的增长而不断老化、退化、中毒等，而使得其响应信号逐渐偏离其应有的数值，即时间漂移。这极大地降低了电子鼻的性能，不仅识别精度大幅降低，甚至系统变得不可靠。

针对电子鼻信号漂移问题，现有的抑制或补偿技术可概述为三类：成分校正法、调节补偿法和机器学习法。成分校正法作为最早的一类方法，其主要通过响应数据的空间映射变换找到信号漂移的方向并将该部分的成分移除，典型代表为主成分分析pca及其变种kpca等；然而，这类方法的补偿思路需要建立在所有数据漂移是稳定一致的，这与实际漂移情况差异较大。第二类称之为调节补偿法，其根据电子鼻内传感器在不同阶段的信号特征(瞬态吸附、稳态响应、瞬态脱附)进行差异化调整；但是这种方法容易将瞬态响应误判为电子鼻的传感器正在发生剧烈变化的漂移，扰乱电子鼻原有的匹配模式特征，导致原本准确的测量经补偿后反而不能够正确地识别。

第三类为近年来较受关注的机器学习方法，这类方法与前两类方法不同，它并不计算或者明确描述信号的漂移问题，而是直接借助于大量样本的训练学习得到的分类器进行调整；这类方法克服了信号校正法或调节补偿法的缺点，适应性更广。现有技术中，zl201110340596.6和zl201110340338.8分别公开了基于多重自组织神经网络的电子鼻漂移抑制方法和在线漂移补偿方法，是一种通过自动寻找样本中的内在规律从而自适应地改变神经网络参数与结构的学习方法；zl201610245615.x公开了一种带子空间投影的电子鼻信号误差自适应学习方法；zl201610218450.7和zl201610216768.1分别公开了一种基于源域迁移极限学习和目标域迁移极限学习的电子鼻气体识别方法，能够对电子鼻异构或漂移数据进行补偿抑制；zl201610120715.x还公开了一种基于深度信念网络特征提取的电子鼻漂移补偿方法，为一种采用大样本深度学习的网络架构和方法。

然而，上述这些方法在实际电子鼻应用中仍然存在很大的缺陷：这些学习器的训练仅是建立“未漂移数据集(或源域)”和“已漂移数据集(或目标域)”之间的数学关系模型，或是将两个数据集进行映射变换后再建立的相互关系模型。1)这些数据集中，信号的处理或提取的特征中多是静态的、离散的，少有做到随时间增加而更新，特别是长周期时间序列信号的处理；2)这些已具备补偿能力的学习器本身无法随着长期数据增加进行实时更新，即难以对最新采集到的数据集进行漂移抑制；3)实际应用中，这些学习器在当前一段时期内的补偿效果较好，但随着时间增加其效果越来越差，通常需要每隔一段时间的重新进行训练，其时间自适应性和长期稳定性较弱。

技术实现要素：

为了解决上述问题，本发明提供一种基于psvm-lstm电子鼻长期漂移抑制方法，其将每个短时段内训练的psvm分类器参数或特征看作为长周期时间序列的一个时刻信号，根据当前及其之前的时序数据对未来某一时刻的psvm分类器状态进行实时预测和更新，利用动量随机梯度下降法训lstm网络，使得lstm网络保留长期、稳定等有用的参数信息，遗忘掉随时间漂移造成的偏差等不符信息，从而达到抑制了电子鼻信号漂移的目的，提高电子鼻的长期稳定性，具备较强实时性和自适应性。

为了实现以上目的，本发明采取的一种技术方案是：

基于psvm-lstm的网络的电子鼻长期漂移抑制方法，包括以下步骤：

步骤一：对当前时间段内的电子鼻数据进行预处理，提取数据集的特征作为输入，并记录该数据集所对应的标签，即时间段t的完整数据集可表示为

其中，为当前t时间段数据集的第i个电子鼻样本对，m为电子鼻样本数，t∈{1,2,…k}，k表示时间段的总数；此时m个电子鼻传感器在t时间段的特征矩阵和标签可分别记为和

步骤二：利用pso粒子群算法优化向量机形成psvm分类器，即所述向量机分类器中的惩罚因子c和径向基函数g根据pso粒子群优化算法得到；对当前t时间段的数据集st进行训练学习得到psvm分类器ft(x)，提取该psvm分类器ft(x)的模型参数作为新的特征矩阵fn,t；

步骤三：重复步骤一和步骤二，对k个时间段的电子鼻数据集进行相同处理；

步骤四：构建长短期记忆网络预测模型，将由步骤三得到的每个时间段t的特征矩阵fn,t作为所述长短期记忆网络的特征输入in＝[fn,1,fn,2,…fn,k]，将延时一个时间段后的特征矩阵fn,t+1作为该网络的输出out＝[fn,2,fn,3,…fn,k+1]；

步骤五：采用动量随机梯度下降法训练步骤四的网络模型，直至得到稳定收敛。

进一步地，所述步骤二中的惩罚因子c和径向基函数g由以下公式获得：

vi^ω＝θ·vi^ω+p1×τ×(c^ω-μi^ω)+p2×τ×(g^ω-μi^ω)(2)

其中，i为粒子数目(本文采用了500个)，ω为迭代次数，θ为惯性因子(非负数)，vi为粒子速度，p1和p2为学习因子，μi为粒子当前的位置，τ为(0，1)范围内的随机数。

进一步地，所述步骤一中的数据预处理主要包括电子鼻内传感器测量的原始信号降噪和归一化处理，该原始信号包含传感器的稳态响应特征和瞬态响应特征，处理后的信号特征值为n×1向量形式，某一时间段t是稳定常量，样本数m不小于100，被测分析物即数据集对应的标签采用二进制编码。

进一步地，所述步骤二中的psvm分类器ft(x)采用基于高斯核函数的多分类支持向量机，所述psvm分类器ft(x)模型参数为权值wt和偏置bt，从而新特征矩阵可记为fn,t＝[wt,bt]，所述权值wt和偏置bt通过如下公式获得：

其中，αi为拉格朗日乘子，且αi≥0；δi为松弛变量；c为psvm分类器ft(x)的惩罚因子；g为psvm分类器ft(x)的径向基函数；l(wt,bt,α)为无约束的拉格朗日函数，为最优化目标函数。

进一步地，所述步骤四中的长短期记忆网络预测模型构建如下：将步骤三中得到的每个时间段t的特征矩阵fn,t接入一个lstm单元，构成特征输入in＝[fn,1,fn,2,…fn,k]，同时将k个lstm单元设计为双层结构从而构成双层lstm网络，然后在lstm层2再接入一个全连接层，所述全连接层输出out＝[fn,2,fn,3,…fn,k+1]。

进一步地，所述psvm-lstm网络的每个lstm单元为含有遗忘门ft、输入门it、输出门ot及时备选状态的标准递归神经网络模块，遗忘门ft、输入门it、输出门ot即时备选状态通过以下公式获得：

ft＝σ(wf·[xt,ht-1]+bf)(5)

it＝σ(wi·[xt,ht-1]+bi)(6)

ot＝σ(wo·[xt,ht-1]+bo)(7)

其中，wf及bf表示遗忘门的权值和偏置、wi及bi表示输入门的权值和偏置、wo及bo表示输出门的权值和偏置、wc及bc表示即时备选状态的权值和偏置；σ为激活函数，“门”状态的激活采用sigmoid函数即时备选状态的激活采用tanh函数

当前时间段lstm单元的隐层输出ht由输出门ot与当前单元状态ct共同决定，当前状态ct的输出可由遗忘门ft、上一时刻状态ct-1、输入门it、即时备选状态共同决定；而lstm单元在下一时间段的即时状态输出可由隐层输出ht、psvm-lstm整体网络输出层权值矩阵w以及偏置项b共同决定，计算公式如下所示：

ht＝ot⊙tanh(ct)(10)

式中，符号⊙表示按元素乘，所述长短期记忆网络的全连接层输出在每个时刻t是相互独立的，其输出同样可表示为的形式即fn,t+1，其中来自前一层的输入即fn,t，w和b初始化范围为(0，1)。

进一步地，权值矩阵w和偏置项b通过动量随机梯度下降法迭代获得，计算公式如下：

vdw＝β·vdw+(1-β)·dw(12)

vdb＝β·vdb+(1-β)·db(13)

w＝w-αvdw,b＝b-αvdb(14)

其中，dw和db分别为权值、偏置的微分，vdw和vdb分别为权值动量因子、偏置动量因子,是梯度下降量与梯度更新量的矢量和；α和β是连个超参数,通常β设置为0.9,α为学习速率。

进一步地，所述步骤五的psvm-lstm网络的训练中，动量随机梯度下降法迭代过程中采用的损失函数为平均绝对误差函数，计算公式如下所示：

其中，yti为yt中单个预测输出值，tti为步骤一中数据集对应的标签，m为电子鼻样本数，k为时间段总数。

进一步地，所述动量随机梯度下降法中初始学习速率α＝0.01，初始最大迭代次数为250。

本发明的有益效果在于：使用psvm中粒子群算法优化向量机中的的重要参数，具有参数少、搜索快、鲁棒性高、易于工程实现等优点；利用psvm分类器ft(x)获取新的特征矩阵fn,t作为lstm网络的输入，其将每个短时段内训练的psvm分类器参数或特征看作为长周期时间序列的一个时刻信号，根据当前及其之前的时序数据对未来某一时刻的psvm分类器状态进行实时预测和更新，利用动量随机梯度下降法训练lstm网络，使得lstm网络保留长期、稳定等有用的参数信息，遗忘掉随时间漂移造成的偏差等不符信息，从而达到抑制了电子鼻信号漂移的目的，提高电子鼻的长期稳定性，具备较强实时性和自适应性。

附图说明

图1为一实施例中基于psvm-lstm的电子鼻信号长期漂移抑制方法的算法流程图；

图2为一实施例中psvm-lstm的网络模型；

图3为一实施中lstm网络单元的结构图；

图4为一实施例电子鼻传感器的气敏响应曲线示意图；

图5为一具体实施例中一个电子鼻数据集测试结果的对比图；

图6为一实施中粒子群优化算法流程图；

图7为一具体实施例中一个电子鼻数据集测试结果误差对比图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

基于psvm-lstm的网络的电子鼻长期漂移抑制方法，如图1及图2所示，包括以下步骤：

步骤一：对当前时间段内的电子鼻数据进行预处理，提取数据集的特征作为输入，并记录该数据集所对应的标签，即时间段t的完整数据集可表示为

其中，为当前t时间段数据集的第i个电子鼻样本对，m为电子鼻样本数，t∈{1,2,…k}，k表示时间段的总数；此时m个电子鼻传感器在t时间段的特征矩阵和标签可分别记为和

步骤二：利用pso粒子群算法优化向量机形成psvm分类器，即所述向量机分类器中的惩罚因子c和径向基函数g根据pso粒子群优化算法得到；对当前t时间段的数据集st进行训练学习得到psvm分类器ft(x)，提取该psvm分类器ft(x)的模型参数作为新的特征矩阵fn,t；

如图6所示，所述步骤二中的惩罚因子c和径向基函数g由以下公式获得：

vi^ω＝θ·vi^ω+p1×τ×(c^ω-μi^ω)+p2×τ×(g^ω-μi^ω)(2)

其中，i为粒子数目，ω为迭代次数，θ为惯性因子(非负数)，vi为粒子速度，p1和p2为学习因子，μi为粒子当前的位置，τ为(0，1)范围内的随机数，所示ω可以利用次数阈值进行限定，也可以采用误差阈值进行限定，学习因子p1和p2一般设为2；

所述步骤二中的psvm分类器ft(x)采用基于高斯核函数的多分类支持向量机，所述psvm分类器ft(x)模型参数为权值wt和偏置bt，从而新特征矩阵可记为fn,t＝[wt,bt]，所述权值wt和偏置bt通过如下公式获得：

其中，αi为拉格朗日乘子，且αi≥0；δi为松弛变量；c为psvm分类器ft(x)的惩罚因子；g为psvm分类器ft(x)的径向基函数；l(wt,bt,α)为无约束的拉格朗日函数，为最优化目标函数；

步骤三：重复步骤一和步骤二，对k个时间段的电子鼻数据集进行相同处理；

步骤四：构建长短期记忆网络预测模型，将由步骤三得到的每个时间段t的特征矩阵fn,t作为所述长短期记忆网络的特征输入in＝[fn,1,fn,2,…fn,k]，将延时一个时间段后的特征矩阵fn,t+1作为该网络的输出out＝[fn,2,fn,3,…fn,k+1]；

所述步骤四中的长短期记忆网络预测模型构建如下：将步骤三中得到的每个时间段t的特征矩阵fn,t接入一个lstm单元，构成特征输入in＝[fn,1,fn,2,…fn,k]，同时将k个lstm单元设计为双层结构从而构成双层lstm网络，然后在lstm层2再接入一个全连接层，所述全连接层输出out＝[fn,2,fn,3,…fn,k+1]；

如图3所示，所述psvm-lstm网络的每个lstm单元为含有遗忘门ft、输入门it、输出门ot及时备选状态的标准递归神经网络模块，该lstm单元可以根据规则来判断输入的信息是否有用，核心在于用“门”控制单元的状态c：在当前t时刻，遗忘门ft负责控制上一时刻的ct-1有多少信息保存到当前时刻的ct；输入门it选择当前时刻的时备选状态有多少信息输入到当前单元；输出门ot控制当前状态ct有多少信息作为该时刻的隐层输出ht；即时备选状态由当前t时刻网络的输入xt和上一时刻的隐层输出ht-1共同决定，遗忘门ft、输入门it、输出门ot即时备选状态通过以下公式获得：

ft＝σ(wf·[xt,ht-1]+bf)(5)

it＝σ(wi·[xt,ht-1]+bi)(6)

ot＝σ(wo·[xt,ht-1]+bo)(7)

其中，wf及bf表示遗忘门的权值和偏置、wi及bi表示输入门的权值和偏置、wo及bo表示输出门的权值和偏置、wc及bc表示即时备选状态的权值和偏置；σ为激活函数，“门”状态的激活采用sigmoid函数即时备选状态的激活采用tanh函数

当前时间段lstm单元的隐层输出ht由输出门ot与当前单元状态ct共同决定，当前状态ct的输出可由遗忘门ft、上一时刻状态ct-1、输入门it、即时备选状态共同决定；而lstm单元在下一时间段的即时状态输出可由隐层输出ht、psvm-lstm整体网络输出层权值矩阵w以及偏置项b共同决定，计算公式如下所示：

ht＝ot⊙tanh(ct)(10)

式中，符号⊙表示按元素乘，所述长短期记忆网络的全连接层输出在每个时刻t是相互独立的，其输出同样可表示为的形式即fn,t+1，其中来自前一层的输入即fn,t，w和b初始化范围为(0，1)。

步骤五：采用动量随机梯度下降法训练步骤四的网络模型，直至得到稳定收敛。

所述步骤五的psvm-lstm网络的训练中，动量随机梯度下降法迭代过程中采用的损失函数为平均绝对误差函数，计算公式如下所示：

其中，yti为yt中单个预测输出值，tti为步骤一中数据集对应的标签，m为电子鼻样本数，k为时间段总数，其中平均绝对误差函数的阈值可以根据实际需求进行设定。

在一具体实施例中所述步骤一中的数据预处理主要包括电子鼻内传感器测量的原始信号降噪和归一化处理，该原始信号包含传感器的稳态响应特征和瞬态响应特征，处理后的信号特征值为n×1向量形式，某一时间段t是稳定常量，样本数m不小于100，被测分析物即数据集对应的标签采用二进制编码。

在一实施例中所采用的电子鼻为四个气敏传感器构成的阵列，选用的figaroinc.公司的tgs系列传感器，分别为tgs2600、tgs2602、tgs2610、tgs2620，单个tgs传感器的响应信号如图4所示，采用文献[vergaraa,vembus,ayhant,etal.chemicalgassensordriftcompensationusingclassifierensembles.sensorsandactuatorsb:chemical,2012,166:320-329]中的指数滑动平均方法进行特征提取，包含阵列中每个传感器响应的瞬态吸附、稳态峰值、瞬态下降区间的8个特征，分别为稳态特征值δr和‖δr‖、吸附上升期的瞬态特征值[maxema0.001,maxema0.01,maxema0.1]、和脱附下降期的瞬态特征值[minema0.001,minema0.01,minema0.1]，单次测量可记为xi＝[x11,x12…,x18；x21,x22…,x28；…；x41,x42…,x48]，共32个特征值；所取一段时间设置为一个月，选取的被测分析物乙烯、乙醇和丙酮，它们对应的yi类别标签分别记为(0,0,1)、(0,1,0)和(1,0,0)。lstm网络算法模型架构可基于matlab环境deeplearningtoolbox来实现长短期记忆网络的构建，超参数调节设置包括：原始输入信号特征维度为32，响应动量随机梯度采用adam优化器，设置梯度阈值为1，lstm网络隐含单元数为200，单个psvm分类器参数特征数和响应数相同，采用predictandupdatestate函数来实现下个时间步长的更新和预测，pso算法中的粒子数量i＝500，采用的便携式硬件平台具备一块intel(r)core(tm)i7-7700的中央处理器(cpu)、主频为3.60ghz、缓存ram16.0gb，能够满足训练要求。

在一个具体实施例中，选取了一个公开于ucimachinelearningrepository[http://archive.ics.uci.edu/ml/datasets/gas+sensor+array+drift+dataset]的数据库的部分数据进行测试验证，该数据库耗时3年采集了13910个样本，采集了包含丙酮，乙醇，乙醛，乙烯，氨气以及甲苯在内的6种分析物；利用该数据库，该测试对比分析了文献[vergaraa,vembus,ayhant,etal.chemicalgassensordriftcompensationusingclassifierensembles.sensorsandactuatorsb:chemical,2012,166:320-329]中给出的四种测试方法：test1-用前一个月的数据所训练的分类器来测试当前月；test2-用以前月份的所有数据训练一个集成分类器来测试当前月；test3-与test2相似但采用相同的权值来训练集成分类器；test4-与test1相似但加入了基于主成分分析法的分量校正。如图5所示，test5为本发明提供的方法且选用十折交叉验证方式进行调校，可观测到随着时间批次增加，原有分类器(reference)的精度越来越低，而test5的校正方法始终保持了较高的分类器精度，性能优于其余的方法。训练结果误差如图7所示，所述动量随机梯度下降法中初始学习速率α＝0.01，初始最大迭代次数为250，训练过程中误差(loss)不断降低为0且训练误差(trainloss)与测试误差(valloss)的差值控制在特定区间内，模型的误差与方差较低，提升了模型的适用性。

以上所述仅为本申请的部分优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。