一种基于VMD和WPD的脑电信号情感识别方法及系统与流程

本公开涉及情感识别技术领域，特别是涉及一种基于vmd和wpd的脑电信号情感识别方法及系统。

背景技术：

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

近年来，基于脑电(electroencephalogram，eeg)信号的情感识别的研究已经颇具规模，人们对基于eeg的情感识别的发展热度不断提升，利用先进的特征提取方法，能够实现人机之间的情感互动，逐步达到信息化。因此，基于eeg的情感识别应运而生，即利用eeg进行情感识别进而实现在线疲劳监测，远程教育和辅助医生进行医疗诊断等。中国脑计划启动在即，主要研究内容为深化脑健康相关的基础研究，建立标准统一的脑科学研究数据平台，开展脑科学新技术、新方法研究。

情感识别的研究目标之一是通过各种不同的方法来找到适合eeg情感识别的特征，然后优化模型以提高分类方法的准确率；另一目标就是找出与情感活动最相关的eeg频段和脑区，为基于eeg的研究提供良好的eeg特征。

在实现本公开的过程中，发明人发现现有技术中存在以下技术问题：

近年来，经验模态分解(empiricalmodedecomposition，emd)被广泛地应用到了脑电信号的特征提取中，但emd存在很多的局限性，如容易出现模态混叠、对噪声的鲁棒性差以及存在未知的震荡等，从而影响分解的效果。在认知神经科学的研究中发现，并非所有收集到的频率都对情感识别问题是有效的，脑电信号的不同频带和不同的大脑活动密切相关。对于脑电频带的选择，研究者们大多都是基于前人的经验。在频带提取阶段，离散小波变换(discretewavelettransform，dwt)对高频信号的分解不够精细，容易丢失情感信息。

研究发现时频分析能够同时表示信号在时域和频域的瞬时变化，混合的时频分析方法可以获得更好的情感识别效果。kabir和bhuiyan的研究表明，emd-dwt等混合分解方法可以有效的分析诸如心电(electrocardiogram，ecg)、eeg等非线性、非平稳的生理信号。rahman等人发现vmd-dwt比只使用变分模态分解(variationalmodedecomposition，vmd)和dwt方法可以获得更大的时频分辨率，更有可能能够捕捉到反映eeg信号的非线性特征。这些混合方法虽然都应用到了eeg信号的处理上，但没有应用到情感识别领域的特征提取中，因此，非常必要提出一种新的基于混合时频分析的特征提取方法具有重要意义。

技术实现要素：

为了解决上述问题，本公开提出了一种基于vmd和wpd的脑电信号情感识别方法及系统，变分模态分解vmd和小波包分解(waveletpacketdecomposition，wpd)的多维特征提取方法能够获得更好的时频分辨率，更能捕捉eeg信号的非线性特征，同时能够得到与情感更为相关的eeg频带，为情感识别提供良好的eeg特征基础，进而取得更好的情感识别效果。

为了实现上述目的，本公开采用如下技术方案：

第一方面，本公开提供一种基于vmd和wpd的脑电信号情感识别方法，包括：

对获取的脑电信号数据进行变分模态分解，得到变分模态分量；

对变分模态分量进行小波包分解与重构，得到在脑电信号频段中β和γ频带下的重构信号；

分别计算重构信号的小波包熵、改进的多尺度样本熵、分形维数和一阶差分值，组成对脑电信号情感识别的特征向量；

将特征向量送入分类器中进行情感状态的分类识别。

作为可能的一些实现方式，所述小波包分解与重构包括：

初始化分解层数i和平移参数m，计算变分模态分量的小波包函数，根据小波包函数计算其在第i层第m个位置的小波包系数；

根据小波包系数对变分模态分量进行重构，得到在脑电信号频段中β和γ频带下的重构信号。

作为可能的一些实现方式，所述小波包熵的计算过程包括：

对脑电信号进行i层小波包分解，得到2ⁱ个小波节点；

对第i层节点小波包系数进行重构，得到各节点的重构信号si,m，其中m＝1,2,…,2ⁱ，

计算si,m对应的能量ei,m和总能量e，

其中，si,m(t)是si,m的第t个数据点，t＝1,2,…,t，t为变分模态分量的个数；

对ei,m进行归一化，即：

pi,m＝ei,m/e，

计算si,m对应的小波熵hi,m,即：

hi,m＝-pi,mlogpi,m。

作为可能的一些实现方式，所述改进的多尺度样本熵的计算过程包括：

计算以延迟时间τ为尺度因子的移动平均时间序列z^τ的样本熵，即：

mmse＝sampleen(z^τ,m,δ＝τ,r)，

其中，sampleen为样本熵的计算函数，m＝1,2,…,2ⁱ，δ是延迟时间。

作为可能的一些实现方式，所述分形维数计算过程包括：

将脑电信号s构造为一个新的脑电信号的定义为：

计算l集合的值，即：

计算分形维数，即：

其中，n为初始时间点，n＝1,2,…,t，t为变分模态分量的个数，l是时间间隔，[·]代表向下取整；i为分解的层数；<l(l)>为ln(l)的均值。

作为可能的一些实现方式，所述一阶差分值计算过程包括：

含有t个数据点的脑电信号，一阶差分定义为：

其中，t1表示脑电信号的采样点数。

第二方面，本公开提供一种基于vmd和wpd的脑电信号情感识别系统，包括：

变分模态分解模块，被配置为对获取的脑电信号数据进行变分模态分解，得到变分模态分量；

重构模块，被配置为对变分模态分量进行小波包分解与重构，得到在脑电信号频段中β和γ频带下的重构信号；

特征向量组成模块，被配置为分别计算重构信号的小波包熵、改进的多尺度样本熵、分形维数和一阶差分值，组成对脑电信号情感识别的特征向量；

分类识别模块，被配置为将特征向量送入分类器中进行情感状态的分类识别。

第三方面，本公开提供一种电子设备，其特征是，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成一种基于vmd和wpd的脑电信号情感识别方法所述的步骤。

第四方面，本公开提供一种计算机可读存储介质，其特征是，用于存储计算机指令，所述计算机指令被处理器执行时，完成一种基于vmd和wpd的脑电信号情感识别方法所述的步骤。

与现有技术相比，本公开的有益效果为：

本公开方法由五部分组成：数据预处理部分、变分模态分解部分、小波包分解与重构部分、特征向量的计算部分和分类器分类与预测部分。通过分析发现，并不是所有的eeg频带都适合情感识别的研究，本公开提取与情感最为相关的eeg频带，并将其重构为一个新的情感频带。针对单独的时频分析方法的情感识别效果不如集成的时频分析方法的效果好，集成的时频分析方法可以获得更大的时频分辨率和更能捕捉eeg信号的非线性特征，本公开将vmd和wpd方法进行集成用于eeg的情感识别。

vmd和wpd的分解与重构部分是将所选择的数据进行vmd分解，再将分解得到的向量vmf进行小波包分解与重构，得到重构频带vmfβ+γ；特征向量的计算部分由计算wpe、计算mmse、计算fd、计算1st组成，主要计算了基于非线性动力学的特征值和基于时域的特征值，将计算的特征值组成情感特征向量x；最后将情感特征向量送入分类器中进行分类与预测，进而进行情感状态的识别。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。

图1为本公开实施例中的基于vmd和wpd的多维特征提取方法流程图；

图2为本公开实施例中的wpd分解与重构的过程图；

图3为本公开实施例中的wpd二叉树示意图；

图4为本公开实施例中的mmse的移动平均粗粒度过程图；

图5为本公开实施例中的随机森林分类器的体系结构图。

具体实施方式：

下面结合附图与实施例对本公开做进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例1

本公开首先提供了一种基于vmd和wpd的多维特征提取方法，如图1所示主要包括以下几个过程：

步骤s1：从情感eeg数据集中获取数据，对数据进行预处理；

步骤s2：对预处理的eeg信号进行vmd分解，分解得到vmf；

步骤s3：对vmf进行wpd，得到vmfβ+γ；

步骤s4：提取vmfβ+γ的wpe、mmse、fd和1st组成情感特征向量x；

步骤s5：将特征向量x送入随机森林分类器中进行情感状态的识别。

本公开提出的基于vmd和wpd的多维特征提取算法可描述为：

在本实施例的步骤s1中，本公开使用国际上公开的多模态情感数据集deap，使用的是经过降采样和去眼电处理的matlab版本的数据，每个被试有一个.mat文件。

deap数据集提供的是经过降采样和去眼电的eeg数据，本公开对数据进行了进一步的预处理，数据预处理部分由数据选择、数据分段和基线校正。根据人类的注意力机制，人类情绪的产生需要一定的时间，因此提取24s-43s的数据作为分析数据，即删除前23s和后20s的数据。由于太长的数据可能会影响运行速度和分类性能，所以数据被划分为具有4s时间窗口的数据段，采用没有重叠的方式。因此，每个通道可以提取5段的eeg数据，它们共享一个标签，一个被试可以提取6400段数据。为了获得更纯净的情感数据，对提取的20s数据进行基线校正，即以第三秒的基线数据作为基线，从20s的情绪数据中减去基线，得到与刺激最相关的eeg数据。

在本实施例的步骤s2中，对预处理的eeg信号进行vmd分解，分解得到vmf。

假设每个vmf是围绕中心频率的有限带宽，将vmf重新定义为一个调幅-调频(am-fm)信号，用uk(t)表示分解得到的第k个模态分量，1≤k≤k。

其中，k为预设的分解尺度，ak(t)和分别为uk(t)的瞬时幅值和瞬时相位，是一个非递减函数，uk(t)的瞬时频率为ωk(t)。

(1)对各个模态函数uk(t)进行hilbert变换得到相应的解析信号vk(t)。

vk(t)＝[(δ(t)+j/πt)×uk(t)](3)

其中，δ(t)为dirac分布，j为虚数单位，×表示卷积运算。

(2)对各解析信号估计一个中心频率ωk，利用指数项进行修正，将每个模态的频谱变换到相应的基带得到yk(t)。

(3)通过高斯平滑指标即l2范数梯度的平方根解调信号，以此估计各模态分量的带宽，最终得到约束变分问题为：

s.t.∑kuk＝s(6)

其中,{uk}＝{u1,u2,…,uk}表示分解得到的k个vmf分量，{ωk}＝{ω1,ω2,…,ωk}代表各vmf的频率中心，表示对t求偏导，s为原始信号。

对变分问题进行求解，利用二次惩罚因子α和lagrange乘子λ(t)将其转化为无约束问题，即

其中，是二次惩罚项，<·>表示内积运算，α用来保证重构的精度，利用λ(t)来保证约束条件的严格性；然后，根据乘子交替方向算法(alternatedirectionmethodofmultipliers，admm)求取约束变分问题的最优解。

vmd算法如下：

在算法2中，表示第n+1次迭代时，第k个分量所对应的fourier变换，其中n为迭代的次数。s(ω)是信号s(t)对应的fourier变换。表示第n+1次迭代时，第k个分量所对应中心频率。λⁿ(ω)表示第n次迭代时，拉格朗日乘法算子λ(t)对应的傅里叶变换，τ为拉格朗日乘法算子的更新步长。i为假定的分量个数且i≠k，ε为判别精度且ε>0。

在本实施例的步骤s3中，情感识别的目标之一就是寻找与情感识别活动最相关的eeg频段，为基于脑电的研究提供良好的eeg特征。通过分析发现，并非所有收集到的频带都对情感识别问题是有效的，脑电信号的不同频带和不同的大脑活动密切相关。各频带的分类、相应的心理状态如下所述：

δ频带一般出现在成人无梦的深度睡眠中，属于无意识的精神状态；

θ频带出现在成人睡眠和做梦的过程中，也属于无意识的精神状态；

α频带在人处于放松和闭眼时出现，此时的状态称为潜意识状态；

β频带在人进行逻辑分析和运动的时候出现，与活跃的精神状态有关，主要出现在大脑额叶，反应了大脑皮层的兴奋度；

γ频带与人的多模态感觉有关，如视觉、听觉、触觉等，与超级大脑活动有关，γ频带也被心理学家认为是与人的注意力，认知，情绪等密切相关。

已有的研究表明，对情感识别效果最好的eeg频带是β和γ频带，这与神经心理学关于情感频带的研究相一致。所以，接下来使用β和γ频带重构的新的情感频带。

小波包分解与重构的过程如图2所示。从理论上来讲，wpd本质上还是一种小波变换(wt)，但从情感识别的效果来看，wpd的性能是优于wt的。

在wpd的过程中，输入信号被分解为低频部分和高频部分，其中低频部分和高频部分又分别被进一步的分解为低频部分和高频部分，重复此过程可以得到一棵完整的小波包二叉树。

本公开使用的是三层小波包分解，小波包二叉树的示意图如图3，其中a代表低频部分，d代表高频部分，a和d末尾的数字表示小波包分解的层数，即尺度。

wpd分解的大致过程可描述为：首先脑电信号被分解为a1和d1，然后再分别对a1和d1进行分解，分解为aa2、da2、ad2、和dd2，最后再对aa2、da2ad2、和dd2进行分解就可得到一棵完整小波包二叉树。分解完毕后，可以得到：

s＝aaa3+daa3+ada3+dda3+aad3+dad3+add3+ddd3(8)

此前研究表明wpd是一种常见的用来分析非平稳信号的时频分析方法。通过wpd，eeg信号可以被分解为一系列的低频信号和高频信号，对eeg信号s(t)进行处理，可以得到一系列的窄带信号，以便更好地将信号的时频局部化，小波包分解的二尺度方程定义如下：

其中，h(j)和g(j)分别为低通和高通滤波器系数，z表示整数集，为小波包树的第m个节点的信号，和分别是分解后对应的低频和高频信号。

小波包函数的定义如下：

在式(10)中，i，j分别代表尺度因子和时间因子，m为震荡因子。

将s(t)与小波包函数做内积可以得到相应的小波包系数：

其中，φi,m表示第i层的第m个小波包系数，m为平移参数。

wpd算法可以描述如下：

在进行wpd时，选择db4小波基，原因是该小波基与正常的eeg信号比较接近，能够产生更加精确的分解结果。

在本实施例的步骤s4中，由于集成的时频分析方法可以更好的捕捉eeg信号的非线性特征，进一步提取信号的非线性特征。非线性理论具有非周期性、非线性、随机性和对初始条件敏感等特点。在基于eeg信号的情感识别领域，常见的非线性动力学方法有熵、fd、lyapunov指数等。大脑是一个非常复杂的动力学系统，所以脑电信号本身具有非线性和随机性等特点，相对于传统的线性分析方法，非线性的分析方法更能描述eeg信号所要表达的真实信息。随着非线性动力学分析方法的发展，提出了更多描述eeg特性的非线性方法，也得到了应用与验证，其中wpe、se和fd被证明是非常适合情感识别领域的eeg信号特征提取。

1)小波包熵(wpe)

wpe是基于小波包分解方法建立起来的类似于信息熵的非线性动力学方法，反映了信号在时频域的能量分布情况，不同信号在时频分布上的差异表现为能量分布的差异，而且wpe能够对时频域上的能量分布特性进行定量的描述。wpe可以准确的反映脑电信号的复杂程度和不确定性，特别适合非平稳信号的分析。wpe的计算过程如下：

(1)定义eeg信号为s，对s进行i层小波包分解，得到2ⁱ个小波节点；

(2)对第i层节点小波包系数进行重构，得到各节点的重构信号si,m，其中m＝1,2,…,2ⁱ。

(3)计算si,m对应的能量ei,m和总能量e，ei,m和e的定义如下：

其中，si,m(t)是si,m的第t个数据点，t＝1,2,…,t。

(4)对ei,m进行归一化：

pi,m＝ei,m/e(14)

(5)计算si,m对应的小波熵hi,m,即

hi,m＝-pi,mlogpi,m(15)

eeg信号的wpe表示脑电信号的无序程度，熵值越大，说明信号的无序程度更高，熵值越低，越有序。

2)改进的多尺度样本熵(mmse)

样本熵(se)理论提出后，又发展为多尺度样本熵(mse)。mse是多尺度和样本熵的组合，即在计算se之前先对信号进行粗粒度处理。但随着尺度因子的增大，粗粒度的过程会大大减少时间序列的长度，很可能会造成大量信息的丢失，会产生不精确的熵值。为了改善mse存在的问题，提出了改进的mmse。mmse通过移动平均的方式得到不同尺度下的时间序列，计算在延迟时间τ下的se，移动平均的粗粒度原理如图4所示。

mmse的计算原理可描述为：

(1)让z^τ表示以τ为尺度因子的移动平均时间序列，z^τ的定义如下：

(2)计算移动时间序列z^τ的在延迟时间δ＝τ下的se，命名为mmse。计算公式如下：

mmse＝sampleen(z^τ,m,δ＝τ,r)(17)

其中，sampleen为样本熵的计算函数，m表示嵌入维数，r表示相似容限。

3)分形维数(fd)

fd是一个用来衡量脑电信号复杂度和非线性程度的非线性特征，可以很好的识别不同的情绪状态。本专利使用higuchi算法计算fd，计算过程如下：

(1)将eeg信号s构造为一个新的eeg信号的定义如下：

其中，n为初始时间点，n＝1,2,…,t，l是时间间隔，[·]代表向下取整。

(2)计算l集合的值，即

(3)计算分形维数，

其中<l(l)>为ln(l)的均值。

4)一阶差分(1st)

时域特征一般是指直接从eeg信号时间域上计算得到的一类特征，在情感识别领域通常把统计特征作为时域特征。在基于eeg信号的情感识别领域，时间序列的1st表现出优异的性能,可以很好的识别不同的情感脑电，1st描述时间序列在时域的信号改变的强度。对于一个含有t个数据点的eeg信号，一阶差分可以定义为：

其中t表示脑电信号的采样点数。

在本实施例的步骤s5中，将计算的特征向量送入随机森林分类器中进行情感状态的识别。由于传统的分类器容易出现过拟合，这会导致分类精度的下降，许多的研究者就通过组合分类器的方法来提高分类精度。在这种背景下，随机森林分类器应运而生，它是最为重要的基于bagging的集成学习方法之一。

随机森林分类器的体系结构如图5所示。随机森林分类器是通过随机的构造多棵相互无关的决策树来实现样本的训练、分类和预测。在随机森林分类器中，每棵决策树都可以看做一个独立的分类器，随机森林分类器所输出的类别是由所有的决策树投票而定。随机森林不仅在处理高维、连续和离散数据方面具有明显的优势，在避免过拟合方面的表现也很出色。大量的研究表明，随机森林是情感识别领域比较受欢迎的分类器之一。

实施例3

本公开提供一种基于vmd和wpd的脑电信号情感识别系统，包括：

变分模态分解模块，被配置为对获取的脑电信号数据进行变分模态分解，得到变分模态分量；

重构模块，被配置为对变分模态分量进行小波包分解与重构，得到在脑电信号频段中β和γ频带下的重构信号；

特征向量组成模块，被配置为分别计算重构信号的小波包熵、改进的多尺度样本熵、分形维数和一阶差分值，组成对脑电信号情感识别的特征向量；

分类识别模块，被配置为将特征向量送入分类器中进行情感状态的分类识别。

实施例3

本公开提供一种电子设备，其特征是，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成一种基于vmd和wpd的脑电信号情感识别方法所述的步骤。

实施例4

本公开提供一种计算机可读存储介质，其特征是，用于存储计算机指令，所述计算机指令被处理器执行时，完成一种基于vmd和wpd的脑电信号情感识别方法所述的步骤。

以上仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。