一种多通道脑电数据的情绪识别方法及电子装置与流程

本发明属于情感识别领域，具体涉及一种多通道脑电数据的情绪识别方法及电子装置。

背景技术：

人类情感是复杂的心理和生理表达，通常与主观感受、气质、性格、动机倾向、行为反应和生理唤醒有关。在情感识别研究领域，人体行为和生理信号都被广泛用于人类情感识别。与语言、面部表情、手势和肢体动作等容易掩盖人的情感的行为信号相比，脑电图(eeg)、肌电图(emg)和心电图(ecg)等生理信号对识别人类情绪更为可靠和真实。脑电信号是一种具有良好时间分辨率的物理信号，可以通过分析情绪刺激引起的即时脑部活动直接用于情绪识别。近年来，随着脑机接口(bci)技术的发展，基于脑电的应用越来越广泛，现实生活中出现了大量的基于脑电数据的应用。

一般来说，有两种广泛使用的情感模型来描述情感空间，一种是离散模型，另一种是维度模型(请参考图1)。在离散模型中，情绪空间由几个基本的离散情绪来描述。尽管对基本情绪的类别还没有达成共识，但许多研究使用了至少六种基本情绪:喜悦、悲伤、惊讶、恐惧、愤怒和厌恶(参考文献：d.keltnerandp.ekman,“thepsychophysiologyofemotion,”inhandbookofemotions,2000,pp.236–249.)。另一方面，维度模型描述了情绪空间在二维或三维空间中具有连续一致性的特征。其中效价(valence)维度范围从消极到积极，唤醒(arousal)维度范围从平静到活跃，最后到兴奋，支配(dominance)维度描述一个人的情绪状态从控制到被控制。离散的情感模型和连续的情感模型的关系如图1所示，纵轴为效价，横轴为唤醒度。

特征提取在基于脑电图的情绪识别中起着重要的作用。多种特征提取方法被应用在基于脑电的情绪识别领域，得到的脑电特征一般可分为三类:时域特征、频域特征和时频域特征。时域特征主要捕捉脑电信号的时间组织信息，具有代表性的时域脑电信号特征有hjorth特征、分形维数特征和高阶交叉特征等。频域特征主要从频域的角度捕捉情感信息。eeg信号中提取频域的特征首先将频段分解成几个子频段(例如,δ(1-3hz),θ(4-7hz),α(8-13hz),β(14-30hz)和γ(31-50hz))是最常用的方式,然后可以分别提取每个频带的脑电特征。当前常用的脑电频域特征提取方法有傅立叶变换(ft)、功率谱密度(psd)、小波变换(wt)和微分熵(de)(参考文献：alarcaosm,fonsecamj.emotionsrecognitionusingeegsignals:asurvey[j].ieeetransactionsonaffectivecomputing,2017.)。时频域特征同时捕获时域信息和频域信息，从滑动窗口分割的单位时间信号中提取频域信息，由于滑动窗口在时间维度对脑电数据进行分割，所以也可以整体获得脑电数据的时域信息。基于时频域特征的脑电情绪识别研究取得了一定的成功。

目前，基于脑电的情绪识别算法被大量提出，这些算法多数是传统的机器学习算法。例如，支持向量机(svm)、k近邻(k-nearestneighbor,knn)和朴素贝叶斯(naivebayes,nb)等监督学习算法。近年来，深度神经网络被成功地应用到基于脑电的情绪识别任务中，并且达到了目前较高的研究水平。这些深度模型以各种脑电特征为输入，例如功率谱密度(psd)、微分熵(de)、微分不对称特征(dasm)、有理不对称特征(rasm)、微分尾度特征(dcau)等，输出脑电数据对应的情绪类别标签。常见的深度模型包括深度信念网络(dbn)、双模深度去噪自编码器(sdae)、双向长短时记忆网络(bi-lstm)模型、卷积神经网络(cnn)等。

脑电信号在不同通道/电极间的关系(即，脑电数据的空间特征)在基于脑电数据的情绪识别任务中受到越来越大的重视。注意力机制在许多应用取得了成功，包括图像理解、图像识别、机器翻译和自然语言处理等。在这些研究中，使用注意力机制来定位图像理解中的关键图像部分或集中在给定句子描述的图像正确区域，但尚未应用在情感识别领域。

脑电数据具有不稳定的特性，例如不同被试之间或者同一被试不同环境下得到的脑电数据在分布上存在一定的差异。因此，使用训练数据训练的模型通常不能很好地推广到来自不同被试或不同环境下的测试数据。虽然域迁移现象在一般分类问题中已经得到了解决，但现有技术中仍未有效地运用到情感识别领域，即使用域判别模块来减少源数据特征分布和目标数据特征分布之间的差异。

cn109271964a公开了一种基于深度学习模型与长短记忆网络的情绪识别方法及系统，其由变分编码器构成图片重建模型和由长短记忆网络构成情绪识别模型组成网络模型，根据网络模型构建目标函数，采用adam优化算子对目标函数进行优化，利用交叉训练集确定网络模型的超参数，得到最终网络模型。但该方法仍然无法自动选择多通道脑电信号中的关键信息，未解决源数据特征分布和目标数据特征分布之间的差异。

技术实现要素：

为解决上述问题，本发明的目的在于提供一种多通道脑电数据的情绪识别方法及电子装置，将注意力机制模块(attentionmechanismmodule)和域判别模块(domaindiscriminatormodule)引入到lstm网络中，提出了一种高效处理多通道脑电信号，精确分类情绪状态的深度模型。该模型能够在注意力机制模块、域判别器模块和特征提取模块三部分的协同作用下高效完成基于多通道脑电数据的情绪识别任务。由于脑电数据是一种具有良好时间分辨率的物理信号，并且脑电信号具有客观、不易伪装等特点,在情绪识别领域的应用广受关注，可以通过分析情绪刺激引起的即时脑部活动直接用于情绪识别。从脑电信号中提取与情绪关联大、区分能力强的特征,有助于后续的分类器更有效地识别不同情绪状态。

一种多通道脑电数据的情绪识别方法，其步骤包括：

1)将提取的一脑电数据的各通道频域特征送入一序列特征提取器，获取脑电数据的各通道隐层特征向量；

2)捕获各脑电通道与各情绪类别之间的关联，并将所述关联和隐层特征向量送入一自动编码器，得到所述脑电数据对应的各情感类别的概率值向量。

进一步地，所述频域特征为功率特征、功率谱密度特征、事件相关同步化特征、事件相关去同步化特征、高阶谱特征或微分熵特征中的一个或多个。

进一步地，所述序列特征提取器的结构为一长短时记忆网络。

进一步地，使用注意力机制来捕获脑电通道与不同情感类别之间的关系。

进一步地，所述自动编码器包括一编码器与一解码器；所述自动编码器的编码与解码步骤包括：

1)根据所述关联和隐层特征向量进行编码，得到所述脑电数据被分类为各情绪类别的概率与所有通道隐层特征向量对各情绪类别的加权向量和；

2)将所述概率和所述加权向量进行解码，获取所述脑电数据对应的各情感类别的概率值向量。

进一步地，所述解码的次数与情绪类别的数量相同。

进一步地，将隐层特征向量不仅输入所述自动编码器，同时还通过一域判别器。

进一步地，采用迭代法将训练集脑电数据逐一进行情绪识别，通过计算最小自动编码器损失函数与最大化域判别器损失函数得到所述序列特征提取器的精确参数和所述自动编码器的精确参数，计算最小化域判别器损失函数得到所述域判别器的精确参数。

一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行以上所述方法。

一种电子装置，包括存储器和处理器，其中存储器存储执行以上所述方法的程序。

综上，和现有技术相比，本发明具有的优点和积极效果如下：

1、本发明使用时间长度的滑动窗口对脑电信号进行分割，并使用stft提取单位窗口长度的脑电信号的de特征作为深度模型的输入，精确地完成基于脑电的情绪识别任务。

2、本发明利用长短时记忆网络在脑电通道序列上学习脑电通道之间的非线性关系，并提取与情绪分类相关的高维脑电特征，该非线性关系对情绪识别至关重要。

3、本发明在基于多通道脑电数据的情感识别深度模型中引入注意力机制，自动选择多通道脑电信号中的关键信息，使得模型在学习与情绪相关的脑电特征时能够更集中在与特定情绪类别相关的脑电通道上，进一步提取与特定情绪相关的脑电特征，高效地对特定的情绪进行预测是基于脑电的情绪识别任务的关键突破。

4、本发明突破性将域判别器引入到基于脑电数据的情绪分类模型中，使用域判别器减少由于脑电数据的不稳定性以及环境变化带来的脑电特征之间的领域差异，不仅能处理多通道的脑电信号，而且能够约束特征提取器高效提取领域不变的脑电特征，解决情感识别任务在实际环境应用中存在的数据偏移问题。

附图说明

图1情感表示模型图示。

图2基于脑电数据的情绪识别算法流程图示。

图3基于注意力机制和域判别器的长短时记忆网络框架说明图示。

图4脑电通道注意力权重分布图示。

图5特征分布可视化图示。

具体实施方式

为了使本技术领域的人员更好的理解本发明，以下结合附图进一步详细描述本发明所提供的基于脑电的情绪识别算法，但不构成对本发明的限制。

请参考图2、图3，本发明所提出的方法主要包括对特定情绪的诱发、对脑电数据的采集、对脑电数据的预处理、脑电特征提取、构建深度模型对特定情绪状态进行分类等过程。本发明是通过对脑电数据的处理和分析，对人的基本情绪状态进行准确分类，在当今人机交互和人工智能大环境下尽可能构建一种健壮的深度模型，能够在实际应用中满足对人类情绪识别的需要。基于脑电的情绪识别算法的优势在于：利用基于注意力机制和域判别模型的长短时记忆网络学习不同脑电通道对于情绪分类的非线性关系，并且能够动态地选择有利于情绪分类的脑电特征；域判别器的使用能够减少由于脑电不稳定特性以及环境变化带来的脑电特征之间的差异性，使基于脑电的情绪模型能够更加适应实际的应用环境。

1、脑电数据特征提取

在基于多通道脑电数据的情绪识别领域，脑电数据的传统特征主要包括时域(timedomain)特征、频域(frequencydomain)特征和时频域(time-frequencydomain)特征。另外，由于情绪信息还可以反映在脑区的不对称性上面，所以空间域(spacedomain)特征也被逐渐应用在基于脑电的情绪识别任务中。时域特征在基于脑电的情绪识别任务中是最直观的特征，因为目前来看大多数的脑电采集设备都是以时域形式对脑电数据进行采集的。常用的时域特征包括，信号统计量、事件相关电位、hjorth相关参数、分形维数特征和高阶交叉特征等。频域特征能够较好的显示脑电数据的频率信息，所以频域分析被引入到基于脑电的情绪识别任务中。在对脑电数据进行频域分析时首先要将原始的时域信号转换至频域获得频谱信息(信号能量在各个频段上的分布)，然后将频段(频段中包含频谱信息)分解为与人的心理活动联系密切的5个子频段δ，θ，α，β，γ，最后再分别从5个不同的子频段中提取与情绪分类有关的特征。通常情况下使用傅里叶变换(fouriertransfer，ft)对脑电数据进行时-频域的变换，一般情况下使用离散傅里叶变换(discretefouriertransfer，dft)对脑电数据进行时-频域变换处理，因为采集到的脑电数据为离散的脑电信号序列。常用的频域特征包括：功率、功率谱密度(psd)、事件相关同步化(eventrelatedsynchronization，ers)、事件相关去同步化(eventrelateddesynchronization，erd)、高阶谱(higherorderspectrum，hos)、微分熵(differentialentropy，de)等。在将脑电数据由时域转换为频域时使用ft算法作用的范围是整个脑电信号的时域，缺乏局部化信息，所以引入了将时域和频域结合在一起的时频域特征。时频域特征能够很好的克服脑电信号的不平稳性对算法带来的影响，因为时频域特征提取时需要将脑电信号划分为若干个等长的时间窗，因此各时间窗内的子信号近似平稳，然后使用ft算法将其转化为一组频域特征。滑动时间窗在时间维度上滑动对脑电数据进行分割，不仅能够获得每一个切分窗口中子信号的频域信息，而且同时能够获得整个信号的时域信息。通常情况下使用短时傅里叶变换(short-timefouriertransform，stft)、小波变换(wavelettransform，wt)和小波包变换(waveletpackettransform，wpt)等方法对脑电信号进行时频域信号变化和特征提取。

本发明使用stft算法对脑电数据提取时频域特征。stft算法使用等长的窗函数w(δt)计算滑动窗口中脑电信号的傅里叶变换：

常见的窗函数包括三角波、方波和高斯函数等，本文使用的窗函数为默认的高斯函数。原始信号傅里叶变换的平方是信号的能量谱密度，能量谱密度描述了信号和时间序列的能量如何随频谱分布。众所周知，微分熵是特定频段上的能量谱密度的对数。所以，本发明使用上述得到的stft变换后的时频域特征进一步获得脑电信号的频域特征。

本发明可采用一种或多种频域特征，但基于前人的研究de特征是最适合完成情绪识别任务的特征(参考文献：songt,zhengw,songp,etal.eegemotionrecognitionusingdynamicalgraphconvolutionalneuralnetworks[j].ieeetransactionsonaffectivecomputing,2018.)，所以，在本发明中考虑到特征维度过大会影响分类任务的效率，本实施例只使用了de特征。de特征计算如下：

其中，p(x)表示连续信息的频谱密度函数，[a,b]表示脑电取值的区间，de特征表征特定频带中的能量谱的对数。对于特定频带中的特定eeg信号x近似服从高斯分布n(μ,σ²)，则de的计算可表示为：

因此利用时频域提取得到de特征对脑电数据进行情绪分类既能克服脑电信号不稳定带来的影响，又可以获得脑电信号频域信息的同时也获得脑电信号的总体时域信息，更有利于基于脑电数据的情绪识别任务。

2、基于长短时记忆网络(lstm)的脑电信号序列特征提取器

脑电数据是由多个通道组成的序列数据。一般情况下采集脑电数据的脑电帽上面有30个以上的电极位置，例如，32导的esineuroscansystem，所以不同电极之间的位置关系(即，脑电的空间特征)对于基于脑电数据的情绪识别任务至关重要。通常情况下，lstm被用于时间序列数据，本发明将lstm应用于脑电通道序列，学习多通道脑电信号之间的非线性关系，提取与情绪相关的高维脑电特征。本发明中lstm的输入数据格式为dx*n,其中，dx(de特征维度)为lstm输入层的变量数，n(脑电通道数)为lstm在时间维度上的步长，因此lstm可以捕获不同脑电通道之间的非线性关系。

(ck,t,hk,t)＝lstm(ck,t-1,hk,t-1,sk,t)

其中，记忆单元ck,t和隐层单元hk,t是第k个样本的第t个脑电通道在t-1个脑电通道ck,t-1,hk,t-1和输入样本sk,t基础上的函数值；最后，得到lstm的隐层特征输出hk＝[hk,1,hk,2,…,hk,n]，其中hk为隐层特征向量。

3、基于注意力机制的自动编码器

多通道的脑电数据中，特定的通道可能有助于识别特定的情绪类别，因此基于注意力机制的自动编码器能够捕捉不同脑电通道与不同情绪类别之间的关系。基于注意力机制的自动编码器包括两部分：编码器和解码器。

(a)编码器

请参考图4，基于注意力机制的编码器捕获脑电通道与不同情感类别之间的关系，并且将脑电数据编码为能够有效表示情绪类别的向量,并将新形成的特征向量映射到一个能够指示该样本落入特定情感类别的概率。自动编码器的公式表示如下：

其中，hk,i是第k个样本中第i个脑电通道的隐层特征，wa,c是注意力层的第c个情绪类别的参数；是每一个脑电通道关于第c个情绪类别的注意力权重，是第k个样本所有脑电通道特征的加权向量和，该加权和有效地为特定的情绪类别c选择与该情绪类别相关的脑电通道。得到特征之后，样本k被分类为情绪状态c的概率为，

其中，权重参数和偏置参数是可以通过反向学习进行优化的参数。

(b)解码器

解码器根据编码器输出的概率和基于注意力权重的加权向量和对脑电隐层特征重构。在解码阶段，通过将概率与加权向量和相乘获得输入样本的重建表示，

通过将自动编解码器执行m次(m是情感类别的数目)，我们得到针对关于不同情感类别的概率值，进而组成一个概率值向量，

概率值向量作为情绪分类的重要标准至关重要，因此，注意力机制可以帮助深度学习网络学习有利于情绪分类的判别特征，从而更准确地预测情感分类。

4、域判别器

由于脑电数据的不稳定特性以及环境变化使来自于不同被试的脑电数据或在不同时间下采集的脑电数据的分布之间存在一定的差异，这种数据差异导致在训练集上训练的模型不能很好的在测试集上泛化，进而影响模型的情绪识别精度。域判别器的目标是判断样本来自于源数据域还是目标数据域，所以在该过程中主要通过降低域判别器对不同领域的数据的分类能力更新脑电序列特征提取器的参数，使其能够提取到领域不变性的特征，来解决脑电训练数据(源数据域)和测试数据(目标数据域)之间的特征差异，请参考图5。本发明中将lstm的隐层向量hk拼接成向量dk作为域判别器(两层全连接网络)的输入。由于对域判别器的训练是为了使其损失函数最大，而模型总体的目标是损失函数最小，因此在将dk进行线性变换层和relu层激活以提取与域相关的特征之前,使用梯度反转层(grl)对dk进行处理。grl的功能是更改梯度符号和在反向传播(bp)期间将梯度向后传递。因此，在模型整体参数更新方向上实现了反转。

其中，w^l，b^l，w^s，b^s是权重矩阵和偏移向量，为领域判别器中最后一层全联接网络的输出经过softmax函数之后得到的特征，通过训练过程进行不断学习和优化。

5、基于注意力机制和域判别器的长短时记忆网络的训练和验证

进一步的，对上述基于多通道脑电数据的深度学习模型进行训练和验证。该模型的总体训练目标如下：

l(xr；θf,θa,θd)＝la(xs；θf,θa)-ld(xr；θf,θd)

其中，xr＝[xs,xt]代表整个数据集所有的数据，xs是带有标签ys的训练数据，xt是不带标签的测试数据；θf、θa和θd分别是脑电序列特征提取器、基于注意力的自动编码器和域判别器的参数，la和ld分别是基于注意力的自动编码器和域判别器的损失函数。另外，为了训练域判别器模型，将训练数据集分为源域数据和目标域数据。ds＝{(xs,ys)}是源域数据集，dt＝{xt}是目标域数据。为了训练域判别器，设计二分类标签其中分别是源域数据(训练数据)和目标域数据(测试数据)的标签。

进一步的，通过以下方式对模型的总体目标函数进行优化：

进一步的，基于注意力的自动编码器的损失函数la的目标是最小化脑电特征重建误差，最大化预测为正确情绪标签的概率。损失函数la由概率目标函数j(θf,θa)和脑电特征重建目标函数u(θf,θa)组成，如下：

其中，yk是样本sk的真实标签，i是情绪类别的索引，当且仅当i＝yk时否则，概率目标函数j(θf,θa)能够优化模型更准确的进行情绪类别分类，脑电特征重建目标函数u(θf,θa)能够确保重建的脑电特征向量与实例特征向量更相似。

进一步的，域判别器的损失函数如下：

其中，qk是域标签的one-hot编码，通过最大化ld，脑电信号序列特征提取器能够提取领域不变性特征，由此就可以减少源域数据集(训练数据)和目标域数据集(测试数据)的特征分布差异。

进一步的，对基于注意力的自动编码器和域判别器迭代式训练，更新参数θf,θa通过最小化la和最大化ld,另外，通过最小化ld对θd进行更新。通过使用grl将最小最大问题转化为最小化损失函数l＝la+(-ld)。

进一步的，通过最小化损失函数l，脑电序列特征提取器能够提取有利于脑电情绪分类的特征。

进一步通过迭代自动编码器m(m是情绪类别数目)次生成pk对脑电数据样本进行情绪分类。

下面以一实施例说明本发明。

1、选择带有特定情感的视频材料，让被试观看该视频材料以达到特定情绪诱发的目的，视频材料时间长度建议选择0～4min，脑电帽建议选择32导的esineuroscansystem，获取特定情绪状态下的脑电数据；

2、采用前面步骤1得到的脑电数据，首先将脑电数据采样率下采样到200hz,然后使用1～75hz的带通滤波器对脑电数据进行噪声去除，再使用傅里叶变换将原始时域信号转换至频域并将得到的频段划分为5个子频段δ(1～4hz)，θ(4～8hz)，α(8～12hz)，β(13～30hz)，γ(31～45hz)；

3、采用前面步骤2中得到的5个子频段，在每一个频段中使用stft算法提取每一个滑动窗口中的脑电信号的能量谱密度，然后在提取的能量谱密度基础上计算微分熵(de)特征；

4、采用前面步骤3中得到的de特征作为长短时记忆网络的输入，学习脑电通道之间的非线性关系，输出长短时记忆网络的隐层特征向量hk,如附图3所示；

5、采用前面步骤4得到的隐层特征向量hk作为基于注意力机制的自动编码器的输入，通过编码器和解码器两部分输出样本落入某一情绪类别的概率和该样本特征向量的重构向量，如附图3所示；

6、采用前面步骤4得到的隐层特征向量hk作为域判别器的输入，通过减弱域判别器的二分类能力，约束长短时记忆网络提取领域无关性特征；

7、通过迭代基于注意力机制的自动编码器m(m代表情绪类别个数)次得到类别概率向量pk对脑电数据样本的情绪状态类别进行分类。

以上对本发明所述的基于脑电的情绪识别算法进行了详细的说明，但显然本发明的具体实现形式并不局限于此。对于本技术领域的一般技术人员来说，在不背离本发明所述方法的精神和权利要求范围的情况下对它进行的各种显而易见的改变都在本发明的保护范围之内。