基于脑电信号的情绪特征识别方法、识别及调节系统与流程

本公开属于情绪特征识别技术领域，尤其涉及基于脑电信号的情绪特征识别方法、识别及调节系统。

背景技术：

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

情绪特征的准确识别有助于后续训练系统的发展，例如自闭症情绪特征的识别，目前临床治疗多采用特殊教育、心理行为治疗等综合性干预方法。其中，音乐干预治疗应用的越来越广泛。音乐治疗的基本原理就是运用人对音乐的反应规律来对人的生理、心理和行为进行调节，改变紊乱的生理反应和失调的行为方式，建立新的合适的反应方式。

目前，对于自闭症儿童传统的音乐治疗方法需要专业的音乐治疗师在患者一旁进行辅助治疗，判断出患儿的情绪状态，根据当前情绪状态手动播放对应的音乐进行治疗。传统的音乐治疗方法将音乐分为正性音乐、负性音乐和中性音乐，将自闭症儿童情绪状态分为内敛自闭型、外显冲动型和平静类型。在音乐治疗之前，治疗师根据自闭症儿童的情绪状态播放与其情绪类型相同的同质音乐，逐渐过渡到与其情绪类型相反的异质音乐，最终的目的是使其情绪状态趋于稳定，最终播放中性音乐。虽然传统的音乐治疗方法也能达到治疗调节的效果，提高自闭症儿童的注意力。

传统的音乐治疗系统、可视音乐系统需要人为的操作软件播放音乐及修改灯光，在发现自闭症儿童的情绪转变后，手动去修改音乐配合自闭症儿童的情绪变化，通过这种方式来进行音乐治疗，存储识别精度不高，不能针对实时脑电数据进行及时调整。

技术实现要素：

为克服上述现有技术的不足，本公开提供了基于脑电信号的情绪特征识别方法，能够准确的识别出情绪特征。

为实现上述目的，本公开的一个或多个实施例提供了如下技术方案：

第一方面，公开了基于脑电信号的情绪特征识别方法，包括：

获取情绪脑电数据，对数据进行预处理；

对预处理后的数据中的眼电伪迹，利用小波系数做阈值处理，完成小波阈值去噪，采用小波包分解重构信号；

对于小波阈值去噪后重构的信号利用带通滤波器分解，再利用快速傅里叶变换后计算各数据点的能量值并将其相加，将计算得到的能量和作为特征向量；

计算得到每个样本的特征向量后，利用分类器对特征向量进行分类，识别情绪。

第二方面，公开了基于脑电信号的情绪特征识别系统，包括：

脑电采集设备，用于获取情绪脑电数据；

处理器，被配置为：对获取的情绪脑电数据进行预处理；

对预处理后的数据中的眼电伪迹，利用小波系数做阈值处理，完成小波阈值去噪，采用小波包分解重构信号；

对于小波阈值去噪后重构的信号利用带通滤波器分解，再利用快速傅里叶变换后计算各数据点的能量值并将其相加，将计算得到的能量和作为特征向量；

计算得到每个样本的特征向量后，利用分类器对特征向量进行分类，识别情绪；

显示设备，被配置为：将处理器识别出的情绪利用gui界面显示识别结果。

第三方面，公开了基于脑电信号的情绪调节系统，包括：

基于脑电信号的情绪特征识别系统及调节模块；

所述基于脑电信号的情绪特征识别系统实现对情绪的识别并传输至调节模块；

所述调节模块被配置为基于所识别结果播放对应的音乐。

第四方面，公开了基于脑电信号的情绪调节方法，包括：

利用基于脑电信号的情绪特征识别方法实现对情绪的识别；

基于所识别结果播放对应的音乐。

以上一个或多个技术方案存在以下有益效果：

本公开技术方案将识别出的脑电信号情绪结果可视化的显示到界面，可以实时的反馈情绪状态，从而对于自闭症儿童的音乐治疗效果可以系统的评定。并且系统会根据识别的情绪状态播放对应性质的音乐，老师也可以在一旁手动操作。这大大减轻了音乐治疗师的负担，可以在音乐治疗中起到辅助作用。

本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。

图1为本公开实施例子的基于脑电信号的自闭症儿童的音乐调节系统示意图；

图2为本公开实施例子的基于脑电信号的自闭症儿童的音乐调节系统软件设计的示意图；

图3为本公开实施例子的脑电信号预处理前后的效果图；

图4为本公开实施例子的预处理后的脑电信号af3通道提取的频带能量特征对比图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。

本公开技术方案则是将脑电的情绪识别技术应用在自闭症识别上，通过实时的脑电识别分类情绪，并在软件上显示情绪的变化，以及根据情绪变化自动播放对应类型的音乐。

本实施例公开了基于脑电信号的情绪特征识别方法，包括：

获取情绪脑电数据，对数据进行预处理；

对预处理后的数据中的眼电伪迹，利用小波系数做阈值处理，完成小波阈值去噪，采用小波包分解重构信号；

对于小波阈值去噪后重构的信号利用带通滤波器分解，再利用快速傅里叶变换后计算各数据点的能量值并将其相加，将计算得到的能量和作为特征向量；

计算得到每个样本的特征向量后，利用分类器对特征向量进行分类，识别情绪。

具体实施例子中，脑电信号采集：emotivepoc+实时采集脑电信号，将脑电信号的数据流实时存储.csv文件，并实时更新该文件。官方给的sdk开发包是python文件，需要用python读取存储数据流；

实时分析处理信号：每隔10s读取一次.csv文件，对信号进行预处理及特征提取分类，分类得到正确的识别结果；

gui界面显示识别结果：读取识别出的结果；

播放同质音乐：编程控制音乐播放，将识别结果与音乐播放指令对应。

基于自闭症儿童脑电信号的音乐调节系统使用emotivepoc+14通道移动式brainwear。这款脑电设备具有14个电极，分别位于af3，f7，f3，fc5，t7，p7，o1，o2，p8，t8，fc6，f4，f8和af4。

该设备不需要弄湿帽子即可传导脑电信号。采样率是128hz，带宽是0.2-45hz。采集数据通过设备自带emotivpro软件采集并通过官方给出的sdk开发包进行实时的数据流传输。在设备的官方网站中提到，耳机中有大量的信号处理和滤波功能，可以去除电源噪声和谐波频率。所以在处理信号时我们针对其他干扰信号即可。

在采集得到自闭症儿童的情绪脑电数据后，对数据进行预处理以及特征提取分类的工作。在原始脑电信号中，主要存在呼吸、皮电、心电等低频噪声和肌电产生的高频噪声，首先选用1hz到45hz的五阶巴特沃斯带通滤波器将明显的噪声去除。

经过滤波后，明显的噪声信号已被去除，但是还存在伪迹，最为主要的就是眼电伪迹。对于伪迹的处理，采用小波包分解重构信号，对信号做进一步的分析和提取。我们采用db4基函数对信号进行多尺度分解，小波分解以后，需要在细节分量部分对小波系数做阈值处理，完成小波阈值去噪。本系统采用小波软阈值去噪算法。

在阈值原则的选择上选取minimaxi。信号f(t)的长度为n，采集信号长度为7680(128hz*60s)，则minimaxi表示如下：

n表示第n个数据点。

阈值函数选择软阈值，软阈值的函数表达式为：

式中，wj,k为处理前的小波系数；w'j,k为处理后的小波系数估计值；t为阈值。

经过滤波和小波阈值去噪后，尖锐的噪声信号以及眼电伪迹都基本消除。对于小波阈值去噪后重构的信号我们利用一系列butterworth带通滤波器将其分解为theta(1hz-3hz)、alpha(4hz-7hz)、beta(8hz-12hz)和gamma(12hz-30hz)四个频带，再利用快速傅里叶变换后计算各数据点的能量值并将其相加，将计算得到的能量和作为特征。每一次实验对应一个56维(14channels×4powers)的特征样本。对于第i个频带的脑电信号xi(n)，它对应的能量公式为：

式中，xi(k)是信号xi(n)对应的快速傅里叶变换结果，m为快速傅里叶变换的长度。

在计算得到每个样本的特征向量后，对特征进行分类，本系统运用了svm分类器对三种情绪类型分类。

利用libsvm中的基于径向基核函数的svm模型对其进行训练分类。在得到每个样本的特征向量后，样本标签为{-1，0，1}，分别代表负性中性和正性情绪。利用10折交叉验证计算分类识别的准确率，得到模型后再对数据进行预测。

支持向量机svm(supportvectormachine)是90年代中期发展起来的基于统计学习的一种机器学习算法，在这个算法中我们将所有数据在n(n为特征总数)维空间中用点标出，寻找一个可以将训练样本点分割开的超平面，在线性可分的情况下，训练样本完全被分开的超平面有一个或多个，svm的目标就是找到一个与数据点有最大间隔的最优的超平面，保证分类准确率最高。本系统利用svm分类器对特征样本进行正中负情绪的三分类。

更为具体的实施例子中，脑电信号预处理效果图如图3所示：

首先选用1hz到45hz的五阶巴特沃斯带通滤波器将明显的噪声去除，再采用db4基函数对信号进行多尺度分解，小波分解以后，需要在细节分量部分对小波系数做阈值处理，完成小波阈值去噪。本系统采用小波软阈值去噪算法。可以发现尖锐的噪声信号都已经去除。

脑电信号提取频带能量特征三种情绪的对比图如图4所示：

通过提取各频带的能量特征，三种情绪的各波段的能量值发现正性情绪时能量最高，平静情绪时能量最低。

对于特征向量的分类准确率如表1所示：

表1

提取特征后，得到一个56维(14channels×4powers)的特征向量。在得到特征向量后，利用svm分类器分别对theta(1hz-3hz)、alpha(4hz-7hz)、beta(8hz-12hz)和gamma(12hz-30hz)四个频带的频带能量分类和四个频带的频带能量一起进行分类。

本方案采用emotivepoc+14通道的脑电采集设备，将自闭症儿童的情绪分为冲动外显情绪，平静情绪，以及内敛自闭情绪三种类型。采集到自闭症儿童的脑电波后，经过带通滤波，利用小波分解对其细节分量阈值去噪进行预处理，通过提取频带功率特征，使用svm算法分类出三种类型的情绪。根据播放同质音乐的原则，使其最终达到平静状态，从而达到音乐干预治疗的目的。该系统将识别出的脑电信号可视化的显示到界面，可以实时的反馈情绪状态，从而对于自闭症儿童的音乐治疗效果可以系统的评定。

另一实施例子中，基于脑电信号的情绪特征识别系统框图，如图1所示。

脑电采集设备，用于获取情绪脑电数据；

处理器，被配置为：对获取的情绪脑电数据进行预处理；

对预处理后的数据中的眼电伪迹，利用小波系数做阈值处理，完成小波阈值去噪，采用小波包分解重构信号；

对于小波阈值去噪后重构的信号利用带通滤波器分解，再利用快速傅里叶变换后计算各数据点的能量值并将其相加，将计算得到的能量和作为特征向量；

计算得到每个样本的特征向量后，利用分类器对特征向量进行分类，识别情绪；

显示设备，被配置为：将处理器识别出的情绪利用gui界面显示识别结果。

具体的，自闭症儿童需要佩戴脑电帽，采集到自闭症儿童的脑电信号后，对脑电信号进行预处理以及特征提取并根据前期训练好的情绪模型进行分类。系统实时检测，形成反馈。

再次参见附图2所示，公开了基于脑电信号的情绪调节系统，包括：

基于脑电信号的情绪特征识别系统及调节模块；

所述基于脑电信号的情绪特征识别系统实现对情绪的识别并传输至调节模块；

所述调节模块被配置为基于所识别结果播放对应的音乐。

另一实施例子中，公开了基于脑电信号的情绪调节方法，包括：

利用基于脑电信号的情绪特征识别方法实现对情绪的识别；

基于所识别结果播放对应的音乐。

具体的调节时，根据音乐治疗心理状态同质的原则，对于内敛自闭型患者，在可视音乐治疗的初始阶段，应该首先从负性音乐开始，然后逐渐过度到正性音乐，治疗的目标是使其心理状态趋于平静，最终采用的是中性音乐。对于外显冲动型患者，在音乐治疗的初始阶段，应该首先选用正性音乐，然后逐渐过度到负性音乐，治疗的目标同样是使其心理状态趋于平静，最终采用的也是中性音乐。

假设自闭症儿童的初期情绪经系统识别检测为内敛自闭型情绪，则播放与其情绪类型相吻合的同性音乐，使其与音乐共鸣。当音乐性质与人的精神节律同步，才容易与人的情绪产生共鸣。系统每隔10s会输出一次情绪结果，播放音乐后若连续出现三次平静情绪，则在播放完负性歌曲后播放中性音乐，这里的目的是承上启下的作用。在播放完一首中性音乐后，播放与其情绪类型相反的正性音乐，当音乐与自闭症儿童的情绪产生共鸣以后，就可以逐渐变换音乐色彩情绪，变哀伤失落为优美扜情。在播放正性音乐时，由于音乐性质与自闭症儿童的情绪类型不符，自闭症儿童会变得躁动不安。系统在检测到自闭症儿童的情绪类型不再平静后，在正性音乐播放完毕后切换至中性音乐。并通过与音乐治疗师互动观察自闭症儿童的注意力以及情绪状态，达到音乐治疗的目的。自闭症儿童的情绪在音乐的引导下，负性情绪得到发泄，之后渐渐得到调整，最终达到内心平静。

基于脑电信号的自闭症儿童的音乐治疗软件设计图，如图2所示：

基于脑电信号的自闭症儿童的音乐调节系统算法验证可行性后，需要对软件进行设计，epoc+耳机如果需要实时传输脑电信号需要向官方申请sdk开发包，在官方申请的sdk开发包需要使用python运行。通过sdk开发包控制数据实时传输数据流，将数据不断存入.csv文件，matlab每隔10s读取一次这个.csv文件，并将结果在达到实时识别情绪的效果。

以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。