联合特征迁移与图半监督标记传播的脑电情感识别方法

本发明属于脑电信号处理技术领域，具体涉及联合特征迁移与图半监督标记传播的脑电情感识别方法。

背景技术：

情感是人们在日常生活工作中受到外界刺激时由大脑产生的一种对应的生理表达，具有信息传递以及行为调控的作用。对于机器来说，能够自动并准确的识别人的情感，更好地实现情感人机交互是当前信息科学、心理学、认知神经科学等领域的研究热点。但是人的情感表达会受到诸如环境情景、表达对象以及思维认知的影响，从而导致情感识别的困难，当前情感状态的识别主要可归于四类：面部表情、文本、语音、生理信号，前三者是非生理信号，由于非生理信号具有可伪装性，无法确保识别结果的可靠性，故通常采用生理信号进行识别。脑电信号作为一种不易伪装的生理信号，对于提高人机交互中情感识别的准确性以及可靠性具有十分重要的帮助。

常见的迁移学习方法一般可分为四类：基于模型、基于特征、基于样本、基于关系。其中，基于特征的方法是最广泛使用的迁移方法，该类方法目的是学习一种共享特征表示，即共享子空间，通过投影结合一些度量策略，例如最大均值差异mmd等的方式将目标域和源域数据映射到共享子空间中使得两者条件分布和边缘分布的差异最小。但是对于无标签的目标域数据而言，计算其条件分布是无法实现的，因此，如果能够学习到好的目标域标签，从而得出更好的投影矩阵，就可以缩小源域和目标域差异以得出更加优秀的目标标签，提升模型识别精度，保证情感人机交互的可靠性。

但是，脑电信号是一种非稳态信号，并且不同被试针对于同一情感的脑电信号表征也会有所不同如果只是简单的进行跨被试迁移识别，并不能很好的满足人机交互对于情感识别准确性的要求。

技术实现要素：

针对现有技术的不足，本发明提出了联合特征迁移与图半监督标记传播的脑电情感识别方法，通过对源域数据和目标域数据在子空间对齐的投影矩阵w、目标域情感标签ft以及无向图s进行联合迭代优化，通过不断的迭代优化特征共享子空间，得到更好的迁移效果，以提高情感识别的准确性。

步骤1、采集被试者在k种不同情绪状态下的脑电数据。

步骤2、对步骤1采集得到的脑电数据进行预处理和特征提取，每一个样本矩阵x由一个被试者的脑电特征组成，标签向量y为样本矩阵x中脑电特征对应的情感标签。选择两个不同的样本矩阵，分别作为源域数据xs和目标数据xt。

步骤3、构建联合特征迁移学习与状态估计的学习模型，包括单映射域适应模型与半监督标签传播模型。

步骤3.1、建立单映射域适应模型：

其中，为将源域数据和目标域数据映射到同一个共享子空间中的映射矩阵，p表示目标维度，d表示原始维度；为增广源域数据标签，c为类别数；为增广目标域数据标签，ns、nt分别为源域数据和目标域数据的样本数量；n＝ns+nt表示总样本个数；为对角矩阵，矩阵中第k个对角元素即为第k类源域或者目标域数据样本数量的倒数，k＝1，2，...，c+1；其中为中心矩阵，i为单位阵，表示frobenius范数的计算；上标t表示转置。

步骤3.2、建立基于无向图的半监督标签传播模型：

其中，sij表示无向图关联矩阵s第i行第j列的元素，即第i个样本和第j个样本之间的关联度(i＝1，2，...，n；j＝1，2，...，n)；α，γ均为参数；为拉普拉斯变换矩阵，通过关联矩阵s求得，l＝s-d，d为n维对角矩阵，第i个对角元素为用于标签传播的标签矩阵，fs、ft分别为源域与目标域的标签；1为全1矩阵；tr(·)表示矩阵的迹；表示2范数的计算；公式(2)中第一项为半监督的标签传播，第二项以及第三项则是求解无向图的关联矩阵，以保证构造出一个好的无向图。

步骤3.3、联合步骤3.1、3.2构建的两个模型，将域适应以及基于无向图的半监督标签传播整合至一个统一的框架中进行联合优化，优化模型为：

λ，α，γ均为参数。

步骤4、根据步骤3.3建立的优化模型，对映射矩阵w、目标域数据标签ft以及无向图关联矩阵s进行联合迭代优化。

步骤4.1、初始化目标域数据标签ft的值为并使用神经网络构建初始无向图。

作为优选，初始无向图由knn网络构建。

步骤4.2、固定目标域数据标签ft和无向图关联矩阵s，更新映射矩阵w，目标函数为：

求解公式(4)，得到更新后的映射矩阵。

步骤4.3、固定映射矩阵w和无向图关联矩阵s，更新目标域数据标签ft，目标函数为：

求解公式(5)，得到更新后的目标域数据标签。

步骤4.4、固定目标域数据标签ft和映射矩阵w，更新无向图关联矩阵s，目标函数为：

求解公式(6)，得到更新后的无向图关联矩阵s。

步骤4.5、多次重复步骤4.2、4.3、4.4，完成映射矩阵w、目标域数据标签ft以及无向图关联矩阵s的联合迭代优化。

步骤5、将步骤2得到样本矩阵x输入到经过步骤4迭代优化后的目标函数中，获得对应的预测值标签，该预测值标签即为样本对应的被试者在采集时刻的情感状态。

本发明具有以下有益效果：

1、本发明提出的联合脑电特征迁移与情感状态估计方法模型为情感人机交互提供了一种具有更高准确性的有效工具，通过数学模型不断迭代优化目标标签，能够根据脑电数据准确地识别被试者的情感状态。

2、本发明针对的是脑电研究领域较难的跨被试情景，通过构造无向图、半监督标签传播以及域适应三者联合进行迭代优化，通过不断优化基于样本数据构造的无向图，通过半监督标签传播优化得到更好的目标标签，以得到更加优秀的映射矩阵提高迁移效果，得到更加接近的源域数据和目标域数据进行构图，不断迭代、优化，从而得到更加优秀的情感状态识别结果，提高跨被试迁移进行情感识别的准确性。

附图说明

图1为本方法的流程图。

具体实施方式

以下结合附图对本发明作进一步的解释说明；

如图1所示，联合特征迁移与图半监督标记传播的脑电情感识别方法，具体包括以下步骤：

步骤1、脑电数据采集。

人的情感在日常情况下并不会显得十分强烈，因此，为了采集到强烈的情感信息，是需要对被试者进行一定的诱导的，因此选取4种具有明显情感倾向的影片片段在不同的时间分别播放给被试者观看，在观看影片的同时通过脑电帽导联连接到对应的脑区采集被试者的脑电数据作为原始的情感脑电数据集。

步骤2、数据预处理。

对步骤1采集得到的脑电数据进行采样，采样率为200hz，然后通过1hz～75hz的带通滤波器滤除噪声和伪影，分别在5个频段(delta(1-4hz)，theta(4-8hz)，alpha(8-14hz)，beta(14-31hz)和gamma(31-50hz))计算其微分熵(de)作为样本矩阵s：

其中，σ为概率密度函数的标准差；μ为概率密度函数的期望。

可以看出，本质上微分熵特征为功率谱密度特征的对数形式，即脑电信号的预处理旨在提高信噪比，从而提高数据的预处理效果，减少干扰。

标签向量y为样本矩阵x对应的情感标签。

步骤3、建立联合脑电特征迁移与情感状态估计方法模型，将单映射域适应模型以及基于无向图的半监督标签传播模型整合至一个统一的框架中，得到联合优化的目标函数，具体步骤为：

步骤3.1、建立单映射域适应模型：

其中，为将源域数据和目标域数据映射到同一个共享子空间中的映射矩阵，p表示目标维度，d表示原始维度；xs、xt分别为源域数据和目标域数据；为增广源域数据标签，c为类别数；为增广目标域数据标签，在单一的域适应中是未知的，ns、nt分别为源域数据和目标域数据的样本数量；为对角矩阵，矩阵中第k个对角元素即为第k类源域或者目标域数据样本数量的倒数；其中为中心矩阵，i为单位阵；表示frobenius范数的计算；上标t表示转置。

步骤3.2、建立基于无向图的半监督标签传播模型：

其中，sij表示无向图关联矩阵s第i行第j列的元素，即第i个样本和第j个样本之间的关联度(i＝1，2，...，n；j＝1，2，...，n)；α，γ均为参数；为拉普拉斯变换矩阵，通过关联矩阵s求得，l＝s-d，d为n维对角矩阵，第i个对角元素为用于标签传播的标签矩阵，fs、ft分别为源域与目标域的标签；1为全1矩阵；tr(·)表示矩阵的迹；∑(·)为求和公式；表示2范数的计算；公式(9)中第一项为半监督的标签传播，第二项以及第三项则是求解无向图的关联矩阵，以保证构造出一个好的无向图。

步骤3.3、联合步骤3.1、3.2构建的两个模型，将其整合至一个统一的框架中，得到联合优化的目标函数：

λ，α，γ均为参数。

步骤4、根据步骤3.3建立的优化模型，对映射矩阵w、目标域数据标签ft以及无向图关联矩阵s进行联合迭代优化。

步骤4.1、初始化目标域数据标签ft的值为0.25，并使用knn网络构建初始无向图。

步骤4.2、固定目标域数据标签ft和无向图关联矩阵s，更新映射矩阵w，目标函数为：

该目标函数是一个等式约束优化问题，采用拉格朗日函数进行计算，构造拉格朗日函数：

其中φ为等式约束对应的拉格朗日乘子，

式(12)对w求偏导可得：

因此

(cc^t+2αxlx^t)w＝φxhx^tw(14)

公式(14)为一个广义特征值分解的问题，令m＝(xhx^t)^-1(cc^t+2αxlx^t)，同时取w为一组标准正交基向量，对矩阵w进行特征值分解，并取前p个最小的特征值对应的特征向量，得到更新后的映射矩阵w。p为共享子空间维度。

步骤4.3、固定映射矩阵w和无向图关联矩阵s，更新目标域数据标签ft，目标函数为：

令将公式(15)化简为：

将公式(16)转换为迹的形式为：

在公式(17)中，目标变量存在两种形式，一种是增广的，另一种是正常的，将增广形式的目标变量拆解开，即将代入式(17)中：

第一项：

第二项：

其中

由于矩阵的迹为主对角线元素之和并且目标变量为ft，因此将公式(17)转变为：

其中，

采用按行求解的方式对公式(18)进行简化，取为第it个列向量，即为ft的第it行行向量，it＝1，2，...，nt。

第一项：

第二项：

第三项：

其中为m的第it个列向量；jt＝1，2，...，nt。此时，第it行的目标函数为：

公式(19)中第一项和第三项均为乘积的形式，只有第二项是2范数形式的计算，将第二项进行拆解：

由于是一个常数，其迹即为其本身，因此公式(19)可以写为：

其中，

同时，取那么目标式就可以化简为：

求解公式(22)，即可得到更新后的目标域数据标签ft。

步骤4.4、固定目标域数据标签ft和映射矩阵w，更新无向图关联矩阵s，目标函数为：

同样采用按行求解的方式，首先将目标函数中第一项迹进行拆解：

由于公式(24)中二范数的计算与目标变量无关，因此令：

那么公式(24)按行求解的形式为，公式(26)即为第i行：

取那么公式(26)可以写成：

令此时，公式(27)可以转换为：

求解公式(28)，即可得到更新后的无向图关联矩阵s。

步骤4.5、多次重复步骤4.2、4.3、4.4，完成映射矩阵w、目标域数据标签ft以及无向图关联矩阵s的联合迭代优化。

步骤5、将步骤2得到样本矩阵x输入到经过步骤4迭代优化后的目标函数中，获得对应的预测值标签，该预测值标签即为样本对应的被试者在采集时刻的情感状态。

表1

表2

由上述两个表的数据可以看到，本实施例的结果与其他的迁移方法相比，识别精度更高。