情绪脑电的细粒度可视化系统和方法与流程

本发明属于信息技术领域，进一步涉及在生物交叉技术中应用生成对抗网络(gan)实现情绪脑电(eeg)的细粒度可视化。具体是一种情绪脑电的细粒度可视化系统和方法，从脑电数据中生成带有细粒度情绪强度信息的面部表情图像。面部表情是人类可以直接辨识的信息形式，可以增强相关设备的交互性能和体验感。

背景技术：

情感计算是近年来被广泛研究的生物交叉技术，其目的是让机器能够准确识别和呈现人类的情绪状态，又被称为情感智能。基于eeg的情感计算的研究主要集中为如何通过声音、图像和视频等信息有效地诱发人的情绪状态，并通过对eeg的处理得到人的情绪状态分类。基于eeg的情感计算有效克服了传统的基于表情、姿态和生理信号的情感计算的众多缺陷，例如：容易欺骗、信号不稳定、不容易连续捕捉等问题。传统的基于eeg的情感计算步骤为：情绪诱发、脑电采集、脑电预处理、情绪特征提取和情绪分类。

传统的基于eeg的情感计算完成的是对情绪大类的识别，如开心、平静、悲伤等。但人处在同种大类情绪时的情绪强度有着细粒度的强弱分别，例如很开心、开心、有点开心等。传统基于eeg的情绪识别未能做到细粒度情绪状态的识别，原因是缺乏带有细粒度情绪标签的eeg数据，且细粒度地标注情绪eeg极为困难。若采用被测者主观标注情绪eeg细粒度标签的方法，则标注任务会影响被测者当下的情绪体验，对实验造成影响；若采用实验后人工标注细粒度标签的方法，人们尚不了解如何在eeg信号中判读情绪强度，即尚没有合适的情绪eeg可视化方法，可供标注人员判读情绪eeg中的细粒度信息，当然也无法通过实验后人工完成对情绪eeg的细粒度标注，以至于无法有效研究细粒度的情感计算，以及更深入地进行相关研究。

本发明经过一定范围内的检索和查新，尚没有发现与本发明主题相关的文献和报道。

技术实现要素：

本发明针对如何对情绪eeg细粒度可视化的技术问题，提出一种目视可直接辨识的情绪脑电的细粒度可视化系统和方法。

本发明是一种情绪脑电的细粒度可视化系统，其特征在于，依照信息处理顺序，依次连接和包括有数据采集模块、数据预处理模块、特征提取模块、网络训练控制模块，表情图集为网络训练控制模块提供训练所需的目标图像信息，网络训练控制模块与条件生成对抗网络模块双向信息交互以完成对条件生成对抗网络的训练，网络前向执行模块接收条件生成对抗网络模块传来的训练好的网络参数和特征提取模块传来的脑电特征数据进行细粒度表情的生成；对各模块分述如下：

数据采集模块，以固定采样率和电极分布完成使用者诱发情绪状态下的数据采集，采集的数据为原始脑电数据；

数据预处理模块，接收数据采集模块所采集的原始脑电数据，对原始脑电数据依次进行去基线、滤波、降采样的预处理；

特征提取模块，接收数据预处理模块预处理后的数据，对预处理后数据的每个通道提取功率谱密度(psd)特征，以psd特征计算每个通道五种脑电节律delta(1-4hz)、theta(4-8hz)、alpha(8-14hz)、beta(14-31hz)、gamma(31-50hz)的频带能量，得到脑电特征数据；

网络训练控制模块，该模块读取条件生成对抗网络模块中的网络参数，使用特征提取模块传入的脑电特征数据和表情图集共同以目标图像类间部分重叠、类内按脑电特征数据强弱排序的方式完成对网络的参数训练，并将训练好的网络参数保存至条件生成对抗网络模块；

表情图集，该图集包含大类间部分重叠的，带有不同情绪强度的多类情绪面部表情图像，接收网络训练控制模块的指令，向其发送多类情绪面部表情图像；

条件生成对抗网络模块，该模块保存了条件生成对抗网络(affectivecomputinggan，ac-gan)的结构和参数信息，ac-gan在网络训练控制模块的控制下完成对其参数的训练；训练好的参数信息保存至条件生成对抗网络模块，供网络前向执行模块读取和使用；

网络前向执行模块，该模块接收特征提取模块传来的脑电特征数据，并读取条件生成对抗网络模块中保存的训练好的ac-gan网络参数，使用ac-gan的生成器子模块参数的完成细粒度的面部表情图像生成。

本发明还是一种情绪脑电的细粒度可视化方法,在权利要求1-5所述的任一情绪脑电的细粒度可视化系统上实现，其特征在于，包括如下步骤：

(1)采集情绪脑电数据：

(1a)利用音乐、视频等情绪刺激诱发使用者情绪：通过使用显示器或vr头盔向使用者呈现带有情绪倾向的影视音视频片段或音乐、图片等来诱发使用者的情绪；诱发片段选自相关影视作品、音乐或图像集中的情绪明确的部分，包括但不限于以下情绪类别：开心、悲伤、恐惧、平静；

(1b)采集脑电数据：情绪脑电信号采集通过使用者佩戴脑电帽并情绪刺激，同步记录使用者全脑64通道脑电图(电极分布采用10-20系统)，并使用1024hz采样率作为记录采样率；被采集的脑电信号连同刺激开始和结束时间标签以及视频类别标签一同被记录，得到原始脑电数据；

(1c)分别将采集的原始脑电数据按1:1比例分为训练集和测试集；

(2)脑电数据预处理：对原始脑电数据依次进行去基线、滤波、降采样的预处理；

(2a)将采集到原始脑电数据的每个通道的脑电信号减去所有通道信号的均值，得到去除基线后的脑电数据；

(2b)将去除基线后的脑电数据通过1-75hz的带通滤波器以去除绝大多数干扰生理信号；并对其进行50hz工频信号滤除，得到滤波后的脑电数据；

(2c)将滤波后的脑电数据降采样至200hz，得到预处理后的脑电数据；

(3)脑电特征提取：对预处理后脑电数据的每个通道提取功率谱密度(psd)特征，以psd特征计算每个通道五种脑电节律delta(1-4hz)、theta(4-8hz)、alpha(8-14hz)、beta(14-31hz)、gamma(31-50hz)的频带能量，得到脑电特征数据；

(4)构建条件生成对抗网络(ac-gan)：构建条件生成对抗网络(affectivecomputinggan，ac-gan)；ac-gan包括生成器、判别器和损失函数三部分；生成器和判别器均采用带有激活函数的卷积结构；生成器以无标签的脑电特征数据作为输入，输出生成样本；判别器以生成样本、目标图像和类别标签作为输入，得到的判别结果并输入损失函数以供网络训练；

(5)制备表情图集：拍摄人脸的各类情绪表情连续变化图像，依次从平静变化到本类情绪的完全表情状态；将图像调整为用于条件生成对抗网络(ac-gan)训练的目标图像，最终得到多类部分重叠的目标表情图集；

(6)训练条件生成对抗网络：利用提取的脑电特征数据中带有的强度信息辅助完成条件生成对抗网络(ac-gan)的训练；从脑电特征数据中随机选择定长数据，并按脑电特征强度分配目标图像，得到一个训练批数据(mini-batch)；使用准备好的训练批数据(mini-batch)完成一轮ac-gan的对抗训练；循环执行训练批数据准备和对抗训练的过程，直到满足停止条件；训练好的ac-gan生成器输入脑电特征数据，输出生成的细粒度面部表情图像；

(7)得到细粒度面部表情生成结果：根据实际需求，可在离线或在线状态下得到细粒度面部表情生成结果；

(7a)离线状态下得到细粒度面部表情生成结果：在测试集上得到细粒度表情生成结果，将测试集中的情绪脑电数据输入ac-gan的生成器，得到反映使用者对应数据所处情绪状态的细粒度面部表情图像；

(7b)在线状态下得到细粒度面部表情生成结果：实时在线采集情绪脑电数据，并执行脑电数据预处理和脑电特征提取后将得到的脑电特征数据输入ac-gan的生成器，得到使用实时在线数据生成的反映使用者实时情绪的细粒度面部表情图像。

本发明通过将人无法直接辨识，进而也无法细粒度标注的情绪eeg直接可视化，可视化后的图像为人可以直接辨识的带有细粒度情绪强度信息的面部表情，最终可用于对带有脑-机接口的康复设备、情感智能机器人、虚拟现实设备等的交互增强与体验优化。

本发明与现有技术相比有以下优点：

结果易于辨识：传统基于eeg的情感计算主要解决情绪分类问题，而如何直观地将人eeg中反应出的情绪信息呈现给人还没有很好的解决方案。本发明结合了cgan和wgan的共同优势，并将条件生成对抗网络设计为适合于处理情绪脑电特征数据的结构(ac-gan)。经过训练后，该方法可以将人类难以直观理解的eeg信号可视化为人可以直接理解的表情图像。

结果更加精细：由于目前对情绪eeg的标注都为粗粒度的大类标签，进而现有基于这些标注数据的情绪识别方法也都为粗粒度的情绪识别方法。本发明的方法可以基于这些带有粗粒度类别标签的eeg信号和情绪eeg本身的特点，数据驱动地学习到如何从eeg信号中生成细粒度类别的面部表情图像。即在实现情绪eeg可视化的基础上使可视化结果带有情绪的强度信息。这一创新发明解决了情绪eeg的细粒度可视化问题，使对情绪eeg的表达呈现更为丰富细致。

应用空间广泛：本发明的方法在完成训练阶段后，无论是在离线使用还是在线使用，流程均简单清晰，适合在多种任务中应用，扩展了情绪eeg的应用场景。

附图说明

图1为本发明的情绪脑电的细粒度可视化系统的结构框图；

图2为本发明所采用表情图集中的目标图像举例；

图3为本发明的情绪脑电的细粒度可视化系统中网络训练控制模块的结构框图；

图4为本发明的情绪脑电的细粒度可视化系统中条件生成对抗网络模块的结构框图；

图5为本发明的情绪脑电的细粒度可视化方法的实现流程图；

图6为本发明的可选刺激呈现方式示例；

图7为本发明的条件生成对抗网络(ac-gan)的架构；

图8为本发明的条件生成对抗网络(ac-gan)的生成器和判别器的网络结构示意图；

图9为本发明对条件生成对抗网络(ac-gan)的训练策略示意图；

图10为本发明训练策略的仿真实验；

图11为本发明的表情生成结果的时段准确性验证；

图12为本发明的表情生成结果的瞬时准确性。

具体实施方式

下面结合附图对本发明做详细的描述。

实施例1

实现情绪脑电的细粒度可视化可以进一步推动对情绪脑电的科学研究，同时可帮助非专业使用者理解情绪脑电中含有的情绪信息，有助于进一步扩展基于脑电的情感计算的应用场景和应用方式。目前尚没有公开报道或发表的将情绪脑电可视化为细粒度面部表情的系统和方法。

本发明经过研究与创新，提出了一种情绪脑电的细粒度可视化系统，参见图1，依照信息处理顺序，依次连接和包括有数据采集模块、数据预处理模块、特征提取模块、网络训练控制模块；本发明中表情图集为网络训练控制模块提供训练所需的目标图像信息，网络训练控制模块与条件生成对抗网络模块双向信息交互以完成对条件生成对抗网络的训练，网络前向执行模块接收条件生成对抗网络模块传来的训练好的网络参数和特征提取模块传来的脑电特征数据进行细粒度表情的生成。对本发明各模块分述如下：

数据采集模块，以固定采样率和电极分布完成使用者诱发情绪状态下的数据采集，采集的数据为原始脑电数据。

数据预处理模块，接收数据采集模块所采集的原始脑电数据，对原始脑电数据依次进行去基线、滤波、降采样的预处理。

特征提取模块，接收数据预处理模块预处理后的数据，对预处理后数据的每个通道提取功率谱密度(psd)特征。以psd特征计算每个通道五种脑电节律delta(1-4hz)、theta(4-8hz)、alpha(8-14hz)、beta(14-31hz)、gamma(31-50hz)的频带能量，得到脑电特征数据。

网络训练控制模块，该模块读取条件生成对抗网络模块中的网络参数，使用特征提取模块传入的脑电特征数据和表情图集共同以目标图像类间部分重叠、类内按脑电特征数据强弱排序的方式完成对网络的参数训练，并将训练好的网络参数保存至条件生成对抗网络模块。

表情图集，该图集包含大类间部分重叠的，带有不同情绪强度的多类情绪面部表情图像，接收网络训练控制模块的指令，向其发送多类情绪面部表情图像。

条件生成对抗网络模块，该模块保存了本发明设计的条件生成对抗网络(affectivecomputinggan，ac-gan)的结构和参数信息，ac-gan在网络训练控制模块的控制下完成对其参数的训练。训练好的参数信息保存至条件生成对抗网络模块，供网络前向执行模块读取和使用。

网络前向执行模块，该模块接收特征提取模块传来的脑电特征数据，并读取条件生成对抗网络模块中保存的训练好的ac-gan网络参数，使用ac-gan的生成器子模块参数的完成细粒度的面部表情图像生成。

本发明的基本思路是：使用eeg采集设备获取脑电波信号，并进行预处理。对eeg进行类别标注并制备符合类别且部分交叉的目标表情图像集。使用eeg数据、标签和目标图像集按本发明提出的特征强度排序引导训练策略训练本发明设计的ac-gan。本发明训练好的网络模型可以使用脑电特征数据进行离线生成和在线生成，生成结果为含有细粒度情绪信息的面部表情图像。

本发明解决了情绪脑电数据中细粒度信息的提取和呈现问题，数据驱动地将情绪脑电数据转化为人可以直观理解和辨识的带有强度信息的面部表情图像。而且本发明将细粒度信息的提取过程和可视化过程整合为一体的端到端的生成过程。

实施例2

情绪脑电的细粒度可视化系统的总体构成同实施例1，本发明的表情图集构成如下：该表情图集包含有情绪脑电能反映的各类情绪的表情图像，包括但不限于以下情绪类别：开心、悲伤、恐惧、平静。每类情绪下的表情图像为该类情绪连续变化的n张图像，本例中为5张，参见图2。从图2可见，本发明的表情图集中的每类图像均是从该类情绪表情平静状态开始，连续分级过渡到该类表情的最大状态。其中各类情绪下平静状态表情图像相同，为大类间部分重叠。

本例所述表情图集在包含每种情绪大类的表情图像的基础上，还含有每种大类情绪状态下不同强度的表情信息。在每类表情图像内，图像集中的表情图像，其强度依次从平静逐步增强，直至该类表情的最大强度，这种分类分级的表情图集为细粒度的情感计算和情绪呈现提供了基础材料。

实施例3

情绪脑电的细粒度可视化系统的总体构成同实施例1-2，本发明的网络训练控制模块，参见图3，依照信号处理顺序包括有：训练数据准备子模块、网络训练子模块和训练终止判断子模块。其中，训练数据准备子模块接收特征提取模块的处理结果和表情图集中的图像，按照规则完成训练批数据(mini-batch)的准备。网络训练子模块读取条件生成对抗网络模块的参数，使用训练数据准备子模块产生的训练批数据完成一次对条件生成对抗网络模块参数的调整。训练终止判断子模块根据预设的损失函数值终止训练或根据使用者对生成结果质量的判断终止训练。

本发明的网络训练控制模块主动控制了条件生成对抗网络模块训练的训练数据构成和训练进程，使对条件生成对抗网络模块参数的训练在受控状态下进行。

实施例4

情绪脑电的细粒度可视化系统的总体构成同实施例1-3，网络训练控制模块的训练数据准备子模块，包括有：数据获取单元、图像匹配单元。数据获取单元通过从提取的脑电特征数据中随机选择一定数量的定长的数据，本例中定长的数据为64段长度1秒钟的数据，完成一个训练批数据(mini-batch)中脑电数据的获取。图像匹配单元分别从数据获取单元和表情图集中得到已提取到的脑电数据样本和目标图像。具体是从数据获取单元中获得脑电数据样本，还从表情图集中提取相应的表情图像。对每类情绪下的每段脑电数据样本按头部颞叶和额叶脑区每通道的特征强度从弱到强排序，并根据每通道的排序结果得到每类情绪下所有脑电数据样本的综合特征强度排序。按每类情绪下脑电数据样本的综合排序结果从弱到强等比例分配该类6张表情图像作为训练的目标图像，完成一个训练批数据(mini-batch)的准备。

本发明的网络训练控制模块的训练数据准备子模块在利用了情绪脑电的类标签的基础上还利用了情绪脑电的数据分布特点构建训练批数据(mini-batch)，使后续训练条件生成对抗网络模块时，条件生成对抗网络模块在学习到情绪脑电与表情的粗粒度映射关系的基础上还能学习到包含情绪强度信息的细粒度映射关系。

实施例5

情绪脑电的细粒度可视化系统的总体构成同实施例1-4，本发明的条件生成对抗网络模块，参见图4，包含生成器子模块、判别器子模块和损失函数子模块。输入数据为含有情绪信息的脑电数据，其数据特点为在不同情绪状态下，脑电数据的统计特征和谱特征存在部分不同。例如：对于开心情绪下的脑电，其高频gamma波段能量显著升高，而其他情绪状态则没有这种特异性效应。本发明根据输入数据特点设计生成器子模块和判别器子模块的网络结构，设计损失函数子模块的损失函数。本发明中生成器子模块以无标签的脑电特征数据作为输入，输出生成样本(假样本)。判别器子模块以情绪类别标签，目标图像(真样本)和假样本作为输入，输出为得到的判别结果，判别结果输入损失函数子模块。

生成器子模块由依次连接的全连接层和五层带有激活函数的反卷积层构成，完成从输入的脑电特征到表情图像的生成。将生成器子模块简称为生成器，该生成器也就是条件生成对抗网络(ac-gan)的生成器，生成器通过全连接层接收脑电特征数据，并将全连接层的输出数据整理为4*4*512的张量，随后通过五层卷积核为5*5的反卷积层逐步生成128*128像素的灰度图，每层反卷积步长都为2，每层后应用批标准化并使用relu作为激活函数。

判别器子模块由依次连接的五层带有激活函数的卷积层构成，完成对生成图像是否属于该情绪大类的判断。将判别器子模块简称为判别器，该判别器也就是条件生成对抗网络(ac-gan)的判别器，判别器的输入联合真/假样本与情绪类别。随后通过四层卷积核为5*5和一层卷积核为2*2的卷积层得到一维判别结果。卷积核步长分别为2、2、4、4、1，前四层使用lrelu作为激活函数。

损失函数子模块包含一个带有梯度惩罚项的条件生成对抗网络的损失函数，通过比较判别器子模块的判别结果和真实结果的差异，以反向传播算法实现对ac-gan网路参数的训练，损失函数子模块中的损失函数如下：

其中，xr为来自表情图集中分布符合本类情绪面部表情yface的真实样本，为面部表情yface的分布；xg为分布符合本类情绪脑电数据yeeg的生成样本，为情绪脑电数据yeeg的分布；yface和yeeg分别为情绪类别y下面部表情和脑电特征数据；λ为梯度惩罚项系数，本例中采用λ＝10。

本发明根据脑电特征数据特点和任务要求构建的条件生成对抗网络模块，其优势在于：生成器子模块、判别器子模块的网络结构和损失函数子模块可以相互配合，在数据驱动下实现从极高维的情绪脑电特征数据到细粒度面部表情的映射关系。区别于传统条件生成对抗网路的生成器需要输入类别标签，本发明提出的条件生成对抗网络(ac-gan)模块的生成器子模块可以接收不加标签的极高维脑电特征数据并生成图像样本。判别器子模块使用生成样本配合脑电数据的类别标签实现对生成器子模块生成结果的判别。损失函数子模块通过比较判别器子模块结果与真实结果，使用反向传播算法完成对生成器子模块和判别器子模块网络参数的调整。

实施例6

本发明还是一种情绪脑电的细粒度可视化方法,在上述的任一情绪脑电的细粒度可视化系统上实现，情绪脑电的细粒度可视化系统的总体构成同实施例1-5，参见图5，包括如下步骤：

(1)采集情绪脑电数据：

(1a)利用音乐、视频等情绪刺激诱发使用者情绪：参见图6，其中图6(a)为使用显示器方式呈现情绪刺激，图6(b)为以虚拟现实方式呈现情绪刺激。通过使用显示器或vr头盔向使用者呈现带有情绪倾向的影视音视频片段或音乐、图片等来诱发使用者的情绪。诱发片段选自相关影视作品、音乐或图像集中的情绪明确的部分，包括但不限于以下情绪类别：开心、悲伤、恐惧、平静。

(1b)采集脑电数据：情绪脑电信号采集通过使用者佩戴脑电帽并接受情绪刺激，同步记录使用者全脑64通道脑电图(电极分布采用10-20系统)，并使用1024hz采样率作为记录采样率。被采集的脑电信号连同刺激开始和结束时间标签以及视频类别标签一同被记录，得到原始脑电数据。

(1c)分别将采集的原始脑电数据按固定比例分为训练集和测试集。固定比例的比值选取主要考虑脑电的时变性和小数据性，为真实反映算法性能，一般测试集比例不应过小，本例中采用1:1的比例分配训练集和测试集，还可以选取2:1等。

(2)脑电数据预处理：对原始脑电数据依次进行去基线、滤波、降采样的预处理。

(2a)将采集到原始脑电数据的每个通道的脑电信号减去所有通道信号的均值，得到去除基线后的脑电数据。

(2b)将经过步骤(2a)处理后得到的去除基线后的脑电数据通过1-75hz的带通滤波器以去除绝大多数干扰生理信号，并对其进行50hz工频信号滤除，得到滤波后的脑电数据。

(2c)将(2b)得到的滤波后的脑电数据降采样至200hz，得到预处理后的脑电数据。

(3)脑电特征提取：对预处理后数据的每个通道提取功率谱密度(psd)特征，以psd特征计算每个通道五种脑电节律delta(1-4hz)、theta(4-8hz)、alpha(8-14hz)、beta(14-31hz)、gamma(31-50hz)的频带能量，得到脑电特征数据。

(4)构建条件生成对抗网络(ac-gan)：参见图7，本发明根据情绪脑电数据特点和任务要求构建条件生成对抗网络(affectivecomputinggan，ac-gan)；ac-gan包括生成器、判别器和损失函数三部分。生成器和判别器均采用带有激活函数的卷积结构，网络激活函数relu和lrelu被分别用于判别器和生成器，批标准化(batchnormalization)被应用于生成器，梯度惩罚方法被应用于损失函数；生成器以无标签的脑电特征数据作为输入，输出生成样本。判别器以生成样本、目标图像和类别标签作为输入，得到的判别结果并输入损失函数以供网络训练。

(5)制备表情图集，参见图2：拍摄人脸的各类情绪表情连续变化图像，本例中每类表情选6张，每类的6张表情目标图像中，包含1张平静情绪表情，并依次从平静变化到本类情绪的完全表情状态。将图像调整为合适用于条件生成对抗网络(ac-gan)训练的目标图像，最终得到多类部分重叠的目标表情图集，本例中将图像调整为256*256像素。

(6)训练条件生成对抗网络：参见图9，图9是本发明对条件生成对抗网络(ac-gan)的训练策略示意图，本发明利用脑电特征数据中带有的强度信息辅助完成条件生成对抗网络(ac-gan)的训练。从脑电特征数据中随机选择一定数量的定长数据，本例中选择64段长度为1秒钟的数据，并按脑电特征强度分配目标图像，得到一个训练批数据(mini-batch)，完成一个训练批数据(mini-batch)中脑电数据的获取。每类脑电数据按头部颞叶和额叶脑区通道的特征强度从弱到强排序，并从弱到强等比例分配该类所有表情图像作为训练的目标图像，完成一个训练批数据(mini-batch)的准备。使用准备好的训练批数据(mini-batch)完成一轮ac-gan的对抗训练。循环执行训练批数据准备和对抗训练的过程，直到满足停止条件，完成ac-gan的训练。训练好的ac-gan生成器输入脑电特征数据，输出该脑电特征数据生成的细粒度面部表情图像。

(7)得到细粒度面部表情生成结果：根据实际需求，在离线或在线状态下得到细粒度面部表情图像生成结果，该面部表情图像为人眼可直接辨识的带有细粒度情绪信息的面部表情。

(7a)离线状态下得到细粒度面部表情生成结果：在测试集上得到细粒度表情生成结果，将测试集中的情绪脑电数据输入ac-gan的生成器，得到反映使用者对应数据所处情绪状态的细粒度面部表情图像。

(7b)在线状态下得到细粒度面部表情生成结果：实时在线采集情绪脑电数据，并执行脑电数据预处理和脑电特征提取后将得到的脑电特征数据输入ac-gan的生成器，得到使用实时在线数据生成的反映使用者实时情绪的细粒度面部表情图像。

本发明的情绪脑电的细粒度可视化方法构建了从原始脑电到细粒度面部表情生成的完整的处理方法流程。不仅使用了情绪脑电数据带有的情绪类别标签，还创造性利用了情绪脑电的数据分布特点，配合以适当的条件生成对抗网络(ac-gan)结构得到从原始脑电到细粒度面部表情的映射，实现了对情绪脑电数据的细粒度可视化。

实施例7

情绪脑电的细粒度可视化系统和方法同实施例1-6，步骤(4)中构建的条件生成对抗网络，其结构和参数如下：

(4a)设计ac-gan网络架构：参见图8，图8为本发明的条件生成对抗网络(ac-gan)的生成器和判别器的网络结构示意图，参见图8(a)，根据输入数据特点设计生成器的网络结构；参见图8(b)，同时设计判别器的网络结构；并设计损失函数。本发明的生成器以无标签的脑电特征数据作为输入，输出生成样本(假样本)；判别器以情绪类别标签，目标图像(真样本)和假样本作为输入，输出为得到的判别结果，将判别结果输入损失函数。

(4b)构建生成器：参见图8(a)，生成器由依次连接的全连接层和五层带有激活函数的反卷积层构成。生成器通过全连接层接收脑电特征数据，并将全连接层的输出数据整理为4*4*512的张量，随后通过五层卷积核为5*5的反卷积层逐步生成128*128像素的灰度图，每层反卷积步长都为2，每层后应用批标准化并使用relu作为激活函数。

(4c)构建判别器：参见图8(b)，判别器由依次连接的五层带有激活函数的卷积层构成。判别器的输入联合真/假样本与情绪类别，随后通过四层卷积核为5*5和一层卷积核为2*2的卷积层得到一维判别结果。卷积核步长分别为2、2、4、4、1，前四层使用lrelu作为激活函数。

(4d)构建损失函数：构建一种带有梯度惩罚项的条件生成对抗网络的损失函数，构建的损失函数w(d,g)如下：

其中，xr为来自表情图集中分布符合本类情绪面部表情yface的真实样本，为面部表情yface的分布；xg为分布符合本类情绪脑电数据yeeg的生成样本，为情绪脑电数据yeeg的分布；yface和yeeg分别为情绪类别y下面部表情和脑电特征数据；λ为梯度惩罚项系数，本例中采用λ＝5。

本发明根据脑电特征数据特点和任务要求构建了条件生成对抗网络的生成器、判别器的网络结构和损失函数。区别于传统条件生成对抗网路的生成器需要输入类别标签，ac-gan的生成器可以接收不加标签的极高维脑电特征数据并生成图像样本。判别器使用生成样本配合脑电数据的类别标签实现对生成器生成结果的判别。损失函数通过比较判别器结果与真实结果，使用反向传播算法完成对生成器和判别器网络参数的调整。

实施例8

情绪脑电的细粒度可视化系统和方法同同实施例1-7，步骤(5)中的制备表情图集，参见图2：

(5a)获取连续表情图像：拍摄一组不同情绪下的人脸正面连续渐变表情多张，包括但不限于以下情绪类别：开心、悲伤、恐惧、平静。图2中上部分列举的表情图像类别为开心情绪下从平静直至开心最大程度逐步变化的表情序列；图2中下部分列举的表情图像类别为悲伤情绪下从平静直至开心最大程度逐步变化的表情序列。

(5b)类内连续，类间部分重叠的面部表情图集制备：选择同类情绪内从平静到最大幅度的连续的表情图像5张作为一类，不同类之间平静的表情为重叠表情。将图像调整为128*128像素的灰度图。所有类别图像组成表情图集。

本发明的制备表情图集方法的优势在于：所制备的表情图集在包含每种情绪大类的表情图像的基础上，还含有每种大类情绪状态下不同强度的表情信息，为细粒度的情感计算和情绪呈现提供了基础材料。

实施例9

情绪脑电的细粒度可视化系统和方法同同实施例1-8，步骤(6)中的训练条件生成对抗网络，参见图9：

(6a)训练数据准备：从步骤(3)提取特征后的脑电数据中随机选择一定数量定长的数据，本例中选用128段长度为2秒钟的数据，完成一个mini-batch中脑电数据的获取。每类脑电数据按头部颞叶和额叶脑区通道的特征强度从弱到强排序，并从弱到强等比例分配该类全部表情图像作为训练的目标图像，完成一个mini-batch的准备。

(6b)网络对抗训练：训练判别器时，将生成器生成的样本(假样本)、目标图像(真样本)和真假类别标签分别组合成假样本真标签、真样本假标签和真样本真标签。将上述组合送入判别网络，只有真样本真标签需要被判别为“真”，其余组合判别为“假”。使用反向传播算法按上述规则更新判别器网络参数。训练生成器时，固定判别器网络参数，将脑电特征数据图输入生成器，生成结果直接输入判别器并在判别器末端使用“真”来进行反向传播更新生成器网络参数。

(6c)训练停止方法：重复步骤(6b)和(6c)直到损失函数达到设定目标停止训练或根据生成效果判断手动停止训练。为了实验结果可对比，本例中设定训练200次全数据后停止。

本发明的训练条件生成对抗网络方法优势在于：主动控制了条件生成对抗网络训练的训练数据构成和训练进程，使对条件生成对抗网络参数的训练在受控状态下进行。

实施例10

情绪脑电的细粒度可视化系统和方法同同实施例1-9，步骤(6)训练条件生成对抗网络的子步骤(6a)训练数据准备：

(6a1)训练数据获取：从提取特征后的脑电数据中随机选择一定数量定长的数据，本例中选用32段长度为0.5秒钟的数据，完成一个mini-batch中脑电数据的获取。

(6a2)目标图像匹配：对步骤(6a1)中获取的每类情绪下的每段脑电数据样本按头部颞叶和额叶脑区每通道的特征强度从弱到强排序，并根据每通道的排序结果得到每类情绪下所有脑电数据样本的综合特征强度排序。按每类情绪下脑电数据样本的综合排序结果从弱到强等比例分配该类4张表情图像作为训练的目标图像，完成一个训练批数据(mini-batch)的准备。

本发明的训练数据准备方法优势在于：在利用了情绪脑电的类标签的基础上还利用了情绪脑电的数据分布特点构建训练批数据(mini-batch)，使条件生成对抗网络在学习到情绪脑电与表情的粗粒度映射关系的基础上还能学习到包含情绪强度信息的细粒度映射关系。

下面给出一个更加详实的例子，对本发明进一步说明。

实施例11

情绪脑电的细粒度可视化系统和方法同实施例1-10，参照图5，本发明的具体步骤如下：

步骤1、采集情绪eeg信号

(1a)诱发使用者情绪：

(1a1)根据设计的情绪大类数目，选择相应情绪倾向的影视片段作为情绪eeg的诱发刺激。影视片段表达的情绪需观感明确，包括但不限于以下情绪类别：开心、悲伤、恐惧、平静，同一个片段不能出现多种情绪。由实验人员确定每个片段所属情绪类别并完成剪辑，影视片段长度1-4分钟，画质和音质清晰。

(1a2)参见图6，情绪刺激呈现的设备可以是普通显示屏，也可以是vr设备，使用vr设备呈现情绪刺激可以获得更强烈的沉浸式情绪体验，效果更佳。

(1b)采集脑电数据：

(1b1)安装脑电采集设备电极，并设置采样率；本例中使用32个电极，设置采样率为2048hz。

(1b2)使用者佩戴电极帽，按照国际标准10-20系统放置采集电极。

(1b3)开启脑电记录设备，播放(1a)中准备的情绪刺激视频片段，两个片段间隔30秒钟，被试以自然放松的状态观看刺激视频。

(1b4)在记录脑电信号的同时，同步记录视频开始和结束的时间以及视频的情绪类别标签。

步骤2、脑电数据预处理

(2a)去均值，用受试者电极帽上每个电极采集的脑电信号减去所有电极脑电信号的均值，得到基线校正后的脑电信号。

(2b)滤波，将经过步骤(2a)处理后的脑电信号通过1-75hz的带通滤波器以去除绝大多数干扰生理信号，并对其进行50hz工频信号滤除。

(2c)降采样，将(2b)得到的结果降采样至较低200hz，得到预处理后的脑电信号。

步骤3、脑电特征提取

(3a)确定选用的特征，本例中选用功率谱密度(psd)特征。根据需要，也可选用其他适合于情绪脑电数据的特征，这些可选特征包括统计特征、谱特征和空间特征。

(3b)提取情绪脑电的功率谱密度(psd)特征：

(3b1)确定时间窗t大小，本例中选用t＝1秒钟。

(3b2)得到单个时间窗内的阶段信号xt(t),-t/2＜t＜t/2。

(3b3)带入功率谱密度公式求时间窗内功率谱密度p：

式中x为脑电数据，t为时间窗大小，t为脑电数据x的不同采样时刻。

(3b4)重复步骤(3b2)、(3b3)直到求出数据集上全部时间信号的功率谱密度(psd)特征。

(3b5)使用提取的情绪脑电的功率谱密度(psd)特征，分别计算情绪脑电每个通道五种脑电节律delta(1-4hz)、theta(4-8hz)、alpha(8-14hz)、beta(14-31hz)、gamma(31-50hz)的频带能量作为脑电特征数据。

步骤4、构建条件生成对抗网络

近年来，在计算机视觉领域出现了gan方法。在一些研究中，生成对抗网络从随机噪声中产生出了栩栩如生的图像，例如人类面部表情图像。随着条件生成对抗网络(cgan)的提出，生成结果的类可以被控制进而生成指定类型的结果。wassersteingan(wgan)的提出有效的解决了gan在训练中产生的模式崩溃问题。根据脑电数据特点改造cgan方法作为生成情绪脑电对应状态的面部表情，从而实现情绪脑电的细粒度可视化。

(4a)参见图7，设计ac-gan网络架构。区别于传统cgan，本发明以脑电特征数据作为生成器的输入，以类别标签，选定的目标图像和生成图像作为判别器的训练数据。设计生成器的网络结构,参见图8(a)，设计判别器的网络结构，参见图8(b)。

(4b)构建生成器，生成器通过全连接层接收数据，并在全连接层后整理为4*4*512的张量，随后通过卷积核为5*5的反卷积层逐步生成一张表情灰度图，本例中使用六层反卷积层生成256*256像素的灰度图，每层反卷积步长都为2，每层后应用批标准化并使用relu作为激活函数。

(4c)构建判别器，判别器在输入层联合真/假样本与情绪类别。随后通过多层卷积核为5*5和一层卷积核为2*2的卷积层得到一维判别结果。本例中使用五层卷积核为5*5的卷积层和一层卷积核为2*2的卷积层，卷积步长分别为2、2、4、4、1。前五层分别使用relu作为激活函数。

(4d)构建损失函数，本发明构建了一种条件生成对抗网络，同时采用了梯度惩罚的训练方法，构建的损失函数如下：

其中，xr为来自表情图集中分布符合本类情绪面部表情yface的真实样本，为面部表情yface的分布；xg为分布符合本类情绪脑电数据yeeg的生成样本，为情绪脑电数据yeeg的分布；yface和yeeg分别为情绪类别y下面部表情和脑电特征数据；λ为梯度惩罚项系数，本例中采用λ＝8。不同于传统cgan的生成器输入需要标签，本发明根据情绪eeg特点，设计输入不需要带有标签，该设计配合步骤6中的训练策略，可以实现在粗标签的监督下学习到真实数据的分布特点，从而在生成结果中反映正确的细粒度情绪信息。

步骤5、制备表情图集

(5a)制备表情图集：

(5a1)参见图2，获取连续表情图像：拍摄一组不同情绪下的人脸正面连续渐变表情多张，包括但不限于以下情绪类别：开心、悲伤、恐惧、平静。

(5a2)类内连续，类间部分重叠的面部表情图集制备：选择同类情绪内从平静到最大幅度的连续的表情图像n张作为一类，本例中为5张，不同类之间平静的表情为重叠表情。将图像调整为256*256像素的灰度图；所有类别图像组成表情图集

步骤6、训练条件生成对抗网络

为实现情绪脑电的细粒度可视化，本发明直接建立情绪脑电特征数据样本x到表情图像样本i的映射关系fx→i：

i＝fx→i(x)

根据粗标签y和脑电的数据分布px构建条件概率关系：

其中px表示为x分别属于y1和y2的后验概率：

px＝[p1(y1|x),p2(y2|x)]

在上述数学关系指导下，本发明提出使用类内连续、类间部分重叠的目标图像集作为ac-gan的训练目标图像。使用特征强度排序引导的训练策略，不仅保证ac-gan生成表情图像大类正确，同时使生成的表情图像带有情绪类内的强度信息。

参见图9，本发明的ac-gan训练过程分为训练数据准备、网络对抗训练、训练停止方法等三步，分别详述如下：

(6a)训练数据准备：

(6a1)训练数据获取：从提取特征后的脑电数据中随机选择32段长度为0.5秒钟的数据，完成一个mini-batch中脑电数据的获取，即脑电特征数据样本。

(6a2)目标图像匹配：对步骤(6a1)中获取的每类情绪下的每段脑电数据样本按头部颞叶和额叶脑区每通道的特征强度从弱到强排序，并根据每通道的排序结果得到每类情绪下所有脑电数据样本的综合特征强度排序。按每类情绪下脑电数据样本的综合排序结果从弱到强等比例分配该类5张表情图像作为训练的目标图像，完成一个训练批数据(mini-batch)的准备。

(6b)网络对抗训练：

使用步骤(6a)中准备的批次数据完成一轮ac-gan的训练，分别需要训练判别器和生成器。

(6b1)训练判别器，分别使用目标图像配合正确和错误的粗标签以及生成图像配合正确的标签作为判别器的训练数据，目标图像配合正确的粗标签应判别为真，另外两种情况判别为假，并对判别器进行反向传播训练。

(6b2)训练生成器，使用脑电数据和粗标签完成从生成器到判别器的前向传播，并以“真”作为判别器的真值，固定判别器网络参数完成对生成器的反向传播训练。

(6c)训练停止方法：重复步骤(6a)和(6b)直到损失函数达到设定目标停止训练或根据生成效果判断手动停止训练。

特征强度排序引导的训练策略对情绪类内特征数据变化捕捉的有效性可由本发明进行的仿真实验说明，参见图10。本发明建立受控的模拟脑电训练集和测试集，依照开心的情绪脑电特点设计数据。模拟训练集和测试集数据的高频成分强度分布服从均值为20，标准差为5的正态分布。用特征强度排序引导的训练策略在模拟训练集上训练后，在测试集上可以得到随数据特征分布变化的表情图像。

步骤7、得到细粒度面部表情生成结果

根据实际需求，可在离线或在线状态下得到细粒度面部表情生成结果。

(7a)离线状态下得到细粒度面部表情生成结果：在测试集上得到细粒度表情生成结果，将测试集中的情绪脑电数据输入ac-gan的生成器，得到反映使用者对应数据所处情绪状态的细粒度面部表情图像。

(7b)在线状态下得到细粒度面部表情生成结果：实时在线采集情绪脑电数据，并执行脑电数据预处理和脑电特征提取后将得到的脑电特征数据输入ac-gan的生成器，得到使用实时在线数据生成的反映使用者实时情绪的细粒度面部表情图像。

本发明的情绪脑电的细粒度可视化方法解决了情绪脑电数据中细粒度信息的提取和呈现问题，数据驱动的将情绪脑电数据转化为人可以直观理解和辨识的带有强度信息的面部表情图像。流程清晰明确，易于在多种场景下应用。本发明支持离线和在线状态下使用训练好的ac-gan，拓展了情绪脑电的细粒度可视化方法的应用场景和空间。

本发明的效果可通过一些实验进一步说明：

实施例12

情绪脑电的细粒度可视化系统和方法同同实施例1-11

本例中采取的实验条件如下：

计算硬件条件：inteli9cpu，nvidiatitanxpgpu，64gbddr4内存；

计算软件条件：ubuntu16操作系统，tensorflow1.4深度学习框架；

数据采集条件：biosemi64导联脑电采集设备，htcvivevr头盔。

实验1，检验时段内的多人平均表情生成效果

参见图11，为验证本发明生成面部表情所含细粒度信息的可靠性，设计实验进行验证。收集30名视力正常的被测者对3段开心和3段悲伤视频片段进行打分标注。每段视频时长30秒，开心程度为0到5得分，悲伤程度为0到-5得分。图11(a)为对上述视频片段分级标注结果的误差条图，该图反映了30名被测者对该视频片段包含情绪大类和情绪强度平均观点。利用本发明使用上述六段视频刺激下7名被测者脑电进行表情生成。参见图11(b)，为判断生成结果中是否包含了可靠的细粒度信息，对每段视频的全部生成结果进行平均，得到每段视频刺激下7名被测者脑电生成的平均表情。对比图11(a)和图11(b),明显地观察到图11(b)中表情变化的趋势符合图11(a)中评分的变化趋势。该实验证实了本发明生成的细粒度表情具有一定的可靠度。

实施例13

情绪脑电的细粒度可视化系统和方法同同实施例1-11，实验条件同实施例12。

实验2，检验情绪脑电数据与单张表情的一致性

参见图12，为检验本发明生成面部表情与脑电数据是否具有相关性。分别选择一段开心和一段悲伤视频刺激下的被测者脑电，从中各选择三个时间点研究脑电数据和生成结果的相关性。图12(a)为从开心情绪状态下选择三个时间点，分别画出高频gamma和beta波脑电地形图；并使用本发明生成图12(a)中三个时间点对应脑电数据的面部表情，参见图12(c)。图12(b)为从悲伤情绪状态下选择三个时间点，分别画出高频gamma和beta波脑电地形图；并使用本发明生成图12(b)中三个时间点对应脑电数据的面部表情，参见图12(d)。明显地观察到：特定脑区脑电数据高频强度较大的时间点，生成的表情幅度也较大，说明本发明的生成方法与数据具有相关性，本发明创造性地完成了情绪脑电的细粒度可视化，为情绪脑电的分析和研究奠定了一定的基础并带来了便利。

本发明公开的一种情绪脑电的细粒度可视化系统和方法，解决如何展示情绪脑电中细粒度信息的技术问题。系统依次连接有数据采集模块、数据预处理模块、特征提取模块、网络训练控制模块，且表情图集提供目标图像，网络训练控制模块与条件生成对抗网络模块完成对条件生成对抗网络的训练，网络前向执行模块控制完成细粒度表情的生成。方法包含步骤：采集情绪脑电数据，脑电数据预处理，脑电特征提取，构建条件生成对抗网络，制备表情图集，训练条件生成对抗网络和得到细粒度面部表情生成结果。本发明将情绪脑电直接可视化为能直接辨识的带有细粒度信息的面部表情，用于对带有脑-机接口的康复设备、情感机器人、vr设备等的交互增强与体验优化。

以上描述仅是本发明的具体实施例，并不构成对本发明的任何限制。显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修正和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。