一种脑电信号多维度特征图片序列的生成方法与流程

本发明涉及脑电信号技术领域，尤其涉及一种脑电信号多维度特征图片序列的生成方法。

背景技术：

在情感是人类智能的一个重要标志，因此作为人工智能的重要标志之一就是机器能够理解人类的情感。通过人类的行为、面部表情或者生理信号进行的情感识别逐渐成为研究的热点。然而，在某些社会场景中人们经常有意的通过改变声音或者掩盖表情来遮掩自己的内心的真实情感，出于这个原因，研究者更趋向于通过脑电信号、眼动信号、体温信号、血压信号以及肌电信号这类生理信号对人们的真实情感状态进行识别。其中，脑电信号由于直接反映了人们大脑的活动状态，从而更加受到研究者的重视，因此需要提出一种脑电信号特征帧生成方法。

技术实现要素：

本发明的目的是为了解决现有技术中存在的缺点，而提出的一种脑电信号多维度特征图片序列的生成方法。

为了实现上述目的，本发明采用了如下技术方案：

一种脑电信号多维度特征图片序列的生成方法，该生成方法包括如下步骤：

s1、将deap实验中涉及到的脑电电极空间分布情况映射到10-20系统平面图中，形成标准的脑电电极分布图，并且进行泛化，生成正方形矩阵；

s2、通过希尔伯特黄变换方法，将脑电信号进行分解，并按照单位时长窗口进行划分后，提取单位时长窗口中脑电信号的功率谱作为脑电信号的频域特征；

s3、在一个时长窗口内通过上述的方法制作出一幅脑电特征帧；

s4、随着窗口的向前移动，用同样的方法制作出其它的对应于相应时间段的脑电多维度特征帧；

s5、通过对deap中被试32个脑电电极对应的60秒钟的脑电信号波形图采集，在波形图上标出1到n的时长窗口，从原始信号形成脑电特征矩阵，再形成脑电特征序列；

s6、将脑电的特征值进行规范化处理，将脑电的功率谱密度统一划归到[0,1]的实数范围内；

s7、构建脑电多维度特征帧序列。

优选的，所述s1步骤的正方形矩阵为9×9脑电特征方阵。

优选的，所述s2步骤中测试脑电电极的值直接为脑电的频域特征值，未测试脑电电极的值通过图中周边的点的值进行计算得到。

优选的，所述s3步骤的脑电特征帧还包括表达为一个维的竖直矩阵：p(electrode,sequence,trial,subject)，其中，p是一个（32×60×40×32）的一个矩阵。

优选的，所述s7步骤的构建脑电多维度特征帧序列包括如下步骤：

p1、从原始数据集中提取脑电信号，并对脑电信号进行预处理，按照实验所采集脑电信号的电极数以及空间分布位置构造初始化的脑电特征矩阵结构；

p2、从脑电信号中提取特征值，本章提取的是脑电信号的频域特征值功率谱密度[52,56,72,90,92]，功率谱密度的计算方法是使用welch方法进行计算，随后通过不同的时长窗口（时长窗口的长度包含:1秒、2秒、3秒、4秒、5秒、6秒、10秒、15秒、20秒、30秒和60秒）对原始脑电进行特征提取，时长窗口之间没有重叠，最终得到脑电特征值矩阵；

p3、将脑电特征值矩阵中的特征值进行规范化，将特征值限定到[0，1]范围之内；

p4、将脑电特征矩阵中红色点的位置，直接填入规范化后的脑电特征值。

优选的，所述p3步骤的计算公式为：

，

其中，fi为规范化之前的第i个时长窗口所对应的特征值，fi^’为其规范化后的特征值，fmax为一个脑电电极对应脑电信号通过固定时长窗口所计算特征值序列中的最大特征值，fmin为最小特征值。

优选的，所述p3步骤中的计算公式为：

，

其中v(m,n)是脑电特征值矩阵中对应于第m行n列的灰色点的特征值，v^’(m,n)是围绕灰色点的上下左右四个点的特征值。

优选的，所述的下标超出了0或者8的范围，那么其值为0，k是分子中非0元素的个数，默认值设置为1。

本发明提供的一种脑电信号多维度特征图片序列的生成方法通过对脑电信号的提取以及特征帧的生成，通过这种方法可将脑电信号的“能量”特征按照时间序列和脑电电极的空间排列特征，生成脑电多维度特征帧序列。这些脑电多维度特征帧序列反映了情感测试实验中脑电信号的变化规律，对下一步提取图像和情感分类识别奠定了基础，有效推动了脑电信号检测和情感识别的结合以及发展应用。

附图说明

图1为本发明的deap数据集中测试脑电电极布局及泛化的脑电特征方阵图；

图2为本发明的构造脑电多维度特征帧序列的流程图；

图3为本发明的放大的脑电特征帧图片、脑电电极标号和插值等高线图；

图4为本发明的不同时长窗口生成的脑电特征序列图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

一种脑电信号多维度特征图片序列的生成方法，该生成方法包括如下步骤：

s1、将deap实验中涉及到的脑电电极空间分布情况映射到10-20系统平面图中，形成标准的脑电电极分布图，并且进行泛化，生成正方形矩阵；

s2、通过希尔伯特黄变换方法，将脑电信号进行分解，并按照单位时长窗口进行划分后，提取单位时长窗口中脑电信号的功率谱作为脑电信号的频域特征；

s3、在一个时长窗口内通过上述的方法制作出一幅脑电特征帧；

s4、随着窗口的向前移动，用同样的方法制作出其它的对应于相应时间段的脑电多维度特征帧；

s5、通过对deap中被试32个脑电电极对应的60秒钟的脑电信号波形图采集，在波形图上标出1到n的时长窗口，从原始信号形成脑电特征矩阵，再形成脑电特征序列；

s6、将脑电的特征值进行规范化处理，将脑电的功率谱密度统一划归到[0,1]的实数范围内；

s7、构建脑电多维度特征帧序列。

优选的，所述s1步骤的正方形矩阵为9×9脑电特征方阵。

优选的，所述s2步骤中测试脑电电极的值直接为脑电的频域特征值，未测试脑电电极的值通过图中周边的点的值进行计算得到。

优选的，所述s3步骤的脑电特征帧还包括表达为一个维的竖直矩阵：

p(electrode,sequence,trial,subject)，其中，p是一个（32×60×40×32）的一个矩阵。

优选的，所述s7步骤的构建脑电多维度特征帧序列包括如下步骤：

p1、从原始数据集中提取脑电信号，并对脑电信号进行预处理，按照实验所采集脑电信号的电极数以及空间分布位置构造初始化的脑电特征矩阵结构；

p2、从脑电信号中提取特征值，本章提取的是脑电信号的频域特征值功率谱密度[52,56,72,90,92]，功率谱密度的计算方法是使用welch方法进行计算，随后通过不同的时长窗口（时长窗口的长度包含:1秒、2秒、3秒、4秒、5秒、6秒、10秒、15秒、20秒、30秒和60秒）对原始脑电进行特征提取，时长窗口之间没有重叠，最终得到脑电特征值矩阵；

p3、将脑电特征值矩阵中的特征值进行规范化，将特征值限定到[0，1]范围之内；

p4、将脑电特征矩阵中红色点的位置，直接填入规范化后的脑电特征值。

优选的，所述p3步骤的计算公式为：

，

其中，fi为规范化之前的第i个时长窗口所对应的特征值，fi^’为其规范化后的特征值，fmax为一个脑电电极对应脑电信号通过固定时长窗口所计算特征值序列中的最大特征值，fmin为最小特征值。

优选的，所述p3步骤中的计算公式为：

，

其中v(m,n)是脑电特征值矩阵中对应于第m行n列的灰色点的特征值，v^’(m,n)是围绕灰色点的上下左右四个点的特征值。

优选的，所述的下标超出了0或者8的范围，那么其值为0，k是分子中非0元素的个数，默认值设置为1。

本发明提供的一种脑电信号多维度特征图片序列的生成方法通过对脑电信号的提取以及特征帧的生成，通过这种方法可将脑电信号的“能量”特征按照时间序列和脑电电极的空间排列特征，生成脑电多维度特征帧序列。这些脑电多维度特征帧序列反映了情感测试实验中脑电信号的变化规律，对下一步提取图像和情感分类识别奠定了基础，有效推动了脑电信号检测和情感识别的结合以及发展应用。

实施例

从图4中，展示了通过不同时长窗口形成的脑电多维度特征帧序列，由于较小的时长窗口对应序列中包含的帧数较多，因此在图中我们仅取每个序列的前五个特征帧进行展示，图中，每一行代表的是同一个时长窗口对应不同时刻的脑电特征帧图片，每一列代表的是不同时长窗口对应的相同序号的脑电特征帧图片。以图中前两行的脑电特征帧为例，第一行的脑电多维度特征帧序列用5帧的图片展示了脑电信号前5秒钟的能量变化特征，而第二行用前三帧展示了6秒钟内脑电信号的能量变化。假设用mfi（m,n）（mfi为multiplefeaturesimages的简写）代表脑电多维度特征帧序列中的不同帧，我们可以从图4中很明显的看出mfi(1,5)和mfi(2,3)两幅特征帧非常的相似，我们同样能很直观的从图片中推断出，短时长窗口生成的脑电多维度特征帧序列对脑电信号的变化能够表现出更多的细节，而通过较长时长窗口生成的脑电多维度特征帧序列每个帧图像都更有概括性。