技术特征：
1.一种基于多尺度成像的多模态特征融合脑电情感识别方法，其特征在于：包括以下步骤：s1，使用python代码对原始的脑电信号进行基线去除，获得第一脑电信号；s2，对所述第一脑电信号进行多尺度处理，获得第二脑电信号；s3，使用时间序列成像算法将所述第二脑电信号转为图像，获得n 个图像数据集；s4，对n 个所述图像数据集进行数据增强，构建n个样本和标签集；s5， n个所述样本和标签集分别通过resnet模型和dnn-01模型，获得n个第一特征向量；s6， n个所述第一特征向量通过组合形成3个第二特征向量；s7， 3个所述第二特征向量分别通过dnn-02模型，形成多模态特征融合的脑电情感分类模型；s8，采用十折交叉验证方法将s4步中的n个样本和标签集随机划分为十份，其中九份作为训练数据，剩余一份作为测试数据，训练所述多模态特征融合的脑电情感分类模型，获得脑电情感分类识别模型。2.根据权利要求1所述的基于多尺度成像的多模态特征融合脑电情感识别方法，其特征在于：所述基线去除包括以下内容：将所述原始脑电信号中基线信号和实验信号分别划分为长度为l的k段和i段，从每个实验信号段中减去所有基线信号段的平均值。3.根据权利要求1所述的基于多尺度成像的多模态特征融合脑电情感识别方法，其特征在于：所述多尺度处理的数学定义为：，其中，为设置的时间尺度，l为原始脑电信号的长度，为i时刻原始脑电信号的信号值，为第二脑电信号，j为第二脑电信号的索引。4.根据权利要求1所述的基于多尺度成像的多模态特征融合脑电情感识别方法，其特征在于：所述数据增强为mixup。5.根据权利要求1所述的基于多尺度成像的多模态特征融合脑电情感识别方法，其特征在于： 3个所述第二特征向量为：由n个所述第一特征向量相加组成的第二特征向量；由n个第一特征向量相同位置的最大值组成的第二特征向量；使用一个全连接层将n个第一特征向量加权组合组成的第二特征向量。6.根据权利要求5所述的基于多尺度成像的多模态特征融合脑电情感识别方法，其特征在于：所述加权组合中权重为n个所述第一特征向量经全连接层训练后的参数。7.根据权利要求1所述的基于多尺度成像的多模态特征融合脑电情感识别方法，其特征在于：所述多模态特征融合的脑电情感分类模型的损失计算公式如下：，其中，和为预设的参数，l i为所述n个样本和标签集通过resnet模型和dnn-01模型
的损失，的整数；l
com
为所述n个第三特征向量分别通过dnn-02模型的损失。
技术总结
本发明公开了一种基于多尺度成像的多模态特征融合脑电情感识别方法，将多尺度和时间序列成像算法相结合，通过把脑电图信号转换为图像实现情感识别，与传统的基于EEG信号的情感识别方法相比，不仅能够保存脑电图信号的空间信息，还能用多尺度算法减少计算量，找到潜在的脑电图信号模式，同时将高维信息编码到图像中，使图像包含丰富的信息，充分利用机器视觉的优势，使用2DCNN模型提取图像的高维特征，通过不同的多模态特征融合方法，取得更好的情感分类结果。感分类结果。感分类结果。
技术研发人员：徐华兴 胡飞 常加兴 毛晓波 李立国 郑鹏远
受保护的技术使用者：郑州大学
技术研发日：2022.04.26
技术公布日：2022/7/21