一种基于多通道并行网络和多频带脑电拓扑图的情感识别方法

本发明涉及深度学习领域和脑电图情感识别领域，具体涉及一种基于多通道并行网络和多频带脑电拓扑图的情感识别方法。

背景技术：

1、在日常生活中，情感扮演着越来越重要的角色，影响着人们的交流方式和行为。然而，生活中存在着一些群体无法明确地表达自身的情绪或者情感需求，例如患有阿尔茨海默病晚期的患者、患有面部神经炎的患者、自闭症患者和抑郁症患者等，肢体障碍或者心理障碍使得他们处于一种封闭的情感状态。而情感识别可以帮助这些患者将他们的情绪实时传达给他们的社会环境，他们的家人可以更准确地了解患者内心的想法，医生可以对患者的情感状态进行适当评估，并针对患者的个人状况制定适宜的治疗方案。因此，情感识别具有相当重要的研究意义。

2、目前，识别情感状态所借助的途径主要分为两类：非生理信号和生理信号。非生理信号包括面部图像、肢体动作、语音和语言等，生理信号包括脑电信号、心电信号、肌电信号和皮肤电信号等。由于患有面部神经炎、阿尔茨海默病晚期的患者无法正常地使用面部表情、语言等方式来表达他们的喜怒哀乐，而且非生理信号是可以刻意伪装的，不能反映人的客观生理情感，因此以非生理信号为途径的情感识别技术没有被广泛运用到上述患者的情感评估中。心电信号、肌电信号和脑电信号等生理信号，可以反映人的真实的客观生理情感，难以人为操纵或是改变，也因此成为情感识别技术真实有效的强大支撑。在这些生理信号中，脑电信号具有更高的分类精度，对情绪变化的响应更快，时间分辨率更高，更重要的是脑电信号与神经元活动直接相关，可以提供更多与情感产生相关的信息。

3、近年来，由于深度学习在视觉领域的出色表现，越来越多的基于深度学习的方法被广泛应用于情感识别任务中。许多研究人员将脑电信号的时频特征序列输入到神经网络中，通过学习脑电图的组合时空特征对人类情感状态进行分类。与传统的机器学习方法相比，深度学习方法更能挖掘到脑电信号的内在信息，在基于多通道脑电信号的情感识别任务中显示出了巨大优势。

4、然而，目前大多数基于深度学习的研究都局限于从脑电信号的时域特征、频域特征和时频域特征中识别情感状态。脑电信号的空间域和各个频带都包含了丰富的与情绪状态相关的信息，有研究人员尝试从多通道脑电信号时间切片中学习空间特征，而这种时间切片的两个维度分别表示电极和采样时间，仅仅将所有的电极测量值聚合在一起，无法从中挖掘出不同脑区的脑电变化之间的相关性。研究多通道脑电信号的空间拓扑特征和频带特性，对情感识别具有重要意义。

5、fpga作为一种可重构的芯片，由嵌入式块存储器、可配置逻辑块和可编程输入输出单元等资源组成，具有集成度高、可重复编程等特点。与cpu、gpu和asic相比，虽然fpga不具有很高的吞吐量、最低的功耗以及很低的量产成本，但是在功耗相对较低的情况下，fpga拥有较好的并行性、可重新配置以及较短的设计周期等优势。除此之外，fpga可以根据神经网络的计算过程，结合特定模型的硬件设计，实现高并行性和逻辑简化。因此，利用fpga实现对脑电信号情感识别中卷积神经网络的硬件加速，具有潜在的研究价值和应用价值。目前越来越多的人对卷积神经网络的硬件加速进行研究和探索。虽然基于fpga的硬件加速器都取得了不错的研究成果，但是许多研究没有充分发挥卷积神经网络中的并行计算能力，仍然具有较大的提升空间。

技术实现思路

1、本发明旨在提供一种基于多通道并行网络和多频带脑电拓扑图情感识别方法，并基于fpga并行计算实现对卷积运算的硬件加速，以提高脑电图情感识别的准确率和效率。

2、该发明的具体实现如下所示：

3、(1)受人类大脑中神经环路的启发，提出一种基于离散并行处理环路模式的多通道并行网络。该网络包含三个部分，分别是多通道离散并行处理模块、多通道信息交换重组模块和加权分类模块。

4、(2)获取多通道脑电信号序列，并对其进行预处理，主要包括去除基线信号和扩充数据，为了保留脑电信号的拓扑结构，将脑电时间序列转换成二维拓扑图像，使物理通道相邻的信号在二维矩阵中仍然相邻。

5、(3)使用快速傅立叶变换(fft)提取theta、alpha、beta和gamma四个频带的频谱功率，以构建多频带脑电拓扑图。多频带脑电拓扑图可以明确地表示不同情绪状态下头皮上脑电图信号的变化，而且融合了多通道脑电信号的频域特征、空间信息和频带特性，可以提供更丰富的信息。

6、(4)将多频带脑电拓扑图作为多通道并行网络的输入，用于情感产生模式的学习与情感评估。

7、(5)超参数的不同选择会影响模型的性能，为了找到最佳的超参数，对部分超参数进行对照实验。涉及到的超参数包括多通道离散并行处理模块的分组卷积层中卷积核的数量与大小、多通道信息交换重组模块的分组卷积层中卷积核的数量与大小以及加权分类模块的全连接层中的神经元数量。

8、(6)将上述情感识别方法迁移到fpga开发平台上，并实现对卷积运算的加速。

9、(7)fpag采用外部ddr存储器和内部ddr存储器相配合的方式，各个运算模块不需要直接从外部ddr存储器中读取数据，缓解外部ddr存储器与pl端之间的带宽压力。

10、(8)在卷积运算加速器中，卷积运算模块采用若干个多卷积核处理单元，实现了特征图的不同通道的并行运算，并且利用循环展开技术实现卷积运算的滑动窗口内和输出通道两个维度的并行，实现了卷积运算的硬件加速。

技术特征：

1.一种基于离散并行处理环路模式的多通道并行网络，其特征在于，

2.如权利要求1所述基于离散并行处理环路模式的多通道并行网络，其特征在于，

3.如权利要求1所述基于离散并行处理环路模式的多通道并行网络，其特征在于，

4.一种基于多通道并行网络和多频带脑电拓扑图的情感识别方法，其特征在于，

5.如权利要求4所述基于多通道并行网络和多频带脑电拓扑图的情感识别方法，其特征在于，

6.如权利要求4所述基于多通道并行网络和多频带脑电拓扑图的情感识别方法，其特征在于，

7.一种基于fpga的情感识别卷积运算加速器，其特征在于，

技术总结
本发明提出一种基于多通道并行网络和多频带脑电拓扑图的情感识别方法。首先，针对传统卷积神经网络存在的通道冗余以及计算开销大的问题，提出一种基于离散并行处理环路模式的多通道并行网络，该网络主要包括以下三个模块：多通道离散并行处理模块，多通道信息交换重组模块，加权分类模块。其次，针对大多数情感识别算法没有考虑将脑电信号的频率特征与空间信息、频带特性相结合的问题，提出一种基于多频带脑电拓扑图表征的情感识别方法。在该方法中，利用多频带脑电拓扑图来呈现脑电信号在频域、空间域和频带上的状态变化，以提供与情感状态相关的更丰富的信息，从而提高识别性能。最后，提出一种基于FPGA的卷积运算加速器，以加速完成整个情感识别任务。

技术研发人员：张菁,张成浩,吕子怡
受保护的技术使用者：济南大学
技术研发日：
技术公布日：2024/5/6