一种脑电信号识别方法与流程

1.本发明涉及脑电信号处理技术领域，特别是一种脑电信号识别方法。


背景技术：

2.当人脑受到小概率事件刺激时，脑电信号中会出现一个潜伏期约为300ms的正向波峰，分析不同视觉刺激下的p300脑电数据，可转换成相应指令来实现对外部设备的控制，脑电数据通常是由脑电帽上的导联电极采集，采集的数据代表了大脑不同区域的神经电活动，有其空间特性。对于不同的认知任务，在大脑中所被激发的区域是不一样的，例如在进行视觉感知任务时距离视觉皮层较远的电极无法对视觉信息进行准确的识别。因此在采集脑电波信号中，对于不同的认知任务，采用的电极对分类价值大小不一。
3.传统的脑电信号特征提取方法主要有：时域法、频域法和时频域结合方法等。例如对脑电信号的幅值和方差分析可以提取时域特征，对脑电信号进行功率谱估计和快速傅里叶变换可以提取频域特征，对脑电信号进行小波变换可以提取时频域特征等，然后利用支持向量机(svm)、线性判别分析(lda)和贝叶斯判别分析(blda)等分类方法对所提取的特征进行分类。但以上方法所提取的脑电信号特征较为单一，并且需要手动的设计特征，过程复杂且耗时，对现阶段提取复杂非平稳的脑电信号没有很大的优势。
4.近些年来，深度学习在处理这种随时间变化的信号方面优势越来越明显，许多研究者将深度学习算法应用到脑信号分析领域，并且取得了一定的成果。如对视觉刺激下的脑电信号进行预处理，然后通过构建深度学习网络进行字符分类识别，该专利所提出的技术方案可以在减少实验次数的条件下，对脑电信号中p300事件相关电位进行分类识别，提高了字符识别正确率，但这种方式仅从时间或空间维度上提取p300信号的特征，没有考虑到脑电波通道间的重要程度。


技术实现要素：

5.针对上述缺陷，本发明的目的在于提出一种脑电信号识别方法，解决了脑电信号数据冗余及字符识别率低的问题。
6.为达此目的，本发明采用以下技术方案：一种脑电信号识别方法，包括以下步骤：
7.s1：采集脑电信号，形成p300信号数据集；
8.s2：将所述p300信号数据集中的脑电信号划分为训练集和测试集，然后分别对训练集中的脑电信号和测试集中的脑电信号进行预处理；
9.s3：通过多元时空卷积神经网络和通道注意力机制构建基于注意力机制的多元时空卷积神经网络，然后利用预处理后的训练集对基于注意力机制的多元时空卷积神经网络进行训练；
10.s4：将预处理后的测试集输入至经过训练集训练后的基于注意力机制的多元时空卷积神经网络，进行p300信号检测和字符识别检测。
11.一些实施例中，所述步骤s2包括：
12.s21：通过频率范围为0.1hz-20hz的带通滤波器对p300信号数据集中的脑电信号进行滤波，并划分训练集和测试集；
13.s22：分别计算训练集的脑电信号和测试集的脑电信号的时域维度，并根据时域维度利用窗口函数分别对训练集的脑电信号和测试集的脑电信号进行时域划分；
14.s23：分别对时域划分后的训练集中的脑电信号和时域划分后的测试集中的脑电信号进行标签标记处理，将存在有p300的脑电信号的标签标记为正样本，将不存在有p300的脑电信号的标签标记为负样本；
15.s24：将标记为正样本的脑电信号复制，使其数量为原来的五倍。
16.值得说明的是，在所述步骤s22具体为：计算时域维度的公式为：其中，n
t
为时域样本点，f为脑电信号的采样频率，l为时间窗大小；
17.然后利用n
t
个时域样本点的窗口函数分别对训练集的脑电信号和测试集的脑电信号进行时域划分。
18.可选地，所述步骤s3中的基于注意力机制的多元时空卷积神经网络包括输入层、时空卷积层、非线性层和全连接模块；所述时空卷积层包括并行排列的第一卷积核和第二卷积核，所述第一卷积核的尺度大小为(c0，l1)，所述第二卷积核的尺度大小为(c0，l2)，其中c0为脑电信号的通道数，l1为第一卷积核的时域大小，l2为第二卷积核的时域大小；
19.所述步骤s3具体为：
20.s31：所述输入层将预处理后的训练集的脑电信号同时输入到所述时空卷积层的第一卷积核和第二卷积核；
21.s32：将经过注意力模块的预处理后的训练集的脑电信号利用第一卷积核和第二卷积核的输出在时间维度上进行叠加，再输入到非线性层；
22.s33：经过时空卷积层的预处理后的训练集的脑电信号经过非线性层的修正线性单元，输出为其中，n为训练集的脑电信号的时域大小；
23.s34：所述全连接模块将非线性层的输出转换成一维数据。
24.具体地，所述步骤s3中的基于注意力机制的多元时空卷积神经网络还包括注意力模块、第一全连接层和第二全连接层；
25.在所述步骤s31具体为：所述输入层将预处理后的训练集的脑电信号输入到所述注意力模块，所述注意力模块将预处理后的训练集的脑电信号的空间维度进行全局平均池化，然后依次经过第一全连接层、relu激活函数和第二全连接层，得到权重矩阵；然后通过所述权重矩阵对预处理后的训练集的脑电信号按通道加权，再同时输入到所述时空卷积层的第一卷积核和第二卷积核。
26.优选的，在所述步骤s34后还包括步骤s35，所述步骤s35为：设定损失函数，通过前向传播和反向传播对网络参数进行优化，具体为：以二值分类交叉熵作为损失函数对多元时空卷积神经网络进行优化，所述损失函数为：
27.l(x，i)＝-∑iq(xi)log(p(xi))；
28.29.其中，p(xi)为对预处理后的训练集的脑电信号的预测分类概率，k为预处理后的训练集的脑电信号的样本类别数，h为第h个预处理后的训练集的脑电信号，q(xi)为对预处理后的训练集的脑电信号的真实分类概率，l(x，i)为损失函数。
30.值得说明的是，所述步骤s4具体为：
31.预处理后的测试集的脑电信号通过视觉刺激界面诱发，通过c次重复实验输入至经过训练集训练后的基于注意力机制的多元时空卷积神经网络的实验得到p300信号检测的结果：
[0032][0033]
得到字符识别检测的结果：
[0034][0035][0036]
其中，p(c)为c次重复实验中经过训练集训练后的基于注意力机制的多元时空卷积神经网络的输出的有p300的脑电信号的累计概率，c为实验的轮次，q(j)为对应的j行或者j列在c次重复实验后累加的总概率，其中，当1≤j≤6时，j表示行，当7≤j≤12时，j表示列，a为字符的行号，b为字符的列号。
[0037]
可选地，在所述步骤s4之后，还包括步骤s5，所述步骤s5为：根据p300信号检测的结果和字符识别检测的结果评估经过训练集训练后的基于注意力机制的多元时空卷积神经网络的检测效果。
[0038]
具体地，所述步骤s5具体为：
[0039]
步骤s51：计算经过步骤2、步骤3和步骤4得到的字符识别检测的结果的字符识别检测效率和计算未经过步骤2、步骤3和步骤4得到的字符识别检测的结果的字符识别检测效率：
[0040][0041]
其中，p
ace
为字符识别检测效率，q
num
为实验得到的字符识别检测的结果中正确分类的字符数，s
num
为实际测试的字符总数；
[0042]
然后将经过步骤2、步骤3和步骤4得到的字符识别检测的结果的字符识别检测效率与未经过步骤2、步骤3和步骤4得到的字符识别检测的结果的字符识别检测效率进行比较，来评估经过训练集训练后的基于注意力机制的多元时空卷积神经网络的检测效果。
[0043]
优选的，在所述步骤s51之后，还包括步骤s52，所述步骤s52为：
[0044]
计算经过步骤2、步骤3和步骤4得到的字符识别检测的结果的预测数据的信息传输速率和计算未经过步骤2、步骤3和步骤4得到的字符识别检测的结果的预测数据的信息传输速率：
[0045][0046]
其中，itr为预测数据的信息传输速率；p为经过基于注意力机制的多元时空卷积神经网络的字符识别率或者没有经过基于注意力机制的多元时空卷积神经网络的字符识
别率，当p为经过基于注意力机制的多元时空卷积神经网络的字符识别率时，itr为经过基于注意力机制的多元时空卷积神经网络的预测数据的信息传输速率，当p为没有经过基于注意力机制的多元时空卷积神经网络的字符识别率时，itr为没有经过基于注意力机制的多元时空卷积神经网络的预测数据的信息传输速率；n
p
为p300信号数据集中的脑电信号的字符类别数；t为识别进行字符识别检测时识别一个字符所需时间，t＝t1+(t2×
c)，1≤c≤15，其中t1为字符间闪烁的停顿时间，t2为字符完成一次完整闪烁所需的时间，c为重复试验的轮次；
[0047]
然后将经过基于注意力机制的多元时空卷积神经网络的预测数据的信息传输速率和没有经过基于注意力机制的多元时空卷积神经网络的预测数据的信息传输速率进行比较，来评估经过训练集训练后的基于注意力机制的多元时空卷积神经网络的检测效果。
[0048]
上述技术方案中的一个技术方案具有如下有益效果：在所述脑电信号识别方法中，基于注意力机制的多元时空卷积神经网络，在采集完脑电信号后，根据脑电波信号特点对其进行预处理，然后利用多元时空卷积神经网络与通道注意力机制进行特征提取，通道注意力机制可以对mts-cnn提取的特征在脑电波信号的通道之间进行权重分配，简化了过程，还可以衡量神经网络对不同通道特征的关注程度，增加重要特征的权重，使网络更加关注对p300识别至关重要的特征，达到有效识别字符的目的。
附图说明
[0049]
图1是本发明的一个实施例中脑电信号识别方法的流程图；
[0050]
图2是本发明的一个实施例中视觉刺激界面和行列矩阵标识符的示意图；
[0051]
图3是本发明的一个实施例中脑电信号电极分布图；
[0052]
图4是本发明的一个实施例中存在p300的脑电信号波形图；
[0053]
图5是本发明的一个实施例中多元时空卷积神经网络模型的结构图；
[0054]
图6是本发明的一个实施例中通道注意力模型图；
[0055]
图7是本发明的一个实施例中mts-cnn-cam模型与mts-cnn字符识别率对比结果；
[0056]
图8是本发明的一个实施例中mts-cnn-cam模型与mts-cnn的信息传输速率对比结果。
具体实施方式
[0057]
下面详细描述本发明的实施方式，实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
[0058]
下文的公开提供了许多不同的实施方式或例子用来实现本发明的实施方式的不同结构。为了简化本发明的实施方式的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明。此外，本发明的实施方式可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本发明的实施方式提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。
[0059]
如图1-8所示，一种脑电信号识别方法，包括以下步骤：
[0060]
s1：采集脑电信号，形成p300信号数据集；具体地，在本实施例中，利用脑电信号采集设备采集脑电信号，所述脑电信号采集设备优选为脑机接口研究开发平台bct2000；在本实施例中，所述步骤s1包括：
[0061]
s11：首先，提示被试注视“目标字符”，例如在图2的字符矩阵上方，出现的灰色字符“b”；
[0062]
s12：其次，进入字符矩阵闪烁模式，每次以随机的顺序闪烁字符矩阵的某一行或某一列，闪烁时长为100毫秒，停顿间隔为75毫秒；
[0063]
s13：最后，当所有行和列均闪烁一次后，结束一轮实验。在实验过程中，当目标字符所在行或列闪烁时，脑电信号中会出现p300电位；而当其他行或列闪烁时，则不会出现p300电位。上述实验流程为1轮，共重复15轮，实验轮次被记作c；
[0064]
s2：将所述p300信号数据集中的脑电信号划分为训练集和测试集，然后分别对训练集中的脑电信号和测试集中的脑电信号进行预处理；
[0065]
s3：通过多元时空卷积神经网络和通道注意力机制构建基于注意力机制的多元时空卷积神经网络，然后利用预处理后的训练集对基于注意力机制的多元时空卷积神经网络进行训练；
[0066]
s4：将预处理后的测试集输入至经过训练集训练后的基于注意力机制的多元时空卷积神经网络，进行p300信号检测和字符识别检测。
[0067]
在本发明中，基于注意力机制的多元时空卷积神经网络为mts-cnn-cam，不进行通道加权的多元时空卷积神经网络为mts-cnn。在所述脑电信号识别方法中，基于注意力机制的多元时空卷积神经网络，在采集完脑电信号后，根据脑电波信号特点对其进行预处理，然后利用多元时空卷积神经网络与通道注意力机制进行特征提取，通道注意力机制可以对mts-cnn提取的特征在脑电波信号的通道之间进行权重分配，简化了过程，还可以衡量神经网络对不同通道特征的关注程度，增加重要特征的权重，使网络更加关注对p300识别至关重要的特征，达到有效识别字符的目的。
[0068]
一些实施例中，所述步骤s2包括：
[0069]
s21：通过频率范围为0.1hz-20hz的带通滤波器对p300信号数据集中的脑电信号进行滤波，并划分训练集和测试集；在本实施例中，脑电信号的频率特征主要集中在0.1hz-20hz频段的范围内；
[0070]
s22：分别计算训练集的脑电信号和测试集的脑电信号的时域维度，并根据时域维度利用窗口函数分别对训练集的脑电信号和测试集的脑电信号进行时域划分；如此，就能转换成能够进行训练和测试的样本；
[0071]
s23：脑电信号采集设备采集的脑电信号中包括含有p300的脑电信号的样本，也存在无p300的脑电信号的样本；分别对时域划分后的训练集中的脑电信号和时域划分后的测试集中的脑电信号进行标签标记处理，将存在有p300的脑电信号的标签标记为正样本，将不存在有p300的脑电信号的标签标记为负样本；
[0072]
s24：将标记为正样本的脑电信号复制，使其数量为原来的五倍。因为诱发方式的原因，所采集的脑电信号的原始数据，正样本和负样本本身会存在不平衡现象，这会影响模型的效果。含有p300的脑电信号的数量小于无p300的脑电信号的数量，它们之间的比例为
1：5，将含有p300的脑电信号复制5倍，从而使其与无p300的脑电信号的数量平衡。
[0073]
其中，所述步骤s22、步骤s23和步骤s24为对训练集中的脑电信号和测试集中的脑电信号进行预处理。
[0074]
值得说明的是，在所述步骤s22具体为：计算时域维度的公式为：其中，n
t
为时域样本点，f为脑电信号的采样频率，l为时间窗大小；然后利用n
t
个时域样本点的窗口函数分别对训练集的脑电信号和测试集的脑电信号进行时域划分。脑电信号的采样频率为240hz，时间窗大小为0.667s，如此，就能利用160个时域样本点的窗口函数分别对训练集的脑电信号和测试集的脑电信号进行时域划分，转换成能够进行训练和测试的样本。
[0075]
可选地，所述步骤s3中的基于注意力机制的多元时空卷积神经网络包括输入层、时空卷积层、非线性层和全连接模块；所述时空卷积层包括并行排列的第一卷积核和第二卷积核，所述第一卷积核的尺度大小为(c0，l1)，所述第二卷积核的尺度大小为(c0，l2)，其中c0为脑电信号的通道数，l1为第一卷积核的时域大小，l2为第二卷积核的时域大小；所述第一卷积核的尺度大小包括空间域大小和时域大小，所述第二卷积核的尺度大小包括空间域大小和时域大小；
[0076]
所述步骤s3具体为：
[0077]
s31：所述输入层将预处理后的训练集的脑电信号同时输入到所述时空卷积层的第一卷积核和第二卷积核；
[0078]
s32：将经过注意力模块的预处理后的训练集的脑电信号利用第一卷积核和第二卷积核的输出在时间维度上进行叠加，再输入到非线性层；
[0079]
s33：经过时空卷积层的预处理后的训练集的脑电信号经过非线性层的修正线性单元，输出为其中，n为训练集的脑电信号的时域大小；
[0080]
s34：所述全连接模块将非线性层的输出转换成一维数据。
[0081]
具体地，所述步骤s3中的基于注意力机制的多元时空卷积神经网络还包括注意力模块、第一全连接层和第二全连接层；
[0082]
在所述步骤s31具体为：所述输入层将预处理后的训练集的脑电信号输入到所述注意力模块，所述注意力模块将预处理后的训练集的脑电信号的空间维度进行全局平均池化，然后依次经过第一全连接层、relu激活函数和第二全连接层，得到权重矩阵；然后通过所述权重矩阵对预处理后的训练集的脑电信号按通道加权，再同时输入到所述时空卷积层的第一卷积核和第二卷积核。
[0083]
优选的，在所述步骤s34后还包括步骤s35，所述步骤s35为：设定损失函数，通过前向传播和反向传播对网络参数进行优化，具体为：以二值分类交叉熵作为损失函数对多元时空卷积神经网络进行优化，所述损失函数为：
[0084]
l(x，i)＝-∑iq(xi)log(p(xi))；
[0085][0086]
其中，p(xi)为对预处理后的训练集的脑电信号的预测分类概率，k为预处理后的训练集的脑电信号的样本类别数，h为第h个预处理后的训练集的脑电信号，q(xi)为对预处
理后的训练集的脑电信号的真实分类概率，l(x，i)为损失函数。
[0087]
一些实施例中，所述步骤s4具体为：
[0088]
预处理后的测试集的脑电信号通过视觉刺激界面诱发，通过c次重复实验输入至经过训练集训练后的基于注意力机制的多元时空卷积神经网络的实验得到p300信号检测的结果：
[0089][0090]
得到字符识别检测的结果：
[0091][0092][0093]
其中，p(c)为c次重复实验实验中经过训练集训练后的基于注意力机制的多元时空卷积神经网络的输出的有p300的脑电信号的累计概率，c为实验的轮次，q(j)为对应的j行或者j列在c次重复实验后累加的总概率，其中，当1≤j≤6时，j表示行，当7≤j≤12时，j表示列，a为字符的行号，b为字符的列号。通过c次实验对所对应的行或列进行累计，用向量q(j)表示12次闪烁中每次闪烁检测到有p300的脑电信号的累计概率，即前c次实验中，相应行和相应列含有p300的概率的和，其中j的前6个序号表示行，j的后6个序号表示列。
[0094]
值得说明的是，在所述步骤s4之后，还包括步骤s5，所述步骤s5为：根据p300信号检测的结果和字符识别检测的结果评估经过训练集训练后的基于注意力机制的多元时空卷积神经网络的检测效果。
[0095]
可选地，所述步骤s5具体为：
[0096]
步骤s51：计算经过步骤2、步骤3和步骤4得到的字符识别检测的结果的字符识别检测效率和计算未经过步骤2、步骤3和步骤4得到的字符识别检测的结果的字符识别检测效率：
[0097][0098]
其中，p
ace
为字符识别检测效率，q
num
为实验得到的字符识别检测的结果中正确分类的字符数，s
num
为实际测试的字符总数；
[0099]
然后将经过步骤2、步骤3和步骤4得到的字符识别检测的结果的字符识别检测效率与未经过步骤2、步骤3和步骤4得到的字符识别检测的结果的字符识别检测效率进行比较，来评估经过训练集训练后的基于注意力机制的多元时空卷积神经网络的检测效果。在本实施例中，未经过步骤2、步骤3和步骤4得到字符识别检测的结果为现有技术。
[0100]
具体地，在所述步骤s51之后，还包括步骤s52，所述步骤s52为：
[0101]
计算经过步骤2、步骤3和步骤4得到的字符识别检测的结果的预测数据的信息传输速率和计算未经过步骤2、步骤3和步骤4得到的字符识别检测的结果的预测数据的信息传输速率：
[0102][0103]
其中，itr为预测数据的信息传输速率；p为经过基于注意力机制的多元时空卷积
神经网络的字符识别率或者没有经过基于注意力机制的多元时空卷积神经网络的字符识别率，当p为经过基于注意力机制的多元时空卷积神经网络的字符识别率时，itr为经过基于注意力机制的多元时空卷积神经网络的预测数据的信息传输速率，当p为没有经过基于注意力机制的多元时空卷积神经网络的字符识别率时，itr为没有经过基于注意力机制的多元时空卷积神经网络的预测数据的信息传输速率；n
p
为p300信号数据集中的脑电信号的字符类别数；t为识别进行字符识别检测时识别一个字符所需时间，t＝t1+(t2×
c)，1≤c≤15，其中t1为字符间闪烁的停顿时间，t2为字符完成一次完整闪烁所需的时间，c为重复实验的轮次；
[0104]
然后将经过基于注意力机制的多元时空卷积神经网络的预测数据的信息传输速率和没有经过基于注意力机制的多元时空卷积神经网络的预测数据的信息传输速率进行比较，来评估经过训练集训练后的基于注意力机制的多元时空卷积神经网络的检测效果。
[0105]
在本实施例中，未经过步骤2、步骤3和步骤4得到字符识别检测的结果的预测数据的信息传输速率为现有技术。
[0106]
在本实施例的实验中，受试者都能够观察到一个的字符矩阵，受试者被提示注视“目标字符”，然后矩阵中的行或列以5.7hz的频率进行随机闪烁，12次行列闪烁中有2次包含目标字符。脑电信号取自a，b两名受试者，共包含5个阶段(session)，每个阶段包含多次实验(run)，每次试验受试者都会注视一段字符。采集脑电波过程中都会经过0.1～60hz的带通滤波器进行初次滤波，然后以240hz的采样频率对脑电波信号进行采样，所用脑电设备共包含64个采样电极，头皮分布如下图3所示。所记录的数据集被转化为4个matlab文件，其中包含a,b两名受试者的训练集和测试集，训练集共有85个字符，测试集共有100个字符，将数据集保存，然后对训练集和测试集中的p300信号数据进行预处理，预处理步骤如下：
[0107]
滤波：通道选择后的p300脑电信号数据，经过一个频率范围为0.1hz-20hz的带通滤波器进行滤波。
[0108]
时域划分：从字符闪烁开始，提取t大小的时间窗。每个训练/测试样本都由160(240hz*0.667s)个采样点组成。每名受试者有85个训练字符，100个测试字符，每个字符重复闪烁15次，每次闪烁包含6行6列，因此每个受试者有15300(85*12*15)个训练样本，测试数据集类似。在闪烁中，仅两个响应(包括p300)被标记为正样本，其余十次闪烁标记为负样本。
[0109]
标记标签及标签平衡：对数据进行标记。将含有p300的脑电波信号标记为1，没有p300信号标记为0。一次实验行和列一共闪烁12次，而目标字符只在其中的某一行或某一列出现，故标记后的含有p300与不含p300的样本比例为1：5，将含有p300的样本复制五次，实现标签平衡，图4表示p300信号波形图，横坐标表示667ms内的采样点，纵坐标表示脑电波的幅值。
[0110]
构建一个多元时空卷积神经网络，多元时空卷积神经网络如图5所示，包括：
[0111]
输入层：对预处理后的脑电波数据输入网络中。
[0112]
时空卷积层(spatial-time convolution)：将前一层的输入通过两个具有不同卷积核大小的并行卷积层。卷积核大小分别为(c0,l1)和(c0,l2)，c0表示脑电波的通道数。l1和l2表示卷积核的时域大小。这两个并行层在相同的空间维度上以不同的时间大小对前一层的输出进行时空滤波。该过程包含了通道组合和时间滤波，提取了p300信号的时间、空间和
频率域特征。同时，在卷积过程中,采用l1和l2的步长，卷积核在卷积过程中不重叠，等效于进行下采样减少了参数量。
[0113]
非线性层(non-linear)：先前层的输出在时间维度上进行叠加，然后通过整流线性单元(relu)和batchnormal层处理，利用非线性函数加速梯度下降和反向传播，同时该过程避免了梯度消失问题。当输入在负的范围内时，relu值为零，这使得网络具有一定的稀疏性和更好的拟合能力，同时减少了训练过程中过拟合发生。
[0114]
全连接模块(fully connection)：这个过程将非线性层的输出转换为一维，然后将其输出经过最后2个全连接层处理，最后一层有2个神经元的输出。
[0115]
通道注意力模块，将通道注意力模块嵌入到前面的多元时空卷积神经网络中。通道注意力模块如图6所示，输入为图6中的特征图x，图6中c表示脑电波的通道数，h表示在一定时间内所采集的样本。首先，通过平均池化对时间维度进行压缩，如图6的squeeze阶段的处理，压缩后脑电波信号在各个通道上具有全局的感受野，然后通过两个全连接层获取通道间的相关关系，并通过非线性函数(sigmoid)将其转化到0与1之间，以此作为原始特征的权重，如图6中的excitation阶段，图6中不同的颜色表示不同通道所加权的权重，最终将获得的权重参数加权在原始的脑电信号中，输出加权后的特征图x1。
[0116]
基于注意力机制的多元时空卷积神经网络构建完毕后，进行p300信号检测和字符识别检测，对于模型输出结果，选择较大的输出值索引作为p300预测类别，1表示包含p300信号，0表示不包含p300信号，从而实现对测试集中的p300信号检测；在实验过程中，图2中所有行/列都会闪烁一次，从而生成相应的p300脑电信号。样本和标签的前六行和后六列被排序。对排序后的行/列样本分别进行训练。该过程将产生两个6行2列的数值矩阵p(分别表示行/列的输出概率值)，矩阵的行表示目标字符的位置信息，矩阵的列表示p300是否存在，用0和1表示。但是，在实际测试中，一次实验无法准确判断目标字符的位置。累加15次试验的概率矩阵所产生的概率值q(j)，然后选择概率值最大的行a和列位置b，从而确定目标字符的位置。
[0117]
利用基于注意力机制的多元时空卷积神经网络在测试集上的字符识别检测效率和预测数据的信息传输速率来评估模型的检测效果。图7显示了利用本发明所提的经过基于注意力机制的多元时空卷积神经网络mts-cnn-cam与没有经过基于注意力机制的多元时空卷积神经网络mts-cnn间的字符识别结果对比图，由图7可以观察到在总共15次实验中多数实验次数下mts-cnn-cam有较好的识别效果，证明了mts-cnn在添加了cam模块后整体字符识别性能得到提高，图8显示了利用本发明所提的经过基于注意力机制的多元时空卷积神经网络mts-cnn-cam与有经过基于注意力机制的多元时空卷积神经网络mts-cnn信息传输速率结果对比图，图8中mts-cnn-cam在前几次实验中的信息传输速率取得了较为显著的提高，其中图7与图8的横坐标均表示迭代次数，综合比较结果可以初步判断添加了通道注意力机制的模型有更好地识别效果。
[0118]
在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
[0119]
尽管上面已经示出和描述了本发明的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施实施进行变化、修改、替换和变型。