浅层镜像变形器网络的多主体运动想象识别方法

本发明属于脑机接口，具体涉及一种浅层镜像变形器网络的多主体运动想象识别方法。

背景技术：

1、脑机接口(bci)可以在人脑和外部设备之间建立通信或控制通道。脑机接口技术已广泛应用于医学、神经生物学和心理学等领域，在虚拟现实、教育技术、智能家居等领域具有广阔的商业前景。运动想象脑电(mi-eeg)是一种内源性自发的脑电信号，具有简单、灵活、无创、对环境要求低的特点。因此，基于运动想象的bci是一种重要的、应用广泛的bci。mi bci系统采集受试者进行特定运动想象(mi)时的脑电信号，根据脑电信号识别运动想象内容，并将识别结果转换为周边设备的控制命令。

2、由于运动想象脑电事件相关同步/去同步(ers/erd)的位置和持续时间不同，使用固定的脑电信号段提取特征会导致分类性能较差。因此，一个能够从整个脑电信号试次中检测和利用有效信号段的模型可能会在多受试者运动想象bci中产生良好的性能。然而，卷积神经网络中一个网络节点的感受野通常很小，所以卷积神经网络无法从整个eeg信号试次中检测到有效的信号段。例如，以运动想象领域流行的“shallow convnet”网络为例。假设脑电信号的输入大小为1125×3(采样点×通道数)，经过第一层时域卷积层后，一个网络节点的感受野为25×1。经过第二层空间滤波层后，一个网络节点的感受野为25×3，仅占整个脑电试次的2.2％。因此卷积神经网络中某个网络节点的感受野只是整个脑电信号试次的一小部分。

3、第一种扩大感受野的方法是叠加更多的卷积层，但这种方法增加了复杂度和参数数量，并且由于运动想象脑电样本数少，并不适合运动想象脑电信号的识别。目前流行的卷积神经网络模型shallow convnet、deep convnet和eegnet分别有1层、4层和2层卷积，所以最后一层网络节点的感受野也相当小。第二种扩大感受野的方法是扩大卷积核的大小，但最近的研究表明，小的卷积核在特征学习中表现更好，而大卷积核很少被使用。因此，在基于卷积神经网络的多主体运动想象识别模型中，感受野小是一个很难解决的问题。

技术实现思路

1、本发明的目的是提供一种浅层镜像变形器网络的多主体运动想象识别方法，解决了现有技术时域感受野小、无法充分利用脑电时域信息而造成识别精度低的问题，该方法可以提高网络模型在主体间的泛化能力，从而提高多主体脑机接口的性能。

2、本发明所采用的技术方案是，浅层镜像变形器网络的多主体运动想象识别方法，具体实施步骤如下：

3、步骤1、对脑电信号数据进行截取；

4、步骤2、选取所需的c个脑电通道，并使用0-38hz的3阶带通滤波器进行滤波；

5、步骤3、对滤波后的脑电数据的每个通道做指数加权平均标准化操作，进行脑电信号标准化；

6、步骤4、通过制造镜像脑电信号，进行脑电信号的扩充；

7、步骤5、将步骤4生成的镜像脑电信号连同原始脑电信号一起输入st模型进行训练；

8、步骤6、在预测阶段使用集成学习提高模型准确率。

9、本发明的特征还在于，

10、步骤1中，截取范围为运动想象任务开始前0.5秒到运动想象开始后4s。

11、步骤2中，使用c3、c4、cz三个脑电通道。

12、步骤3中的指数加权平均标准化操作的具体流程如下：

13、首先，计算指数移动均值mt：

14、mt＝fmean(xt)+(1-f)mt-1 (1)

15、式(1)中，xt是原始脑电信号的第t个采样点的值，mt是脑电信号在第t个采样点的移动均值，f是预先设置的更新因子,mean(xt)是脑电信号xt在多通道上求平均；

16、再计算指数移动方差vt：

17、vt＝f(mt-xt)2+(1-f)vt-1 (2)

18、最后，求指数加权移动平均标准化后的脑电信号xt'：

19、

20、式(3)中，为最大值函数，取两个参数最大值，ε＝10-6。

21、步骤4中，对经过步骤3标准化后的脑电信号，交换c3和c4通道对应的脑电数据构造镜像脑电，之后交换左右手运动想象脑电信号标签。

22、步骤5中的st模型包括有基于cnn的特征提取层，基于变形器的编码器层以及运动想象脑电分类层；其中，基于变形器的编码器层由位置嵌入层、多头自注意力层和前馈层组成；运动想象脑电分类层由一个全连接层与softmax函数组成，输出节点个数为运动想象类别个数。

23、步骤5的具体步骤如下：

24、步骤5.1、定义步骤4生成的镜像脑电信号和原始脑电信号的集合为x∈rk×c,其中k为采样点数，c为eeg的通道数；模型训练的批次大小为b，因此输入数据的维度大小为b×1×k×c；

25、因此，基于cnn的特征提取层的计算如式(4)所示：

26、f＝bn(cs(ct(x))) (4)

27、式(4)中，x表示步骤4生成的镜像脑电信号和原始脑电信号的集合，ct表示大小为1×25的时域卷积，用来模拟fbcsp算法中的带通滤波器；cs表示大小为c×1的空间滤波器，用来融合来自所有eeg通道的信息，从而模拟csp空间滤波器；bn表示对提取的特征进行批处理规范化，f表示基于cnn的特征提取层所提取的特征；

28、步骤5.2、特征提取层提取到的脑电特征信息f将被输入基于变形器的编码器层获取全局时域信息，具体如下：

29、变形器的编码器层中的位置嵌入层的表示如式(5)所示：

30、

31、式(5)中，f为基于cnn的特征提取层所提取的特征，pos为一组标准的可学习的位置嵌入参数，为嵌入了位置信息的特征；

32、经过位置嵌入层处理后，将嵌入了位置信息的特征输入到以残差网络结构进行的多头自注意力层中；在残差网络中，首先进行层归一化；然后，多头自注意力层将查询向量和键向量、值向量以值向量的加权和的形式映射到输出，查询向量、键向量、值向量的计算方式如式(6)所示：

33、

34、

35、

36、式(6)中，为嵌入了位置信息的特征，wiq、wik和wiv分别是查询向量、键向量和第i个头的值向量的投影矩阵，ln表示层归一化，qi、ki、vi分别代表第i个头的查询向量、键向量、值向量；之后，通过点积计算查询向量与键向量的相似度，缩放后应用softmax函数得到对应值向量的注意权重；因此，输出是所有值向量的加权和，如式(7)所示：

37、

38、式(7)中，oi为第i个头的输出，表示对第i个头的键向量进行转置，qi为第i个头的查询向量，vi为第i个头对应的值向量，dk用于缩放键向量的尺寸；

39、然后，将所有输出连接起来，如式(8)所示：

40、

41、式(8)中，o1、o2、on为各个头的输出，concat为维度连接函数，为嵌入了位置信息的特征，o为n个头的输出；

42、之后，多头自注意力层的输出o被输入到前馈层进行计算；前馈层的计算如式(9)所示：

43、m＝pf(ln(o))+o (9)

44、式(9)中，o为多头自注意力层的输出，ln表示层归一化，pf表示前馈层，m为整个编码器层的输出；

45、步骤5.3、使用运动想象脑电分类层预测运动想象任务类别，如式(10)所示：

46、p＝fc(log(pool(m⊙m)))            (10)

47、式(10)中，⊙为点乘运算，m为基于变形器的编码器层的输出，pool为池化层，用来缩小特征尺寸；log为对数激活函数，fc表示全连接层；p为浅层变形器st模型对运动想象脑电的预测概率。

48、步骤6的具体步骤如下：

49、复制步骤5中训练好的st模型作为镜像st模型，原脑电信号输入原始st模型进行模型预测，镜像脑电信号输入镜像st模型进行模型预测；之后对上述两个模型的预测结果进行概率集成：

50、其中，采用的概率集成方式如式(11)所示：

51、

52、式(11)中，plo表示原始脑电信号对左手运动想象任务的预测概率，表示镜像脑电信号对右手运动想象任务的预测概率，pl、pr分别是模型对左手运动想象任务和右手运动想象任务的最终预测概率；原始脑电信号的最终预测标签为最终预测概率最大的类别。

53、本发明的有益效果是：

54、本发明方法通过在运动想象网络模型中使用多头自注意力层，在网络浅层充分利用脑电信号全局时域信息从而自适应的捕捉不同主体在运动想象时对应的脑电信号段。该模型可以提高网络在主体间的泛化能力，在此基础上使用镜像结构进一步提高了mi-eeg的分类效果。