一种基于信道混合卷积神经网络的运动脑电信号分类方法

本发明涉及脑电信号的数据分析领域，具体涉及一种基于信道混合卷积神经网络的运动脑电信号分类方法。

背景技术：

脑电信号(eeg信号)是大脑皮层神经元产生电信号，可分为自发脑电和诱发脑电。目前，脑机接口(bcis)能够捕获这些电信号，并将它正确“翻译”成人体所需执行指令，使得人类大脑与外部设备进行直接交互成为现实。bci技术应用非常广泛，尤其在医疗领域，患有神经障碍或肢体残疾的病人群体可以通过搭载脑机接口的设备进行康复训练或者日常活动，对于普通群体，可以通过bcis中采集的脑电图进行分析，从而对一些神经疾病进行检测和干预。

运动指令是目前bcis广泛被设计来解码的目标指令，其指令信息包含于运动想象脑电信号中，为了能够从低信噪比的eeg中提取到和运动指令有关的信息并完成高精度的解码任务，大量依托机器学习构建的特征提取和分类算法被用于构建脑电信号解码模型。卷积神经网络(cnn)在脑电信号解码中获得了巨大成功，它将特征抽取和分类融为一体，但模型引入的庞大训练参数阻碍了脑电解码性能的提升，并对解码过程的解释性带来挑战。

技术实现要素：

本发明的目的在于，提供一种基于信道混合卷积神经网络的运动脑电信号分类方法。本发明可以进行出色的解码，具有解码精度高的优点。

为解决上述技术问题，本发明提供的技术方案如下：一种基于信道混合卷积神经网络的运动脑电信号分类方法，具体包括以下步骤；

a、信道混合卷积层输出：对eeg信号的信道特征进行提取，将eeg信号从原先的整体性单通道输入被拆解为对应各个信道的多通道输入，此时每个卷积核横跨所有信道，并对各个信道中的eeg信号进行横向卷积，得到信道特征；

b、混合信道加工层输出：对信道混合卷积层提取的信道特征进行加工得到特征图；

c、聚合：用于对信道混合加工层加工得到的特征图进行聚合；

d、分类：用于承接聚合的输出并完成最终解码分类。

上述的基于信道混合卷积神经网络的运动脑电信号分类方法，步骤a中，将eeg信号从原先的整体性单通道输入被拆解为对应各个信道的多通道输入，是将eeg信号的张量为(通道＝1、高度＝c、宽度＝t)，转换成输入形式为(通道＝c、高度＝1、宽度＝t)。

前述的基于信道混合卷积神经网络的运动脑电信号分类方法，所述信道混合卷积层包含了32个由2d卷积方式实现的滤波器，其中卷积核的数目k1为32，卷积核的尺寸f1为(1，16)，卷积核操作时的步长s1为(1，1)，填充大小p1为(0,0),接收形式为(通道＝c、高度＝1、宽度＝t)的张量，激活函数为linear；所述卷积核输入的通道数与eeg信号的信道数相等。

前述的基于信道混合卷积神经网络的运动脑电信号分类方法，步骤b中，所述混合信道加工层采用深度可分离卷积层，所述深度可分离卷积层的每个卷积核的尺寸f2为(1，22)，深度可分离卷积层中的乘数d2为2，共有k2＝k1×d2个卷积核参与对eeg信号的信道特征的加工，每个卷积核都采用了kernelmaximumnormconstraint规则约束。

前述的基于信道混合卷积神经网络的运动脑电信号分类方法，步骤c中，所述聚合依次包括以下网络层输出：

batchnorm层：所述batchnorm层用于对输入进行优化；

激活函数层：所述激活函数层采用elu激活函数，用于提高抗噪声能力以及加快训练收敛；

平均池化层：所述平均池化层的尺寸大小fp为(1,180)，用于沿着特征图的时间维度进行降采样，所述平均池化层的步长sp为(1,30)；

dropout层：所述dropout层中神经元节点被关闭的概率p设为0.5，用于降低过拟合风险。

前述的基于信道混合卷积神经网络的运动脑电信号分类方法，所述分类步骤具体如下：利用fallten层将聚合的输出铺平展开至一维，然后放入nc＝4个神经元组成的全连接层中，从全连接层得到的nc个输出被activation层中的激活函数softmax进行激活，构建了对给定输入xi属于第k类标签的概率大小的映射关系函数，即其中θ为整个网络中的待训练参数集合；s为第s个被试者；

因此对于单个xi，会给出nc个概率数值，然后将对应概率数值最高的类别标签作为xi最终的分类结果，即同时最小化对应的损失函数总和其中，最终使得信道混合卷积神经网络将最高概率数值分配给正确的标签。

与现有技术相比，本发明具有以下有益效果：

本发明构建的信道混合卷积神经网络包括信道混合卷积层输出、混合信道加工层输出、聚合和分类。所述的信道混合卷积层输出对eeg信号的信道特征提取时，将eeg信号从原先的整体性单通道输入被拆解为对应各个信道的多通道输入，此时每个卷积核横跨所有信道，并对各个信道中的eeg信号进行横向卷积来得到信道特征；通过将原先独立设置的时域层、空域层合二为一，改变输入cnn的eeg原始数据的表示形式，以此构建了与之契合的接收网络，使得模型具备原先显性堆叠下在时域、空域提取和运动脑电相关特征的能力。本发明的混合信道加工层可以对混合后的信道特征进行深层次地加工和整合，再利用聚合，对混合信道加工层加工得到的特征图进行聚合，最后通过分类用于承接聚合层的输出并完成最终解码分类。综上所述，本发明可以进行出色的解码，具有解码精度高的优点。

附图说明

图1是实施例中构建的信道混合卷积神经网络示意图；

图2是传统机器学习算法fbcsp在第一个数据集上获得的混淆矩阵；

图3是传统机器学习算法fbcsp在第二个数据集上获得的混淆矩阵；

图4是本发明构建的信道混合卷积神经网络在第一个数据集上获得的混淆矩阵；

图5是本发明构建的信道混合卷积神经网络在第二个数据集上获得的混淆矩阵。

具体实施方式

下面结合实施例和附图对本发明作进一步的说明，但并不作为对本发明限制的依据。

实施例：一种基于信道混合卷积神经网络的运动脑电信号分类方法，包括构建信道混合卷积神经网络，如图1所示，利用信道混合卷积神经网络进行云端脑电信号分类，包括信道混合卷积层输出、混合信道加工层输出、聚合和分类，并由此形成信道混合卷积层输出层、混合信道加工层输出层、聚合层和分类层四个层块。

所述信道混合卷积层用于对eeg信号的信道特征进行提取；所述信道混合卷积层包含了32个由2d卷积方式实现的滤波器，其中卷积核的数目k1为32，卷积核的尺寸f1为(1，16)，卷积核操作时的步长s1为(1，1)，填充大小p1为(0,0),接收形式为(c,1,t)的张量，激活函数为linear；所述卷积核输入的通道数与eeg信号的信道数相等。混合信道卷积神经网络的构建，是应对喂入cnn的数据表示形式发生改变的情形。原先算法所喂入cnn的数据表示形式通常的形状大小为(1,c,t)的张量(cnn中卷积核的接收形式为(通道，高度，宽度))，然而信道混合卷积神经网络允许接收的输入形式必须为(c,1,t)，即是将eeg信号的输入张量为(通道＝1、高度＝c、宽度＝t)，转换成输入形式为(通道＝c、高度＝1、宽度＝t)。输入形式的改变恰好是隐性堆叠实现的关键，当卷积核输入的通道数与eeg信道数相等时，eeg数据从原先的整体性单通道输入被拆解为对应各个信道的多通道输入，此时每个卷积核横跨所有信道，并对各个信道中的eeg信号进行横向卷积，即时域卷积；值得指出的是，由于卷积核每个输入通道内注入的eeg信号数据，其形状大小为(1，t)，因此这里以2d卷积方式实现的滤波器组等价于由1d卷积方式实现的滤波器组。相较于原先的“时域层”，“信道混合卷积层”并不止于时域特征的提取，由于卷积核的输入通道数与eeg信号的信道数相等，因此，卷积核的多通道计算法则会引入：每个卷积核会将输入通道上经过时域卷积后产生的c张形如(1,t')的、来自于eeg各个信道内的信号时域特征图压缩至1张。这种压缩的实质是对各个卷积核通道内特征图的线性混合，即对eeg各个信道内的信号进行线性叠加。卷积结束后，eeg信号不再具备原始的信道形态，信道数从c变为1，即可视为额外新生成了一条单信道信号。这恰好与“空域层”产生的卷积效果是相同的，然而，“信道混合卷积层”并不会受到过早丢失信道形态所引发的负面效应，原因是在此之前，隐性设置的时域卷积已经被完成:eeg不同信道内的信号,其时域维度从t缩减为t'。此时，再由单个卷积核进行信道混合卷积，生成新的信号，这一过程其实是完成了时域特征和信道特征的瞬时响应，所生成的信号也不再是无意义的，混合后的信号包含了丰富的、建立起映射关系的时域-信道特征。隐性堆叠使得整个网络深度较原先显性堆叠变得更浅，减少了由处于分离下的“时域层”和“空域层”产生的大量待训练参数。

所述混合信道加工层用于对信道混合卷积层提取的信道特征进行加工得到特征图；对于信道混合卷积层提取的时域-信道特征(信道特征)，假设两者之间维持着一定的映射关系，因此引入的结构可以对这种映射关系进行捕捉和补充，本实施例中所述混合信道加工层采用深度可分离卷积层，深度可分离卷积层与上一层的特征图之间采用非全连接，可以大量减少了待训练参数，而且可以独立对每个特征图进行学习总结，并结合上一层的特征图进行优化合并输出，具备对特征图内部和跨特征图之间映射关系解耦的能力。因此，所述深度可分离卷积层的每个卷积核的尺寸f2为(1，22)，深度可分离卷积层中的乘数d2为2，共有k2＝k1×d2个卷积核参与对eeg信号的信道特征的加工，每个卷积核都采用了kernelmaximumnormconstraint规则约束。这些卷积核能够对上一层的单个时域-信道特征图的内、外部进行加工：挖掘和补充时域-信道之间所建立的映射关系，同时能够跨越所有的特征图，对特征图之间的映射关系进行优化和整合。

所述聚合用于对混合信道加工层加工得到的特征图进行聚合；所述聚合依次包括以下网络层输出：batchnorm层、激活函数层、平均池化层和dropout层；

所述batchnorm层用于对输入进行优化；

所述激活函数层采用elu激活函数：

f(x)＝x，x≥0；f(x)＝e^x-1，x＜0，用于提高抗噪声能力以及加快训练收敛；

所述平均池化层的尺寸大小fp为(1,180)，用于沿着特征图的时间维度进行降采样，所述平均池化层的步长sp为(1,30)，这样的参数设置意味着池化层在沿着eeg信号特征图横向移动时，跨越了时长为120ms的eeg信号，并且每经过约720ms时长的信号后触发平均激活，可以用于进一步减少模型训练时需要拟合的参数；

所述dropout层中神经元节点被关闭的概率p设为0.5，用于降低过拟合风险。

所述分类层用于承接聚合层的输出并完成最终解码分类，包括fallten层、全连接层和activation层；

所述分类步骤中，利用所述fallten层用于将聚合层的输出铺平展开至一维，完成从卷积层至全连接层前的过渡，然后放入nc＝4个神经元组成的全连接层中，从全连接层得到的nc个输出被activation层中的激活函数softmax进行激活，构建了对给定输入xi属于第k类标签的概率大小的映射关系函数，即其中θ为整个网络中的待训练参数集合；s为第s个被试者；

因此对于单个xi，会给出nc个概率数值，然后将对应概率数值最高的类别标签作为xi最终的分类结果，即同时最小化对应的损失函数总和其中

，最终使得信道混合卷积神经网络将最高概率数值分配给正确的标签。

为了进一步地清楚描述本发明实施例中所述的信道混合卷积神经网络，以表1用于描述了混合信道卷积神经网络的各个功能块，包括了对应的名称，各网络层中的模块、组件参数。本实施例中所构建的信道混合卷积神经网络对于运动执行和运动想象数据集分别总共引入了32064、17472的参数数量。

表1

为了验证本发明的效果，在两个公开电脑数据集bci-iv2a和hgd上，本发明一方面与传统机器学习中的经典算法fbcsp做了比较，另一方面还与现有主流的cnn模型算法进行性能对比，其中包括了shallow_fbcspnet、eegnet、c2cm、wasf-convnet、sinc-shallownet以及cp-mixednet。采用解码精度和混淆矩阵来共同衡量模型的整体分类性能。

首先，传统机器学习算法fbcsp被和所提出的信道混合卷积神经网络在me-eeg和mi-eeg数据集上进行比较，图2-图5为两者在不同数据集上获得的混淆矩阵，每个矩阵中各个类别的分类精度都是跨试验者计算所得的。传统fbcsp算法完成特征工程后被输入rlda分类器中，在此基础下，该算法在mi-eeg分类任务上，lefthand和righthand的分类精度上都取得了和channels-mixing-convnet相接近的水平，但是对feet和tongue的识别却无法保持先前的水平，而channels-mixing-convnet对于feet和tongue依然有较高的分类精度(见图2和图4)。在me-eeg上，传统方法在四种分类任务上的性能就全面低于本发明所提出的方法(见图3和图5)。

其次，本发明与另外6种最先进cnn模型在me-eeg和mi-eeg数据集上各自的整体解码精度如表2所示。

表2

表2中分别列举了fbcsp、shallow_fbcspnet、eegnet、c2cm、wasf-convnet、sinc-shallownet、cp-mixednet7种模型及算法在me-eeg、mi-eeg上跨被试者的各自整体分类性能(解码精度均值±方差)。从表2可以看到，shallow_fbcspnet、c2cm、sinc-shallownet以及本发明所提出的channels-mixing-convnet(信道混合卷积神经网络)，它们在mi-eeg数据集上其解码精度都达到了70％+的水平，具体地，分别为72.0％±13.9％、74.4％±14.5％、72.8％±12.9％、74.9％±14.9％。本发明所提出的channels-mixing-convnet(信道混合卷积神经网络)取得了最高74.9％±14.9％的解码精度。同样的，从表中可以看出c2cm的解码性能与本发明所提出的网络模型极其相近，精度上只相差了0.5％。而cp-mixednet的解码精度也达到了73.2％，接近本发明所提出的channels-mixing-convnet(信道混合卷积神经网络)。而cp-mixednet*是对cp-mixednet采用数据增强方式训练后的模型，其解码精度高达74.6％，超越了大部分对比模型，虽然数据增强使其解码精度较原先提升了1.4％，但还是略低于所提出的channels-mixing-convnet。同时，申请人将这些模型的性能同样在me-eeg数据集上进行了比较，shallow_fbcspnet、sinc-shallownet、cp-mixednet、cp-mixednet*在跨数据集时依然维持了很高的性能水平，解码精度分别达到了93.9％±9.3％、91.2％±9.1％、93.0、93.7。但是，本发明所提出的信道混合卷积神经网络比上述模型中取得最高解码精度的cp-mixednet*还要高出1.3％，达到95.0％±7.3％。因此可以注意到，即使是采用了数据增强后的cp-mixednet*，其解码精度也只提升了0.7％，效果相比本发明要差很多。因此，本发明所提出的模型相较于传统的机器学习算法fbcsp在精度上提升了近7％，具有解码精度高的优点。