结合集成DCPM和GCN的运动想象识别方法

本发明属于信号处理，主要涉及脑机接口的信号处理，具体是一种结合集成dcpm(discriminative canonical pattern matching)和gcn(graph convolutionalnetwork)的运动想象识别方法。可用于康复治疗、游戏设计、机器人研发等研究领域，具体为人机交互过程中的运动想象mi(motor imagery)脑电信号的识别方法。

背景技术：

1、脑-机接口(brain-computer interface,bci)建立了人脑与计算机之间的直接通信通路。脑电图(eeg)是脑机接口中常用的一种脑信号，其成本低廉无创。在各种基于脑电图的脑机接口中，基于运动想象电位的脑机接口系统是一种不需要外界刺激，能够反映使用者自主运动意识的bci系统，可对外设实现主动意愿驱动下的运动操控。

2、目前，在基于mi的脑-机接口的现实应用中存在许多挑战，例如mi脑电信号的幅度较小，信噪比低，导致其检测难度大，难以识别，因此基于mi脑电信号的运动意图识别所需识别时间窗较长。传统的识别算法目前基于mi的bci研究大多遵循传统的范式，其中以alpha/beta脑节律的幅度变化代表的erd/ers(event-related desynchronization/synchronization)特征最为常用的。erd/ers模式主要局限于脑部对侧的运动感觉区，因此现有的研究大多根据先验知识仅利用少量的通道信息提取相关特征，同时，因为mi脑电信号的信噪比较低，很容易被其他生理和环境干扰，而且mi脑电信号的激活在时间上相较于实际运动信号存在延迟，所以现有研究对mi脑电信号识别需要的时间都长达4s。

3、昆明理工大学在其申请的专利文献“一种基于空间滤波与模版匹配的运动相关电位检测方法”(专利申请号：cn202210159354.5，授权公开号：cn114533086b)中公开了一种基于空域特征时频变换的运动想象脑电解码方法，该方法使用巴特沃斯带通滤波器获得脑电信号的目标频段，然后使用csp算法对目标频段进行空域滤波，并将数据做标准化处理，再通过连续小波变换得到信号的时频能量图，时频图作为卷积神经网络的输入，最终得到该段信号的分类结果。该方法结合时间，频率，空间信息多方面提取mi脑电信号的特征，提高了信号的表征能力及分类精度。但是，该方法仍然存在的不足之处是，该方法提取过程复杂繁琐，且不能准确地识别短时间窗下的mi脑电信号，没有解决bci系统中mi脑电信号识别时间窗过长的根本问题。

4、biao sun等人在其发表的论文“graph convolution neural network basedend-to-end channel selection and classification for motor imagery brain–computer interfaces”(10.1088/1741-2552/aae5d8)中公开了一种eeg通道主动推理神经网络分类mi脑电信号的方法。提出了一种端到端eeg-arnn的mi分类方法，该方法由时间特征提取模块(tfem)和通道主动推理模块(carm)组成。利用时域有限元法提取脑电信号的时间特征。基于gcn的carm不需要构建人工邻接矩阵，可以在训练的过程中，根据提出的边缘选择(edge selection)和聚集选择(aggregation selection)两种信道选择方法，不断修改不同通道之间的连通性，为受试者选择最优的信道子集。该方法提高了对mi脑电信号的识别准确率，同时也能适应不同受试者的输入，但是，该方法仍然存在的不足之处是，该方法构建的邻接矩阵并没有反映受试者在执行运动想象任务时的脑部拓扑结构，缺乏可解释性，并且该方法同样不可以对短时间窗下的mi脑电信号进行准确地识别。

5、传统的基于mi脑电信号的分类方法从多个维度捕捉脑电信号的特定特征，通过融合等操作提高信号的表征能力，但是不足之处在于，这些方法的特征提取仅仅只针对一个特征进行捕获，导致分类算法对特征的学习只能在一个维度上进行，即使对多种特征，或者多模态信号进行融合，也依然限制住了分类算法对信号特征更深层次的学习，因为信号本身包括了所有的特征，而时域、频域等特征是通过对信号进行处理后得到的，而且脑电信号，尤其是mi脑电信号是非平稳，非线性的，深层次可能存在更多的未知特征，因此信号本身富有信息量，而传统算法多维度提取特征，随后进行融合，丰富了信号的表征能力，但特征提取维度受限，计算复杂度较高，同时融合策略的选择也会造成突出部分特征，而弱化另一部分特征，因此导致传统算法的分类精度出现了在有些受试者上表现很好，而有些受试者的分类精度较差的情况，因此限制特征的提取的维度，会导致分类算法无法对信号的隐藏特征、复杂高维的特征进行捕获，而且受试者存在差异性，不同的受试者的分类精度差异较大，说明受试者优异性特征不同，所以通过少数维度特征的提取无法很好地适应不同受试者的输入，另一方面，时域、频域等特征信息需要较长的时间窗去分析以及提取，这也是mi脑电信号识别时间窗过长的一个主要原因。所以融合多维度的mi脑电信号特征需要复杂的模型，有效的融合策略，长时间窗的数据分析，造成了mi-bci系统较差的识别性能。

6、现有技术中常用erd/ers特征对mi信号进行识别，具有实现简单、计算量小的优点，但其特征单一、个体差异大、信噪比低等问题限制了其性能和适用范围。而采用多模态特征融合方法，通过结合多种信号源的信息，具有更高的鲁棒性以及识别准确率，但其数据获取复杂、所需数据量大、数据融合和训练复杂度高等问题增加了系统的实现难度和成本。

技术实现思路

1、本发明目的在于针对上述现有技术的不足，提出一种mi脑电信号信噪比高，既有所属特征域也有不同特征域的表达，识别准确率高，流程简单，所需mi脑电信号时间窗短的结合集成判别空间模式和图卷积神经网络的运动想象脑电识别方法。

2、本发明是一种结合集成dcpm和gcn的运动想象识别方法，其特征在于，通过判别空间模式匹配dcpm算法计算不同类别运动想象mi脑电信号的判别空间模式dsp空间滤波器，随后将dsp空间滤波器集成得到集成判别空间模式edsp空间滤波器，利用edsp对所有类别的mi脑电信号进行空间滤波，基于滤波后的信号计算邻接矩阵和图拉普拉斯算子用于定义图卷积神经网络gcn中的卷积操作，并将滤波后的信号输入gcn中，最终得到识别结果，包括有如下步骤：

3、步骤1，mi脑电信号预处理：采集受试者执行c类不同运动想象任务时的脑电信号，每类运动想象任务均进行设定实验次数，即ntr次，采集脑电通道中的数据，脑电通道数为nch，采样点数为nt，将受试者执行每类运动想象任务所有试次的mi脑电信号记为x，将受试者执行不同运动想象任务时的mi信号x在[8-30hz]进行带通滤波，并调整每类mi信号x维度为(nt×ntr)×nch；

4、步骤2，计算dsp空间滤波器：将不同类别的mi信号两两分组组合，共得到g个组合，对每个组合利用dcpm算法最大化组内两类信号的类间差异，最小化同类信号的类内差异，每个组合得到一个dsp空间滤波器u，g个组合共得到g个dsp空间滤波器；

5、步骤3，集成dsp，形成edsp空间滤波器，对mi特征域整体表达:集成dsp空间滤波器，将g个组合计算得到的dsp空间滤波器在列维度上按顺序进行拼接集成，形成并得到edsp空间滤波器uensemble，edsp空间滤波器是mi信号特征域的整体表达；

6、步骤4，接力计算，刻画mi信号在不同特征域的交叉性空间关系：结合edsp空间滤波器计算邻接矩阵，进而利用邻接矩阵计算图拉普拉斯算子，形成接力计算；使用空间滤波器uensemble对每一类mi信号x滤波，随后对滤波后信号进行归一化，并合并归一化后所有类别的mi信号得到空间滤波后的信号xfiltered，根据xfiltered计算基于pearson相关系数的邻接矩阵adj，邻接矩阵adj描述了不同组内mi信号在相同的脑电通道上的相关性，对mi空间结构完整地刻画，并根据邻接矩阵adj计算图拉普拉斯算子，利用得到的图拉普拉斯算子定义gcn中针对xfiltered的卷积操作；

7、步骤5，gcn分类识别mi信号：搭建gcn，使用图拉普拉斯算子对gcn中的输入执行图卷积操作，共进行v次不同尺度的图卷积操作，并在每次卷积操作后均执行最大池化操作，随后利用一层全连接层将池化层的输出特征平面化，最终采用softmax激活函数根据全连接层输出的特征对mi信号进行识别分类，得到不同受试者经结合集成dcpm和gcn方法的mi信号识别结果。

8、本发明解决了基于mi的脑机接口中mi信号信噪比低的技术问题，解决了多模态特征融合算法中处理过程复杂的技术问题，进一步地解决了传统mi信号识别方法所需mi信号时间窗较长的技术问题。

9、本发明与现有技术相比较，具有以下优点：

10、提高了mi脑电信号的信噪比：本发明基于dcpm算法通过最大化类间方差，最小化类内方差，计算针对两种不同类别mi脑电信号的dsp空间滤波器，dsp表示了这两类信号的特征域，并通过集成dsp空间滤波器得到edsp空间滤波器，edsp整体表达了mi信号的特征域，同时通过edsp对信号进行滤波，刻画了不同类别的mi信号在不同特征域的判别空间模式表示，得到mi信号在各个特征域的完整表示,从而提高了mi脑电信号的信噪比。

11、无需复杂的数据处理：本发明通过dcpm算法，利用不同类别mi信号计算dsp空间滤波器，并通过集成dsp空间滤波器得到edsp空间滤波器，通过edsp可对任意类别的信号进行滤波，完成了对mi信号在各特征域的完整表达，无需复杂的多模态数据获取，以及特征提取和融合过程，即可实现对信号信噪比的提升，计算复杂度小。

12、降低了信号识别所需的时间窗：本发明通过edsp空间滤波器对mi信号滤波，提高了mi信号的信噪比，并通过edsp空间滤波器滤波后的信号计算邻接矩阵，刻画了mi信号空间结构在不同特征域间的交叉关系，得到了mi信号空间特征在各个特征域的完整表示，从这两方面使得gcn能更好学习mi脑电信号非线性，深层次的特征，从而能对短时间窗的信号有较高的识别准确率。