基于SSMVEP-ERP-OSR混合脑机接口驱动的轮椅控制方法与流程

本发明涉及脑电信号控制领域，特别涉及基于ssmvep-erp-osr混合脑机接口驱动的轮椅控制方法。

背景技术：

由于交通事故、工伤、疾病等缘由的频繁发生，下肢残疾人数正在逐步上升。根据我国2006年残疾人抽样调成数据得知，目前我国残疾人总人数为8296万人,其中肢体残疾者为2412万人，占残疾人总人数的29.07％。大多数下肢残疾人利用电动轮椅进行日常出行，坐在轮椅上的人通过操作轮椅上的按钮或操作杆即可实现轮椅的启停、前进、后退等操作，但是对于一部分手部活动不便的老年人及残障人士而言，极大的限制了其操作性，一定程度上降低了轮椅的便利性。脑机接口是人脑-计算机接口的简称，是基于脑电信号实现大脑与电子设备之间直接交流通讯和控制的技术。由于不依赖常规的大脑输出通路，脑机接口为人的大脑开辟了全新的与外界进行信息交流和控制的途径。

视觉诱发电位(visualevokedpotential,vep)是大脑皮质枕叶区对视觉刺激发生的电反应，是代表视网膜接受刺激，经视路传导至枕叶皮层而引起的电位变化。当视觉刺激的刺激频率在6hz以上时，大脑视觉系统产生的对外部持续周期性视觉刺激的响应，即为稳态视觉诱发电位(steadystatevisuallyevokedpotential,ssvep)。然而，在传统的ssvep-bci领域，大多数研究是基于闪烁或闪烁的反衬变化，很少有研究运动对视觉刺激的影响及其潜在的稳态bci的设计。稳态运动视觉诱发电位(steady-statemotionvisuallyevokedpotentials,ssmvep)就是利用一种特殊的运动视觉刺激，类似于牛顿环周期性的扩张和收缩运动。与对光的感知和颜色对比类似运动感知也是对人类视觉系统的基本任务之一。基于稳态运动视觉诱发电位的bci系统主要优点是无需训练，信号获取容易，相比与光闪烁范式还可以减少视觉疲劳。缺省刺激响应(omittedstimulusresponse,osr)是一种内因性的大脑反应，是指重复性感官刺激的停止可以引起头皮电位的一系列模式特征，是一系列有规律的感官刺激缺失后可以诱发出来。

脑机接口技术已被广泛的引入到智能轮椅的控制技术中，其中脑机接口技术主要包括运动想象和稳态视觉诱发的脑机接口。基于运动想象脑电控制的智能轮椅系统主要存在准确率低和个体差异较大等不足，基于稳态视觉诱发电位控制的轮椅系统主要存在控制指令较少，训练时间较长等不足。

技术实现要素：

本发明的目的是提供一种的基于ssmvep-erp-osr混合脑机接口驱动的轮椅控制方法。

为实现上述目的，本发明采用如下技术方案，基于ssmvep-erp-osr混合脑机接口驱动的轮椅控制方法，包括：

数据采集：通过电极帽采集受试者头皮脑电信号，头皮脑电信号由受试者盯视刺激目标时产生，刺激目标为计算机屏幕播放的ssmvep-erp-osr混合范式；

脑电信号预处理：将采集的脑电信号放大，去除时间序列中的直流成分以及1～45hz的带通滤波；

通过离线实验，生成基础目标分类器和最优测量电极位置来得到最优通道的基础目标分类器；

生成基础目标分类器：在训练样本采集阶段，通过交叉验证算法leave-one-outcross-validation生成基础目标分类器；

最优测量电极位置选择：在训练样本采集阶段，采用最优记录电极位置选择算法来自动寻取最优测量电极位置，步骤包括：

a.布置多个电极，进行离线实验，记录eeg信号；

b.每次选择一个通道计算离线正确率，选择使正确率最高的通道作为固定通道c1；

c.将已固定通道与其他通道依次组合，若正确率未升高，则选择使正确率最高的c2，此时最优通道为[c1,c2],若正确率持续升高，则选择使正确率升高最高的通道为c2，将c1与c2组合进行后续探索；

d.重复上述步骤c继续探索，若正确率无法继续升高，此时已固定通道即为最优通道；

在线测试：采集最优通道上获取的受试者盯视刺激目标所产生的脑电信号，对采集的脑电信号进行去趋势向和滤波预处理，进行基于emd和cca的ssmvep频域特征提取识别，判断受试者盯视目标所在列，将最优通道上的脑电信号与刺激频率对应目标的复杂模板进行典型相关分析，最终判定受试者盯视目标；

轮椅控制：将在先测试得到的识别结果转化为目标控制指令并实施对轮椅的控制。

在一些实施方式中，用于检测的电极包括o1、o2、oz、po4、po8、po3、po7、p3、cz、fz、fcz、poz、pz、p4、cpz，参考电极位于左侧耳垂，地电极为fpz。

在一些实施方式中，屏幕播放的ssmvep-erp-osr混合范式包括三行三列牛顿环，每个牛顿环的直径约为4.8deg，第一列和第三列牛顿环距屏幕中心的距离均为视角的9.6deg，第一行和第三行牛顿环距屏幕中心的距离均为视角的6.4deg。

在一些实施方式中，同处一列的刺激目标刺激频率相同，三列牛顿环对应的刺激频率分别为15hz、17hz和19hz；同一行刺激目标之间刺激频率不同，刺激缺失时间差别；刺激频率为15hz的目标一、二、三刺激目标序列，刺激中包括三次短刺激缺失和一次长刺激缺失，同频率三个目标的刺激缺失时刻均不相同。

在一些实施方式中，交叉验证算法leave-one-outcross-validation生成基础目标分类器的步骤为：

a.在训练样本采集阶段，受试者根据屏幕提示依次盯视刺激目标，得到盯视不同刺激目标时的eeg数据，假设有m个盯视目标，每个盯视目标采集了n组数据；将原始脑电信号数据经过滤波等预处理，将数据按照不同盯视目标按类进行存储，则有m类数据，每类数据包含n组；

b.从每类数据随机取一组数据作为测试数据testdata，其余n-1组数据作为训练数据；

c.将训练数据经过n-1次叠加平均得到每个目标的波形模板template，m个目标的template构成分类器；

d.将m个目标的测试数据testdata分别与分类器中的模板做典型相关分析，若某组测试数据与分类器中某组template的相关性最大，则认为该组测试数据与该组template对应同一刺激目标；

e.将m组测试数据进行分类，若m个目标的测试数据均正确分类，即分类正确率为1，则将此时分类器中的模板输入最终模板template中，否则摒弃掉这组模板；

返回步骤b，重新从每类数据随机取一组数据作为测试数据testdata，重复上述过程b-e，将上述过程迭代100次，将template中的模板通过叠加平均，即可生成比较成熟的目标分类器，分类器中存储着所有目标的波形模板。

在一些实施方式中，ssmvep频域特征提取识别具体方法为：对脑电信号进行经验模态分解，得到多个本征模函数(imf)，其中ssmvep特征主要分布在前三个分量中，通过ssmvep所在的分量重构信号，在此基础上通过cca算法对emd分解后imf分量重构中的ssmvep特征进行识别，即可判断出受试者所在盯视目标的闪烁频率，同一列刺激目标具有相同的刺激频率，因此可判断出用户盯视目标所在列。

在一些实施方式中，在获取目标列后，将最优通道上的脑电信号x(t)与刺激频率对应目标的复杂模板进行典型相关分析，判定受试者盯视目标。

在一些实施方式中，轮椅的目标控制指令包括前进、后退、加速前进、减速前进、左转向、右转向、加速后退、减速后退、停止，与三行三列的牛顿环相对应。

本发明的有益效果为：本发明基于ssmvep-erp-osr混合脑机接口驱动的轮椅控制方法，通过基于ssmvep-erp-osr混合脑机接口范式，增加了目标数，进而提高了轮椅控制的更多指令，增加了受试者控制轮椅的灵活性，提出了基于复杂模板与cca的时频特征分步识别算法，通过最优通道的选取提高了控制的准确率及实时性。

附图说明

图1为本发明基于ssmvep-erp-osr混合脑机接口驱动的轮椅控制方法的系统框架示意图；

图2为本发明电极帽的电极放置示意图；

图3为本发明混合范式的示意图；

图4为本发明轮椅目标控制指令的示意图；

图5为本发明时频特征分布识别算法示意图；

图6为本发明离线实验刺激时序图；

图7为本发明leave-one-outcross-validation交叉验证算法生成基础目标分类器的流程示意图；

图8为本发明基于自动寻优算法的记录电极位置选择流程图。

具体实施方式

下面结合附图对本发明作进一步详细的说明。

实施例

如图1所示，基于ssmvep-erp-osr混合脑机接口驱动的轮椅控制方法，包括系统整体框架图中将系统分为人机交互模块、信号采集模块、信号处理模块以及应用控制模块。选择windows旗下surface笔记本作为系统主机，其主要功能是提供人机交互界面并进行数据处理；系统开始运行后，首先surface屏幕上呈现ssmvep-erp-osr混合范式刺激，对用户进行视觉诱发；用户佩戴16导干电极脑电帽，采集经视觉诱发的脑电信号，经过放大器放大后将eeg信号传输给surface，对数据进行实时处理，包括预处理、频域ssmvep特征提取识别、时域erp及osr特征提取识别，判断刺激目标，将识别结果通过电脑屏幕视觉反馈给用户；同时，将识别结果转换为对应指令，通过电脑与智能轮椅间的无线通讯，将指令传输至轮椅控制系统，控制轮椅完成受试者盯视目标方向。以上流程的具体的步骤如下：

步骤1：脑电采集模块中受试者穿戴好16导干电极帽坐在轮椅上，正前方计算机屏幕距离头部为60-80厘米，所有电极按照“国际10/20标准导联”放置，如图2所示，记录电极分布主要位于枕区、顶区和中央区域。电极包括o1、o2、oz、po4、po8、po3、po7、p3、cz、fz、fcz、poz、pz、p4、cpz。参考电极位于左侧耳垂，地电极为fpz，确保其头部与头皮接触良好，并在实验过程中保证电极阻抗低于5千欧姆。

步骤:2：人机交互模块主要包括混合范式对受试者进行视觉诱发，如图3、4所示，具体方法为预先通过matlab编写的ssmvep-erp-osp混合范式程序会在计算机屏幕上呈现，屏幕上有9个刺激目标其分别对应关系为牛顿环1代表减速前进，牛顿环2代表前进，牛顿环3代表加速前进，牛顿环4代表左转向，牛顿环5代表停止，牛顿环6代表右转向，牛顿环7代表减速后退，牛顿环8代表后退，牛顿环9代表加速后退。牛顿环的位置如图3a所示，显示屏幕中每个牛顿环的直径约为4.8deg，第一列和第三列牛顿环距屏幕中心的距离均为视角的9.6deg，第一行和第三行牛顿环距屏幕中心的距离均为视角的6.4deg。同处一列的刺激目标刺激频率相同，三列牛顿环对应的刺激频率分别为15hz、17hz和19hz；同一行刺激目标之间刺激频率不同，刺激缺失时间有细微差别，但大致相同。刺激时序如图3b所示，刺激频率为15hz的目标一、二、三刺激目标序列，刺激中包括三次短刺激缺失和一次长刺激缺失，同频率三个目标的刺激缺失时刻均不相同。

步骤3：经过脑电采集仪放大、滤波及模数转换后，将数字化的脑电信号输入计算机，其中，脑电信号的采集采用16导gusbamp放大器作为采集硬件，放大器的采样频率为1200hz,硬件滤波包括0.05-100hz的带通滤波及48-52hz的带阻滤波。

步骤4:对脑电信号处理，如图5所示，包括以下步骤：

步骤4-1:对脑电信号的预处理，去除时间序列中的直流成分以及1-45hz的带通滤波；

步骤4-2:通过训练阶段离线实验得到最优通道的基础目标分类器，离线实验的混合脑机接口范式如图6所示。训练阶段包括对九个刺激目标分别盯视九种任务，每种任务下包括两个run，每个run包括16次trail，每次trail中首先是500ms的目标提示，紧接着是3000ms的刺激呈现，受试者对所提示目标进行盯视，之后屏幕黑屏500ms后进入下一次trail。训练阶段结束后，可得到每个刺激目标32次trail的训练数据，生成各个刺激目标的复杂模板作为基础目标分类器。

步骤4-3:在训练阶段，利用leave-one-outcross-validation交叉验证算法生成基础目标分类器，如图7所示，具体步骤如下：

a.在训练样本采集阶段，受试者根据屏幕提示依次盯视刺激目标，得到盯视不同刺激目标时的eeg数据，有9个盯视目标，每个盯视目标采集了32组数据。将原始脑电信号数据经过滤波等预处理，将数据按照不同盯视目标按类进行存储，则有9类数据，每类数据包含32组；

b.从每类数据随机取一组数据作为测试数据testdata，其余31组数据作为训练数据；

c.将训练数据经过31次叠加平均得到每个目标的波形模板template，9个目标的template构成分类器；

d.将9个目标的测试数据testdata分别与分类器中的模板做典型相关分析，若某组测试数据与分类器中某组template的相关性最大，则认为该组测试数据与该组template对应同一刺激目标。

e.将9组测试数据进行分类，若9个目标的测试数据均正确分类，即分类正确率为1，则将此时分类器中的模板输入最终模板template中，否则摒弃掉这组模板。

返回步骤b，重新从每类数据随机取一组数据作为测试数据testdata，重复上述过程b-e，将上述过程迭代100次，将template中的模板通过叠加平均，即可生成比较成熟的目标分类器，分类器中存储着所有目标的波形模板。

步骤4-4:在训练阶段，采用最优记录电极位置选择算法来自动寻取最优测量电极位置，如图8所示。

布置多个电极，进行离线实验，记录eeg信号；

每次选择一个通道计算离线正确率，选择使正确率最高的通道作为固定通道c1；

将已固定通道与其他通道依次组合。若正确率未升高，则选择使正确率最高的c2，此时最优通道为[c1,c2],若正确率持续升高，则选择使正确率升高最高的通道为c2，只是将c1与c2组合进行后续探索；

d.按照上述思路继续探索，若正确率无法继续升高，此时已固定通道即为最优通道。这种自动寻优选取最优记录电极的算法可规避电极损坏、电极接触不良、因人而异等因素影响。

步骤4-4:经过基础目标分类器与自动寻优电极位置得到最优通道的基础目标分类器。

步骤4-5:在线测试阶段，首先被试者根据目标方向盯视目标牛顿环，然后采集在离线实验中获得的最优通道上的脑电信号，并进行去趋势向和滤波预处理后，进行基于emd和cca的ssmvep频域特征提取识别，具体方法为对脑电信号进行经验模态分解，得到多个本征模函数(imf)，其中ssmvep特征主要分布在前三个分量中，通过ssmvep所在的分量重构信号，在此基础上通过cca算法对emd分解后imf分量重构中的ssmvep特征进行识别，即可判断出受试者所在盯视目标的闪烁频率，同一列刺激目标具有相同的刺激频率，因此可判断出用户盯视目标所在列。

步骤4-6:在获取目标列后，将最优通道上的脑电信号x(t)与刺激频率对应目标的复杂模板进行典型相关分析，最终判定受试者盯视目标。

步骤5：得到受试者盯视目标后，将其识别结果转化为目标控制指令进而实施对轮椅的控制，各目标对应有轮椅前进、后退、加速前进、减速前进、左转向、右转向、加速后退、减速后退、停止的指令，根据受试者自身需求，选择不同的目标，识别结果转化后的控制指令通过信号处理模块无线传输到轮椅控制器的信号接收模块，进而由轮椅驱动模块驱动轮椅做出不同的响应动作。智能轮椅自带的传感系统在受试者操控轮椅运行过程中，根据轮椅周边环境变化，做出保护动作，达到安全保护的目的。

以上所述的仅是本发明的一些实施方式。对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。