一种多模态信号的脑机接口方法
【专利摘要】本发明公开了一种多模态信号的脑机接口方法，包括校准阶段和识别阶段。在校准阶段，将同步采集的脑电和近红外光学脑信号分别进行预处理得到三种模态的信号。对三种模态的信号分别提取特征，并用特征向量分别训练分类器1、分类器2和分类器3。然后用训练好的三个分类器的输出信号来训练分类器4。在识别阶段，将同步采集的脑电和近红外光学脑信号预处理和提取特征，再将三种模态信号的特征向量分别输入到分类器1、分类器2和分类器3中，然后将三个分类器的分类结果输入到分类器4，最后的多模态信号的脑机接口的输出结果。本发明的优点在于能提高单一模态信号的脑机接口的精度，有效克服单一模态信号的脑机接口文盲现象。
【专利说明】一种多模态信号的脑机接口方法
【技术领域】
[0001]本发明涉及脑机接口【技术领域】，尤其涉及到一种多模态信号的脑机接口方法。
【背景技术】
[0002]脑机接口是将思维过程中的神经生理信号转换为控制信号，控制外部机器而不依靠外周神经系统和肌肉的一种系统。脑机接口技术在康复工程、虚拟现实、游戏娱乐以及航天、军事等领域体现出重要的应用前景。脑机接口技术分为侵入式脑机接口技术和非侵入式脑机接口技术。侵入式脑机接口技术采用大脑皮层植入式电极技术，具有信噪比高、控制精准等优点。但是侵入式脑机接口技术需要开颅手术，难以实现大范围的使用。而非侵入式脑机接口因其相对容易获得的信号和广泛的使用者人群，显示出了广泛的应用前景。脑电(EEG)直接探测神经活动的电信号，是非侵入式脑机接口领域最常用的一种技术。稳态视觉响应信号、P300信号和事件相关去极化(ERD)信号是基于脑电的脑机接口常用的三种信号模态。同时获取其中的两种或三种信号可以构成多模态脑机接口。例如，发明专利【CN102331782 B】公开的一种多模态脑机接口的自动车控制方法；发明专利【CN 101968715 A】公开的一种基于脑机接口鼠标控制的因特网浏览方法。
[0003]上述用不同刺激任务得到不同模态的脑电信号来实现脑机接口的方法，归根到底多模态的信号来源都是脑电。近红外光谱术是通过测量含氧血红蛋白(HbO2)和去氧血红蛋白(Hb)的相对浓度变化来间接反映大脑皮层的神经元活动的一种技术。近年来近红外光谱术也被应用到了脑机接口领域。近红外光谱术和脑电具有类似的优点:无损、便携、信号获取容易。因为不同信息来源的信号可以在一定程度上互补，将脑电和近红外联合起来构成脑机接口系统，可以提高脑机接口系统的精度。目前仅有发明专利【CN 101853070 A】提出了利用脑电和脑血氧信号来区分运动想象，但是其探测的信号仅限于完成大脑高级认知功能前额叶皮层。而已有的功能磁共振(fMRI)和正电子发射扫描术(PET)的研究表明运动想象激活的脑皮层主要是运动皮层(4区)，前额叶皮层出区)和后顶叶皮层(5区和7区)。其中运动皮层(4区)是与运动直接相关的脑皮层，而前额叶皮层和后顶叶皮层一起是运动控制等级结构的最高层次。所以当前主流的基于运动想象的脑机接口研究很少仅使用前额叶的脑信号。目前还没有一种在前额叶皮层、运动皮层和后顶叶皮层同步采集的脑电和其他模态信号联合构成多模态脑机接口的方法。
【发明内容】
[0004]本发明所要解决的技术问题是提出一种基于近红外和脑电多模态信号的脑机接口方法，以提闻传统基于脑电的脑机接口系统的精度。
[0005]为解决上述技术问题，本发明提出一种多模态信号的脑机接口方法，包括校准阶段和识别阶段，具体步骤如下:
[0006]步骤一、校准阶段:
[0007]步骤1.1:多通道脑电采集系统和近红外光学脑信号采集系统同时实时采集使用者在脑机接口校准阶段任务执行过程中的多通道脑电和近红外光学脑信号；在此校准阶段，被试根据提示完成左侧或右侧身体部位的运动想象任务；
[0008]步骤1.2:对多通道脑电信号和近红外光学脑信号分别进行预处理；脑电信号的预处理方法为:降频，带通滤波，去除眼电和运动伪迹；近红外光学脑信号的预处理方法为:降频，低通滤波，根据修正的Beer-Lambert定律,将其转换为含氧血红蛋白浓度变化值Δ [HbO2]和去氧血红蛋白浓度变化值Λ [Hb]；
[0009]步骤1.3:用t秒长度的时间窗分别对步骤1.2所得脑电信号、Δ [HbO2]和Λ [Hb]进行分段，并进行特征提取，t的取值可以根据需要从I秒取到单个任务持续的总时间长度；具体如下:
[0010](I)在左侧或右侧身体部位想象条件下的数据片段分别用矩阵XiQ = 1，2)来表示，Xi的行数为采样通道数，列数为采样点数；计算Xi空间协方差矩阵:
P Z1Zi ’——
1 = trace (XX1)其中表示Xi的转置矩阵，trance (XiX/ )表示XiX/的迹，即对.角线
1 1O
元素的和；
[0011](2)计算上述两类条件下所有训练数据片段的平均空间协方差矩阵厂和以及混合空间协方差矩阵‘ =G + G.9
[0012]⑶C。分解为C。= U。λ CUC，，其中U。是C。的特征向量矩阵，λ c是由特征值组成的对角矩阵；
[0013](4)进行白化处理:即处理后，PCcP'所有的特征值都为I ;如果将
9
?和^进行如下变换:弋=Pc'r，5, = Pc1P'.则S1和S2有相同的特征向量；如果S1 =
B λ #，则有S2 = B λ 2Β’，且λ 1+ λ 2 = I，其中λ i和λ 2分别为S1和S2的特征值组成的对角矩阵，B为S1和S2的特征向量矩阵；
[0014](5)计算空间滤波矩阵W = (B，P) ’ ；
[0015](6)对Xi进行变换，将其从时域空间变换到特征空间=Zi = WX1-,Ii的第一行分别作为左手和右手想象数据片段的特征向量，用来训练分类器；
[0016]步骤1.4:将步骤1.3所得的三种模态信号的特征向量分别来训练分类器1、分类器2和分类器3 ；
[0017]步骤1.5:将分类器1、分类器2和分类器3的输出作为分类器4的训练数据，训练分类器4 ；
[0018]步骤二、识别阶段:
[0019]步骤2.1:多通道脑电信号采集系统和近红外光学脑信号采集系统分别实时采集使用者在脑机接口任务识别阶段的多通道近红外光学脑信号。在此识别阶段，使用者完成左侧或右侧身体部位的运动想象任务。
[0020]步骤2.2:按照校准阶段的步骤1.2和1.3对多通道脑电和近红外光学脑信号进行预处理和特征提取，得到三种模态的待识别数据的特征向量。
[0021]步骤2.3:对待识别数据特征向量进行分类。先将三种模态的待识别数据特征向量分别输入到分类器1、分类器2和分类器3中，然后将三个分类器的分类结果输入到分类器4中，最后由分类器4输出为使用者进行脑机接口任务的类别。
[0022]优选的，所述多模态信号来源于脑电和在前额叶皮层、运动皮层、躯体感觉皮层和后顶叶皮层同步采集近的红外光学脑信号，经过预处理后成为三种模态的信号:EEG，含氧血红蛋白浓度变化值Λ [HbO2]和去氧血红蛋白浓度变化值Λ [Hb]。
[0023]优选的，分类器1、分类器2和分类器3选用支持向量机，分类器4选用Fisher线性分类器；
[0024]本发明的有益效果在于:
[0025]1.脑电和近红外这两种不同来源的信号，分别探测大脑活动时的电信号和血氧响应信号。因此是一种多模态的信号，多模态信号包含有不同的大脑活动信息，能信息互补，经实验验证能提高单一模态信号脑机接口的精度。
[0026]2.脑电和近红外多模态信号脑机接口可以很好的克服脑机接口文盲现象。例如有些使用者无法使用基于脑电的脑机接口，而有些使用者无法使用基于近红外的脑机接口，但是多模态信号的脑机接口可以有效的解决这一问题。
【专利附图】
【附图说明】
[0027]下面结合附图和【具体实施方式】对本发明的技术方案作进一步具体说明。
[0028]图1为脑电电极和近红外光源及探头的排布方式。
[0029]图2为校准阶段或识别阶段的多模态信号的处理流程图。
[0030]图3为实施例中脑机接口任务的时序图。
【具体实施方式】
[0031]本发明包括校准阶段和识别阶段，使用者开始校准和识别时，使用者坐在脑机接口任务呈现界面的正前方，在头上带上网状脑电极帽，拨开头发，将近红外光源和探头固定在头皮表面并和头皮接触紧密。如图1所示，I表示脑电电极，2表示近红外光源,3表示近红外探头，4表示一对近红外光源和探头组成的探测通道。为了保证每次探头的放置位置一致，在头顶的脑电电极Cz与一个近红外探头共用一个位置，此时近红外探头从环状脑电电极的中心穿过，其余探头与光源以此为中心对称排布。脑电探测覆盖整个大脑皮层，近红外探测范围覆盖了运动想象所涉及的所有皮层，从前至后依次为前额叶皮层出区)、运动皮层(4区)、躯体感觉皮层(1、2、3区)和后顶叶皮层(5、7区)。
[0032]使用者根据界面提示完成运动想象任务，每个任务的时序如图3所示。每次任务前2秒，屏幕出现“ + ”，提醒使用者注意即将开始任务；接下来4秒，屏幕随机出现向左或向右的箭头，使用者根据箭头方向想象相应的左侧或右侧身体部位的运动；最后2秒黑屏，使用者停止想象，保持平静休息状态。
[0033]步骤A、校准阶段，结合图2所示，
[0034]步骤Al:
[0035]使用者根据界面提示完成运动想象任务，每个任务的时序如图3所示。每次任务前2秒，屏幕出现“ + ”，提醒使用者注意即将开始任务；接下来4秒，屏幕随机出现向左或向右的箭头，使用者根据箭头方向想象相应的左侧或右侧身体部位的运动；最后2秒黑屏，使用者停止想象，保持平静休息状态。
[0036]多通道脑电采集系统和近红外光学脑信号采集系统同时实时采集使用者的多通道脑电信号和在前额叶皮层出区)、运动皮层(4区)、躯体感觉皮层(1、2、3区)和后顶叶皮层(5、7区)的近红外光学脑信号；
[0037]步骤A2:对多通道脑电信号和近红外光学脑信号分别进行预处理；脑电信号的预处理方法为:降频，带通滤波，去除眼电和运动伪迹；近红外光学脑信号的预处理方法为:降频，低通滤波，根据修正的Beer-Lambert定律,将其转换为含氧血红蛋白浓度变化值Δ [HbO2]和去氧血红蛋白浓度变化值Λ [Hb];经过预处理后成为三种模态的信号:EEG，含氧血红蛋白浓度变化值Λ [HbO2]和去氧血红蛋白浓度变化值Λ [Hb]。
[0038]步骤A3:用t秒长度的时间窗分别对所得脑电信号EEG、Δ [HbO2]和Λ [Hb]进行分段，并进行特征提取，t的取值可以根据需要从I秒取到单个任务持续的总时间长度；具体如下:
[0039](I)在左侧或右侧身体部位想象条件下的数据片段分别用矩阵XiQ = 1，2)来表示，Xi的行数为采样通道数，列数为采样点数；计算Xi空间协方差矩阵:
Y Y I
Cl = trace CXX')其中Xi’表示Xi的转置矩阵，trance (W’)表示xA ’的迹，即对角线
1 1 O
元素的和；
[0040](2)计算上述两类条件下所有训练数据片段的平均空间协方差矩阵f和以及混合空间协方差矩阵=C1 +C2.
[0041](3) C。分解为C。= U。λ CUC，，其中U。是C。的特征向量矩阵，入c是由特征值组成的对角矩阵；
[0042](4)进行白化处理:P = VFcZc1.即处理后，PCcP'所有的特征值都为I ;如果将
9
€和^进行如下变换:兄=per，s': = par.则S1和S2有相同的特征向量；如果S1 =
B λ P’，则有S2 = B λ 2B’，且λ 1+ λ 2 = I，其中λ i和λ 2分别为S1和S2的特征值组成的对角矩阵，B为S1和S2的特征向量矩阵；
[0043](5)计算空间滤波矩阵W = (B’ P) ’ ；
[0044](6)对Xi进行变换，将其从时域空间变换到特征空间=Zi = WX1-,Ii的第一行分别作为左手和右手想象数据片段的特征向量，用来训练分类器；
[0045]步骤Α4:将步骤1.3所得的三种模态信号的特征向量分别来训练分类器1、分类器2和分类器3 ;分类器1、分类器2和分类器3均选用支持向量机；
[0046]步骤Α5:将分类器1、分类器2和分类器3的输出作为分类器4的训练数据，训练分类器4 ;分类器4选用Fisher线性分类器。
[0047]步骤B、识别阶段，结合图2所示:
[0048]步骤B1:使用者根据界面提示完成运动想象任务，每个任务的时序如图3所示。每次任务前2秒，屏幕出现“ + ”，提醒使用者注意即将开始任务；接下来4秒，屏幕随机出现向左或向右的箭头，使用者根据箭头方向想象相应的左侧或右侧身体部位的运动；最后2秒黑屏，使用者停止想象，保持平静休息状态。
[0049]多通道脑电信号采集系统和近红外光学脑信号采集系统分别实时采集使用者的多通道近红外光学脑信号。
[0050]步骤B2:采用与步骤A2、A3的方法对多通道脑电信号和近红外光学脑信号分别进行预处理和特征提取。
[0051]步骤B3:对待识别数据特征向量进行分类。先将三种模态的待识别数据特征向量分别输入到分类器1、分类器2和分类器3中，然后将三个分类器的分类结果输入到分类器4中，最后输出为使用者进行脑机接口任务的类别。
[0052]最后所应说明的是，以上【具体实施方式】仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
【权利要求】
1.一种多模态信号的脑机接口方法，其特征在于，包括校准阶段和识别阶段，具体步骤如下: 步骤一、校准阶段: 步骤1.1:使用者根据提示完成左侧或右侧身体部位的运动想象任务；多通道脑电采集系统和近红外光学脑信号采集系统同时实时采集使用者在脑机接口校准阶段任务执行过程中的多通道脑电和近红外光学脑信号； 步骤1.2:对多通道脑电信号和近红外光学脑信号分别进行预处理； 步骤1.3:用t秒长度的时间窗分别对步骤1.2所得脑电信号、Λ [HbO2]和Λ [Hb]进行分段，并进行特征提取，t的取值可以根据需要从I秒取到单个任务持续的总时间长度；具体如下: (1)在左侧或右侧身体部位想象条件下的数据片段分别用矩阵Xiα = 1,2)来表示，Xi
χ χ，的行数为采样通道数,列数为采样点数;计算X1空间协方差矩阵:C = iracJ (V1X,')其中X/表示Xi的转置矩阵，trance (XiXi')表示XiX/的迹，即对角线元素的和； (2)计算上述两类条件下所有训练数据片段的平均空间协方差矩阵g和U以及混合空间协方差矩阵Cc
I (3)Cc分解为Cc = Uc λ CUC’，其中Uc是Cc的特征向量矩阵，λ c是由特征值组成的对角矩阵； (4)进行白化处理==即处理后，PCcP'所有的特征值都为I ;如果将$和€进行如下变换:兄=per，S1 = PC1P'.则S1和S2有相同的特征向量；如果S1 =B λ #，则有S2 = B λ 2B’，且λ 1+ λ 2 = I，其中λ i和λ 2分别为S1和S2的特征值组成的对角矩阵，B为S1和S2的特征向量矩阵； (5)计算空间滤波矩阵W=(B’P)’ ； (6)对Xi进行变换，将其从时域空间变换到特征空间=Zi= WX1-,Ii的第一行分别作为左手和右手想象数据片段的特征向量，用来训练分类器； 步骤1.4:将步骤1.3所得的三种模态信号的特征向量分别来训练分类器1、分类器2和分类器3 ； 步骤1.5:将分类器1、分类器2和分类器3的输出作为分类器4的训练数据，训练分类器4; 步骤二、识别阶段: 步骤2.1:使用者完成左侧或右侧身体部位的运动想象任务；多通道脑电信号采集系统和近红外光学脑信号采集系统分别实时采集使用者在脑机接口任务识别阶段的多通道近红外光学脑信号； 步骤2.2:按照所述步骤1.2和1.3的方法对多通道脑电和近红外光学脑信号进行预处理和特征提取，得到三种模态的待识别数据的特征向量； 步骤2.3:对待识别数据特征向量进行分类；先将三种模态的待识别数据特征向量分别输入到分类器1、分类器2和分类器3中，然后将三个分类器的分类结果输入到分类器4中，最后输出为使用者进行脑机接口任务的类别。
2.根据权利要求1所述的多模态信号的脑机接口方法，其特征在于:所述脑电信号的预处理方法为:降频，带通滤波，去除眼电和运动伪迹；近红外光学脑信号的预处理方法为:降频，低通滤波，根据修正的Beer-Lambert定律,将其转换为含氧血红蛋白浓度变化值Δ [HbO2]和去氧血红蛋白浓度变化值Λ [Hb]。
3.根据权利要求2所述的多模态信号的脑机接口方法，其特征在于:所述多模态信号来源于脑电和在前额叶皮层、运动皮层、躯体感觉皮层和后顶叶皮层同步采集近的红外光学脑信号，经过预处理后成为三种模态的信号:EEG，含氧血红蛋白浓度变化值Λ [HbO2]和去氧血红蛋白浓度变化值Λ [Hb]。
4.根据权利要求1之3之一所述的多模态信号的脑机接口方法，其特征在于:所述分类器1、分类器2和分类器3选用支持向量机，分类器4选用Fisher线性分类器。
【文档编号】G06F3/01GK104182042SQ201410400030
【公开日】2014年12月3日 申请日期:2014年8月14日 优先权日:2014年8月14日
【发明者】骆清铭, 龚辉, 李颖, 李鹏程 申请人:华中科技大学