一种基于共用刺激编码的高交互自然度脑机接口系统

本发明涉及脑机接口技术，具体讲，涉及到一种基于视网膜映射的高交互自然度的脑机系统。

背景技术：

1、脑-机接口(brain-computer interface，bci)是一种基于神经科学与工程技术的新型人机交互方式，能够通过实时获取、分析脑信号，在人脑与计算机或其它电子设备之间建立直接的交流和控制通道，将中枢神经系统活动直接转化为信息输出，使用者不再需要通过语言或肢体动作即可表达想法或操纵外界设备。

2、脑电信号(electroencephalogram，eeg)是大脑神经细胞的电生理活动在大脑皮层的总体反映，可由头皮电极进行记录，相对于功能性近红外成像(functional near-infrared spectroscopy，fnirs)、脑磁图(magnetoencephalography，meg)、侵入式皮层脑电(electrocorticogram，ecog)等大脑信息获取方法来说，头皮脑电信号同时具有时间分辨率高、信号容易获取、采集成本低廉等优点，因此受到了更为广泛的关注。

3、近年来视网膜映射原理在脑机接口的研究中得到了较好应用，视网膜映射原理指出，用户注视视觉刺激的不同空间方位所诱发脑电响应的空间模式不同，体现在脑机系统中，即将物理空间划分为多个子空间，对应不同的指令，刺激用户视野内的不同位置，以诱发瞬态vep或具有不同空间模式的ssvep信号。相比于传统的视觉脑机系统，用户不需直视闪烁刺激，视觉负荷低的同时体验更好；同时，这对计算机屏幕的使用也较经济，可以较好的被整合在更自然或复杂的应用背景中，有较好的实用前景。

4、基于非对称视觉诱发电位的bci系统(avep-bci)因其交互自然度高而受到了广泛关注。视网膜映射原理指出，视野中心左右两侧的光学刺激会激活大脑视觉皮层中的不同脑区，avep-bci据此在编码指令的两侧设置闪烁刺激，这些刺激尺寸极小且无需使用者显性注视，这在一定程度上减少了使用者的视觉负荷。此外，左右两侧刺激诱发的脑电信号包含特定的空间特征，该bci系统通过空码分多址的编码方式对每个指令编码。bci系统处理采集到的脑电信号，识别脑电不同的空间特征，进而判断出用户注视的目标。总的来看，avep-bci交互自然度高，是一种适合面向消费级的脑机系统，但在进一步脱离实验室环境中，仍有以下问题：

5、1、系统性能较低。目前avep-bci的信息传输速率(itr)较低，较高的识别正确率建立在较长时间的单次刺激基础之上。

6、2、刺激数量多，编码效率低。虽然avep-bci的刺激尺寸小，但一个可编码指令对应着多个闪烁刺激编码，一方面这加重了使用者的视觉负担，另一方面，较多的闪烁刺激也会增加设备负担，不利于便携式设备的使用。

7、传统视觉脑机接口通常以牺牲脑机交互自然度例如增加刺激的尺寸或是数量等方式提升系统性能，这大大降低了人们使用系统时舒适度和体验感，极大限制了脑机接口技术在日常生活的应用。从交互的自然度与舒适度来讲，传统视觉脑机接口系统存在以下问题：

8、a.从刺激数量：传统视觉脑机接口系统通常使用一个或是多个刺激对应一个系统指令，一方面，这会使得刺激相对于指令的数量较多，从而增加用户的疲劳感。另一方面，多刺激编码单个指令，系统编码的效率也受到限制。

9、b.从刺激位置：传统视觉脑机系统的闪烁刺激通常叠加在指令上，并要求用户注意集中的凝视目标，一方面，直视闪烁刺激会加重视觉疲劳，不利于系统的长时间应用。另一方面，这对某些患有神经类疾病的患者并不友好，因为他们往往无法精准控制自己的眼球运动。

10、c.从刺激尺寸：传统视觉脑机接口的刺激尺寸相对较大，带给用户的刺激感通常较强增加了用户的视觉负荷。

11、基于脑电技术的bci系统中，利用视觉刺激诱发的范式应用最为广泛，其中以基于稳态视觉诱发电位(steady-state visual evoked potential，ssvep)的ssvep-bci和基于事件相关电位(event-related potential，erp)的p300-bci最为典型。针对现有技术的缺点描述如下：

12、一、p300-bci系统已发展的较为稳定和成熟，p300信号是eeg信号在刺激出现之后300毫秒左右产生的正向偏移。对受试者而言，刺激本身是不常见且无法预测的(例如刺激突然的从无到有)，但又和受试者紧密相连。p300幅值直接取决于刺激的相关程度，并与刺激出现的概率成反比。

13、(1)经典p300范式通常以6*6的矩阵形式显示在计算机屏幕上，其行和列以随机的顺序重复闪烁，所有的行和列每轮都会显示一次，只有当行或者列包含了受试者选择的字母或者指令的时候，受试者大脑才会产生明显的p300，这一信号可以通过分类器检测到。p300-bci系统已发展的较为稳定和成熟，可以达到较高的信息传输速率，在技术层面有了坚实的基础，但是仍然存在如下问题，：

14、(2)编码效率低，基于p300的视觉bci系统所有指令闪烁一次才能完成一次指令识别，而由于p300信号本身的信号特征弱，幅值低，信号往往需要多次叠加才能获得互异性强的p300信号，因此一个指令的高质量输出往往要经过所有指令的多轮次闪烁才能完成，这使得p300范式难以适用于多指令、复杂的应用场景。

15、交互友好度低，p300脑机系统将闪烁刺激叠加在系统指令上，并要求用户长时间集中注意力注视系统指令，一方面，长时间直视闪烁刺激会加重用户的视觉负担，降低交互体验感的同时还会影响到系统的性能。另一方面，刺激叠加在系统指令上，其尺寸与数量均与系统指令一致，当指令数量较多或是较大时影响到交互体验感。

16、二、ssvep-bci采用稳定周期性重复呈现的视觉刺激(如某种图形以固定频率闪烁、模式翻转等规律重复呈现于屏幕)诱发，根据ssvep-bci的频率特性，可以利用不同频率的刺激源来编码不同的操作命令。使用者要做的就是根据自己的意图，注视视野中的某个目标刺激源。bci系统处理采集到的脑电信号，识别脑电特征，通过频谱分析，判断出用户注视的目标。

17、为了使脑机系统交互更加舒适自然，当前ssvep-bci的多采用中高频的闪烁刺激诱发。基于ssvep的bci已有较成熟的发展，其编码效率高，系统稳定。但如果从实验室进一步推向消费级的实际应用，仍存在以下问题：

18、(1)中低频信号的交互度低。中低频信号的闪烁刺激强烈，使用者的疲劳度高，不适合长时间使用。

19、(2)高频信号所需设备成本昂贵，系统性能差。高频ssvep信号克服了中低频信号刺激感强烈、交互度低的缺点，然而，其信噪比低相较于中低频信号显著降低，系统性能显著降低。此外，随着ssvep-bci选用频率不断提高，其对设备的刷新率要求不断提高，高刷新率设备价格昂贵且不易携带。

20、因此，基于ssvep的bci系统并不适合脱离实验室环境，直接推向消费级市场。

21、三、基于空分多址的脑机系统因搭建简单、交互自然度高而得到了广泛关注，它将物理空间划分为多个子空间，对应不同的指令。视网膜原理指出，中央凹外侧不同区域的光刺激会引起大脑视觉皮层不同的反应，具有偏侧化特点。根据视网膜映射原理，采用空分多址编码的bci系统刺激用户视野内的不同位置，以诱发瞬态vep或具有不同空间模式的ssvep信号。基于空分多址的脑机系统通常将刺激设置在中央，而后对其周围不同区域编码，以识别不同指令，可通过ssvep、mvep等形式诱发。使用者无需直视强烈的闪烁刺激即可。基于视网膜映射原理的脑机系统因交互自然度高、搭建简单而得到了广泛应用，然而在实际应用的过程中，仍然存在以下问题。

22、(1)指令数少，不适用于复杂情况。由于脑电的空间分辨率限制，可用于空间编码的基本码元受限，因而其可编码的指令数受限，不适用于复杂系统。

23、(2)刺激尺寸一般较大，信号的信噪比低。基于空分多址的脑机系统多数通过单个刺激诱发erp信号，而由于erp信号的信噪比较低，为了保证系统性能，通常使用大尺寸刺激，从而影响了系统舒适性。

24、四、基于非对称视觉诱发电位的bci系统(avep-bci)因其交互自然度高而受到了广泛关注。视网膜映射原理指出，视野中心左右两侧的光学刺激会激活大脑视觉皮层中的不同脑区，avep-bci据此在编码指令的两侧设置闪烁刺激，这些刺激尺寸极小且无需使用者显性注视，这在一定程度上减少了使用者的视觉负荷。此外，左右两侧刺激诱发的脑电信号包含特定的空间特征，该bci系统通过空码分多址的编码方式对每个指令编码。bci系统处理采集到的脑电信号，识别脑电不同的空间特征，进而判断出用户注视的目标。总的来看，avep-bci交互自然度高，是一种适合面向消费级的脑机系统，但在进一步脱离实验室环境中，仍有以下问题：

25、(1)系统性能较低。目前avep-bci的信息传输速率(itr)较低，较高的识别正确率建立在较长时间的单次刺激基础之上。

26、(2)刺激数量多，编码效率低。虽然avep-bci的刺激尺寸小，但一个可编码指令对应着多个闪烁刺激编码，一方面这加重了使用者的视觉负担，另一方面，较多的闪烁刺激也会增加设备负担，不利于便携式设备的使用。

技术实现思路

1、针对以上现有技术的局限性，本发明旨在提出了一种基于共用刺激编码的高交互自然度脑机接口系统及方法，通过一种视网膜映射原理与p300范式结合的新型范式，在可操作对象周围的特定位置处设置了共用刺激，这些共用刺激以空分多址的形式编码可操作对象，用户无需直视闪烁刺激就可完成目标识别，从而提高了系统的交互自然度。

2、本发明利用以下技术方案实现：

3、一种基于共用刺激编码的高交互自然度脑机接口系统，该系统包括共用刺激设置模块、基本码元构建模块和时域编/解码模块；其中：

4、所述共用刺激设置模块，用于对用户注视视觉范围内以空分多址的方式设置共用刺激，满足以下设置原则：

5、原则一、每个可操作对象都被一个或多个共用刺激管控，以及，多个共用刺激可管控同一个可操作对象；

6、原则二、被同一个共用刺激管控的可操作对象至少包含刺激大小、刺激距离和刺激呈现方式参数；

7、原则三、管控m(m＝1,…,k)个可操作对象的共用刺激管控的可操作对象的总数应当大于等于可操作对象的总数，即：

8、1*n1+2*n2+…+m*nm≥k

9、原则四、管控m(m＝1,…,k)个可操作对象的共用刺激个数为nm应小于可操作对象的总数k，即：

10、n1+n2+…+nm≤k

11、其中，k为系统的可操作对象总数量，n视觉刺激的总数量；

12、所述基本码元构建模块，用于依据每个刺激的管控情况包括各个刺激和相对于各个刺激的字符相对位置，构建基本码元；

13、所述时域编/解码模块，用于在每个刺激的基本码元确定后，按照共用刺激呈现的时间顺序对各个可操作对象时域编码，经时域编码后生成时空码序列，对时域编码进行解码，通过对时域编码的解码结果与时空码序列解析出不同时刻的刺激所对应的码元，得到使用者注视的确切目标。

14、所述共用刺激为多组，每组包括管控不同数目可操作对象的刺激。

15、多个所述刺激根据各自的管控能力共用一组基本码元或者分别构建自身基本码元。

16、所述刺激管控邻近的字符，其管控能力与字符和刺激的相对位置有关。

17、所述基本码元包括有效刺激码元和无效刺激码元。

18、所述刺激为闪烁刺激时，闪烁刺激是以闪烁的顺序依次呈现，或者以少数或是全部同时呈现。

19、所述共用刺激的设计要素至少包括刺激位置、刺激数量、刺激诱发形式或刺激形状参数。

20、所述刺激的形状为任意不同形状。

21、相比现有技术，本发明的一种基于共用刺激编码的高交互自然度脑机接口系统能够达成以下积极技术效果：

22、1)旨在提升系统交互自然度与编码效率，需要解决的问题或应具备的优势如下：

23、2)人机交互自然度高，刺激尺寸小，数目少，方式友好；并且多个大尺寸、强闪烁的刺激叠加在可操作对象上，直视这些刺激会使得用户的疲劳感显著加重，这极大限制了脑机接口系统的实际应用；

24、3)编码效率高，可编码指令多，系统性能好。如何实现支持复杂系统(多指令系统)，同时在高交互自然度的前提下，还能有较好的性能(较短时间可以达到较高的识别正确率)；

25、4)成本低，搭建容易。设计的系统对硬件的需求应该尽可能小，同时在搭建该系统时也应当尽可能容易。

26、5)实现了一种面向消费级用户的脑机接口系统。