一种基于RSVP范式的视听觉结合的脑-机接口方法与流程

本发明涉及脑-机接口领域，尤其涉及一种基于rsvp(rapidserialvisualpresentation，快速连续序列呈现)范式的视听觉结合的脑-机接口方法。

背景技术：

第一次bci国际会议1999年在美国纽约州召开，提出了bci基本定义为“brain–computerinterfaces(bci’s)givetheiruserscommunicationandcontrolchannelsthatdonotdependonthebrain’snormaloutputchannelsofperipheralnervesandmuscles.”(“脑-机接口给予用户以不依赖于脑外围神经和肌肉正常输出通路的交流与控制渠道”)。脑机接口是神经科学与工程技术的一种新型交互结合方式，它可以无需采用常规的肢体接触和语言表达便能实现人与外界机器设备的信息交互，主要是通过对不同状态下的脑电信号进行识别通，并转换成控制语句来直接控制外部设备，使“思想”变成“行动”。脑机接口的研究目前成为脑科学研究、人工智能等研究的热点技术，受到越来越广泛的关注和支持。

现有的脑机接口拼写器大多是基于诱发电位p300的bci系统。1988年，farwell和donchin首次将p300应用到bci系统设计当中。p300信号本质为大脑中央皮层区域的一种内源性诱发电位，在时域中表现为小概率事件触发或任务相关刺激后300ms左右出现的正向偏转的高峰值波形。p300脑机接口的优点是使用者需要的训练很少，因此应用非常广泛，如鼠标控制，机器人控制等。

基于p300的bci研究中常用视觉诱发范式为矩阵闪烁范式，在包含受试者所注视字母的行和列闪烁时会诱发出p300，通过信号处理和模式识别技术检测诱发出最强p300的行和列，即可判定当前被试所想拼写的字母，从而实现智能拼写的功能。但是这样的范式要求受试者能够跟随闪烁的行和列快速的移动眼球，而且矩阵呈现需要较大的空间界面。最近，acqualagna等人引入了一种更适合于眼睛无法移动的残疾被试使用的p300刺激范式，即rsvp范式。不同于矩阵刺激界面，在rsvp范式中，各刺激事件将以随机顺序始终出现于屏幕中央。因此，该刺激范式不要求被试有任何的眼睛移动，被试只需注意并默数目标刺激出现的次数。通过检测诱发最大p300的目标刺激所对应的事件标签，即可判定其为当前被试所要执行的目标指令，从而实现被试对外部设备的控制和通信。而且范式呈现的视线范围小，可在较小的屏幕上呈现，适合应用于小型的电子设备。如移动电话，手环等。

使用rsvp作为视觉刺激诱发范式虽然有很大优势，尽管其具有快速性的特点，但是因为此范式呈现状态是单个连续出现，并不能达到较高的信息传输率。

技术实现要素：

本发明提供了一种基于rsvp范式的视听觉结合的脑-机接口方法，本发明设计了以听觉辅助视觉的bci刺激范式，与传统基于仅视觉诱发的bci系统相比，能够增加bci系统的可分性与可靠性，详见下文描述：

一种基于rsvp范式的视听觉结合的脑-机接口方法，所述方法包括：

设计应用于脑机接口实验的新范式，所述新范式为以听觉辅助视觉的bci刺激范式；

搭建脑电信号采集装置；采集受试者的脑电信号数据、存储脑电数据并进行相应的预处理和特征提取；

通过支持向量机对诱发的脑电信号进行分类并计算，判断正确率和信息传输率；

所述方法对呈现的视觉对象结合相应的语音播报加深受试者对刺激的感知力度，达到更优的分类效果。

进一步地，所述新范式为以听觉辅助视觉的bci刺激范式具体为：

视觉范式显示时会按每一轮次顺序呈现字符，一轮次包括26个英文字母，字母颜色不尽相同，但保持各轮次中同一字母本身颜色不变；

每个字符以88毫秒的速度无间隔的出现，且以伪随机呈现，要求相似形状的字母不相邻出现且至少间隔一个字母；

听觉刺激使用标准的男音和女音以轮次交替播报字母的读音，播放方式为双声道，声音强度为20分贝；且声音呈现的时长和间隔与视觉显示相一致。

进一步地，所述方法还包括：

在准备阶段结束后，用户戴上耳机，观看屏幕要求用户对自己选择的目标刺激做出反应，并默数目标刺激出现的次数。

本发明提供的技术方案的有益效果是：

1、本发明设计了听觉辅助视觉的bci刺激范式，在原有单一视觉刺激的基础上添加了辅助辨别目标的听觉刺激变量，在目标刷新率较大的情况下仍能较优的识别目标字符；

2、本发明设计的基于rsvp范式的脑-机接口能够克服原有的信息传输率低这一缺点，与传统基于仅视觉诱发的bci系统相比，能够增加bci系统的可分性与可靠性；

3、本发明具有视觉独立性较强、信噪比较高、稳定性较高、信息传输率较高的优点，为脑-机接口的广泛应用奠定基础；

4、本发明通过进一步研究可以得到实用性较强的脑-机接口系统，有望获得可观的社会效益和经济效益。

附图说明

图1为一种基于rsvp范式的视听觉结合的脑电信号采集装置的结构示意图；

图2为听觉辅助视觉的bci刺激范式的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

发明人在对背景技术进行研究发现，当受试者(正常人或视觉正常的病人)在受到包含小概率事件的一系列视觉刺激时，对应的脑电里会出现和小概率时间有关的响应，该响应就是所谓的事件相关电位(erp)。传统的矩阵视觉诱发范式依赖于受试者的注意力转移水平，因而出现了隐形注意视觉刺激方式，如本发明实施例中使用的快速连续序列呈现(rapidserialvisualpresentation，rsvp)范式。

然而如果单独使用rsvp诱发erp信号，当刺激频率过快时，受试者可能无法观察到想要的目标，若想提高信息传输率，就要加快刺激呈现的频率，这时若刺激频率接近人眼可见的视觉刷新频率时，就会导致错过呈现的目标对象。这时若使用听觉刺激辅助视觉刺激，对呈现的对象结合相应的语音播报便会加深受试者对刺激的感知力度，达到更优的分类效果。

实施例1

为了解决背景技术中存在的问题，基于上述设计原理本发明实施例设计了一种基于rsvp范式的视听觉结合的脑-机接口(bci)方法，参见图1，该脑-机接口方法包括以下步骤：

101：设计应用于脑机接口实验的新范式、搭建脑电信号采集装置；

102：采集受试者的脑电信号数据、存储脑电数据并进行相应的预处理和特征提取；

103：通过支持向量机对诱发的脑电信号进行分类并计算，判断正确率和信息传输率。

综上所述，本发明实施例设计了听觉辅助视觉的bci刺激范式，在原有单一视觉刺激的基础上添加了辅助辨别目标的听觉刺激变量，在目标刷新率较大的情况下仍能较优的识别目标字符。

实施例2

下面结合图1和图2、具体的计算公式对实施例1中的方案进行进一步地介绍，详见下文描述：

图1为本发明实施例设计的基于rsvp范式的视听觉结合的脑电信号采集装置的结构示意图。该脑电信号采集装置包括：脑电电极帽和脑电放大器等eeg信号采集装置，rsvp范式视觉呈现模块，耳机和计算机等部分。

实验中使用neuroscan公司生产的脑电放大器装置采集和记录脑电，由于p300成分在脑部的中线位置及枕区部分最为明显，在系统中，选取fz、cz、pz、o1、o2、oz(该6个脑电信号为本领域技术人员所公知，本发明实施例对此不做赘述)的脑电信号作为脑电放大器的输入信号。

受试者在实验前安静地坐于靠椅上，调整好与屏幕最适宜的距离，注视计算机屏幕上的rsvp刺激范式的呈现。在此过程中受试者的脑电信号会根据观测对象的靶目标和非靶目标特性产生相应的变化：在大脑皮层产生诱发的脑电信号；由脑电帽上的电极探测后经过脑电放大器放大、滤波后输入计算机；采集到得脑电数据再经过后续的预处理及特征提取得到相应于靶目标和非靶目标的诱发电位特征信号；对不同的特征进行分类及模式识别并反馈到屏幕上进行靶目标的呈现。

一、脑机接口实验的新范式设计

视觉范式显示时会按每一轮次给用户顺序呈现字符，一轮次包括26个英文字母，字母颜色不尽相同，但保持各轮次中同一字母本身颜色不变。每个字符以88毫秒的速度无间隔的出现，且以伪随机呈现，要求相似形状的字母不相邻出现且至少间隔一个字母，如图2所示。

听觉刺激使用标准的男音和女音以轮次交替播报字母的读音，播放方式为双声道，声音强度为20分贝，因声音播报为辅助方式，故音调不可过强。此过程需做到声音呈现的时长和间隔与视觉显示相一致。在准备阶段结束后，用户需戴上耳机，集中精神观看屏幕要求用户对自己选择的目标刺激做出反应，并默数目标刺激出现的次数。

本发明实施例通过前期大量的实验验证得到该范式中刷新率的可行性，采集得到的视觉诱发的事件相关电位的信噪比较高，可分性较强。

二、特征提取与分类

经放大后的脑电信号被送入计算机中，进行特征提取和目标识别。主要计算是对目标和非目标进行分类，然后根据目标出现的时间点及p300的潜伏期识别出是哪个字符。主要包括四个处理步骤：脑电信号预处理、脑电信号特征提取与分类、目标字符识别。

提取的脑电信号是刺激前200毫秒到目标刺激出现后800毫秒之间的共1000毫秒的信号。脑电信号比较微弱，在采集及提取的过程中通常会混入其它干扰噪声，因此在对脑电数据分析之前必须对脑电信号进行滤波、降噪的预处理。脑电信号采集时可能会出现信号线偏离基线的情况，因此需用每个字符刺激诱发的脑电信号减去该刺激出现前200毫秒的均值进行基线校正。滤波器采用4阶巴特沃斯滤波器，滤波范围一般为1～30hz。可将信号降采样到200hz，减少后续处理时间。对信号进行变参考处理，以双耳平均作参考，减少干扰。

脑电信号特征提取独立分量分析(ica,independentcomponentanalysis)算法。由头皮记录到的诱发电位(ep,evokedpotentials)基本满足线性混合ica模型。故可运用ica的算法对脑电信号进行分析，实现p300的少次提取。ica将多道观察信号按照统计独立的原则通过优化算法分解为若干独立成分，并可去除伪迹噪声，实现信号的增强和分析。

假设存在n个相互统计独立的源信号s(1)，s(2)，…，s(n)，观测信号x(1)，x(2)，…，x(n)，其目的是对任何t(1≤t≤n)，根据已知x(t)在a未知的情况下求未知的s(t)，其中，a∈r^n×n为未知非奇异混合矩阵，此处观测信号个数等于源信号个数。

ica的思路是设置一个n*n维反混合阵w，经过变换后得到n维输出列向量y(t)＝[y1(t),y2(t),……y3(t)]，即有：

y(t)＝w*x(t)＝w*a*s(t)

使y中的各分量尽可能相互统计独立，从而获得独立分量的估计y＝△s→s，其中，△s为计算得出的源信号矩阵；s为真实的源信号矩阵。

模式识别的过程是通过对脑电信号的分类来实现的。本发明实施例的分类算法选取支持向量机(svm，supportvectormachine)，即将从样本中提取到的特征用来训练svm分类器，训练后得到一个model，然后再利用这个model来对未知模式类型的特征进行分类，信号经svm算法处理之后得到两种结果：1和0。通常用1表示目标，0表示非目标，将1对应的结果作为目标字符识别单元的输入信号。

目标字符识别算法：

其中，a表示一轮中所识别的字符距初始时刻的时间，b表示每一轮显示的字符流中预处理时选取的数据段中目标字符的出现的时刻(与p300潜伏期有关)距初始显示时刻的采样点数目，c表示采样率，i＝1表示第一轮显示，n表示显示的总轮次。

将a的数值与预定的每个字符出现时刻相比较，即可判断所识别的目标字符。一个字符拼写结束，用户可以继续进行下一个目标的拼写，直到得到自己想要的命令语句。

综上所述，本发明实施例设计了一种基于rsvp范式的视听结合的脑-机接口(bci)方法。该项发明可以用于残疾人的对外交流并因rsvp范式的视觉范围小的特点使得成型的设备可具有较高的集成性，进一步研究或许可以推广到跨个体脑-机接口系统，有望获得可观的社会效益和经济效益。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。