视觉运动相关神经信号为载体的人机交互方法

专利名称：视觉运动相关神经信号为载体的人机交互方法
技术领域：
本发明属于涉及一种视觉运动相关神经信号为载体的人机交互方法，属于生物医学工 程及人机交互技术领域，可作为无手操作的新型的计算机交互方法，也可作为残障人士操 作计算机的方法。
背景技术：
人与计算机的交互活动已经成为信息时代日常生活的重要组成部分，人机交互技术因 此成为计算机科学研究的重要组成部分。特别是近年来，随着计算机技术的迅猛发展，研 究更加人性化的全新的人机交互技术变得异常活跃，也取得了可喜的进步。除了最基本的 鼠标、键盘等人机交互方式外，还包括以下内容
1. 基于人体动作识别的人机交互技术
目前较成熟的的基于人体动作识别的人机交互技术包括人脸识别、面部表情识别、 身体运动跟踪、眼动跟踪、手势识别等等。然而这些需要通过运动来实现的人机交互存在 着一定的局限性。 一般情况下，人脑和外部环境的通讯是通过外周神经和肌肉通道来完成， 但这一通道可能会因为一些疾病或损伤而被削弱或破坏，例如脊髓侧索硬化症、脊髓损伤、 脑瘫、肌萎縮等。另外，在某些特殊环境下，也需要组建一个非肌肉的通道，以传输信息， 或控制外部世界。这些要求目前传统的人机交互技术是很难实现的。
2. 基于神经信号的人机交互技术
脑机接口是基于神经信号的人机交互技术，它将人脑的信号直接转换成对外部设备的 控制命令，解读由外界刺激或思维活动引起的大脑变化，通过构造人脑与计算机及其他设 备间不依赖于人的正常输出通道的信息传输通路，使得大脑可以直接和外部环境进行信息
交互。现有的基于脑电的BCI系统使用的信号主要包括事件相关电位、稳态视觉诱发电位、
慢皮层电位、感觉运动节律。然而使用上述信号的脑机接口系统在识别正确率、信息传输 率、个体差异、环境适应性等方面还有很多待解决的问题。这些脑机接口技术中，基于视 觉诱发电位的人机交互方法最为成熟，也是交互速度最快的。但其弱点是依赖于闪烁的视 觉刺激，需要较强的视觉对比度，有的对背景亮度也有要求。特别是当用于一般的计算机 用户界面时，人机交互单元的背景亮度、对比度变化范围较宽，目前己有的脑机接口方法 无法很好地实现这种环境下的人机交互。
3运动感知是视觉系统的基本功能之一，视觉运动诱发电位在研究人的运动视觉处理机制 中有重要价值，基础研究和临床诊断中都有着广泛应用。目前的研究集中在生理机制的探 索研究，还没有应用到人机交互领域。本发明将视觉运动相关神经信号用于人机交互系统， 是一种全新范式下的脑-机接口。与目前传统的人机交互方法相比，本发明不需要任何动作 和语言，直接通过用户的脑电信号与外界交流，因此适用于残疾人等特殊人群，也适用于 一些需要人际自动控制的领域。
与目前已有的基于稳态视觉刺激，P300电位等脑机接口系统相比，本发明具有适用范围， 适用人群更广，人机交互界面更友好，用户操作不易疲劳等优点。如中国专利"基于P300 脑电位的中文输入BCI系统"(200710164418.6)要求产生P300电位的两个前提是1. 对象期望的事件必须是小概率事件；2.此事件的具体发生时刻应该是随机的。而基于视觉 运动相关神经信号的交互系统没有这些限制条件；此外，中国专利"基于瞬态视觉诱发电 位提取脑机接口信号的方法"(200310121033.3)，以及"基于脑电稳态诱发响应的控制 系统"(99122161.3)这类脑机接口系统中，要求界面有较高的对比度，所以，这些脑机 接口系统只能在特定界面上实现简单的人机交互，而本发明中的人机交互方法和系统对剌 激目标的大小，对比度要求很低，可以方便地与现在通用的计算机界面以及相应的软件结 合起来，实现真实环境下的人机交互；另外，因为视觉运动刺激无闪烁，本发明相比上述 的脑机接口系统，有低闪烁的特点，这样用户在使用时不容易疲劳，使人机交互的过程更 加自然，友好。

发明内容
本发明的目的在于提供一种以视觉运动相关神经信号为载体的人机交互新方法，使得特 殊场合和特殊人群的人机交互更加方便友好。
本发明的特征在于，该方法依次含有以下步骤
步骤1，把包括运动的线条、图形、字母在内的视觉运动元素添加到包括菜单、选项、 操作指令在内的计算机界面上的人机交互单元中，所述人机交互单元中的所述的视觉运动 元素的运动时间起点互不相同，而且开始运动的先后顺序是随机的，这些随机排序的视觉 运动多次反复出现；
步骤2，把脑电测试电极放在受试者顶区偏后的视觉运动区域，其中包括国际脑电图10-20 电极系统的P3、 P7、 P4、 P8电极，或者邻近的位置，把参考电极接在耳后，接地电极接 在前额偏后位置，各电极得到的脑电信号经放大和模/数变换后送往所述计算机的USB数字接口；
步骤3,所述计算机的用户要选择所述的某个人机交互单元，只要注视该人机交互单元 并对视觉运动元素的属性进行辨识，包括该运动元素的颜色、方向、大小，所述用户注视 的人机交互单元中的运动元素称为目标，而其他运动元素称为非目标；
步骤4，所述计算机在收到检测请求信息后，按以下步骤进行
歩骤41:所述计算机对接收到的脑电波信号作滤波处理，去除包括电力线、眼动、肌电 在内的干扰；
步骤42:所述计算机以所述运动元素的运动开始时间为起点提取出长度为600-800毫秒 脑电波片段，然后，把每个人机交互单元对应的多个所述脑电波片段按对应的运动时间起 点对齐，再用叠加平均的方法对脑电波求取平均波形；
步骤43:所述计算机通过包括面积最大值法、Fisher判别法或者支持向量机法在内的任 何一种模式分类方法，判断所述脑电波片段的平均波形中是否包含视觉运动相关的N2电 位，N2电位是指被检测者辨认运动起始刺激时在其头皮记录的、运动起点后200ms左右 的负波；
步骤44:所述计算机将检测到N2电位的所述脑电片段对应的人机交互单元作为所述用 户要选择的目标，给出输出响应，计算机完成本次人机交互；
步骤45:若所述用户希望继续进行人机交互选择，则返回歩骤3，重复歩骤3至步骤44， 一直到用户选择退出系统。
经实验证明，本发明具有以下优点
由于基于视觉运动相关脑电相关生理背景上的优点，产生运动属性的元素可以放置在在 人机交互界面上的任意位置，且产生运动属性的元素的大小可以灵活的随着用户需求，及 使用环境的需求改变或调整，从而实现人机交互的友好性、自然性和高效性。
(1) 与目前的人机交互技术不同，以视觉运动相关神经信号为载体的人机'交互技术提 供了直接通过大脑中视觉运动相关神经的与运动属性的相关联的方法，来实现人机交互， 传输信息，或者控制外界环境。使人机交互技术从以计算机为中心逐步转移到以人为中心， 是全新的多媒体多模式的交互技术。
(2) 与经典的脑-机接口系统不同，基于视觉运动相关神经信号的脑机接口系统较好的 解决了刺激目标的强闪烁，强对比度，以及刺激目标的大小、位置对脑机接口的限制，从 而适用于更广泛的应用场合。
(3) 由于降低了一般脑机接口中界面元素的对比度，避免了闪烁，该发明有更加友好的人机交互界面，有效地避免了用户在使用时的疲劳。 (4)采用脑电记录方法，是无创无损的方法。


图1为视觉运动诱发的N2电位波形图2为根据本发明实施例的人机交互系统框图3为人机交互软件界面示例；
图4为测试结果显示示意图5为脑电检测结果示例；
图6为本发明中实现人机交互的软件流程图
具体实施例方式
本发明提出的视觉运动相关祌经信号为载体的人机交互系统，如图2所示，山脑电电极 (装置l)、脑电放大器(装置2)、计算机(装置3)组成。脑电电极和放大器用于采集用 户的脑电信号，计算机一方面控制人机交互单元中的视觉运动元素，另一方面分析接收到 的脑电信号，通过一定的算法判断用户选择的目标交互单元。
本方法的核心是采用视觉运动所诱发的脑电波作为人机交互目标的载体。图2即是典型 的视觉运动诱发电位的波形，该诱发电位由3个主要成分构成----Pl、 N2、 P2。其中N2是 潜伏期160-200ms的负波，被认为是运动感知特异的成分，也是本发明所述人机交互系统 中进行检测判断的核心成分。
诱发出视觉运动相关诱发电位的经典刺激模式是视觉目标的运动起始。该模式的要点 是范式中的一组刺激由一串具有运动属性的视觉刺激序列构成，用户可以选择序列中的 某一个刺激作为目标，称为靶刺激，，而序列中的其他刺激均成为非目标，称为非靶刺激； 当目标中的运动刺激开始时，用户进行累计计数或者辨识该运动元素的颜色、方向等属性， 以通过注意力调制增强对靶刺激的响应。以靶刺激的运动起始时刻为Oms，如此可在耙刺 激后约200ms观察到一个负相波形，即N2，如图1所示。利用N2成分对于运动刺激的锁时 性，可以检测到与运动属性相关的神经活动。对记录到的受试者的脑电数据进行分析，提 取视觉运动相关神经信号，并通过对N2成分与刺激序列的分析实现人机交互的目标。
本发明的具体实施歩骤如下
1、视觉运动与人机交互单元的关联将人机交互界面上的某一单元，如菜单、选项等添加相应的运动元素。通过对运动元 素和这些菜单、选项等的关联，判断用户是否对相应的菜单、选项作出选择或操作，从而 实现对电脑的控制。其中产生运动的元素可以放置在在人机交互界面上的任意位置，且产 生运动的元素的大小可以灵活的随着用户需求，及使用环境的需求改变或调整。
2、 视觉运动刺激序列设计-
视觉运动刺激序列由一组具有运动起始属性的视觉刺激构成，每个刺激对应着一个与 之关联的人机交互界面的元素。视觉运动起始诱发电位与刺激的概率无关，因此序列中的 刺激数目可以任意设定。刺激间隔可以是固定的也可以是随机的， 一般设为200毫秒。各 个剌激出现的次序由计算机生成的伪随机序列决定。当受试者选定人机交互界面中的某一 个元素作为目标，该元素所关联的视觉运动剌激则成为序列中的靶刺激。要求用户注视人 机交互界面中的靶刺激。
3、 脑电记录
受试者佩戴电极帽，安放电极，通过脑电放大系统得到脑电信号。给出刺激的同吋记 录刺激的编号，和脑电数据一起送入信号处理部分。脑电电极的位置通常应该在视觉运动
区域，这与运动起始诱发电位的提取分析有关，以P3或P7等电极为好，分布位置如图5 所示。记录到的脑电数据首先进行预处理，包括滤波、去除基线漂移。滤波的目的是排除 50Hz的工频干扰，以及其他噪声，通常采用带通滤波，低端一般为0. 1 1Hz，高端一般 为10 20Hz。(此部分脑电放大与记录多为已有技术)
4、 N2电位提取
根据记录的刺激编号对连续的脑电数据分段，对每一段数据检测是否存在N2成分。 提取诱发电位的经典方法是相干平均方法。相干平均方法是将每段的脑电电位以视觉运动 起始时刻对齐进行平均。增强后的信号，要判断是否有N2电位，通常判断方法是以在刺 激后的160毫秒一240毫秒是否有波谷为准则。这里可以采用最大面积法，或者线性判别 法，或者支持向量机法来识别各个人机交互单元是否为用户选择的目标。(此部分多为已 有技术)
5、 人机交互设计
通过对界面的设计和优化，用户能够在闩常操作环境下(如在Windows的操作系统上) 进行操作和应用。通过对界面中的菜单、选项，及所以需要选择及交互的地方加入运动属性，通过用户视觉运动相关神经信号判断用户所选择的目标，从而实现直观的，友好的人 机交互，达到与计算机信息传递，或控制外界环境的目的。图6为本发明中实现人机交互 的软件流程图。
我们用本方法，实现一个控制鼠标移动方向的人机交互系统，系统框图如图2，系统 的人机交互界面如图3。
图3中的人机交互界面示例为一个包含上下左右四个方向的虚拟按钮，分别关联于鼠 标的移动方向，以及中间一个"OK"按钮。受试者根据想要鼠标移动的方向而选择对应的 一个虚拟按键作为目标并注视该目标。每个虚拟按钮的矩形窗大小为30*25像素，矩形窗 中运动的彩色竖条为2*22像素，每个虚拟按键中会不定时出现视觉运动刺激。视觉刺激在 屏幕上出现的同时，由计算机在脑电信号上标记每次刺激的开始，以便于后面的脑电相千 平均处理。
测试时同歩记录脑电图，取标准脑电10-20导联系统中的P3或者P7电极，连接的双 侧耳后为参考电极，地电极在前额偏后的位置。
脑电信号的预处理主要包括滤波、去除基线漂移。滤波的目的是排除50Hz的工频干 扰，以及其他噪声(如来自仪器的本底噪声)，通常采用带通滤波，高通一般为O. 1-1Hz， 低通--般为10-201Iz。然后进行去基线处理，其目的是使各导脑电都是平稳的基木为零均 值的，这在用相千平均提取诱发电位时尤为重要。眼电是最为常见的伪迹，对脑电信号的 影响颇为明显，越靠近头皮前额部，影响越显著。解决这个问题的最简单的办法是去掉包 含眼动的那次刺激对应的数据段。
下一步是对各次刺激响应做相干平均，以得到相对显著的诱发电位。将多个实测信号 以视觉运动起始时刻对齐，再将与同一时间对应的各样本数据求和平均，即可确定诱发响 应的估计曲线，这种估计方法称为相干平均法。相干平均法可将自发脑电信号的干扰功率 减小。
为检测N2电位，需对平均的诱发电位做定量分析。在本测试中，只需要判断N2波形 有无即可，下面是比较简单通用的方法
1) 波峰提取法，即在N2窗内(160ms —240ms)最低点和最高点的幅度差。幅度差最 大的脑电片段对应的运动竖条所在的虚拟按钮即为用户所选择的目标。
2) 面积提取法，即N2窗内波形曲线与坐标轴所包围面积。该面积最大的脑电片段对 应的运动竖条所在的虚拟按钮即为用户所选择的目标。
为实现以上的操作，计算机软件的流程设计如图6所示。除人机交互的结果反馈线程 之外，还有两个重要的线程 一是视觉运动刺激的控制；二是脑电信号的处理与判断。
8图4为结果显示，粗实线所对应的脑电片段检测到视觉运动相关神经信号成分N2，对 应的运动竖条所在的虚拟按钮即为用户选定的目标。虚线是非目标运动刺激引起的脑电波 信号，可以看到没有N2成分出现。
系统测试结果表明选出一个目标的平均测试时间约为6秒(不包括电极安装时间)，检 测率和误检率均满意并达到使用要求。
9
权利要求
1. 视觉运动相关神经信号为载体的人机交互方法，其特征在于该方法依次含有以下步骤步骤1，把包括运动的线条、图形、字母在内的视觉运动元素添加到包括菜单、选项、操作指令在内的计算机界面上的人机交互单元中，所述人机交互单元中的所述的视觉运动元素的运动时间起点互不相同，而且开始运动的先后顺序是随机的，这些随机排序的视觉运动多次反复出现；步骤2，把脑电测试电极放在受试者顶区偏后的视觉运动区域，其中包括国际脑电图10-20电极系统的P3、P7、P4、P8电极，或者邻近的位置，把参考电极接在耳后，接地电极接在前额偏后位置，各电极得到的脑电信号经放大和模/数变换后送往所述计算机的USB数字接口；步骤3，所述计算机的用户要选择所述的某个人机交互单元，只要注视该人机交互单元并对视觉运动元素的属性进行辨识，包括该运动元素的颜色、方向、大小，所述用户注视的人机交互单元中的运动元素称为目标，而其他运动元素称为非目标；步骤4，所述计算机在收到检测请求信息后，按以下步骤进行步骤41所述计算机对接收到的脑电波信号作滤波处理，去除包括电力线、眼动、肌电在内的干扰；步骤42所述计算机以所述运动元素的运动开始时间为起点提取出长度为600-800毫秒脑电波片段，然后，把每个人机交互单元对应的多个所述脑电波片段按对应的运动时间起点对齐，再用叠加平均的方法对脑电波求取平均波形；步骤43所述计算机通过包括面积最大值法、Fisher判别法或者支持向量机法在内的任何一种模式分类方法，判断所述脑电波片段的平均波形中是否包含视觉运动相关的N2电位，N2电位是指被检测者辨认运动起始刺激时在其头皮记录的、运动起点后200ms左右的负波；步骤44所述计算机将检测到N2电位的所述脑电片段对应的人机交互单元作为所述用户要选择的目标，给出输出响应，计算机完成本次人机交互；步骤45若所述用户希望继续进行人机交互选择，则返回步骤3，重复步骤3至步骤44，一直到用户选择退出系统。
全文摘要
视觉运动相关神经信号为载体的人机交互方法涉及人机交互技术领域，其特征在于该方法依次含有以下步骤将待选择的人机交互单元与不同时刻开始的运动元素相关联；在用户头部视觉运动区域放置脑电电极记录脑电信号，按照时间起点的不同分别提取序列中的各个运动元素所对应的脑电波形，检测是否存在视觉运动对应的N2电位；检测到N2电位的刺激所对应的人机交互单元被判定为受试者的目标，由计算机完成相应功能模块，从而实现人机交互。系统测试结果表明选出一个目标的平均时间为6秒左右，检测率和误检率均达到一般人机交互的要求。其优点在于无闪烁，不易引起视觉疲劳，且可用于低对比度和低照度的情况，适合不同的人机交互场合。
文档编号G06F3/01GK101464728SQ20091007620
公开日2009年6月24日 申请日期2009年1月5日 优先权日2009年1月5日
发明者波 洪, 飞 郭, 高上凯, 高小榕 申请人:清华大学