一种基于脑机接口的虚拟现实多级菜单交互方法与流程

本发明虚拟现实领域，具体涉及一种基于脑机接口的虚拟现实多级菜单交互方法。

背景技术：

为帮助严重身体有缺陷的人群解决交流互动问题，在1991年wolpaw等人发表了通过改变脑电信号中的μ节律幅度来控制光标移动的成果，提出了一种全新的自动控制概念-大脑驱动控制技术bac，简称脑电控制，与手动控制、语音控制相比，脑电控制为利用大脑脉冲信号去控制计算机、发动机或者其它装置。只需要提取相关脑电信号，经过预处理后，经过计算机模式识别分类后，就能通过不同的分类的信号，驱动计算机完全不同功能。自从bac技术问世以来，由于该项技术巨大的应用前景，可以应用于病人康复、军事演练、场景模拟等，各国大量的研究人员投入了巨大的精力对相关技术进行了研究。

特别针对于在用来帮助身体有缺陷的人群进行交流互动的虚拟系统程序中，程序需要能够执行不同的功能，虚拟系统程序的界面通常比较复杂，一个虚拟系统程序往往具有多层次菜单跟选项模块分别对应不同的功能。如何在一个具有多层次菜单跟功能模块的虚拟系统中，进行快速的搜索、选择和切换，达到特定的功能选择，是一个关键问题，为了解决上述问题，提供一种基于脑机接口的虚拟现实多级菜单交互方法。

技术实现要素：

本发明针对现有技术的不足，提出一种基于脑机接口的虚拟现实多级菜单交互方法，具体技术方案如下：

一种基于脑机接口的虚拟现实多级菜单交互方法，其特征在于：

采用以下步骤，

步骤1：使用者戴上脑电采集帽，打开虚拟现实系统，进入脑机交互界面；

步骤2：在脑机交互界面生成有不同选项，每个选项对应一个p300虚拟键，使用者选择需要的p300虚拟键；

步骤3：判断该p300虚拟键对应的选项是否为子目录，如果是则进入该子目录，脑机交互界面更新为该子目录的脑机交互界面，按照步骤2处理；

否则进入下一步骤；

步骤4：判断该选项是否为文本输入类型，若为文本输入类型，则进入下一步骤，否则，进入步骤6；

步骤5：脑机交互界面切换为文本输入界面，文本输入界面的选择字符均为p300虚拟键，使用者字符输入完成后，按照输入指令执行对应的功能；

步骤6：执行该选项的功能。

为更好的实现本发明，可进一步为：所述步骤2包括以下步骤：

步骤21：在脑机交互界面生成有不同选项，每个选项对应一个p300虚拟键；

步骤22：使用者注视着与需要选取选项对应的p300虚拟键；

步骤23：每个p300虚拟键随机闪烁一次，在p300虚拟键闪烁的同时，脑电采集帽同步对头皮脑电信号进行采集，将头皮脑电信号进行带通滤波，将脑电数据截取0-600ms的采样点，对所述0-600ms的采样点进行1/6下采样，将该1/6下采样数据构成一个特征向量，计算机存储每个p300虚拟键闪烁时，对应的特征向量；

步骤24：将上述步骤22至步骤23重复n遍，计算机对于所有的p300虚拟键均生成有对应的n个特征向量，该n个特征向量构成特征向量集d1；

步骤25：将特征向量集d1通过分类系统进行分类，确定使用者选择的p300虚拟键。

进一步地：所述步骤5包括以下步骤：

步骤51：脑机交互界面切换为文本输入界面，文本输入界面的选择字符均为p300虚拟键；

步骤52：使用者注视着要选取的选择字符；

步骤53：每个选择字符随机闪烁一次，在选择字符闪烁的同时，脑电采集帽同步对头皮脑电信号进行采集，将头皮脑电信号进行带通滤波，将脑电数据截取0-600ms的采样点，对所述0-600ms的采样点进行1/6下采样，将该1/6下采样数据构成一个特征向量，计算机存储每个选择字符闪烁时对应的特征向量；

步骤54：将上述步骤52至步骤53重复n遍，计算机对于所有的选择字符均生成有对应的n个特征向量，该n个特征向量构成特征向量集d2；

步骤55：将特征向量集d2通过分类系统进行分类，确定使用者选择的字符；

步骤56：按步骤52至步骤55重复，直到完成文本输入；

步骤57：按照输入指令执行对应的功能。

本发明的有益效果为：第一，解决了目前基于虚拟现实的脑机交互方法中存在的单用户、单一功能的局限性，该交互方法可以进行连续的交互操作。第二，能够在文本输入框、选择项、多目录之间进行查找切换，能够深入到目录最底层，进行的目标选择。如果是文字输入类目标，则界面切换为p300文本输入界面，使用p300信号检测实现文字输入。如果不是文本输入类目标。则通过p300脑电电位信息，以及虚拟现实反馈信息判定信息类型，完成交互。

附图说明

图1为本发明的流程图；

图2为本虚拟歌厅点歌系统的结构图；

图3为脑机交互界面示意图；

图4为文本输入框示意图。

具体实施方式

下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

本发明具体实施例如图1至图4所示，以一种虚拟现实歌厅点歌系统为例，一种基于脑机接口的虚拟现实多级菜单交互方法，

采用以下步骤，

步骤1：使用者戴上脑电采集帽，打开虚拟音乐点歌系统，进入脑机交互界面，该虚拟音乐点歌系统由四级子系统构成；

步骤2：在脑机交互界面生成有歌星点歌、拼音点歌和歌名点歌三个选项，每个选项对应一个p300虚拟键；

步骤3：使用者注视着与需要选取选项对应的p300虚拟键，此处假设使用者盯着对应与歌名点歌选项相关的p300虚拟键；

步骤4：每个p300虚拟键随机闪烁一次，在p300虚拟键闪烁的同时，脑电采集帽同步对头皮脑电信号进行采集，将头皮脑电信号进行带通滤波，将脑电数据截取0-600ms的采样点，对上述0-600ms的采样点进行1/6下采样，将该1/6下采样数据构成一个特征向量，计算机存储每个p300虚拟键闪烁时对应的特征向量；

步骤5：将上述步骤4重复3遍，计算机对于所有的p300虚拟键均生成有对应的3个特征向量，该3个特征向量构成特征向量集d1；

步骤6：将特征向量集d1通过分类系统进行分类，确定使用者选择的p300虚拟键，此处，该p300虚拟键与歌名点歌选项对应，具体为，每个p300虚拟键把3轮中对应的3个向量特征的和进行叠加，再求平均，如第一个p300虚拟键的特征向量均值为d平均：

将每个p300虚拟键对应的3轮特征向量分别求d平均，得到特征向量集d1＝[d1,d2,d3]，将特征向量集d1＝[d1,d2,d3]进行分类和波形检测，得到3个分类结果s＝[s1,s2,s3]和3个波形检测结果w＝[w1,w2,w3]，其中对分类结果s只保留其最大的前2个分值并将其余置零；将分类结果s和波形检测结果w相乘，得到r^t：

r^t是一个包含m个非零值的3维行向量；

遍历r^t，若不存在则当前轮无目标输出，返回步骤3继续检测；若存在则为目标输出；

步骤7：判断该p300虚拟键对应的选项是否为子目录，该处子目录为歌名点歌，如果是则进入子目录，该处子目录为歌名翻页，脑机交互界面更新为歌名翻页的脑机交互界面，按照步骤3至步骤6处理；

否则进入下一步骤；

步骤8：判断该选项是否为文本输入类型，该处为歌星点歌和拼音点歌，若为歌星点歌或者拼音点歌，则进入下一步骤，否则，进入步骤16；

步骤9：脑机交互界面切换为文本输入界面，文本输入界面的选择字符均为p300虚拟键，该选择字符共有28个字符；

步骤10：使用者注视着要选取的选择字符；

步骤11：每个选择字符随机闪烁一次，在选择字符闪烁的同时，脑电采集帽同步对头皮脑电信号进行采集，将头皮脑电信号进行带通滤波，将脑电数据截取0-600ms的采样点，对上述0-600ms的采样点进行1/6下采样(每6个采样点选取一个)，将该1/6下采样数据构成一个特征向量，计算机存储每个选择字符闪烁时，对应的特征向量；

步骤12：将上述步骤11重复3遍，计算机对于28个选择字符均生成有对应的3个特征向量；

步骤13：将28个字符中的每个选择字符对应的3个特征向量分别通过分类系统进行分类，确定使用者选择的字符，具体为：

n＝3表示共3轮，每个字符把3轮的3个向量特征和叠加，再求平均，如一个字符的特征向量均值为d平均：

将28个字符中每个字符对应的3轮特征向量分别求d平均，得到特征向量集d2＝[d1,d2,...,d28]，将该特征向量集d2＝[d1,d2,...,d28]进行分类和波形检测，得到28个分类结果s＝[s1,s2,...，si,...,s28]和28个波形检测结果w＝[w1,w2,...,wi,...,w28]，其中对分类结果s只保留其最大的前5个分值并将其余置零；将分类结果s和波形检测结果w相乘，得到r^t：

r^t是一个包含m个非零值的28维行向量；

遍历r^t，若不存在则当前轮无目标输出，返回步骤10继续检测；若存在则为目标输出；

步骤14：按步骤10至步骤13重复选择，直到完成文本输入，该处为歌星名字输入完成或者拼音输入完成；

步骤15：按照输入指令执行对应的功能；

步骤16：执行播放音乐的功能。