基于动态语义目标闪烁与径向棋盘格运动的视觉诱发脑控方法

1.本发明属于生物医学工程及脑-机接口领域，涉及一种基于动态语义目标闪烁与径向棋盘格运动的视觉诱发脑控方法。


背景技术：

2.脑控技术是一种可实现大脑与外部设备进行直接交互的新兴技术，该项技术通过采集操控者脑控意图的大脑皮层电信号，借助人工智能算法对其脑控意图进行识别并转化为外围设备的控制信号，从而实现操控者与外围设备间的直接交互。
3.在脑控系统的研究中，根据脑电信号产生机理的不同可将其分为：自发型脑控系统，如运动想象脑控系统与诱发型脑控系统，如稳态视觉诱发脑控系统、p300脑控系统等。其中，基于稳态视觉诱发电位的诱发型脑控系统，因其具有稳定的时频响应特性和较高的信息传输率，得到了广泛的应用。
4.但传统的视觉诱发脑控系统，一般多采用基于led(light emitting diode，led)的光闪烁刺激、棋盘格翻转刺激等方式进行视觉电位的诱发，长时间使用易造成操控者的视觉疲劳，降低视觉诱发电位的信噪比，进而影响信号的分类精度。近年来研究人员先后提出的牛顿环、往复摆动、螺旋运动等稳态视觉诱发范式，相比传统的刺激范式具有更好的舒适性且不易疲劳。但上述范式缺少对动态非结构化环境的适应性，仅能在预先设定的场景下进行使用。此外，现有的视觉诱发电位信噪比低，严重影响了脑电信号的解码精度。


技术实现要素：

5.本发明的目的在于解决现有技术中的问题，提供一种基于动态语义目标闪烁与径向棋盘格运动的视觉诱发脑控方法，旨在解决现有技术中缺少对动态非结构化环境的适应性，仅能在预先设定的场景下进行使用的缺陷性技术问题。
6.为达到上述目的，本发明采用以下技术方案予以实现：
7.本发明提出的一种基于动态语义目标闪烁与径向棋盘格运动的视觉诱发脑控方法，包括如下步骤：
8.s1、基于动态语义目标闪烁与径向棋盘格运动的视觉诱发刺激目标为：将基于二维语义地图进行分割处理，得到室内动态语义目标图片，对动态语义目标图片经过灰度处理后与径向棋盘格进行嵌套组合，并以正弦调制的方式进行闪烁；
9.s2、基于动态语义目标闪烁与径向棋盘格运动的视觉诱发范式由具有不同闪烁频率的视觉诱发刺激目标组成，将视觉诱发范式通过视觉诱发单元呈现在操控者面前，操控者根据自己的脑控意图选择对应的视觉诱发刺激目标进行注视；
10.s3、位于操控者头部的脑电信号采集单元同步采集操控者大脑皮层枕叶区产生的视觉诱发电位；
11.s4、将获取的视觉诱发电位通过脑电信号采集单元发送给位于操控者移动范围之
内的脑电信号处理单元；脑电信号处理单元对采集到的脑电信号进行处理，分析得到操控者的脑控意图。
12.优选地，视觉诱发刺激目标的中间部分为动态语义目标图片，视觉诱发刺激目标的外围部分为径向棋盘格收缩-扩张运动。
13.优选地，视觉诱发范式的实现方法如公式(1)所示：
[0014][0015]
其中，pic为经灰度处理后动态语义目标图片的矩阵；为相位值函数；sign为符号函数；r(x,y)为径向棋盘格像素点(x,y)的长度；ang(x,y)为径向棋盘格像素点(x,y)的角度；s为棋盘格运动幅度；h为棋盘格宽度；n为单个圆环分割的格子数；i0为背景亮度；r1和r2分别为棋盘格内半径与外半径。
[0016]
优选地，相位值函数的数学表达式如公式(2)所示：
[0017][0018]
其中，f为变化频率，即棋盘格由收缩到扩张及动态语义目标图片由暗到亮所需时间的倒数。
[0019]
优选地，根据脑电信号处理单元的屏幕刷新率需要将相位值函数中的时间t进行离散化，离散化方法如公式(3)所示：
[0020]
t(n)＝n/fr，n＝1,2,3,
…ꢀꢀꢀꢀ
(3)
[0021]
其中，fr为屏幕刷新率，n为帧序号。
[0022]
优选地，脑电信号采集单元与脑电信号处理单元通过wifi连接；
[0023]
脑电信号采集单元为标准10/20的通道分布的脑电采集设备；脑电信号处理单元为笔记本电脑、ipad或台式电脑。
[0024]
优选地，视觉诱发单元为脑电信号处理单元的屏幕。
[0025]
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行计算机程序时实现基于动态语义目标闪烁与径向棋盘格运动的视觉诱发脑控方法的步骤。
[0026]
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现基于动态语义目标闪烁与径向棋盘格运动的视觉诱发脑控方法的步骤。
[0027]
与现有技术相比，本发明具有以下有益效果：
[0028]
本发明提出的一种基于动态语义目标闪烁与径向棋盘格运动的视觉诱发脑控方法，针对传统视觉诱发脑控方法对环境适应性差的缺点，将基于环境信息的动态语义目标与径向棋盘格运动相结合，提高视觉诱发脑控系统的适用性；而针对传统的视觉诱发电位信噪比低的问题，基于动态语义目标闪烁与径向棋盘格运动的视觉诱发范式，实现对视觉诱发电位的双重刺激，以此提升视觉诱发电位频率响应特性、有效降低操控者的视觉疲劳度，提升脑电信号质量，可有效改善视觉诱发电位的响应强度和识别正确率。
附图说明
[0029]
为了更清楚的说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0030]
图1为本发明的基于动态语义目标闪烁与径向棋盘格运动的视觉诱发脑控方法流程图。
[0031]
图2为本发明设计的基于动态语义目标闪烁与径向棋盘格运动的视觉诱发脑控系统中脑电信号采集单元的电极位置示意图。
[0032]
图3为本发明的基于动态语义目标闪烁与径向棋盘格运动的视觉诱发范式中，以8hz为变化频率的视觉诱发刺激目标灰度调制图。
[0033]
图4为本发明所设计的基于动态语义目标与径向棋盘格运动的视觉诱发刺激目标的示意图案。
[0034]
图5为本发明以9个视觉诱发刺激目标为例的分布示意图。
[0035]
图6为本发明基于动态语义目标闪烁与径向棋盘格运动的视觉诱发脑控系统图。
具体实施方式
[0036]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
[0037]
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0038]
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
[0039]
在本发明实施例的描述中，需要说明的是，若出现术语“上”、“下”、“水平”、“内”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操控，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0040]
此外，若出现术语“水平”，并不表示要求部件绝对水平，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。
[0041]
在本发明实施例的描述中，还需要说明的是，除非另有明确的规定和限定，若出现术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据
具体情况理解上述术语在本发明中的具体含义。
[0042]
下面结合附图对本发明做进一步详细描述：
[0043]
本发明提出的一种基于动态语义目标闪烁与径向棋盘格运动的视觉诱发脑控方法，如图1所示，本发明所涉及的基于动态语义目标闪烁与径向棋盘格运动的视觉诱发脑控方法，如图1所示，包括如下步骤：
[0044]
s1、基于动态语义目标闪烁与径向棋盘格运动的视觉诱发刺激目标为：将基于二维语义地图进行分割处理，得到室内动态语义目标图片，对动态语义目标图片经过灰度处理后与径向棋盘格进行嵌套组合，并以正弦调制的方式进行闪烁；
[0045]
s2、基于动态语义目标闪烁与径向棋盘格运动的视觉诱发范式由具有不同闪烁频率的视觉诱发刺激目标组成，将视觉诱发范式通过视觉诱发单元呈现在操控者面前，操控者根据自己的脑控意图选择对应的视觉诱发刺激目标进行注视；
[0046]
s3、位于操控者头部的脑电信号采集单元同步采集操控者大脑皮层枕叶区产生的视觉诱发电位；
[0047]
s4、将获取的视觉诱发电位通过脑电信号采集单元发送给位于操控者移动范围之内的脑电信号处理单元；脑电信号处理单元对采集到的脑电信号进行滤波、去除趋势项及典型相关分析处理，分析得到操控者的脑控意图。
[0048]
其中，视觉诱发单元位于操控者面前，脑电信号采集单元位于操控者头部，脑电信号处理单元位于操控者移动范围之内，脑电信号采集单元与脑电信号处理单元采用无线wifi连接，不仅覆盖范围广，而且速度快且网络稳定。
[0049]
脑电信号处理单元为笔记本电脑、ipad或台式电脑，视觉诱发单元为笔记本电脑、ipad或台式电脑的屏幕。
[0050]
视觉诱发范式的实现由matlab软件下的psychtoolbox工具箱，进行基于动态语义目标闪烁与径向棋盘格运动的视觉诱发范式的编写。通过无线wifi传输技术，将采集到的poz、po3、po4、po5、po6、oz、o1和o2通道的脑电信号传送给脑电信号处理单元。脑电信号处理单元为笔记本电脑，对接收到的上述脑电信号进行预处理，并进一步通过典型相关分析算法得出操控者的脑控意图。
[0051]
基于动态语义目标闪烁与径向棋盘格运动的视觉诱发脑控方法，具体包含以下步骤：
[0052]
步骤1，让操控者正坐于基于动态语义目标与径向棋盘格运动的视觉诱发单元之前，为其佩戴脑电采集单元，脑电信号采集单元为选用国际标准10/20的通道分布的博睿康64导无线脑电采集设备，能够同时采集64个通道的数据，如图2所示，为脑电信号采集单元的电极位置示意图，黑色的为研究中所需要的电极，选取cpz为参考电极，gnd为接地电极。
[0053]
步骤2，基于动态语义目标闪烁与径向棋盘格运动的视觉诱发范式的设计：
[0054]
如图3所示，为视觉诱发范式中，以8hz为变化频率的视觉诱发刺激目标灰度调制图，如图4所示，为视觉诱发刺激目标的示意图案，如图5所示，以9个视觉诱发刺激目标为例的分布示意图。
[0055]
将以9个室内语义目标为例，进行基于动态语义目标闪烁与径向棋盘格运动的视觉诱发范式的设计：将基于室内实际环境创建的二维语义地图进行分割，得到具有室内动态语义信息的目标图片，并进行灰度处理后，与径向棋盘格收缩-扩张运动进行嵌套组合，
得到9个视觉诱发刺激目标。其中，视觉诱发刺激目标的中间部分为动态语义目标图片，外围部分为径向棋盘格收缩-扩张运动。设计好的基于动态语义目标闪烁与径向棋盘格运动的视觉诱发范式，通过视觉诱发单元呈现于操控者面前。不同的视觉诱发刺激目标，采用不同频率的正弦信号进行调制。动态语义信息的目标图片半径为90.5像素，径向棋盘格的外半径为130像素，径向棋盘格的单个环的宽度为20像素，径向棋盘格平均分为15个格，径向棋盘格的运动尺寸为20像素，视觉诱发刺激目标之间的纵向距离为150像素，视觉诱发刺激目标之间的横向距离为400像素。
[0056]
将9个视觉诱发刺激目标，分别以7hz、7.5hz、8hz、8.5hz、9hz、9.5hz、10hz、10.5hz、11hz的正弦频率进行调制，一个目标需要对应一个正弦调制的闪烁频率；并将9个视觉诱发刺激目标均匀排布在笔记本电脑屏幕上，操控者头部距离视觉诱发单元60～100厘米。
[0057]
基于动态语义目标与径向棋盘格运动的视觉诱发范式的实现如公式(1)所示：
[0058][0059]
其中，pic为经灰度处理后动态语义目标图片的矩阵；为相位值函数；sign为符号函数；r(x,y)为径向棋盘格像素点(x,y)的长度；ang(x,y)为径向棋盘格像素点(x,y)的角度；s为棋盘格运动幅度；h为棋盘格宽度；n为单个圆环分割的格子数；i0为背景亮度；r1和r2分别为棋盘格内半径与外半径。
[0060]
其中，相位值函数的数学表达式如公式(2)所示：
[0061][0062]
其中，f为变化频率，即棋盘格由收缩到扩张及动态语义目标图片由暗到亮所需时间的倒数；相位函数由0到1时，棋盘格扩张，动态语义目标图片变暗；相位函数由1到0时，棋盘格收缩，动态语义目标图片变亮。
[0063]
基于动态语义目标闪烁与径向棋盘格运动的视觉诱发范式通过视觉诱发单元呈现给操控者，根据脑电信号处理单元的屏幕刷新率需要将式(2)中的时间t进行离散化，即离散化方法如公式(3)所示：
[0064]
t(n)＝n/fr，n＝1,2,3,
…ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0065]
其中，fr为屏幕刷新率，n为帧序号。
[0066]
步骤3，操控者根据自己的脑控意图选择一个视觉诱发刺激目标进行注视，脑电信号采集单元同步采集枕叶区poz、po3、po4、po5、po6、oz、o1和o2通道的脑电信号，并将脑电信号采集单元采集的脑电信号通过wifi发送给脑电信号处理单元。
[0067]
步骤4，脑电信号处理单元对采集到的脑电信号进行滤波、去除趋势项的预处理，然后采用典型相关分析算法对处理后的信号进行频率识别。
[0068]
步骤5，将经视觉诱发单元刺激得到的视觉诱发电位解码结果显示在笔记本电脑屏幕上、ipad屏幕上或台式电脑屏幕上，反馈给操控者。
[0069]
步骤6，操控者根据自主脑控意图，然后返回步骤3进行下一轮的脑电信号目标选
择。
[0070]
基于动态语义目标闪烁与径向棋盘格运动的视觉诱发脑控系统，如图6所示，包括位于操控者面前的视觉诱发单元、位于操控者头部的脑电信号采集单元以及位于操控者移动范围之内的脑电信号处理单元。视觉诱发范式通过视觉诱发单元呈现给操控者，操控者注视视觉诱发单元的同时，脑电信号采集单元采集操控者大脑皮层枕叶区产生的视觉诱发电位，脑电信号采集单元与脑电信号处理单元采用无线wifi传输视觉诱发电位，并对采集到的脑电信号进行滤波、去除趋势项及典型相关分析处理，分析得到操控者的脑控意图，将脑电信号处理单元得到的视觉诱发电位解码结果显示在视觉诱发单元上，反馈给操控者。
[0071]
本发明一实施例提供的终端设备，该实施例的终端设备包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序。所述处理器执行所述计算机程序时实现上述各个方法实施例中的步骤。或者，所述处理器执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能。
[0072]
所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。
[0073]
所述终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器、存储器。
[0074]
所述处理器可以是中央处理单元(centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
[0075]
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述终端设备的各种功能。
[0076]
所述终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
[0077]
本发明提出的一种基于动态语义目标闪烁与径向棋盘格运动的视觉诱发脑控方法，具有以下优点：
[0078]
1)、针对传统视觉诱发脑控方法对环境适应性差的缺点，本发明将基于环境信息
的动态语义目标与径向棋盘格运动，实现对视觉诱发电位的双重刺激，以此提升视觉诱发电位频率响应特性。
[0079]
2)、基于动态语义目标闪烁与径向棋盘格运动的视觉诱发范式，可以有效降低操控者的视觉疲劳度，提升脑电信号的信噪比，有利于脑电信号的分类与识别。
[0080]
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。