一种基于稳态视觉诱发电位的电话拨打系统的操作方法

1.本发明属于脑电解码和人机交互领域，涉及了一种基于稳态视觉诱发电位的电话拨打系统及其操作方法，用于辅助运动功能缺失患者进行通信。


背景技术：

2.目前，我国残疾人总数已达8500万，其中肢体残疾人数近2500万，依靠当今社会医学技术发达，使运动功能缺失而大脑功能正常的病人也可以维持生命体征，但无法与外界沟通与交流让他们心理上承受巨大的痛苦。
3.脑机接口(brain computer interface,bci)是一种不依赖于外周神经系统及肌肉组织，建立人脑和外界直接交流通道的通信系统，可以实现用户“意念”控制外部设备，在脑认知、脑疾病、智能控制和康复医学等领域有着重要应用价值。
4.根据脑电信号生成方式可以把脑机接口系统分为自发式和诱发式两种。自发式脑机接口系统输入信号为人脑正常活动(例如幻想、激动、冷静)产生的脑电波，其优点是不需附加的刺激装置，但缺点是使用者要经过大量的练习，辨识算法的复杂性和准确率低，如基于运动想象(motor image，mi)电位的脑机接口系统。诱发式脑机接口系统有效脑电波成份是通过外部刺激装置来激发的，具有不需要或仅需很少的训练、辨识算法简单、准确率高等特点，但它的缺点是需要附加的激励源来生成有效的脑电波分量，如基于稳态视觉诱发电位的脑机接口系统和基于p300电位的脑机接口系统。
5.稳态视觉诱发电位，通常出现在大脑的枕叶区，是人眼受到一定频率闪烁的外部刺激时诱发的脑电信号，诱发频率范围要求位于4-90hz，是一种连续稳定的事件相关电位，稳态视觉诱发电位典型特征是所产生的脑电信号和刺激源基波和谐波频率成分均相同。稳态视觉诱发电位具有高噪声比、信号集中、易于获取等特点，此外稳态视觉诱发电位具有明显的节律同化特性，这一特点使信号的特征抽取方法大为简化。基于该信号的产生原理，实际实验过程中对受试者伤害较小，且实验难度较小。
6.根据statcounter最新的数据，截至2022年9月，全球移动操作系统市场中 android占比71.54％，ios占比27.81％，其余移动操作系统占比总和低于1％，数据显示android受众最广，且android具有全开源、自由度高的特点，基于以上优点，本发明电话拨打下位机开发系统选择安卓。
7.本发明设计了一个基于稳态视觉诱发电位的安卓端电话拨打系统，为不能正常使用智能设备的肢体障碍患者提供自主通信的新途径。


技术实现要素：

8.发明目的：本发明的目的在于针对缺失运动功能的患者不能正常使用智能通信设备进行交流通话的问题，本发明设计开发了一种基于稳态视觉诱发电位的电话拨打系统，为此类患者提供自主交流通讯的新途径。系统提供视觉刺激界面诱发人脑产生信号，借助无线脑电采集装置实时采集脑电信号，通过对脑电信号中的稳态视觉诱发电位分类,判断
出受试者意图输出相应指令并最终完成电话拨打，此外本发明通过对比多种算法，选择出在此多指令分类任务下效果最优的分类算法，进一步提升系统性能。
9.技术方案：本发明所述的一种基于稳态视觉诱发电位的电话拨打系统，包括视觉刺激与交互模块、脑电信号实时采集模块、脑电信号处理模块和电话拨号模块共四个模块；
10.其中，所述视觉刺激与交互模块用于通过提供视觉刺激产生脑电信号以及实时结果的输出反馈；
11.所述脑电信号实时采集模块用于采集由视觉刺激诱发的脑电信号并传输给处理模块使用；
12.所述脑电信号处理模块用于接收实时信号进行处理分析并将结果反馈给用户；
13.所述电话拨打模块用于接收最终结果并完成拨号。
14.进一步的，所述视觉刺激与交互模块包括交互输出框和ssvep诱发界面，其背景为白色，显示器选用lcd显示屏幕；
15.所述交互输出框用于显示已经输入的数字，颜色为黑色；
16.所述ssvep诱发界面采用图形闪烁刺激，刺激图形为方块，颜色为黑色，共12个，编号分别为1、2、3、4、5、6、7、8、9、n、0和y，刺激方块按可不同频率闪烁，选择频带范围为6-20hz，在此范围内编码，形成稳定视觉刺激；
17.所述闪烁刺激编码方式为正弦编码，公式如下：
[0018][0019]
其中，r为显示器刷新频率，通常情况下是60hz，n为lcd显示器的帧数序号，f为刺激目标的频率，s的范围为0-1。
[0020]
进一步的，所述脑电信号实时采集模块安装在受试者头部，采集受试者的脑电信号，并将信号放大、滤波、数字化，同时脑电信号实时采集模块与脑电信号处理模块连接，传送实时脑电信号；
[0021]
进一步的，所述脑电信号实时采集模块选用博睿康公司研发的64导无线脑电采集系统neusenw64，采集装置包括：一个64导电极帽、一个信号放大器、一个多参数同步器、一个智能同步中心、信号采集软件、一台pc机和一个外接显示器；装置依次连接；电极帽佩戴在受试者头部采集受试者的脑电信号，磁吸在电极帽后端的信号放大器接收电极帽中电极采集到的信号并对信号进行放大、滤波和a/d模数转换，最终通过无线通信将信号传输到startneusenw软件系统中进行显示和记录。
[0022]
进一步的，所述脑电信号处理模块包括预处理、频率识别和号码传输；
[0023]
所述预处理调用basicfirfilter对eeg数据做4-30hz的滤波；
[0024]
所述频率识别采用滤波器组典型相关分析法(filterbankcanonicalcorrlationanalysis，fbcca)算法计算得到目标结果；
[0025]
所述脑电信号实时采集模块内的实时数据传输通过tcp/ip协议建立连接，采用client/server(客户机/服务器)模型，这里客户机和服务器分别对应实时信号处理模块和脑电信号采集模块。neusenw64采集系统已经将tcp/ip协议代码封装在了startneusenw软件中，因此可以通过调用接口函数实现数据接收，在此模块设置ip地址和端口号并选择通道数，从而完成模块间连接的建立。
[0026]
所述脑电信号实时采集模块和脑电信号处理模块间的数据传输通过tcp/ip协议建立连接，信号处理模块是客户端，脑电信号采集模块是服务端，实验人员设置好主机、端口、通道数等参数后运行脑电信号处理模块，该模块中数据接收部分通过通讯客户端接口类dataclient创建接收数据结构体，通过ip地址、端口号、电极通道数、采样率和接收数据大小的设置设定接收到传输的数据，之后调用open()方法建立连接。实时接收的数据会被存储在缓冲区中，通过getbufferdata()方法调用tcpip.userdata()获取单次实验接收的实时数据。
[0027]
进一步的，所述脑电信号处理模块对接收到的脑电信号进行处理并对结果传输，处理内容包括预处理和频率识别，结果传输为号码传送；
[0028]
所述预处理调用basicfirfilter对eeg数据做4-30hz的滤波；
[0029]
所述频率识别采用滤波器组典型相关分析法(filterbankcanonicalcorrlationanalysis，fbcca)算法计算得到目标结果；
[0030]
所述fbcca算法步骤为：
[0031]
步骤1、设计滤波器组，从原始脑电信号中提取出n个子带成分，通过子带提取可以有效利用ssvep信号的谐波信息；
[0032]
步骤2、将滤波后得到的ssvep子带分量分别作为原始脑电信号带入标准cca算法，参考信号为标准正余弦波，得到子带成分的典型相关系数h为子带的编号；之后把n个子频带上的得到的典型相关系数做一个加权平均，对应于每一个刺激频率fi(i＝1,2,
…
s)得到一个整体的相关系数值ρi，计算方法如式(2)所示：
[0033][0034]
步骤3、从这s个相关系数值中选出最大的相关系数值，其对应频率即作为最终的识别结果；可由式(3)确定：
[0035][0036]
所述号码传送采用tcp/ip通信，采用为client/server(客户机/服务器)模型；脑电信号处理模块为客户机，指定要连接的服务端的地址和端口，导入java.net.socket包，通过创建socket对象初始化一个服务端的连接，连接建立完成后通过getoutputstream方法将字符串形式的号码传输到下位机即可。
[0037]
进一步的，所述电话拨打模块进行号码读取和拨打；
[0038]
所述号码读取通过tcp/ip通信实现数据传输，安卓下位机为服务器；通过serversocket类创建服务器，通过accept()方法为serversocket接收请求并返回socket对象，在请求到达前一直保持阻塞，可以实现通过监听获取通信的socket对象；之后在一个新的线程中通过对socket对象进行封装分别得到输入、输出流的引用对象，通过这两个对象可以向客户端发送或者从客户端接收数据，实现socket通信，这里具体实现是通过readline()方法按照字符流读取客户机传输的号码；
[0039]
所述号码拨打通过安卓程序实现，添加拨打电话的权限，即android.permission.call_phone，之后使用安卓的intent通过调用安卓内置的电话通话
功能实现电话拨打，功能成功调用后直接跳转到电话通话界面，系统功能成功实现。
[0040]
进一步的，一种基于稳态视觉诱发电位的电话拨打系统的操作方法，其具体工作流程的步骤如下：
[0041]
步骤(1)、进行脑电采集装置的连接，连接完成后打开start neusen w软件，查看连接是否成功，之后点击开始，查看数据传输是否正常；
[0042]
步骤(2)、为受试者佩戴neusen w 64导脑电帽并在枕叶区八个电极oz、 o1、o2、poz、po3、po4、po5、po6及参考电极ground和reference中打上脑电膏，根据start neusen w软件中的阻抗实时显示功能为电极降阻，保证所用电极阻抗均在10千欧以下；
[0043]
步骤(3)、打开脑电信号处理模块进行数据传输设置，输入端口号和ip地址，连接脑电采集模块，验证数据实时传输是否正常；
[0044]
步骤(4)、打开下位机，通过usb线连接电脑，安装所开发的拨号软件并启动服务，通过matlab向安卓端口发送数据，验证连接是否成功，确保下位机已经和信号处理模块成功建立连接；
[0045]
步骤(5)、为受试者讲解实验注意事项，讲解完成后运行系统；
[0046]
步骤(6)、受试者根据要求注视刺激界面进行号码选择，系统实时输出分析结果，若数字正确则注视下一个数字对应刺激方块，若不正确则注视退格方块删除该数字，号码选择完成后注视拨打命令对应的刺激方块完成此次拨号，若需要继续拨号则重新运行视觉交互模块，若不需要则退出系统。
[0047]
有益效果：本发明与现有技术相比，本发明的特点是：本发明所述的基于稳态视觉诱发电位的安卓端电话拨打系统，刺激频率闪烁稳定、携带方便、识别算法无需训练，为运动功能缺失患者提供新型通信方式，同时系统上位机部分可移植性强，适用于类似多目标场合，具有实用价值。
附图说明
[0048]
图1是本发明的组成框图；
[0049]
图2是本发明中视觉刺激交互模块图形界面设计图；
[0050]
图3是本发明中电极位置分布图；
[0051]
图4是本发明中安卓端软件功能测试界面；
[0052]
图5是本发明的系统使用操作流程图。
具体实施方式
[0053]
为了更清楚地说明本发明的技术方案，下面结合附图对本发明的技术方案做进一步的详细说明：
[0054]
如图1所示，本发明所述的一种基于稳态视觉诱发电位的电话拨打系统，包括视觉刺激与交互模块、脑电信号实时采集模块、脑电信号处理模块和电话拨号模块共四个模块；
[0055]
所述视觉刺激与交互模块诱发用户的脑电信号并实时输出反馈，所述脑电信号经由脑电信号实时采集模块并通过脑电信号处理模块识别目标频率并输出指令，反馈至交互界面并传输给电话拨打模块。
[0056]
如图2所示，所述视觉刺激与交互模块包括输出框和ssvep诱发界面。
16hz和16-30hz两段，其中一次谐波滤波器加权参数为1，二次谐波加权参数为0.05，对每个刺激频率构造正余弦参考信号，然后将滤波器组分析后得到的ssvep子频带分量信号分别作为原始脑电信号带入标准cca算法，对每个子频带对应的典型相关系数做加权平均可以得到ssvep信号对应的相关系数，最终最大典型相关系数对应的频率即为识别频率。
[0068]
频率识别完成后根据频率对应的指令输出反馈即可，详述为：6hz对应显示输出数字号码1、7.5hz对应显示输出数字号码2、9hz对应显示输出数字号码 3、10.5hz对应显示输出数字号码4、11hz对应显示输出数字号码5、12hz对应显示输出数字号码6、13hz对应显示输出数字号码对应显示输出数字号码7、 14hz对应显示输出数字号码8、15hz对应显示输出数字号码9、17hz对应退格、16hz对应显示输出数字号码0和20hz对应拨号。
[0069]
最终将号码传输给下位机，这里采用的的传输方式采用tcp/ip通信，具体方案为client/server(客户机/服务器)模型；matlab端脑电信号处理模块为客户机，指定要连接的服务端的地址和端口，导入java.net.socket包，通过创建socket对象初始化一个服务端的连接，连接建立完成后通过getoutputstream方法将字符串形式的号码传输到下位机即可。
[0070]
所述电话拨号模块主要功能为接收pc端软件发送的电话号码并进行拨打。
[0071]
开发软件为android studio，gradle版本为5.4.1，android sdk platform-tools 版本为33.0.1，sdk platforms为android api 32，调试机为实体机华为nova2s，搭载系统为鸿蒙2.0，本软件最低要求安卓版本为5.0，可在超过98％的安卓手机上正常运行。
[0072]
首先需要读取号码，这里通过tcp/ip通信实现数据传输，安卓下位机为服务器。通过serversocket类创建服务器，通过accept()方法为serversocket接收请求并返回socket对象，在请求到达前一直保持阻塞，可以实现通过监听获取通信的socket对象；之后在一个新的线程中通过对socket对象进行封装分别得到输入、输出流的引用对象，通过这两个对象可以向客户端发送或者从客户端接收数据，实现socket通信，这里具体实现是通过readline()方法按照字符流读取客户机传输的号码。
[0073]
接收到号码后进行拨打，首先需要添加拨打电话的权限，即android.permission.call_phone，之后使用安卓的intent通过调用安卓内置的电话通话功能实现电话拨打，功能成功调用后直接跳转到电话通话界面，系统功能成功实现。
[0074]
图4为下位机安卓软件功能测试界面图，图(a)为软件初始界面，此时未建立连接，图中测试环境连接网络ip地址为10.100.25.176，图(b)为下位机与脑电信号处理模块成功建立连接界面，图(c)为成功完成拨号界面，测试号码为10086，即中国移动通信。
[0075]
本发明系统工作流程如图5所示。
[0076]
步骤1、进行脑电采集装置的连接，连接完成后打开start neusen w软件，查看连接是否成功，之后点击开始，查看数据传输是否正常；
[0077]
步骤2、为受试者佩戴neusen w 64导脑电帽并在枕叶区八个电极oz、o1、 o2、poz、po3、po4、po5、po6以及参考电极ground和reference中打上脑电膏，根据start neusen w软件中的阻抗实时显示功能为电极降阻，保证所用电极阻抗均在10千欧以下；
[0078]
步骤3、打开脑电信号处理模块进行数据传输设置，输入端口号和ip地址，连接脑电采集模块，验证数据实时传输是否正常；
[0079]
步骤4、打开安卓下位机，通过usb线连接电脑，安装所开发的拨号软件并启动服
务，通过matlab向安卓端口发送数据，验证连接是否成功，确保下位机已经和信号处理模块成功建立连接；
[0080]
步骤5、为受试者讲解实验注意事项，讲解完成后运行系统；
[0081]
步骤6、受试者根据要求注视刺激界面进行号码选择，系统实时输出分析结果，若数字正确则注视下一个数字对应刺激方块，若不正确则注视退格方块删除该数字，号码选择完成后注视拨打命令对应的刺激方块完成此次拨号，若需要继续拨号则重新运行视觉交互模块，若不需要则退出系统。
[0082]
拨打号码119的说明如下：
[0083]
用户佩戴脑电采集装置进入任务，任务开始后，用户注释视觉刺激交互界面中按不同频率闪烁的数字。
[0084]
假设用户需要输入10086，则首先注视数字1的按键框，等待输入框出现数字1，则第一个数字输入完成，然后用户注视数字0，等待输入框出现数字0则第二个数字输入完成，接着用户注视数字0，等待输入框出现数字0则第三个数字输入完成，然后用户注视数字8，等待输入框出现数字8则第四个数字输入完成，最好用户注视数字6，等待输入框出现数字6则第五个数字输入完成。
[0085]
拨号完成后用户注视代表拨打指令的按键框，即标有字母y的按键框即可完成拨打，成功拨打下位机显示如图4(c)所示。
[0086]
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。