一种基于diva模型的汉语脑机接口实现方法
【技术领域】
[0001] 本发明公开了一种基于DIVA模型的汉语脑机接口实现方法，涉及脑电信号处理
技术领域。
【背景技术】
[0002] 将大脑中的思维过程"阅读〃出来，这一直是人类的一个梦想。波士顿大学语音 实验室的弗兰克?闪瑟教授（Guenther.F.H.)提出的DIVA(DirectionsIntoVelocities ofArticulators)自适应神经网络模型帮助人们实现了这一梦想。DIVA模型的主要目的是 为了探讨人类产生语音时的生理机制。通过神经传导机制控制发音器官的模型发出声音， 并通过感觉系统来调整目标误差。DIVA模型中中包含了馈控制系统（feedforwardcontrol system)，由语音映射集（speechsoundmap)传出语音信号控制发音器官的动作而产生语 音；另一种为反馈控制系统（feedbackcontrolsystem)，通过听觉区及体感觉区调整发音 时与目标语音所产生的误差。DIVA模型可以仿真和描述有关大脑中涉及语音生成和语音理 解区域的相关功能。可以说，它是一种为了生成单词、音节或音素，用来控制模拟声道运动 的自适应神经网络模型。该网络模型在计算机中学习控制模拟声道的运动，以产生相应的 语音。学习完成之后，模型能够产生语音的任意组合。DIVA网络模型为许多长期研宄的语 音生成现象包括运动等效、语境变化、说话时速度的影响、预期的协同发音和结转协同发音 提供了一个统一的解释。
[0003] 冈瑟教授基于DIVA模型设计出一种神经分析系统的仪器（语音脑机接口系统）， 让使用者只需简单想一想自己所希望表达的语言，语音合成系统就能将其内容直接转换成 语音。通过与脑机接口技术相结合，使用者可以直接控制声音输出，其反应速度比著名科学 家霍金目前正在使用的打字处理方式快了许多。这种神经分析系统由两部分组成：BCI和 语音合成系统DIVA。BCI中，脑电信号的产生方式是一种无线神经电极，用于长期植入患者 的大脑皮层，而检测到的神经信号则被用于驱动语音合成器的连续"运动"，为患者提供实 时语音输出。
[0004] 目前，国内的研宄者们想要设计出能够"阅读"汉语思维过程的汉语神经分析系 统，那么获悉英语和汉语在发音过程中大脑的加工机制的差异并找到适合于汉语发音的脑 电信号分类方法就是汉语神经分析系统设计中的两个重点问题。
【发明内容】
[0005] 本发明所要解决的技术问题是：针对现有技术的缺陷，提供一种基于DIVA模型的 汉语脑机接口实现方法，通过对获取到的语音发音时神经信号进行识别，从而控制驱动语 音合成器的运动。
[0006] 本发明为解决上述技术问题采用以下技术方案：
[0007] -种基于DIVA模型的汉语脑机接口实现方法，其特征在于，具体步骤包括：
[0008] 步骤一、获取人在进行汉语拼音发音时的脑电信号，对采集到的脑电信号进行数 字滤波，去除没有意义的脑电信号成分；
[0009] 步骤二、根据DIVA模型的预定义，选择与中文语音发音任务相关的脑区域电极所 采集到的脑电信号数据；
[0010] 步骤三、对脑电信号进行独立分量分析，选取与发音任务相关的脑电信号成分，去 除与发音行为无关的噪声信号；
[0011] 步骤四、使用Db2小波函数对去噪后的信号进行6层小波包分解，获取脑电信号的 特征向量；
[0012] 步骤五、使用通过小波包分解获得的特征向量对支持向量机分类器进行训练；
[0013] 步骤六、使用经过训练的支持向量机分类器对使用者之后进行发音的脑电信号进 行识别；
[0014] 步骤七、使用步骤六产生的识别结果调整DIVA模型中提供的用户接口对声道参 数进行设置，从而驱动DIVA模型进行发音任务。
[0015] 作为本发明的进一步优选方案，所述步骤一中，使用128通道Neuralynx无创型脑 电记录分析系统进行脑电信号的获取。
[0016] 作为本发明的进一步优选方案，所述步骤三中，使用EEGLAB工具箱runICA方法对 脑电信号进行独立分量分析，去除的噪声信号包括眼电信号、肌动信号。
[0017] 作为本发明的进一步优选方案，所述步骤一中的数字滤波中，滤除频率在 0. 3-30HZ范围以外的信号。
[0018] 作为本发明的进一步优选方案，所述步骤二中，所述DIVA模型中与中文语音发音 相关的脑区域包括了左侧的顶叶下部和颞上回，使用Neuralynx无创型脑电记录分析系统 进行数据采集，对第42通道采集的数据进行处理。
[0019] 作为本发明的进一步优选方案，所述步骤四中，在没有感觉刺激输入的情况下，将 运动皮层中产生的一种9一 13Hz的电信号定义为节律，采用小波包6层分解，将信号正交地 分解到32个独立频带，使得节律的正弦信号划归到相应的第二频带里，取得第二层的分解 系数和能量作为特征向量。
[0020] 本发明采用以上技术方案与现有技术相比，具有以下技术效果：
[0021] 本发明以DIVA模型为基础，使用无创的方式进行了汉语发音的脑电信号的采集 并对信号进行去噪，特征提取以及分类和识别，将识别结果输入DIVA模型中，通过DIVA模 型通过与脑机接口（BCI)的结合，构造出符合汉语语音发声规律、具有真正生理学意义的 汉语语音生成与获取的神经计算模型，从而为进一步构造出具有中国人思维特征的"思想 阅读器"奠定理论和实践基础。
【附图说明】
[0022] 图1为128通道Neuralynx脑电记录分析扫描帽电极位置图。
[0023] 图2为DIVA模型对小波包分解示意图。
[0024] 图3为支持向量机模型识别结果图。
[0025] 图4为中文语音脑机接口系统处理脑电信号并控制DIVA模型发音的流程图。
【具体实施方式】
[0026] 下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始 至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参 考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。 [0027] 下面结合附图对本发明的技术方案做进一步的详细说明：
[0028] 本发明使用DIVA模型的定义对语音脑电信号进行提取，采用小波包分解得进行 语音脑电信号的特征提取，使用特征向量对SVM分类器进行训练，并使用训练后的支持向 量机模型对语音脑电信号进行识别，从而确定发音音素，最终控制DIVA模型进行语音输 出，包括以下步骤：
[0029] 步骤1、采用无创型的128通道Neuralynx脑电记录分析系统对汉语者发音时的脑 电信号进行采集，并进行〇. 3-30HZ的数字滤波处理，去除没有意义的脑电信号；
[0030] 步骤2、在经过国内研宄者修改后的DIVA模型中，对与中文语音发音相关的脑区 域的激活做出了明确的定义，这些区域包括了左侧的顶叶下部和颞上回，左侧的枕中回，在 Neuralynx脑电记录分析系统中，这些区域是42,37,28号电极位置，所以脑机接口系统选 取这些电极采集到的脑电信号进行处理。
[0031] 步骤3、对脑电信号进行独立分量分析，选取与发音任务相关的脑电信号成分，去 除与发音行为无关的眼电，肌动等噪声信号。假设源信号为：
[0032] S(t) = [s^t),s2(t), . . .sN(t)]T (I)
[0033] 其中，T表示转置运算，S1 (t). . .sN(t)为信号矢量，t是采样时间，N为未知源信号 矢量的数量，则采集到的脑电信号为：
[0034] Q(t) =Iq1 (t),q2 (t), . . .qm (t)]T (2)
[0035] 其中，111为电极数量41(〇，％(〇，...9111(〇为每个电极采集到的脑电信号矢量，而 脑电信号是由N个未知源信号组成的，每个源信号的都是统计独立的，而且都有空间信息 权重，可以写成：
[0036] Q(t)=AS(t) (3)
[0037] 式中，A是MXN维满秩混合矩阵，A的每一列是每个未知源信号都有固定的空间信 息权重。通过求解NXM列满秩混合分离矩阵W，使其作用于观测信号U所得估计信号X' =冊，在统计独立的意义下最逼近与位置源信号X，因为眼电肌动等干扰信号多为亚高斯 信号，所以使用代价函数调节W使得X'的各个分量尽可能地独立，来区分超高斯和亚高斯 信号，以便将脑电数据中有用成分和眼电与肌动等干扰信号分离出来。
[0038] 步骤4、对于任意小波级数：
【主权项】
1. 一种基于DIVA模型的汉语脑机接口实现方法，其特征在于，具体步骤包括： 步骤一、获取人在进行汉语拼音发音时的脑电信号，对采集到的脑电信号进行数字滤 波，去除没有意义的脑电信号成分； 步骤二、根据DIVA模型的预定义，选择与中文语音发音任务相关的脑区域电极所采集 到的脑电信号数据； 步骤=、对脑电信号进行独立分量分析，选取与发音任务相关的脑电信号成分，去除与 发音行为无关的噪声信号； 步骤四、使用Db2小波函数对去噪后的信号进行6层小波包分解，获取脑电信号的特征 向量； 步骤五、使用通过小波包分解获得的特征向量对支持向量机分类器进行训练； 步骤六、使用经过训练的支持向量机分类器对使用者之后进行发音的脑电信号进行识 别； 步骤走、使用步骤六产生的识别结果调整DIVA模型中提供的用户接口对声道参数进 行设置，从而驱动DIVA模型进行发音任务。
2. 如权利要求1所述的一种基于DIVA模型的汉语脑机接口实现方法，其特征在于：所 述步骤一中，使用128通道Neuralynx无创型脑电记录分析系统进行脑电信号的获取。
3. 如权利要求1所述的一种基于DIVA模型的汉语脑机接口实现方法，其特征在于：所 述步骤S中，使用邸GLAB工具箱runICA方法对脑电信号进行独立分量分析，去除的噪声信 号包括眼电信号、肌动信号。
4. 如权利要求1所述的一种基于DIVA模型的汉语脑机接口实现方法，其特征在于：所 述步骤一中的数字滤波中，滤除频率在0. 3-30化范围W外的信号。
5. 如权利要求1所述的一种基于DIVA模型的汉语脑机接口实现方法，其特征在于：所 述步骤二中，所述DIVA模型中与中文语音发音相关的脑区域包括了左侧的顶叶下部和颠 上回，使用Neuralynx无创型脑电记录分析系统进行数据采集，对第42通道采集的数据进 行处理。
6. 如权利要求1所述的一种基于DIVA模型的汉语脑机接口实现方法，其特征在于：所 述步骤四中，在没有感觉刺激输入的情况下，将运动皮层中产生的一种9-13化的电信号 定义为节律，采用小波包6层分解，将信号正交地分解到32个独立频带，使得节律的正弦信 号划归到相应的第二频带里，取得第二层的分解系数和能量作为特征向量。
【专利摘要】本发明公开了一种基于DIVA模型的汉语脑机接口实现方法，通过对获取到的语音发音时神经信号进行识别，从而控制驱动语音合成器的运动。本发明以DIVA模型为基础，使用无创的方式进行了汉语发音的脑电信号的采集并对信号进行去噪，特征提取以及分类和识别，将识别结果输入DIVA模型中，通过DIVA模型通过与脑机接口（BCI）的结合，构造出符合汉语语音发声规律、具有真正生理学意义的汉语语音生成与获取的神经计算模型，从而为进一步构造出具有中国人思维特征的“思想阅读器”奠定理论和实践基础。
【IPC分类】G06F3-01
【公开号】CN104679249
【申请号】CN201510100475
【发明人】张少白, 曾又
【申请人】南京邮电大学
【公开日】2015年6月3日
【申请日】2015年3月6日