针对句子听力任务大脑动态功能网络交互模式的研究方法与流程

本发明是言语的脑认知领域，特别是针对句子听力任务的言语动态交互网络研究领域，具体为针对句子听力任务大脑动态功能网络交互模式的研究方法。

背景技术：

自古以来人类的生活就离不开信息的传播和交流。人类的语言正是在这种需求下产生的，语言承载着传递信息的使命，一直以来人类都在对大脑的言语认知功能进行探究。近些年来，随着人工智能的发展，对脑的研究有了更迫切的需要。

到上世纪80年代，随着脑功能成像技术的发展使得研究领域大大的拓宽，可以以正常人为对象探究各种语言任务大脑的活动模式。其中具有高空间分辨率的脑功能磁共振成像(functionalmagneticresonanceimaging,fmri)技术可实现特定任务下的大脑区域活动定位。fmri是一种特殊的磁共振成像(magneticresonnanceimaging，mri)扫描，用来测量大脑或脊髓的神经活动相关的血氧反应。fmri技术空间分辨率极高达到1-2毫米，可以精细地提供大脑各个区域状况。但是我们知道大脑能在一瞬间完成一系列任务，fmri虽然有极高的空间分辨率达到1-2毫米但是时间分辨率不高，无法检测大脑的动态加工过程。eeg是另一种常用的探究大脑机制的技术。eeg记录头皮电随时间反应变化，包含有关神经活动的丰富信息，并且时间分辨率达到1-2毫秒甚至更低的采集频率。这两种方法在时间和空间特性上各有其优劣。大脑活动特性除了复杂的空间结构和快速的动态时间特性外，越来越多的研究表明大脑通过频率同步各个脑区去完成同一个认知任务是一个网络现象。但是由于技术的局限性和大脑认知复杂性，我们通常无法同时从时间，空间和频率三个维度去探究大脑的复杂活动。因此言语的神经机制过程仍然是不清楚的，探索这一个高度复杂的过程仍然是一个极具挑战的目标。

此外语法、语义、韵律和工作记忆都是自然语言中在大脑机制处理的最重要的特征。已有神经影像学的研究证明大脑处理语义和语法的神经基础是不同的，由于大脑语言处理过程十分复杂，传统认知神经科学使用人工设计的句法违反或者语义违反的语料来收集神经语影像数据进而研究这个问题。由于人工设计的语料脱离了人类通常的语言理解环境，结论通常无法泛化到实际语言场景中，另外受控刺激会引入语言理解之外的其它因素，因而无法探究人脑在自然语言理解情况下语义、语法、韵律和工作记忆表征。

技术实现要素：

本发明的目的是阐明句子听力过程中涉及到的语法网络，语义网络，韵律网络，工作记忆表征在神经震荡调制下和抽象语言结构(音节，词汇，短语，句子)的时间进程隐式边界的关系映射。

针对上述目标，本文提出了一个概念模型。根据语言学外界分块的时间线索探讨了句子听觉感知的动态功能网络的交互模式。它主要利用具有高时间分辨率eeg技术来测量句子听力任务中多通道脑电信号并结合具有高时间分辨率的fmri数据库来弥补空间缺陷。此外，本研究在听力任务中使用句子而不是词汇来更好地模拟连续语音的发展过程，从而探索更多的功能性网络(如句法处理)。具体步骤如下：1)句子听力任务下脑认知的eeg数据的动态特征提取。2)eeg的动态网络构建。3)相似性空间匹配通过fmri数据库中提取语法，语义，韵律，工作记忆四个网络的空间特征提取与eeg动态网络进行匹配。

1)eeg数据的采集及预处理

实验数据是在天津大学认知计算与应用实验室进行采集，针对概念模型的需求设计句子材料，设计实验方法，招募符合要求的被试。eeg数据采集完成后首先将原始的eeg数据进行预处理，主要包含以下步骤：

步骤1——下采样：这里我们将数据从1000hz降采样到250，下采样有助于压缩数据大小，并且它可以通过切除不必要的高频信息从而获得更好的独立成分分析结果。

步骤2——滤波：这里应用高通滤波的目的是为了消除基线，高通滤波到1hz，因为已经通过大量的证明1hz可以使得更多的有效成分保留。

步骤3——导入通道坐标信息：我们需要导入电极坐标文件对应的信号电极通道删除造成的“坏”频道信号信号漂移。

步骤4——子空间重建并删除坏道：这里主要是对受损的部分进行重建以确保数据的完整性而采用的一种方法。因为直接全脑平均可能导致不对称的问题，所以这里需要把之前删掉的通道进行插入。

步骤5——重参考：如果大脑皮层偶极电流分布和脑电图外部电源有相同数量的正极和负极的电荷则整个头皮地形的电压是零。所以这里我们通常会设置一个参考电极然后计算其它电极所在位置和参考电极之间的电位差。

步骤6——分段：因为脑电数据是从实验开始到实验结束全程记录的。所以我们根据采集数据时的标记号要对感兴趣数据进行分段。

2)eeg网络的构建

通常眼动，眨眼，肌肉，心脏和线的噪音会干扰大脑信号。本发明应用了独立成分分析的方法(independentcomponentanalysis，ica)将eeg的头皮层数据从通道基转化为成分基。进而从其它生物伪迹(肌肉运动，心脏跳动的干扰信号)中选出与任务相关的大脑成分。其中ica作为主要有效成分提取方法，它的基本原理是对已知的n维观测信号矢量x，存在一个混合矩阵a和m维未知源信号矢量s(m<n),使得x＝as，即

x1(t)＝a11s1(t)+a12s2(t)

x2(t)＝a21s1(t)+a22s2(t)

也就是说，

xj(t)＝aj1s1(t)+aj2s2(t)+…+ajn(t)sn

其中每一个s成分统计独立，每一个成分具有非高斯的分布，混合矩阵a为方阵且可逆，从而求得a。假设a的逆矩阵为w，那么

wx＝was

大脑有效成分提取出来后通过偶极子溯源定位方法对大脑成分的源头进行定位。偶极子定位方法可根据头皮脑电的分布，运用电场理论和计算机技术，推算出产生这一脑电活动的假象源。最后我们还需要通过格兰杰因果分析方法对特定频段的皮层区域之间的不对称因果相互作用进行计算。格兰杰因果方法可以用来描述两个源之间的连接关系，它假设了在时间序列下，通过比较“已知上一时刻所有信息，这一时刻x的概率分布情况”和“已知上一时刻除y以外的所有信息，这一时刻x的概率分布情况”，来判断y对x是否存在因果关系。从而得到正在进行认知过程的大脑联通矩阵的变化结果。最后我们对涉及到的脑区在每个时间点和每个频段值计算连接强度来构建大脑动态网络。

3)相似性空间匹配

在语言学中，语言是由小的元素根据语法系统组合成更大的结构，从而形成语言单位的层次结构，如音节，词汇，短语和句子。日常生活交流中，从音节的几百毫秒到句子的几秒钟，听者必须构建一个不同大小的语言结构层次。其中感知一个句子，音节是听觉可以区分的语音结构的基本单位，词汇是语义的最小单元，短语则是语法建构成句子的最小单元。所以我们这里根据语言学的外界分块的时间线索探讨了句子听觉感知的动态功能网络的交互模式。这里使用了专业的斯坦福分词器。本研究使用eeg技术获取句子听觉感知任务中的脑电信号，然后构建eeg数据的动态时频网络，于此同时从fmri功能网络数据库中提取出四个与句子感知任务相关的静态网络模版并将其转换成功能连接矩阵。随后将fmri功能连接矩阵作为一个空间滤波器把动态的eeg有效信号中的语义，语法，韵律，工作记忆的时频特性提取出来后进行进一步的分析。最后本研究通过两个标准对分析结果进行评价，第一个是通过听力刺激的语法层级结构对时频结果进行评价，第二个是基于言语感知的先前研究和证据对结果进行解释和对比。

有益效果：本发明用到的空间相似性分析方法结合高时间和高空间两种新型技术，对句子听觉刺激从时间，空间，频率对脑电波进行更细节的分析得出了大脑功能网络和言语认知的关系。具有优点有：

1)大脑震荡和认知功能的关系一直是研究的焦点，该方法使得频段同时在高时间和高空间维度的特征被观察。利用具有高时间分辨率eeg技术来测量句子听力任务中多通道脑电信号并结合具有高时间分辨率的fmri数据库来弥补空间缺陷。

2)本研究在听力任务中使用句子而不是词汇来更好地模拟连续语音的发展过程，从而探索更多的功能性网络(如句法处理)。

3)通过使用句子刺激对多功能网络交互和整合有了更具体的认识并揭示了在连续的听觉语料中大脑对语言的语法，语义，韵律，工作记忆的处理过程。

附图说明

图1是实验设计范例图；

图2是实验听力刺激语料语言层次图；

图3是概念模型图。

具体实施方式

以下结合附图及较佳实施例，对依据本发明提供的具体实施方式、结构、特征及其功效，详细说明如下。

1)实验数据采集

首先我们对eeg数据进行获取，十六个来自天津大学的学生被招募，所有的受试者的听力正常，并且母语均为中文。在实验前的一周内，所有受试者没有过服用神经源性药物。并且没有神经系统或重大的医学疾病。在实验开始之前，在自愿的基础上所有受试者均签署了实验的知情同意书并在实验后获得一定的报酬，该实验获得当地伦理委员会的批准。本研究的实验材料包括180个句子的听觉录音，这些句子有相同的语法结构，为了避免学习效应，我们使用60*3的模式并人为的打乱句子。所有的听力材料均由一名母语为普通话的男性录音在专业的录音屏蔽室内进行的录音。每个句子平均录音时长为4500毫秒。录制时，音频采样速率为44100hz。

参与者坐在距离显示器60-65厘米的地方(分辨率为1360x768p)，额头靠在椅背上，以防止剧烈运动。数据采集及环境设定使用了curry7软件，所用放大器类型为quick128,采样频率为1000hz,使用了ac采集模式。语音记录使用麦克风(索尼ecmms957)在44100赫兹，20名实验受试中，有两名受试由于在数据采集过程中发生电极接触不良情况，还有四名被试采集的数据有效成分太少，所采集的数据被弃用。剩余十四名受试在采集脑电数据时，每个电极的电阻都确保降到了5千欧以下，且没有出现电极之间有导联的情况。

2)eeg有效大脑成分提取和因果连接计算

eeg数据采集完成后首先将原始的eeg数据下采样到250hz并且进行1到50hz的带通滤波，移除坏道后对数据进行重参考。然后将连续的数据分成180段，每段的范围是从-1000ms到5000ms。每个句子出现的开始时间前1000ms为基线。本研究应用了独立成分分析的方法从其他生物伪迹(肌肉运动，心脏跳动的干扰信号)中选出与任务相关的99个有效大脑成分。对所选有效大脑成分进行格兰杰因果分析方法，并对信息流的值进行计算，从而得到正在进行认知过程的大脑联通矩阵的变化结果。最后我们对涉及到的脑区在每个时间点和每个频段值计算连接强度来构建大脑动态网络。

3)句子听觉刺激的语言层次分词

我们在进行相似性匹配之前我们需要分析句子听力任务中刺激的语言学层次结构，首先句子是由短语组成的一个层次结构，通常包括名词和动词两种类型的短语，短语通常是由一系列的词汇根据语法结构组成，这里由常见的五种类型：名词短语，形容词短语，动词短语，副词短语和介词短语。本次将使用的刺激是一个词汇，由两个中国汉字组成并且一个汉字是一个音节。这里我们将使用专业的分词软件斯坦福分词器去分析刺激材料句子。因为本研究使用的刺激是具有相同语法结构，所以这里只给出一个样例：天气预报报道天津天气凉爽适合旅游。

4)言语认知网络频率特征分析

所有被试的大脑动态网络构建完成之后，考虑到每个被试定位的脑成分的坐标和数量不同，本文有必要对每个被试的连接结果进行统计分析，以减少个体受试者之间的差异并使得大脑网络结果具有普遍有效性。高斯平滑方法用于扩展同一簇中不同被试的成分，这些成分之间存在重叠的大脑区域，通过计算重叠率重新定义基于该簇的源成分，然后使用t检验方法对结果进行统计分析。

本文基于人脑的功能形态和连接地图的fmri数据库提取了上述四个静态功能网络。目的是为了探索在听力任务中与语音感知相关的大脑活动的变化。本文从数据库中提取与任务相关的工作记忆，语义处理，句法处理和韵律处理网络，并为这些功能网络构建功能邻接矩阵。同时，构建了包括时间，频率和空间在内的脑电动态连接矩阵。然后，本研究使用基于皮尔逊相关系数的空间相关分析方法来量化大脑空间状态在时间和频率上的相似性。我们计算了脑电数据所有时间和频率窗口的大脑活动矩阵与四个功能磁共振成像大脑静态功能网络状态之间的相关性。然后得到空间相关性分析的时频结果。皮尔逊相关系数的公式为：

其中x为eeg动态矩阵，y为fmri静态矩阵。

5)结果评价

语音感知是在神经生理水平上以分层方式进行的，这与语言学上语言分层结构相符。大脑是基于语言单元的不同时间跨度的不同频带的解析能力来实现这种分层处理。其中，工作记忆主要通过theta波段来作为听觉输入存储音节信息。语义网络主要由alpha和beta波段对单个词汇的意义进行处理。句法网络主要由delta和theta波段对以短语为单位句法信息进行建构。韵律网络主要是delta和theta波段同样以短语为单位进行韵律信息的构建，以帮助分割句法结构的边界。