一种顾及空间和频谱的多源脑间同步信息融合方法及系统

本发明涉及脑机接口，尤其涉及一种顾及空间和频谱的多源脑间同步信息融合方法及系统。

背景技术：

1、随着新兴技术手段的涌现与不断发展，教育与人工智能、脑神经科学等领域产生交叉融合，多学科交叉融合成为教育现代化的知识创新源泉。计算机支持的协作学习(computer supported collaborative learning，cscl)，是通过小组或团队形式组织学习者学习的方式。协作学习相比个体学习更能促进学习者发展高阶思维能力、掌握知识和形成积极的学习态度。近年来，cscl领域致力于从细粒度、多维度理解协作学习的复杂性，其分析的主要维度包括社会、认知、元认知、行为和时间等。而随着大脑成像技术的发展，为进一步探究协作学习背后的神经生理机制提供了基础。传统的协作学习分析以人工观察分析为主，存在主观性强与效率低等问题，因此需要智能化的方法提升多人协作中认知分析的绩效。通过整合在协作情境中收集的脑电数据，研究者得以更加客观地阐释学习者协作中内隐认知加工过程，实现更加精准的学习分析，推动适应性学习以及学习过程中的教学反馈逐步走向个性化和精准化。

2、可以理解的是，脑电图信号具有与特定的认知过程相关的空间、时间和频谱模式，比如：脑电图信号通常可以分为不同的频段，包括δ(0.5-4hz)、θ(4-8hz)、α(8-13hz)、β(13-30hz)和γ(30hz及以上)，这些频段与不同的认知过程相关。相位锁定值(phase lockingvalue，plv)代表的是任意两个信号之间平均相位差的绝对值，反映了不同脑区域之间的相互关系。在认知过程中，不同脑区之间的相位同步性在信息传递和协同工作中起着重要的作用。plv可以提供关于不同脑区域之间的相互作用程度的信息，从而揭示认知过程中的脑网络活动。在最近的研究中，为了获得更好的脑电图特征表示，研究人员已经开始融合多域脑电图的时间特征、空间特征和频谱特征，以获得更具互补性和鉴别性的情绪特征。但脑电图是复杂的非线性信号，脑电图信号的非平稳特性容易导致不同被试之间分布的偏差。此外，脑电图信号通常比图像包含更强烈的噪声。

3、因此，如何从脑电图信号中提取更有区别和可靠的特征，建立一个鲁棒和通用的深度学习脑认知识别模型仍然是一个挑战。

技术实现思路

1、本发明提供一种顾及空间和频谱的多源脑间同步信息融合方法及系统，用以解决现有技术中存在的缺陷。

2、第一方面，本发明提供一种顾及空间和频谱的多源脑间同步信息融合方法，包括：

3、采集被试者的会话文本数据和脑电信号数据，对所述会话文本数据和所述脑电信号数据进行预处理，得到预处理会话文本数据和预处理脑电信号数据；

4、基于所述预处理会话文本数据对所述预处理脑电信号数据进行分段，得到多个脑电信号数据分段；

5、根据所述多个脑电信号数据分段，计算得到脑电特征数据，获取被试者多人协作时的脑电数据采集节点信息；

6、将所述脑电特征数据和所述脑电数据采集节点信息输入顾及空间和频谱的多源脑间同步信息融合初始模型中进行训练，构建损失函数对模型进行优化，得到多源脑间同步信息融合模型；

7、将待测试被试者的脑电特征数据和对应的脑电数据采集节点信息输入所述多源脑间同步信息融合模型，输出被试者脑间同步信息融合结果。

8、根据本发明提供的一种顾及空间和频谱的多源脑间同步信息融合方法，采集被试者的会话文本数据和脑电信号数据，对所述会话文本数据和所述脑电信号数据进行预处理，得到预处理会话文本数据和预处理脑电信号数据，包括：

9、按照预设记录格式记录所述会话文本数据，对记录后的会话文本数据划分会话文本时间段，并对划分后的会话文本数据进行编码，得到所述预处理会话文本数据；

10、采用脑电信号eeglab工具箱对所述脑电信号数据依次进行通道定位、滤波、降采样、分段和基线校正，记录坏段和伪迹时间段，利用所述eeglab工具箱去除所述坏段和所述伪迹时间段，得到所述预处理脑电信号数据。

11、根据本发明提供的一种顾及空间和频谱的多源脑间同步信息融合方法，基于所述预处理会话文本数据对所述预处理脑电信号数据进行分段，得到多个脑电信号数据分段，包括：

12、利用所述会话文本时间段、所述坏段和所述伪迹时间段，重新统计新的会话文本时间段；

13、采用所述eeglab工具箱重新连接所述预处理脑电信号数据；

14、按照所述新的会话文本时间段，对连接后的所述预处理脑电信号数据进行分段，获得所述多个脑电信号数据分段。

15、根据本发明提供的一种顾及空间和频谱的多源脑间同步信息融合方法，根据所述多个脑电信号数据分段，计算得到脑电特征数据，获取被试者多人协作时的脑电数据采集节点信息，包括：

16、确定脑电频段参数，计算所述多个脑电信号数据分段中每两个脑电信号之间的相位锁定值plv；

17、根据所述脑电频段参数将多个plv值整理分类为多个plv值分类集合；

18、利用eeglab工具箱获取脑电数据集中的脑电电极名称和电极排布文件；

19、由所述电极排布文件确定电极空间排布矩阵，获取所述脑电数据集中的脑电电极在所述电极空间排布矩阵中对应的坐标，构建脑电电极节点坐标。

20、根据本发明提供的一种顾及空间和频谱的多源脑间同步信息融合方法，将所述脑电特征数据和所述脑电数据采集节点信息输入顾及空间和频谱的多源脑间同步信息融合初始模型中进行训练，构建损失函数对模型进行优化，得到多源脑间同步信息融合模型，包括：

21、基于脑电电极节点坐标得到邻接矩阵，基于所述脑电特征数据得到节点特征矩阵；

22、将所述邻接矩阵和所述节点特征矩阵输入通道融合网络，获得通道融合后特征；

23、将所述通道融合后特征输入频段融合网络，获得频段融合后特征；

24、将所述频段融合后特征输入组别融合网络，得到综合脑电融合特征；

25、将综合脑电融合特征输入全连接层，并采用交叉熵损失函数进行优化，得到所述多源脑间同步信息融合模型。

26、根据本发明提供的一种顾及空间和频谱的多源脑间同步信息融合方法，基于脑电电极节点坐标得到邻接矩阵，基于所述脑电特征数据得到节点特征矩阵，包括：

27、以任意两个被试者配对的脑电特征数据作为矩阵元素，构建所述节点特征矩阵；

28、获取任意两个脑电电极节点之间距离，根据所述任意两个脑电电极节点之间距离构建无向图结构矩阵；

29、确定剪枝距离超参数，利用所述剪枝距离超参数对所述无向图结构矩阵中的相邻电极进行滤波，得到所述邻接矩阵。

30、根据本发明提供的一种顾及空间和频谱的多源脑间同步信息融合方法，将所述邻接矩阵和所述节点特征矩阵输入通道融合网络，获得通道融合后特征，包括：

31、确定所述通道融合网络包括图卷积块和图池化块，其中每个图卷积块由5个并列的图卷积层gcn和线性整流函数relu，每个图池化块由5个并列的自注意力池化sagpool层和输出readout层组成；

32、将所述邻接矩阵和所述节点特征矩阵输入所述图卷积块，得到中间输出特征；

33、将所述中间输出特征输入所述图池化块，输出所述通道融合后特征。

34、根据本发明提供的一种顾及空间和频谱的多源脑间同步信息融合方法，将所述通道融合后特征输入频段融合网络，获得频段融合后特征，包括：

35、确定所述频段融合网络包括双向门控循环单元bigru；

36、将多个脑电频段对应的所述通道融合后特征进行拼接形成输入特征序列，将所述输入特征序列输入所述频段融合网络，得到所述频段融合后特征。

37、根据本发明提供的一种顾及空间和频谱的多源脑间同步信息融合方法，将所述频段融合后特征输入组别融合网络，得到综合脑电融合特征，包括：

38、确定所述组别融合网络包括张量融合网络模块tfn；

39、将所述频段融合后特征输入所述tfn，得到所述综合脑电融合特征。

40、根据本发明提供的一种顾及空间和频谱的多源脑间同步信息融合方法，将综合脑电融合特征输入全连接层，并采用交叉熵损失函数进行优化，得到所述多源脑间同步信息融合模型，包括：

41、将所述综合脑电融合特征的特征维度转换为分类类别维度获得多维输入数据，输入所述全连接层，利用所述全连接层的连接神经元，将所述多维输入数据转换为多维输出数据；

42、采用多元交叉熵函数计算所述多维输出数据和标签值之间的误差，输出所述多源脑间同步信息融合模型。

43、第二方面，本发明还提供一种顾及空间和频谱的多源脑间同步信息融合系统，包括：

44、采集预处理模块，用于采集被试者的会话文本数据和脑电信号数据，对所述会话文本数据和所述脑电信号数据进行预处理，得到预处理会话文本数据和预处理脑电信号数据；

45、分段模块，用于基于所述预处理会话文本数据对所述预处理脑电信号数据进行分段，得到多个脑电信号数据分段；

46、计算模块，用于根据所述多个脑电信号数据分段，计算得到脑电特征数据，获取被试者多人协作时的脑电数据采集节点信息；

47、训练模块，用于将所述脑电特征数据和所述脑电数据采集节点信息输入顾及空间和频谱的多源脑间同步信息融合初始模型中进行训练，构建损失函数对模型进行优化，得到多源脑间同步信息融合模型；

48、融合模块，用于将待测试被试者的脑电特征数据和对应的脑电数据采集节点信息输入所述多源脑间同步信息融合模型，输出被试者脑间同步信息融合结果。

49、本发明提供的顾及空间和频谱的多源脑间同步信息融合方法及系统，通过构建顾及空间和频谱的多源脑间同步信息融合模型，该模型通过阶段性的特征融合，关注不同层次和尺度的脑电信息，能够提取更具有表达能力和鲁棒性的脑电特征。在脑电表征方面，既考虑了不同频域的信息，又考虑了空间上的相关性。在数据融合方面，通过图卷积和图池化，考虑各个节点即各个通道之间的特征及其拓扑结构，抓住了脑电数据中的空间依赖关系，而且通过bigru增强了模型在频域变换中提取特征的能力，此外通过tfn进一步提升了小组协作下整体的脑电特征的表达能力和区分度。