一种基于多模态数据融合的脑功能障碍辅助评估方法

1.本发明涉及生物信息领域，特别涉及一种基于多模态数据融合的脑功能障碍辅助评估方法。


背景技术：

2.脑功能障碍是一种包括神经、精神、儿童行为发育等多种类型疾病导致的运动、认知、言语、吞咽、精神情感等功能障碍。由于大脑是调节人类的运动、认知、行为、感觉、语言和情绪等各方面的中枢，因此脑功能将严重影响患者的生活，严重者甚至导致死亡。
3.在脑功能障碍康复治疗过程中，通常会借助能够表征脑区活跃度的特征数据(如fmri、eeg、fnir等)实现对脑功能区活跃度的分析并引导物理治疗设备来实现对具有脑功能障碍的区域进行精准治疗。其中磁共振功能成像技术(functional magnetic resonance imaging，fmri)通常指的是利用血氧水平依赖(blood oxygenation-level-dependent，bold)现象来分析大脑活动的磁共振成像技术(bold-fmri)。其中血氧水平依赖现象是指血液中的血红蛋白和氧的不同结合状态有不同的磁性。血红蛋白和氧结合时(氧合血红蛋白)表现出抗磁性，而血红蛋白和氧脱离时(脱氧血红蛋白)表现出顺磁性。脑电图(electroencephalography，eeg)是一种记录脑电图的电生理检测方法，能够反应出大脑皮质锥体细胞顶树突的突触后电位变化的总和。当检测到的电信号越强，说明该脑部的活动越强烈。而功能性近红外光谱法(fnirs)是指将近红外光谱法(nirs)用于功能性神经成像的目的。其作用原理主要是通过与神经元行为相关的血液动力学反应来测量大脑活动。通常用脑组织中的氧合血红蛋白和脱氧血红蛋白对600-900nm范围内不同波长的近红外光吸收率的差异特性来检测大脑皮层的血液动力学活动。通过观测这种血液动力学变化反推出大脑的神经活动情况。
4.近年来，基于深度学习(deep learning)的多模态数据融合技术进展迅速，它将不同模态的数据相互融合，利用深度学习的拟合能力实现数据之间互补的优点，摆脱了单一数据中对于时间或空间的局限性，以便了解疾病的综合信息，保障医生决策的可靠性。然而，现有的多模态融合技术(郝爱民.基于多尺度各向异性分解和低秩分析的多模态医学图像融合方法:中国,cn104299216a.2014.10.22.)，仅仅实现了对多模态医学图像的融合，未能明确如何对脑功能障碍患者给予个体化精准康复治疗，未实现舒适灵活的个体体位治疗方式。因此，如何融合具有表征信息的多模态数据并利用这些生成的多模态数据实现对个体的精准化康复治疗变得尤为重要。


技术实现要素：

5.本发明的主要目的在于提供一种基于多模态数据融合的脑功能障碍辅助评估方法，该方法能够根据多模态特征信息实现对具有功能障碍脑区进行精准治疗。
6.本发明的目的至少通过如下技术方案之一实现。
7.一种基于多模态数据融合的脑功能障碍辅助评估方法，包括以下步骤：
8.s1、获取功能性核磁共振成像(fmri)、脑电图以及功能性近红外光谱(fnirs)数据；
9.s2、根据获取的数据，分别基于离散时空数据融合模型、连续时空数据融合模型和异构时空数据融合模型，获得对应的特征信息；
10.s3、通过基于机理分析与多模态特征融合的脑功能障碍辅助评估诊断方法，分析离散时空数据融合模型、连续时空数据融合模型和异构时空数据融合模型产生的对应的特征信息，并生成患者脑活跃度情况，完成脑功能障碍辅助评估。
11.进一步地，步骤s2中，基于功能性核磁共振成像(fmri)和脑电图(eeg)的离散时空数据融合模型，用于提取功能性核磁共振成像(fmri)数据在离散时间下的特征信息与脑电图(eeg)数据在离散空间下的特征信息，并生成融合特征信息；该融合特征信息用于解决传统方法使用时间图或空间图表征相关性的缺点，能够同时表征患者在连续时间下和连续空间下的大脑活跃度情况；
12.离散时空数据融合模型考虑功能性核磁共振成像(fmri)数据和脑电图(eeg)数据均具有离散时空的特性，引入一种空间图指导的动态transformer网络模型，并建立一种协同交叉时序encoder-decoder模型。
13.进一步地，所述空间图指导的动态transformer网络模型利用空间图的结构指导transformer网络模型进行动态特征聚合，具体如下：
14.假设共有s个空间离散观测点，首先根据不同观测点之间的空间地形及距离构建一个空间图邻接矩阵a∈rs×s，其中rs×s表示矩阵为s阶实数方阵，并对空间图邻接矩阵进行对称归一化得到归一化后的空间图邻接矩阵最后利用归一化后的空间图邻接矩阵指导生成transformer网络模型的注意力分数；
15.设q∈rs×s为transformer网络模型产生的s个空间测量点相互之间的注意力分数，在损失函数中添加如下拉普拉斯正则项：
[0016][0017]
拉普拉斯正则项将会使得生成的注意力分数q在空间图邻接矩阵a所对应的图上尽量平滑；将上一个时刻生成的时序特征与当前时刻的原始特征合并共同送入transformer网络模型用于生成注意力分数矩阵r，从而使transformer网络模型能够建模不同观测点之间的动态联系。
[0018]
进一步地，所述协同交叉时序encoder-decoder模型包括长短时记忆神经网络(lstm)和基于图指导的transformer网络模型；
[0019]
所述协同交叉时序encoder-decoder模型计算过程如下：
[0020]
首先将功能性核磁共振(fmri)数据和脑电图(eeg)数据分别输入到基于图指导的transformer网络模型中，随后transformer网络模型的输出作为长短时记忆神经网络的输入，通过长短时记忆神经网络的特征关联产生功能性核磁共振和脑电图的融合特征信息。
[0021]
进一步地，步骤s2中，基于功能性近红外光谱(fnirs)数据和脑电图(eeg)数据的连续时空数据融合模型，用于生成功能性近红外数据和脑电图数据在连续时间下的融合特征信息，并结合近红外数据的空间分辨率产生连续时空下的特征信息；
[0022]
所述连续时空数据融合模型引入一个基于注意力机制的多尺度图卷积神经网络
模型，旨在进行特征提取和特征融合；其中，注意力机制用于揭示大脑连接之间的关联性；注意力计算的步骤如下：
[0023]
首先，从第i个时刻的输入矩阵xi中创建查询矩阵hi和键值矩阵ki，查询矩阵hi和键值矩阵ki由下式得到：
[0024]hi
＝whxi[0025]ki
＝wkxi[0026]
其中，wh、wk分别表示生成查询矩阵hi的权重系数、生成键值矩阵ki的权重系数，wh、wk由模型学习得到；值矩阵vi通过权重系数wv对第i个时刻的输入矩阵xi进行加权求和得到，其过程表示如下：
[0027]vi
＝wvxi[0028]
其中，wv由网络模型学习得到；最后注意力大小ti由下式得到：
[0029][0030]
其中，k为hi的维度；多尺度图卷积神经网络模型中自注意力模块输出表示为：gi＝t
ifi
，ti为第i个时刻的功能性近红外光谱数据产生的注意力大小，fi为第i个时刻的功能性近红外光谱(fnirs)数据的特征图；考虑到数据的时间连续性，输出表示为：
[0031][0032]
其中，δi是以gi作为输入并通过单层mlp学习得到，wj、gj分别表示第j个时刻各自注意力模块的权重和第j个时刻自注意力模块的输出。
[0033]
进一步地，所述多尺度图卷积神经网络模型包括图卷积神经网络和全局平均池化层，多尺度图卷积神经网络模型的计算过程如下：
[0034]
首先对脑电图(eeg)时序信号进行信号重建并生成相应的波形轮廓；对功能性近红外(fnirs)数据进行标准化并生成对功能性近红外(fnirs)数据的相关性分析，进而产生特征图；
[0035]
随后，将生成的波形轮廓以及特征图输入到图卷积神经网络中，产生融合特征信息，其中图卷积神经网络的计算过程如下：
[0036]
p
l+1
＝σ(lp
lwl
)
[0037]
其中，p
l
、w
l
、l和σ分别为图卷积神经网络中第l层网络层的输出、权重系数、邻接矩阵和非线性激活函数；
[0038]
最后对图卷积神经网络产生的融合特征信息进行全局平均池化操作，生成患者的显著性图谱。
[0039]
进一步地，步骤s2中，基于功能性核磁共振成像(fmri)数据和功能性近红外光谱(fnirs)数据在时间和空间信息上的异构性，提出异构时空数据融合模型；所述异构时空数据融合模型结合了功能性核磁共振数据在空间上具有较高分辨率而功能性近红外光谱在时间上具有较高分辨率的特性，实现对功能性核磁共振成像数据和功能性近红外光谱数据的双模态数据融合；
[0040]
所述异构时空数据融合模型的目标是在异构图像之间寻找一个空间变换或空间
映射，将待配准图像变换到目标图像的图像空间中，从而建立图像之间空间位置的对应关系；使用基于特征的方法，首先从图像中提取特征，然后再基于特征定义度量进行特征匹配及图像配准。
[0041]
进一步地，使用基于特征的方法，首先从图像中提取特征，然后再基于特征定义度量进行特征匹配及图像配准，具体如下：
[0042]
首先，对功能性核磁共振成像(fmri)获取的图像进行分割，接着选择核磁共振(mri)基准点自动生成多个位置点，并通过刚性转换将其转换为相应的功能性近红外(fnirs)数字化基准点，作为光极的位置；
[0043]
通过计算头部表面中心和光极位置所在直线上的最近头部表面点来校正光极的位置，然后计算通道源和检测器的中点作为通道的位置，并投影到皮质网格上，通道位置的校正方法与光极类似；
[0044]
随后，提取每通道对应的体素空间坐标，将体素空间坐标转换为标准化mni空间下的坐标；计算标准化mni空间下的坐标点上功能性核磁共振成像(fmri)的β值和bold信号，并与功能性近红外(fnirs)数据进行比较，完成空间配准过程。
[0045]
进一步地，步骤s3中，利用convlstm处理原始输出模态数据使得原始输出模态数据在时序上更加平滑，接着通过transformer网络模型提取出不同特征图之间的联系，随后在时间维度上对特征信息进行堆叠并连同误差模式ε作为混合专家模型的输入；
[0046]
其中，误差模型ε对不同类型误差的修正过程如下：
[0047][0048]
其中，表示t时刻convlstm输出的特征信息，n表示时间片的长度，表示0时刻convlstm输出的特征信息，expertk为第k个混合专家模型。
[0049]
进一步地，步骤s3中，专家系统包括k个混合专家模型expertk，混合专家模型expertk基于transformer网络模型构成，每个混合专家模型expertk包括输入层，transformer层和输出层，输入层的输入为经由transformer网络模型计算得到并在时间维度上进行堆叠的特征信息以及误差模式ε，随后是具有双通道结构的transformer层，每个通道中都包括一个transformer结构，最后双通道transformer层的输出作为输出层的输入，输出层为单层的全连接神经网络；最后通过一个全连接混合模块获得最终的决策结果：
[0050][0051]
其中，表示t时刻专家系统的输出，pk表示第k个混合专家模型expertk的输出，k为专家系统中的混合专家模型数。
[0052]
与现有技术相比，本发明具有以下有益效果：
[0053]
首先本发明考虑了功能性核磁共振成像数据、脑电图数据在空间维度和时间维度上所具有的特性，引入了离散时空数据融合模型提取这两种模态的数据特性。随后为了进一步提高融合特征的时间分辨率和空间分辨率并根据功能性近红外的时空特性，提出了异构时空融合模型和连续时空模型。最后，为了准确评估，引入了专家系统。通过专家系统的评估，使得医护人员能够给出精准化的治疗方案，提高治疗效率。
附图说明
[0054]
图1为本发明实施例中一种基于多模态数据融合的脑功能障碍辅助评估方法的步骤流程图；
[0055]
图2为本发明实施例中一种协同交叉时序encoder-decoder模型的结构示意图。
[0056]
图3为本发明实施例中多尺度图卷积神经网络模型的步骤流程图。
具体实施方式
[0057]
以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。
[0058]
实施例1：
[0059]
一种基于多模态数据融合的脑功能障碍辅助评估方法，如图1所示，包括以下步骤：
[0060]
s1、获取功能性核磁共振成像(fmri)、脑电图以及功能性近红外光谱(fnirs)数据；
[0061]
s2、根据获取的数据，分别基于离散时空数据融合模型、连续时空数据融合模型和异构时空数据融合模型，获得对应的特征信息；
[0062]
基于功能性核磁共振成像(fmri)和脑电图(eeg)的离散时空数据融合模型，用于提取功能性核磁共振成像(fmri)数据在离散时间下的特征信息与脑电图(eeg)数据在离散空间下的特征信息，并生成融合特征信息；该融合特征信息用于解决传统方法使用时间图或空间图表征相关性的缺点，能够同时表征患者在连续时间下和连续空间下的大脑活跃度情况；
[0063]
如图2所示，离散时空数据融合模型考虑功能性核磁共振成像(fmri)数据和脑电图(eeg)数据均具有离散时空的特性，引入一种空间图指导的动态transformer网络模型，并建立了一种协同交叉时序encoder-decoder模型。
[0064]
所述空间图指导的动态transformer网络模型利用空间图的结构指导transformer网络模型进行动态特征聚合，具体如下：
[0065]
假设共有s个空间离散观测点，首先根据不同观测点之间的空间地形及距离构建一个空间图邻接矩阵a∈rs×s，其中rs×s表示矩阵属于s阶实数方阵。对空间图邻接矩阵进行对称归一化得到归一化后的空间图邻接矩阵最后利用归一化后的空间图邻接矩阵指导生成transformer网络模型的注意力分数；
[0066]
具体地，设q∈rs×s为transformer网络模型产生的s个空间测量点相互之间的注意力分数，在损失函数中添加如下拉普拉斯正则项：
[0067][0068]
拉普拉斯正则项将会使得生成的注意力分数q在空间图邻接矩阵a所对应的图上尽量平滑；此外，将上一个时刻生成的时序特征与当前时刻的原始特征合并共同送入transformer网络模型用于生成注意力分数矩阵r，从而使transformer网络模型能够建模不同观测点之间的动态联系。
[0069]
所述协同交叉时序encoder-decoder模型包括长短时记忆神经网络(lstm)和基于
图指导的transformer网络模型；
[0070]
所述协同交叉时序encoder-decoder模型计算过程如下：
[0071]
首先将功能性核磁共振(fmri)数据和脑电图(eeg)数据分别输入到基于图指导的transformer网络模型中，随后transformer网络模型的输出作为长短时记忆神经网络的输入，通过长短时记忆神经网络的特征关联产生功能性核磁共振和脑电图的融合特征信息。
[0072]
基于功能性近红外光谱(fnirs)数据和脑电图(eeg)数据的连续时空数据融合模型，用于生成功能性近红外数据和脑电图数据在连续时间下的融合特征信息，并结合近红外数据的空间分辨率产生连续时空下的特征信息；
[0073]
所述连续时空数据融合模型引入一个基于注意力机制的多尺度图卷积神经网络模型，旨在进行特征提取和特征融合；其中，注意力机制用于揭示大脑连接之间的关联性；注意力计算的步骤如下：
[0074]
首先，从第i个时刻的输入矩阵xi中创建查询矩阵hi和键值矩阵ki，查询矩阵hi和键值矩阵ki可以由下式得到：
[0075]hi
＝whxi[0076]ki
＝wkxi[0077]
其中，wh、wk分别表示生成查询矩阵hi的权重系数、生成键值矩阵ki的权重系数并且wh、wk可由模型学习得到；同理，值矩阵vi可通过权重系数wv对第i个时刻的输入矩阵xi进行加权求和得到，其过程表示如下：
[0078]vi
＝wvxi[0079]
其中wv由网络模型学习得到。最后注意力大小ti可以由下式得到：
[0080][0081]
其中，k为hi的维度；多尺度图卷积神经网络模型中自注意力模块输出表示为：gi＝t
ifi
，ti为第i个时刻的功能性近红外光谱数据产生的注意力大小，fi为第i个时刻的功能性近红外光谱(fnirs)数据的特征图；考虑到数据的时间连续性，输出可表示为：
[0082][0083]
其中，δi是以gi作为输入并通过单层mlp学习得到，wj、gj分别表示j时刻各自注意力模块的权重和j时刻自注意力模块的输出。
[0084]
所述多尺度图卷积神经网络模型包括图卷积神经网络和全局平均池化层，如图3所示，多尺度图卷积神经网络模型的计算过程如下：
[0085]
首先对脑电图(eeg)时序信号进行信号重建并生成相应的波形轮廓；对功能性近红外(fnirs)数据进行标准化并生成对功能性近红外(fnirs)数据的相关性分析，进而产生特征图；
[0086]
随后，将生成的波形轮廓以及特征图输入到图卷积神经网络中，产生融合特征信息，其中图卷积神经网络的计算过程如下：
[0087]
p
l+1
＝σ(lp
lwl
)
[0088]
其中，p
l
、w
l
、l和σ分别为图卷积神经网络中第l层网络层的输出、权重系数、邻接矩
阵和非线性激活函数；
[0089]
最后对图卷积神经网络产生的融合特征信息进行全局平均池化操作，生成患者的显著性图谱。
[0090]
基于功能性核磁共振成像(fmri)数据和功能性近红外光谱(fnirs)数据在时间和空间信息上的异构性，提出异构时空数据融合模型；所述异构时空数据融合模型结合了功能性核磁共振数据在空间上具有较高分辨率而功能性近红外光谱在时间上具有较高分辨率的特性，实现对功能性核磁共振成像数据和功能性近红外光谱数据的双模态数据融合；
[0091]
所述异构时空数据融合模型的目标是在异构图像之间寻找一个空间变换或空间映射，将待配准图像变换到目标图像的图像空间中，从而建立图像之间空间位置的对应关系；使用基于特征的方法，首先从图像中提取特征，然后再基于特征定义度量进行特征匹配及图像配准，具体如下：
[0092]
首先，对功能性核磁共振成像(fmri)获取的图像进行分割，接着选择核磁共振(mri)基准点自动生成多个位置点，并通过刚性转换将其转换为相应的功能性近红外(fnirs)数字化基准点，作为光极的位置；
[0093]
通过计算头部表面中心和光极位置所在直线上的最近头部表面点来校正光极的位置，然后计算通道源和检测器的中点作为通道的位置，并投影到皮质网格上，通道位置的校正方法与光极类似；
[0094]
随后，提取每通道对应的体素空间坐标，将体素空间坐标转换为标准化mni空间下的坐标；计算标准化mni空间下的坐标点上功能性核磁共振成像(fmri)的β值和bold信号，并与功能性近红外(fnirs)数据进行比较，完成空间配准过程。
[0095]
s3、通过基于机理分析与多模态特征融合的脑功能障碍辅助评估诊断方法，分析离散时空数据融合模型、连续时空数据融合模型和异构时空数据融合模型产生的对应的特征信息，并生成患者脑活跃度情况，完成脑功能障碍辅助评估。
[0096]
所述机理分析与多模态特征融合数据的脑功能障碍评估诊断方法利用convlstm处理原始输出模态数据使得原始输出模态数据在时序上更加平滑，接着通过transformer网络模型提取出不同特征图之间的联系，随后在时间维度上对特征信息进行堆叠并连同误差模式ε作为混合专家模型的输入；
[0097]
其中，误差模型ε对不同类型误差的修正过程如下：
[0098][0099]
其中，表示t时刻convlstm输出的特征信息，n表示时间片的长度，表示0时刻convlstm输出的特征信息，expertk为第k个混合专家模型。
[0100]
专家系统包括k个混合专家模型expertk，混合专家模型expertk基于transformer网络模型构成，每个混合专家模型expertk包括输入层，transformer层和输出层，输入层的输入为经由transformer网络模型计算得到并在时间维度上进行堆叠的特征信息以及误差模式ε，随后是具有双通道结构的transformer层，每个通道中都包括一个transformer结构，最后双通道transformer层的输出作为输出层的输入，输出层为单层的全连接神经网络；最后通过一个全连接混合模块获得最终的决策结果：
[0101]
[0102]
其中，表示t时刻专家系统的输出，pk表示第k个混合专家模型expertk的输出，k为专家系统中的混合专家模型数。
[0103]
实施例2：
[0104]
与实施例1不同之处在于，步骤s2的连续时空数据融合模型中多尺度图卷积神经网络的计算过程为：
[0105]
首先对脑电图(eeg)时序信号进行信号重建并生成相应的波形轮廓，考虑到脑电图(eeg)在时间维度上的顺序性，将其输入到循环神经网络中(rnn)计算生成特征矩阵，其中循环神经网络的计算过程如下：
[0106]ot
＝g(wo·rt
)
[0107]rt
＝f(wix
t
+w
lrt-1
)
[0108]
其中g、f为非线性激活函数；wo、wi、w
l
分别为输出层权重系数、输入层权重系数和循环单元权重系数。系数由模型学习获得。o
t
表示循环神经网络的输出，即上述的特征矩阵；r
t
、r
t-1
分别表示t时刻和t-1时刻循环单元的输出。
[0109]
对功能性近红外(fnirs)数据进行标准化并生成对功能性近红外(fnirs)数据的相关性分析，进而产生特征图；
[0110]
随后，将生成的特征矩阵以及特征图输入到图卷积神经网络中，产生融合特征信息，其中图卷积神经网络的计算过程如下：
[0111]
p
l+1
＝σ(lp
lwl
)
[0112]
其中p
l
、w
l
、l和σ分别为图卷积神经网络中第l层网络层的输出以及权重系数、拉普拉斯矩阵和非线性激活函数。
[0113]
最后对图卷积神经网络产生的融合特征信息进行全局平均池化操作，生成患者的显著性图谱。
[0114]
实施例3：
[0115]
与实施例1不同之处在于，步骤s3的脑功能障碍辅助评估诊断方法使用lstm处理原始输出模态数据，进行时序信号提取；随后通过transformer网络模型提取出不同特征图之间的联系，随后在时间维度上对特征信息进行堆叠并连同误差模式ε作为混合专家模型的输入；
[0116]
其中，误差模型ε对不同类型误差的修正过程如下：
[0117][0118]
其中，表示t时刻convlstm的输出的特征信息，n表示时间片的长度，表示0时刻convlstm的输出，expertk为第k个混合专家模型；
[0119]
专家系统包括k个混合专家模型expertk，混合专家模型expertk基于transformer网络模型构成。每个混合专家模型expertk包括输入层，transformer层和输出层。输入层的输入为上述的堆叠特征信息以及误差模式ε，随后是具有双通道结构的transformer层，每个通道中都包含一个transformer结构，最后双通道transformer层的输出作为输出层的输入。输出层为单层的全连接神经网络；最后通过一个全连接混合模块获得最终的决策结果：
[0120]
[0121]
其中表示t时刻专家系统的输出，pk表示第k个混合专家模型expertk的输出，k为专家系统中的混合专家模型数。
[0122]
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。