基于卷积网络和长短期记忆网络的脑网络特征提取方法

1.本发明涉及深度学习与医学影像计算机辅助诊断技术领域，具体而言涉及一种基于卷积网络和长短期记忆网络的脑网络特征提取方法。


背景技术：

2.阿尔兹海默症(alzheimer’s disease,ad)是老年人常见的神经退行性疾病，也是痴呆症最普遍的病因，其特征是进行性认知障碍。轻度认知障碍(mild cognitive impairment,mci)作为ad的前驱期，因为其发展为ad的可能性很高而受到广泛关注。因此，ad及其前驱期mci等脑疾病的准确诊断，对早期治疗和延缓病情恶化具有重要意义。静息态功能核磁共振成像(resting
‑
state functional magnetic resonance imaging,rs
‑
fmri)作为测量人脑神经元活动的非侵入性方法，是研究人脑的重要工具。基于rs
‑
fmri构建的功能连接网络(functional connectivity network,fcn)能够表征大脑区域之间的神经交互作用，已经被广泛应用于脑疾病的分类。
3.对fcn的研究是基于分布的大脑区域之间的时间相关性，隐式假设人类大脑的功能连通性在整个fmri记录期间都是静止的。所以这些研究忽略了脑网络的动态特性。最近的研究表明，fc表现出显著的动态变化。因此越来越多的研究转向动态fcn的分析，对大脑网络的基本特性和功能障碍有了更深入的了解。先前的研究通常使用滑动窗口构造动态fcn，仅从fcn构建的层面考虑大脑区域两两之间的动态变化。然而，很少有研究基于rs
‑
fmri数据探讨特征提取过程中的时序动态性。直观地说，某个时间点可能受前后相邻的时间点的影响。其次，以往的研究在特征提取步骤中忽略了能够提高性能的高层次脑网络特征。


技术实现要素：

4.本发明针对现有技术中的不足，提供一种基于卷积网络和长短期记忆网络的脑网络特征提取方法，利用卷积网络和长短期记忆网络等深度学习框架，通过数据驱动的方式学习高层次特征和时序动态特征。
5.为实现上述目的，本发明采用以下技术方案：
6.一种基于卷积网络和长短期记忆网络的脑网络特征提取方法，所述提取方法包括以下步骤：
7.s1、对于每个静息状态功能磁共振成像数据的训练样本，将静息状态功能磁共振成像的整个时间序列分割成若干个连续且重叠的时间窗口；
8.s2、计算每个时间窗口内成对脑区时间序列的pearson相关系数作为脑区对的连接权重，构建动态功能连接网络；
9.s3、将每个时间窗口的功能连接网络按行展开成一维向量，按照从上到下的顺序依次排列构成动态特征矩阵；
10.s4、将动态特征矩阵沿时间维度和空间维度连续进行三层卷积操作，得到高层次
脑网络特征；
11.s5、将步骤s4中经卷积操作后学到的高层次脑网络特征转换为一个有序特征序列，利用长短期记忆网络挖掘序列间的相互作用，得到时序动态特征。
12.为优化上述技术方案，采取的具体措施还包括：
13.进一步地，步骤s1中，所述将静息状态功能磁共振成像的整个时间序列分割成若干个连续且重叠的时间窗口的过程包括以下步骤：
14.基于静息状态功能磁共振成像数据，将每个受试者的大脑空间划分为n个脑区，计算得到每个脑区的平均时间序列，对于每一个受试者，时间窗口大小设置为l个时间点，每次平移2个时间点重叠划分相同大小的时间窗口，将整个时间序列划分为t个连续且重叠的时间窗口。
15.进一步地，步骤s2中，所述计算每个时间窗口内成对脑区时间序列的pearson相关系数作为脑区对的连接权重，构建动态功能连接网络的过程包括以下步骤：
16.通过计算成对脑区的时间序列在第t个时间窗口内的pearson相关系数，构建一个功能连接网络公式如下：
[0017][0018]
式中，cov表示两个向量之间的协方差，表示向量的标准差；和分别表示第t个时间窗口内第i个和第j个脑区的时间序列片段；pearson相关系数被用来衡量一对脑区之间的功能连通性；
[0019]
根据给定t个时间窗口生成一组功能连接网络用以传递大脑网络的动态特性。
[0020]
进一步地，步骤s3中，所述将每个时间窗口的功能连接网络按行展开成一维向量，按照从上到下的顺序依次排列构成动态特征矩阵的过程包括以下步骤：
[0021]
基于构建好的动态功能连接网络，依次将每个时间窗口构建的功能连接网络按行展开成尺寸为1
×
n2的向量；m
t
是第t个时间窗口对应的功能连接网络，
[0022]
按照从上到下的顺序依次排列构成动态特征矩阵
[0023]
进一步地，步骤s4中，所述将动态特征矩阵沿时间维度和空间维度连续进行三层卷积操作，得到高层次脑网络特征的过程包括以下步骤：
[0024]
设置三个卷积层，分别将三层卷积核的大小设置为s1×
n，s2×
n和s3×
1；将每层时间维度和空间维度的步长设置为(1,n)，(1,1)和(2,1)；对每个卷积层依次进行批归一化处理、relu激活和丢弃部分神经元操作；对这三层卷积分别给定k1,k2,k3个通道，依次得到一个t1×
n
×
k1张量，一个t2×1×
k2张量和一个t3×1×
k3张量。
[0025]
进一步地，步骤s5中，采用一个长短期记忆网络层和两个全连接层进行时序动态特征的提取。
[0026]
本发明的有益效果是：本发明通过对rs
‑
fmri数据中的时间序列划分时间窗口，为每个时间窗口构建一个功能连接网络，将所有时间窗口的功能连接网络构建成一个动态特征矩阵g，使用卷积网络和长短期记忆网络等深度学习框架，通过数据驱动的方式学习脑网
络的高层次特征和时序动态特征。
附图说明
[0027]
图1是本发明实施例的基于卷积网络和长短期记忆网络的脑网络特征提取方法流程图。
[0028]
图2(a)是在emci vs.nc数据集上选出的最具有判别性的脑区；图2(b)是在ad vs.nc数据集上选出的最具有判别性的脑区。其中，每个弧线表示两个判别性脑区之间的功能连通性，并且每个弧线的粗细表示其判别力与相应的p值成反比的结构示意图。
具体实施方式
[0029]
现在结合附图对本发明作进一步详细的说明。
[0030]
需要注意的是，发明中所引用的如“上”、“下”、“左”、“右”、“前”、“后”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
[0031]
图1是本发明实施例的基于卷积网络和长短期记忆网络的脑网络特征提取方法流程图。参见图1，该提取方法包括以下步骤：
[0032]
s1、对于每个静息状态功能磁共振成像数据的训练样本，将静息状态功能磁共振成像的整个时间序列分割成若干个连续且重叠的时间窗口。
[0033]
基于静息状态功能磁共振成像数据，使用aal模板将每个受试者的大脑空间划分116个脑区，计算得到每个脑区的平均时间序列，对于每一个受试者，时间窗口大小设置为70个时间点，每次平移2个时间点重叠划分相同大小的时间窗口，将整个时间序列划分为t个连续且重叠的时间窗口。应当理解，脑区的划分数量和时间点数值只是其中一种可行的例子，在实际应用中，可以根据静息状态功能磁共振成像数据的具体特性自行设定，并不固定这一种设定方式。
[0034]
s2、计算每个时间窗口内成对脑区时间序列的pearson相关系数作为脑区对的连接权重，构建动态功能连接网络。
[0035]
具体的，通过计算成对脑区的时间序列在第t个时间窗口内的pearson相关系数，构建一个功能连接网络(对应一个邻接矩阵)公式如下：
[0036][0037]
其中cov表示两个向量之间的协方差，表示向量的标准差。这里，和分别表示第t个时间窗口内第i个和第j个脑区的时间序列片段。给定t个时间窗口可以生成一组功能连接网络功能连接网络即为动态功能连接网络，用来传递大脑网络的动态特性。
[0038]
s3、将每个时间窗口的功能连接网络按行展开成一维向量，按照从上到下的顺序依次排列构成动态特征矩阵。
[0039]
具体的，基于构建好的动态功能连接网络，对于第t个时间窗构建的功能连接网络
而言，按行展开成尺寸为1
×
n2的向量，对所有时间窗执行上述操作，然后按照从上到下的顺序依次排列构成动态特征(网络)矩阵
[0040]
s4、将动态特征矩阵沿时间维度和空间维度连续进行三层卷积操作，得到高层次脑网络特征。
[0041]
具体的，设置了三个卷积层，分别将三层卷积核的大小设置为s1×
n，s2×
n和s3×
1，将每层时间维度和空间维度的步长设置为(1,n)，(1,1)和(2,1)。每个卷积层依次进行批归一化处理、relu激活和丢弃部分神经元等操作。对这三层卷积分别给定k1,k2,k3个通道，我们会依次得到一个t1×
n
×
k1张量，一个t2×1×
k2张量和一个t3×1×
k3张量。
[0042]
s5、将步骤s4中经卷积操作后学到的高层次脑网络特征转换为一个有序特征序列，利用长短期记忆网络挖掘序列间的相互作用，得到时序动态特征。
[0043]
具体的，将卷积操作后学到的高层次脑网络特征，即第三层卷积操作后的结果，转换为t3个时间点的有序特征序列，进一步使用一个长短期记忆网络层(例如，包含64个神经元)和两个全连接层进行时序动态特征的提取。
[0044]
下面本实施例对阿尔兹海默症神经影像计划(alzheimer's disease neuroimaging initiative,adni)数据库获取的rs
‑
fmri数据进行了研究，以验证本实施例的提取方法的技术效果。
[0045]
在实例中，使用了174名受试者的rs
‑
fmri数据，包括31名ad、45名晚期mci(lmci)、50名早期mci(emci)和48名正常对照(normal control,nc)。值得注意的是，受试者间隔6个月到1年进行一次或多次的扫描。其中，ad、lmci、emci和nc受试者分别有99、145、165、154次扫描。
[0046]
在实例中，采用5折交叉验证策略进行了二分类和多分类的实验，包括1)emci vs.nc分类，2)ad vs.nc分类，3)ad vs.lmci vs.emci vs.nc分类。具体来说，对于每个分类任务，所有受试者被分成5个子集(每个子集的大小大致相同)。依次选取每个子集作为测试集，将剩余的四个子集组合以构建训练集。此外，进一步选择20％的训练对象作为验证数据来确定模型的最佳参数。值得注意的是，为了增加模型的泛化能力，每个受试者的每次扫描都作为独立样本，但同一个受试者的所有扫描具有相同的类别标签。通过计算所有类别的整体分类精度以及每个类别的分类精度来评估性能。图2(a)是在emci vs.nc数据集上选出的最具有判别性的脑区；图2(b)是在ad vs.nc数据集上选出的最具有判别性的脑区。其中，每个弧线表示两个判别性脑区之间的功能连通性，并且每个弧线的粗细表示其判别力与相应的p值成反比的结构示意图。
[0047]
将本实施例中提出的特征提取方法(cnn
‑
lstm)与以下四种方法进行比较。1)baseline：该方法首先通过计算任意一对rois时间序列之间的皮尔逊相关系数，为每个受试者构建一个静态fcn。然后，使用fcn的连通强度作为特征。具有阈值(即p值<0.05)的t检验方法用于特征选择，然后是带有默认参数的线性svm用于分类。2)svm：在该方法中，首先为每个受试者构建一个静态fcn。然后提取静态fcn的局部聚类系数作为特征。t检验和带有默认参数的svm也分别用于特征选择和分类。3)dfcn
‑
mean：在该方法中，首先为每个受试者构建一个动态fcn。然后提取动态fcn的时空均值特征，流形正则化多任务特征学习和多核svm分别用于特征选择和分类。4)cnn：作为本实施例提出的特征提取方法的一种变体，该方法没有考虑相邻时间窗口的时间动态。也就是说，我们将本实施例提出的特征提取方法中
的lstm层替换为平均池化层。表1和表2分别报告了不同方法在二分类任务和多分类任务中所取得的定量结果。
[0048]
表1所有方法在emci vs.nc分类和ad vs.nc分类上的性能(％)
[0049][0050]
表2所有方法在ad vs.lmci vs.emci vs.nc分类上的性能(％)
[0051][0052]
从表1和表2可以看出，本实施例提出的特征提取方法在三个分类任务上都优于对比方法。从结果还可以观察到与cnn方法相比，cnn
‑
lstm方法可以实现更高的性能，证明了从功能连接网络中探索时序信息的优势。另外，本实施例还找出对特定疾病分类任务贡献最大的判别性脑区，并进一步分析了判别性脑区之间重要连通性。如图1和图2所示，每个弧线表示两个判别性脑区之间的功能连接，并且每个弧线的粗细表示其判别力与相应的p值成反比(即p值越小，其判别力越强，弧线越粗)。选定的判别性脑区与先前的研究相吻合，验证了本发明的方法对于发现用于mci和ad识别的fmri生物标记物可能是有用的。
[0053]
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。