一种双协同学习的脑网络特征分类系统及其训练方法

本发明涉及医学图像分析及脑疾病计算机辅助诊断领域，具体涉及一种双协同学习的脑网络特征分类系统及其训练方法。

背景技术：

1、阿兹海默症为老年人群中最常见的脑功能疾病之一。为此，研究者提出了诸多基于rs-fmri数据构建的功能脑网络的计算机辅助诊断方法。

2、为量化静息态功能磁共振成像(resting-state functional magneticresonance imaging，rs-fmri)时间序列中的神经元活动，大多数先前的功能连接研究都基于一个隐含的假设，即神经元活动在fmri扫描期间是静止的。这种方法得到的脑网络被称为静态功能脑网络，其能够较好地反映脑网络的空间拓扑信息。然而，脑网络的时间变化却被忽略，而这些变化可能与认知功能密切相关。为捕获脑网络的动态性，一些最新的研究采用滑动时间窗口技术，通过将时间序列划分为多个子序列从而得到动态功能脑网络。动态功能脑网络能够揭示脑网络的时间信息，但也可能引入噪声的功能连接影响。

3、事实上，静态功能连接和动态功能连接作为功能脑网络(functional brainnetwork，fbn)的两种视图表示，很自然地联合二者的功能特性进行脑疾病诊断。例如，一些研究者提出使用fmri和脑磁图(magnetoencephalography，meg)数据联合静态和动态的功能网络连接分析来识别精神分裂症，取得了不错的效果。然而，该方法将两种视图特征的提取过程相互独立。为解决这个问题，有研究尝试使用卷积神经网络(convolutional neuralnetwork，cnn)框架通过构建的配对静、动态功能连接网络来学习分层的互补特征，发现了一些与高级认知功能相关的功能连接特征。不幸的是，该方法后期融合较为简单，仅使用简单的拼接操作，缺乏多视图特征间的临近交互。随后，相关学者提出一种静态-动态卷积神经网络(sd-cnn)，通过扩散连接增加静态路径和动态路径之间的视图特征交互，在癫痫疾病上提高了近8％的分类准确率。部分研究者设计一个包括结构-功能和静态-动态融合模块的多连接性表示学习网络来区分重性抑郁症患者。遗憾的是，这些方法只考虑了类间特征差异，忽略了fbns的静态特征和动态特征之间的高水平协同关系，比如类间和类内差异。

技术实现思路

1、本发明针对现有技术中的不足，提供一种双协同学习的脑网络特征分类系统及其训练方法，利用卷积神经网络、注意力机制、对比学习等深度学习框架，通过数据驱动的方式学习高水平静、动态脑网络的协同特征表示并进行特征分类。

2、为实现上述目的，本发明采用以下技术方案：

3、一种双协同学习的脑网络特征分类系统，其特征在于，包括：

4、脑网络构建模块，对于每个受试者样本，基于aal模板得到各脑区的平均时间序列，使用皮尔逊相关系数衡量配对脑区时间序列之间的功能连接强度，并以此分别构建受试者样本的静态功能脑网络和动态功能脑网络；

5、协同编码模块，分别从静态功能脑网络和动态功能脑网络中依次提取边到边、边到点和点到图的分层特征；在提取分层特征的过程中，使用transformer模块进行剪枝和嫁接操作，在静态功能脑网络和动态功能脑网络之间实现分层特征的协同学习，输出静态协同特征和动态协同特征；

6、分类模块，使用多层感知机对由静态协同特征和动态协同特征拼接得到联合特征进行特征分类。

7、为优化上述技术方案，采取的具体措施还包括：

8、进一步地，所述脑网络构建模块对于每个受试者样本，基于aal模板将每个受试者的大脑划分为n个脑区，并依据rs-fmri数据得到每个脑区的平均时间序列；所述静态功能脑网络描述脑网络的结构拓扑信息，所述动态功能脑网络通过时间窗口捕获脑网络的功能连接变化。

9、进一步地，所述协同编码模块使用卷积神经网络作为特征提取器分别从静态功能脑网络和动态功能脑网络中依次提取边到边、边到点和点到图的分层特征。

10、进一步地，所述协同编码模块使用transformer模块进行剪枝和嫁接操作，在静态功能脑网络和动态功能脑网络之间实现分层特征的协同学习，输出静态协同特征和动态协同特征，具体为：

11、分别提取静态功能脑网络和动态功能脑网络的边到边特征，记为静态边到边特征和动态边到边特征，并通过下采样操作将静态边到边特征和动态边到边特征对齐到同一特征维度；

12、将静态边到边特征和动态边到边特征输入第一个transformer模块，第一个transformer模块结合得分函数剪除得分低于设定值的静态边到边特征和动态边到边特征；采用相应的动态边到边特征对静态边到边特征的剪除部分进行投影映射，得到静态协同边到边特征；采用相应的静态边到边特征对动态边到边特征的剪除部分进行投影映射，得到动态协同边到边特征；

13、从静态协同边到边特征和静态边到边特征的融合特征中提取静态功能脑网络的边到点特征，记为静态边到点特征；从动态协同边到边特征和动态边到边特征的融合特征中提取动态功能脑网络的边到点特征，记为动态边到点特征；通过下采样操作将静态边到点特征和动态边到点特征对齐到同一特征维度；

14、将静态边到点特征和动态边到点特征输入第二个transformer模块，第二个transformer模块结合得分函数剪除得分低于设定值的静态边到点特征和动态边到点特征；采用相应的动态边到点特征对静态边到点特征的剪除部分进行投影映射，得到静态协同边到点特征；采用相应的静态边到点特征对动态边到点特征的剪除部分进行投影映射，得到动态协同边到点特征；

15、从静态协同边到点特征和静态边到点特征的融合特征中提取静态功能脑网络的点到图特征，再经过批标准化和激活函数得到静态协同特征；从动态协同边到点特征和动态边到点特征的融合特征中提取动态功能脑网络的点到图特征，再经过批标准化和激活函数得到动态协同特征。

16、进一步地，所述分类模块使用的多层感知机包括三个全连接层和一个softmax层。

17、进一步地，所述三个全连接层均使用整流线性单元作为激活函数并采用0.12的dropout。

18、此外，本发明还提出了一种如上所述的脑网络特征分类系统的训练方法，其特征在于，包括：

19、将已知样本分类的受试者样本输入脑网络构建模块，分别构建受试者样本的静态功能脑网络和动态功能脑网络；

20、对于协同编码模块输出的静态协同特征和动态协同特征，在同一分类的样本间和不同分类的样本间进行对比学习，根据对比学习的结果，调整协同编码模块的参数，并且筛选出符合已知样本分类的静态协同特征和动态协同特征；

21、将符合已知样本分类的静态协同特征和动态协同特征拼接后输入分类模块，根据分类模块的特征分类结果和已知样本分类，调整分类模块的参数。

22、进一步地，所述在同一分类的样本间和不同分类的样本间进行对比学习，根据对比学习的结果，调整协同编码模块的参数，具体为：

23、将协同编码模块输出的静态协同特征和动态协同特征分别输入到各自对应的多层感知机，并使用l2范数进行标准化；

24、在同一分类的样本间和不同分类的样本间，计算静态协同特征之间的欧式距离以及动态协同特征之间的欧式距离，综合两者作为相似性的度量；

25、根据相似性的度量结果和已知样本分类，调整协同编码模块的参数。

26、本发明的有益效果是：本发明基于rs-fmri数据获取的血氧水平依赖的平均时间序列信号，采用皮尔逊相关系数和滑动窗口技术分别构建静态和动态两个功能连接网络，同时提出一种双协同学习网络(dclnet)，通过协同编码和协同对比学习来联合学习静态和动态功能脑网络的表示，并考虑高水平的类间和类内特征关系。本发明提出的脑网络特征分类系统不仅显著地提升脑网络特征分类性能，而且为大脑活动的交互动力学提供新的见解。