基于多尺度多注意力实例学习的sMRI图像分类方法

本发明涉及计算机视觉，深度学习中医学图像区域分割，医学影像预测等领域，具体涉及基于多尺度多注意力实例学习的smri图像分类方法。

背景技术：

1、阿尔茨海默病(ad)是最普遍的神经系统疾病之一，其发病率显著增长。ad的进展逐渐导致记忆衰退和认知功能损害，最终导致不可逆的神经元损伤。虽然目前还没有有效的治疗方法来预防ad的进展，但ad的早期诊断对后续治疗延迟认知症状的发生仍然很重要。特别是考虑到萎缩过程甚至早于遗忘症状的出现，许多基于机器学习方法的研究被开发出来，以识别阿尔茨海默病(ad)患者与正常对照组(nc)的解剖学差异，并利用结构磁共振成像(smri)预测轻度认知障碍(mci)的进展，而结构磁共振成像对脑萎缩引起的形态学变化较为敏感。

2、传统的基于smri的ad诊断方法通常将整个mr图像划分为多个不同尺度的区域，以便更好地提取脑局部异常结构改变的特征。基于不同尺度的划分，现有的基于smri的研究大致可以分为3类:1)体素级,2)区域级和3)贴块级。在体素水平方法中，从smri扫描中提取的组织特征(如灰质密度)构成了ad诊断的高维体素结构特征。然而，与特征的维数相比，ad分类的训练图像数量太少，这往往会导致维数魔咒。

3、近年来，深度学习方法在医学图像分析等图像分类任务中取得了巨大的成功。例如，深度卷积神经网络(deepconvolutionalneural networks,cnns)通过经验验证，具有从smri数据中学习高级特征的出色能力，在许多研究者的努力下，极大地提高了脑疾病诊断的性能。然而，现有的ad诊断深度学习方法大多仍依赖于人工预定义的具有专家经验的感兴趣区域来建立基于cnns的诊断模型，这导致使用相同模板空间没有充分考虑个体差异，可能没有包括分布在全脑的整个疾病相关萎缩特征。此外，由于神经网络的黑盒特性，很少有深度学习方法对病理位置有特定的输出，这忽略了医学实践中的可解释性问题。由于脑萎缩通常发生在局部，smri扫描中只有少数区域出现明显的结构变化，与病理特征高度相关，而其他区域的区分信息很少。

4、因此，基于深度学习的smri分类方法的关键挑战是增强特征的识别，包括(1)局部区域内信息丰富的微观结构和(2)全局图像中相对重要的区域。而现在所存有的分割技术能很好的将脑部区域分为我们所想要的白质，灰质，小脑，脑干等区域，让我们能更加轻松的找到包含更多微观结构信息和相对全局更加重要的区域，这需要用到注意力机制，找出对我们所需要更重要的区域送入网络模型。

技术实现思路

1、针对现有技术中存在的不足，本发明提供了一种基于多尺度多注意力实例学习的smri图像分类方法。本发明引入了注意力机制，在局部和全局的特征分析中都有加强特征的效果，得到更好的分类和预测效果。

2、在本发明中，我们提出了一种多尺度多注意力实例深度学习模型来进行ad和正常对照组的分类。具体来说，多尺度多注意力实例学习模型由三个主要部分组成，即多尺度学习部分、注意多实例学习(mil)池化部分和注意感知的全局分类器。通过具有空间注意块的多尺度学习模块,该模型可以从分布于大脑的多个局部smri斑块中学习到有鉴别性的结构特征。然后通过注意mil池化，将所有斑块级特征赋予不同权重，组合成一个全脑结构信息的全局特征表示，最后在此基础上构造一个用于ad诊断的全局分类器。我们在公共数据集adni上评估了提出的方法，并在多个与ad相关的分类任务(如ad分类和mci转换预测)上进行实验。

3、基于多尺度多注意力实例学习的smri图像分类方法，包括如下步骤：

4、步骤(1)、数据集获取；

5、下载adni数据库的smri数据，使用现有的分割模型将图像分割成脑区区域图像形成数据集。

6、步骤(2)、构建多尺度多注意力实例学习模型。

7、所述的多尺度多注意力实例学习模型包括空间金字塔池化模块、patch-net处理模块、注意力多实例学习模块和分类器。

8、步骤(3)、通过空间金字塔池化模块将不同大小脑区转化为相同尺度；

9、步骤(4)、通过patch-net处理模块获取相应的局部特征增强。

10、步骤(5)、通过注意力多实例学习模块来增强全局特征。

11、步骤(6)、通过分类器得到分类结果；

12、步骤(7)、训练多尺度多注意力实例学习模型。

13、进一步的，步骤(3)具体方法如下:

14、所述的空间金字塔池化模块包括五个卷积核相同的卷积层和一个3d的空间金字塔池化层。输入的数据首先依次通过五个卷积核相同的卷积层进行特征提取，将提取特征后的图像输入3d的空间金字塔池化层进行特征尺寸的整合，统一为相同尺寸的patch块作为该模块的输出，输出为patch-level级的特征map。

15、进一步的，步骤(4)具体方法如下：

16、所述的patch-net处理模块包括一个全局最大池化模块和一个空间注意力模块。

17、将空间金字塔池化模块输出的相同尺寸的patch块作为patch-net处理模块的输入，patch块通过全局最大池化模块相应的最大池化层与卷积层加强特征信息，输出自注意力所需的初始的特征map。引入注意力机制，通过全局平均池化以及全连接层将每个特征平展开，并通过sigmoid层得到相应的影响分数(affectscorce)。在空间注意力模块中，使用最大池化和平均池化获取不同影响程度的加强特征，并与之前通过卷积层输出的特征map进行叉乘结合，输出带有加强特征的patch块。

18、进一步的，步骤(5)具体方法如下：

19、所述的注意力多实例学习模块包括最大池化层、平均池化层和注意力模块。多实例学习是指将所有网络输出进行打包总和为一个特征map。该模块的输入为多个patch-net网络的输出连接到一起的全局特征map(globalfeature)。该模块设定每轮训练的batch-szie数量的patch块，将其平展连接在一起，通过全局池化层以及相应的两层卷积层加强特征以及patch-net网络获取的局部影响分数累乘，通过sigmoid层输出全局的影响分数，并与输入的全局特征相乘输出带有注意力分数的特征patch。

20、进一步的，步骤(6)具体方法如下；

21、所述的分类器包括两个卷积层、一个全局平均池化层、两个全连接层以及一个softmax层。通过两个卷积层以及全局平均池化层加强特征map，再通过两个全连接层输出所有特征信息，最后通过softmax层获取分类的分数。

22、进一步的，步骤(7)具体方法如下；

23、使用的来自adni数据库的数据训练多尺度多注意力实例学习模型，adni数据包括200ad患者，以及250nc对照组。

24、首先对adni数据进行区域分割，按当前的148脑区模型分割，将每个脑区当做独立的patch块进行分析。设定batch-size为4，使用交叉损失函数，每次训练100轮。

25、进一步的，所述的多尺度多注意力实例学习模型使用4个空间池化模块和patch-net模块的并行的输出作为注意力多实例学习的输入。

26、本发明有益效果如下：

27、(1)本发明是采取了区域块的分析方法，能获取对大脑病变影响更大的位置。

28、(2)本发明引入了双注意机制，能增强到局部和全局的特征。

29、(3)本发明采用了将分割数据和脑区数据结合的多模态数据，加强分类效果。