一种基于图网络的核磁共振影像小样本学习分类方法

1.本发明涉及神经网络技术领域，尤其是涉及一种基于图网络的核磁共振影像小样本学习分类方法。


背景技术：

2.核磁共振影像(magnetic resonance imaging,mri)的分析对患者疾病的发现与治疗具有重要作用。应用深度学习方法分析mri是人工智能赋能医疗领域背景下的典型场景，目前采用的主流方法为3d卷积神经网络及其变体。该类方法通过选取合适的层数与模型参数，以深度非线性组合自动提取数据中的深层特征，然后进行mri图像的分类。为提高其分类性能，既要提升其特征提取能力又要兼顾其泛化能力。通常，可从修改网络结构、优化损失函数等方面进行改善。
3.聚焦于样本关系可帮助分类器在训练中更有效地获取知识。图结构对侧重关系的对象具有良好的建模能力。针对mri分类问题，图网络将样本作为节点，利用样本间的关系对模型进行训练，为模型泛化性的提升及实现小样本学习提供了可能。
4.基于深度学习的图像分类器需要大量的影像样本进行模型训练，以防止过拟合问题。在医学领域，高质量的影像样本数量稀少、标注成本高、对照样本与病例样本数量比极不均衡，这使得分类器因难以得到充分的标注样本导致模型精度有待提高。


技术实现要素：

5.本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于图网络的核磁共振影像小样本学习分类方法。
6.本发明的目的可以通过以下技术方案来实现：
7.一种基于图网络的核磁共振影像小样本学习分类方法，该方法包括以下步骤：
8.步骤1：将疾病原始影像样本输入至原始核磁共振影像小样本学习分类器中的特征提取部分网络中，获得对应特征向量；
9.步骤2：将特征向量输入至原始核磁共振影像小样本学习分类器中的图网络中，初始化节点与边并持续迭代更新；
10.步骤3：节点与边持续迭代更新完毕后得到基于图网络的核磁共振影像小样本学习分类器；
11.步骤4：利用该新分类器对实际核磁共振影像进行预测分类。
12.进一步地，所述的步骤1具体包括：
13.将疾病原始影像样本输入至原始核磁共振影像小样本学习分类器中的特征提取部分网络中，当该部分网络为2d卷积神经网络时，将疾病原始影像样本对应的不同切片视作不同通道，进行处理后获得对应特征向量。
14.进一步地，所述的步骤1具体包括：
15.将疾病原始影像样本输入至原始核磁共振影像小样本学习分类器中的特征提取
部分网络中，当该部分网络为3d卷积神经网络时，将切片数、每一切片的长、宽作为3d影像的三个维度，输入模型进行特征提取后获得对应特征向量。
16.进一步地，所述的特征向量的长度为128。
17.进一步地，所述的步骤2中的图网络由特征转移网络和相似度计算网络组成，其中：
18.所述特征转移网络，用于负责节点与边信息的交互，使节点状态根据当前的节点状态、邻域中所有节点的状态及节点对的边状态得到更新；
19.所述相似度计算网络，用于负责计算样本对的相似度，并将其赋值于边，以此继续所述特征转移网络中对当前节点状态及边状态的更新。
20.进一步地，所述的相似度计算网络包括多个卷积块、线性linear层和激活函数sigmoid层，所述的卷积块的个数为4个，对应的隐藏单元数包括192或96。
21.进一步地，所述的2d卷积神经网络包括多个卷积块、线性linear层、批标准化batch normalization层和激活函数leakyrelu层，所述的卷积块的个数为4个，对应的隐藏单元数包括64、96、128或256。
22.进一步地，所述的卷积块包括卷积层、批标准化batch normalization层、最大池化层和激活函数leakyrelu层。
23.进一步地，所述的卷积层的尺寸为3
×
3，所述的最大池化层的尺寸为2
×
2。
24.进一步地，所述的步骤3中的基于图网络的核磁共振影像小样本学习分类器，其对应的具体损失函数为：
[0025][0026]
式中，y
m,
,为query set中边的真值与预测值的集合，为损失函数，l为图网络层数，m为训练任务，为二值的交叉熵损失函数值，λ
l
为图网络层数权重系数。
[0027]
与现有技术相比，本发明具有以下优点：
[0028]
(1)本发明通过在训练阶段构建对不同种类疾病进行分类的多个学习任务，使分类器在每次学习中学到分辨疾病分期中差异的能力，而非对某具体疾病分期进行分辨，模型泛化性能因而更高。在训练过程中，每一训练任务中仅需数个样本，且当使用2d卷积神经网络作为编码器时效果同样良好，使计算成本相较传统3d卷积神经网络降低。同时，判断时在特征外加入对样本间关系性的考量，使分类器准确率进一步上升。
[0029]
(2)本发明提出的技术方法在训练集中疾病种类充沛的情况下，对不同种类的疾病进行联合学习，以学习如何判断同一疾病中不同分期的差异。使在面对新疾病时，能够通过对于少量样本的学习，快速训练出能够准确判断影像对应疾病所处分期情况的分类器，以改善医学影像分类所面临的标注样本缺乏问题，降低训练成本。
附图说明
[0030]
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对
范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0031]
图1为本发明的分类模型流程图；
[0032]
图2为本发明的分类模型结构图；
[0033]
图3为本发明的卷积块结构图；
[0034]
图4为本发明的信息更新模块结构图；
[0035]
图5为本发明的整体框架图。
具体实施方式
[0036]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
[0037]
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0038]
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
[0039]
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0040]
此外，术语“水平”、“竖直”等术语并不表示要求部件绝对水平或悬垂，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。
[0041]
在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
[0042]
本发明提出一种基于图网络构建的核磁共振图像分类器，着眼于样本间的关系，通过对若干种已知疾病影像的学习，得到一个能够针对新疾病进行快速学习的分类器，使其面对未接触过的新疾病时，在样本规模比较小的情况下能快速训练出更具泛化性的模型。
[0043]
本发明技术方案的流程图如图1所示，模型具体结构如图2所示。图2中，(a)为特征提取部分，(b)为特征转移网络，(c)为相似度计算网络。(a)即一卷积神经网络，可使用2d卷
积神经网络或3d卷积神经网络对该部分进行构建。两者在处理上略有不同。在2d卷积神经网络中，将样本不同切片视作不同通道，输入模型进行处理。在3d卷积神经网络中，将切片数、每一切片的长、宽作为3d影像的三个维度，输入模型进行特征提取。最终输出一长度为128的特征向量，以此作为节点的初始状态，并将其输入(b)中进行后续运算。图2(a)中绘制的2dcnn所使用的卷积块结构在图3中给出。
[0044]
图网络由(b)与(c)两部分组成。其中，(b)负责节点与边信息的交互，使节点状态根据当前的节点状态、邻域中所有节点的状态及节点对的边状态得到更新，通过合理的信息传播机制完成这一步骤。该部分中，模型对边状态进行显式的建模，以此衡量样本对中两者的类内相似性及类间相异性。(c)负责计算样本对的相似度，并将其赋值于边，以此继续(b)中对当前节点状态及边状态的更新。网络中某一次更新的具体流程如图4所示。
[0045]
本发明采用元学习的思想，元数据集为大量不同种类疾病的核磁共振图像集合，对图像的分类编码采用疾病种类+具体分期的形式。其中，每一种类的疾病下属各分期影像数远小于传统分类器所需影像数，以降低对某特定疾病及其各分期所需影像数的要求。模型的训练集与测试集样本来自不同的疾病数据集，交集为空。训练过程中，每次训练包括m个训练任务。在每一次任务中，从训练集中随机抽取一种疾病种类，抽取其中不同分期的少量样本，抽取的分期类别数设为n，使n不大于所有疾病的最小分期数，并在此过程中构建当前训练过程的训练集与测试集。保证各集合中影像的疾病为同种疾病，并将其称为支持集与查询集，以区别于前文提及概念。
[0046]
使支持集中的每分期抽取样本数相等，本发明中设置为1，即抽取n张影像组成支持集；查询集的样本总数可自由设置，本发明设置为n
×
2以学习更多信息。样本在除支持集影像外的当前类别疾病数据集中随机抽取，不要求对支持集中的所有分期进行覆盖，以提高模型泛化性。以抽取的全部样本构建一全连接图，通过样本间的相似度强弱对查询集中的样本进行分类。在训练过程中，将预测标签与真实标签比较，以得到损失函数值，对模型参数进行更新。具体损失函数计算公式如下：
[0047][0048]
式中，y
m,e
,为query set中边的真值与预测值的集合，为损失函数，l为图网络层数，m为训练任务，为二值的交叉熵损失函数值，λ
l
为图网络层数权重系数。
[0049]
整体框架如图5所示。图中，查询集数量设为1以降低复杂度。
[0050]
测试过程中，每次测试同样通过构建多个任务完成，以考量分类器的快速学习性能。每一任务中的支持集与查询集样本从当前测试集中抽取，抽取方式与训练阶段相同。
[0051]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。