基于残差-注意力深度神经网络的肝脏分割方法与流程

本发明属于深度学习与医疗影像处理
技术领域：
，具体来说涉及一种基于残差-注意力深度神经网络的肝脏分割方法。
背景技术：
：肝癌是世界范围内最常见的致死原因之一，也是世界范围内最常见的恶性肿瘤之一。根据病理诊断，肿瘤分为良性和恶性，而肝癌则被归类为恶性肿瘤。原发性肿瘤如乳腺癌、结肠癌和胰腺癌通常伴随着疾病向肝脏扩散转移。因此，原发性肝肿瘤的早期发现和分割对于疾病的诊断和治疗具有重要意义。由于肝病在我国的发病率很高，充分利用现有的一些计算机技术建立肝脏模型，将肝脏提取和分割是手术干预之前的关键任务。从图像中精准地分割肝脏能帮助医生提出可单独提供给患者的有效疗法(r.rajagopalandp.subbaiah,“asurveyonlivertumordetectionandsegmentationmethods,”arpnjournalofengineeringandappliedsciences,vol.10,pp.2681–2685,2015.)。目前，医学图像分割技术可以分为三类：人工分割、半自动分割和自动分割。人工分割是一种主观的、重复性差、耗时长的方法，同时对技术人员有很高的要求(w.li,f.jia,andq.hu,“automaticsegmentationoflivertumorinctimageswithdeepconvolutionalneuralnetworks,”journalofcomputer&communications,vol.03,no.11,pp.146–151,2017.)。与早期的纯手工分割相比，半自动分割是介于人工与自动分割中间的一种方法，虽然提高了分割的速度和精度，但仍然是一种不方便的分割方法。因此，研究者们把许多的新兴技术应用到肝脏分割中去，肝脏分割出现了一些自动分割的方法。然而，由于医疗影像中杂质和肝脏区域之间的对比度细微，影像中存在许多噪声，肝脏特征的复杂性以及附近其他相似器官的干扰使得自动分割成为了一个非常艰巨的挑战。而卷积神经网络在许多图像分割中做出了巨大的贡献(j.long,e.shelhamer,andt.darrell,“fullyconvolutionalnetworksforsemanticsegmentation,”ieeetransactionsonpatternanalysis&machineintelligence,vol.79,no.10,pp.1337–1342,2015.)，已经有了大量的二维和三维卷积神经网络模型，然而这些普适性模型并不完全适用于肝脏的提取和分割。为了解决这些困难，研究出一种基于深度神经网络的肝脏分割方法具有重要的意义。技术实现要素：针对现有技术的不足，本发明的目的在于提供一种基于残差-注意力深度神经网络的肝脏分割方法。本发明的目的是通过下述技术方案予以实现的。一种基于残差-注意力深度神经网络的肝脏分割方法，包括以下步骤：步骤1，数据预处理1-1准备训练模型数据集，所述训练模型数据集包括：含有多个原始三维ct图的原始三维ct图集合t和含有与训练模型数据集中每一个原始三维ct图相对应的标定ct图的标定ct图集g，其中，每一个原始三维ct图中包含：肝脏区域、肿瘤区域、无关器官区域和背景区域，每一个标定ct图中包含：肝脏区域、肿瘤区域和背景区域；对所述原始三维ct图集合t做阈值化(m.sezginandb.sankur,surveyoverimagethresholdingtechniquesandquantitativeperformanceevaluation.journalofelectronicimaging,2004.)操作，再过滤噪声，用于去除所述原始三维ct图集合t中所有三维ct图内位于肝脏区域周围的其他器官的数据，得到阈值化ct图集合t’；在步骤1-1中，所述阈值化ct图集合t’中第h个三维ct图的第i个像素的hu值xhi的范围为：xhi∈[-100,200]其中，i＝1、2、3……n，n为ct图集合t’中第h个三维ct图的像素点的个数，h＝1、2、3……c，c为阈值化ct图集合t’中三维ct图的个数。1-2对步骤1-1所得阈值化ct图集合t’先后依次进行零均值归一化和z-score标准化，得到三维归一化ct图集合tz；在步骤1-2中，所述零均值归一化的方法(l.bo,l.wang,andl.jiao,“featurescalingforkernelfisherdiscriminantanalysisusingleave-one-outcrossvalidation.,”neuralcomputation,vol.18,no.4,pp.961–978,2006.)为：按照公式(1)对于步骤1-1所得阈值化ct图集合t’中所有三维ct图的xhi进行计算，得到的零均值归一化ct图集，所述零均值归一化ct图集中第h个三维ct图的第i个像素的hu值为x’hi，i＝1、2、3……n，h＝1、2、3……c；其中，xhj为阈值化ct图集合t’中第h个三维ct图的第j个像素的hu值，j＝1、2、3……n；在步骤1-2中，所述z-score标准化的方法(j.grus,“datasciencefromscratch,”2015.)为：将步骤所述零均值归一化ct图集中所有三维ct图的像素点x’hi代入公式(2)，得到三维归一化ct图集tz以及该三维归一化ct图集tz中所有三维ct图的像素的hu值yhi，其中，在所述公式(2)中，所述为所述零均值归一化ct图集中所有三维ct图的像素的hu值的均值，所述通过公式(3)计算得到，其中，x’k为阈值化ct图集合t’中第k个像素的hu值，k＝1、2、3……total，total为零均值归一化ct图集中所有像素点的个数；所述s为所述零均值归一化ct图集中所有三维ct图的像素的hu值的标准差，所述s通过公式(4)计算得到；步骤2，训练集制作二维切片数据集制作：参照所述标定ct图集g，在所述步骤1-2所得三维归一化ct图集tz中筛选出多个正样本和多个负样本并由该正样本和负样本组成二维切片数据集，其中，所述正样本为所有包含肝脏区域的二维ct切片，所述负样本为未包含肝脏区域的二维ct切片；将所述二维切片数据集中的每一张二维ct切片缩放到256×256的像素大小，得到由多张256×256二维ct切片组成的训练集a；在上述技术方案中，所述负样本为随机选取且该负样本的数量为所述三维归一化ct集tz中全部未包含肝脏区域的二维ct切片的数量的三分之一。三维肝脏块数据集制作：参照所述标定ct图集g中的肝脏区域，得到所述三维归一化ct图集合tz中三维ct图的肝脏边界区域，分别求出所述三维归一化ct图集合tz中每一个三维ct图内肝脏边界区域在冠状方向、矢状方向和轴向方向上的最小边界{amin,bmin,cmin,}和最大边界{amax,bmax,cmax}，其中，a为肝脏边界区域在冠状方向上的边界，b为肝脏边界区域在矢状方向上的边界，c为肝脏边界区域在轴向方向上的边界；按照公式(5)对三维归一化ct图集合tz中每一个三维ct图的肝脏边界区域的冠状方向、矢状方向和轴向方向上的最小边界与最大边界进行扩张，以使肝脏边界区域被扩张后形成被框定区域tb且所述被框定区域tb的像素空间位置a’,b’,c’满足公式(5)，a'∈[amin-10,amax+10],b'∈[bmin-10,bmax+10],c'∈[cmin-10,cmax+10](5)对三维归一化ct图集合tz中每一个三维ct图的被框定区域tb进行重采样，得到重采样后的肝脏区域tr，所述肝脏区域tr在冠状方向的像素大小a”、矢状方向的像素大小b”和轴向方向的像素大小c”分别为：a”＝224,b”＝224,c”∈[cmin-10,cmax+10](6)在上述技术方案中，对所述被框定区域tb进行重采样的具体操作为：对被框定区域tb的冠状方向和矢状方向上进行重采样以形成224×224的分辨率，对被框定区域tb的轴向方向不进行重采样。在每个所述重采样后的肝脏区域tr中随机地剪取多个224×224×32像素大小作为肝脏待训练图像块，得到包多个肝脏待训练图像块的训练集b；三维肿瘤块数据集制作：参照所述标定ct图集g中的肿瘤区域得到三维归一化ct图集tz中三维ct图的肿瘤区域，并通过在三维归一化ct图集tz中三维ct图的肿瘤区域中随机剪切得到多个32×32×32像素大小的训练集c；步骤3，构建残差-注意力深度神经网络模型构建残差-注意力深度神经网络，所述残差-注意力深度神经网络包括：被训练集a训练的二维残差-注意力深度神经网络-ⅰ、被训练集b训练的三维残差-注意力深度神经网络-ⅱ和被训练集c训练的三维残差-注意力深度神经网络-ⅲ；构建所述构建残差-注意力深度神经网络的模块包括：构建残差学习模块、构建注意力-残差学习模块和构建损失函数，其中，3-1构建残差学习模块构建残差学习模块，将所述残差学习模块运作的原理定义为：yin+1＝yin+f(yin,win).(7)其中，yin为训练集a、训练集b和训练集c分别经过in-1层卷积后输出的特征图，yin+1为训练集a、训练集b和训练集c经过in层残差学习之后输出的特征图，f为需要被学习的残差映射函数，win为当前残差学习模块的权重；3-2构建注意力-残差学习模块构建注意力-残差学习模块，其中，在所述注意力-残差学习模块中注意力模块的输出特征图yim+1为：yim+1＝(1+sim)*yim(8)其中，yim为训练集a、训练集b和训练集c分别经过im-1层卷积后输出的特征图；yim+1为训练集a、训练集b和训练集c经过im层注意力-残差学习后输出的特征图；sim为软掩模分支的输出，0≤sim≤1；3-3定义损失函数通过最小化损失函数以优化残差-注意力深度神经网络，定义损失函数l为：在公式(9)中，pk为训练集a、训练集b和训练集c中第k个像素的类别；gk为所述标定ct图集g中第k个像素的类别；在上述技术方案中，所述残差-注意力深度神经网络由编码器和解码器构成并在keras和tensorflow深度学习库下构建。在上述技术方案中，所述二维残差-注意力深度神经网络-ⅰ使用二维卷积层；所述三维残差-注意力深度神经网络-ⅱ使用三维卷积层；所述三维残差-注意力深度神经网络-ⅲ使用三维卷积层。在上述技术方案中，所述二维残差-注意力深度神经网络-ⅰ、三维残差-注意力深度神经网络-ⅱ和三维残差-注意力深度神经网络-ⅲ均从头开始训练，残差-注意力深度神经网络的权重参数用随机值初始化，并用adam优化方法(d.p.kingmaandj.ba,“adam:amethodforstochasticoptimization,”computerscience,2014.)进行训练。步骤4、训练残差-注意力深度神经网络4-1训练肝脏切片与粗略分割肝脏将训练集a送入二维残差-注意力深度神经网络-ⅰ中进行训练，调整所述损失函数至最小，当所述损失函数最小时，训练出该残差-注意力深度神经网络的权重wa；4-2训练肝脏块与精细分割肝脏：将训练集b送入三维残差-注意力深度神经网络-ⅱ中进行训练，通过最小化损失函数训练出该残差-注意力深度神经网络的权重wb；4-3训练肿瘤块与精准分割肝肿瘤将训练集c送入三维残差-注意力深度神经网络-ⅲ中进行训练，通过最小化损失函数训练出该残差-注意力深度神经网络的权重wc；步骤5、分割阶段将待预测数据集按照步骤1中的数据预处理进行预处理数据，得到三维归一化ct图集v’，针对所述三维归一化ct图集v’中每个三维ct图进行如下操作：第一分割阶段：将所述三维归一化ct图集v’中每个三维ct图中的每一张二维切片缩放至256×256像素大小并按轴向方向顺序送入训练完毕且载入权重wa的二维残差-注意力深度神经网络-ⅰ进行预测，将每一张预测完毕的二维ct切片放大到512×512像素大小并按照该二维ct切片预测前所在的三维ct图的轴向方向按顺序重新堆叠成三维ct图v’，再采用三维连通域方法在三维ct图v’中标记肝脏，选择最大连通区域作为粗略的三维肝脏区域，将所述粗略的三维肝脏区域在冠状方向、矢状方向和轴向方向上分别扩张10个像素，以确保粗略的三维肝脏区域被包围在扩张后的区域内，得到待精细分割的肝脏区域v’1；第二分割阶段：将所述肝脏区域v’1进行重采样，在肝脏区域v’1的冠状方向和矢状方向上进行重采样至224×224像素大小，轴向方向不进行重采样，得到经过重采样后待精细分割的肝脏区域v’2，将所述肝脏区域v’2的每个肝脏按轴向方向顺序剪取224×224×32像素大小的待精细分割肝脏三维图像块，将所有待精细分割肝脏三维图像块按剪取的先后顺序送入训练完毕且载入权重wb的三维残差-注意力深度神经网络-ⅱ中进行预测，将预测完毕的待精细分割肝脏三维图像块按照原剪取该待精细分割肝脏三维图像块的顺序重新堆叠，用投票策略(voting，r.s.boyerandj.s.moore,“mjrty-afastmajorityvotealgorithm,”vol.1,pp.105–117,1991.)处理待精细分割肝脏三维图像块重叠部分，用三维连通域标记肝脏并提取最大连通区域为tl，在tl的冠状方向和矢状方向上进行重采样，轴向方向不进行重采样，得到精细分割后的肝脏区域v’3；第三分割阶段：将肝脏区域v’3按照顺序剪取32×32×32像素大小的待分割肿瘤三维图像块，按所有待分割肿瘤三维图像块按剪取的先后顺序送入训练完毕且载入权重wc的三维残差-注意力深度神经网络-ⅲ中进行预测，将预测完毕的待分割肿瘤三维图像块按照原剪取顺序重新堆叠，用投票策略处理待分割肿瘤三维图像块重叠部分，得到预测的肿瘤分割结果v’4。本发明的肝脏分割方法结合了残差网络中的残差模块，使深度神经网络能更好地处理梯度消失问题。其次，本发明的深度神经网络使用残差-注意力模块使得处理的性能极大的改善，由于不同类型的注意力被提取出来，因此该分割方法更具有普适性。最后，使用u-net作为基本体系结构来捕获多尺度的注意力信息，并将低层特征与高级特征完美集成。本发明的肝脏分割方法是一种全新的、纯三维的、端到端的方式的分割方法。本发明在miccai2017肝脏肿瘤分割(lits)数据集和3dicadb数据集上进行测试，不仅提供了详细的肝脏和肿瘤分割结果，而且获得了极具竞争力的质量评价。附图说明图1为本发明的肝脏分割方法的流程图；图2为残差-注意力深度神经网络结构示意图；图3为残差学习模块示意图，其中，bn表示批归一化层，relu表示激活层，conv表示卷积层，identitymapping表示恒等映射；图4为注意力-残差学习模块示意图，注意力-残差学习模块包含主干分支和软掩模分支，主干分支学习原始特征，软掩模分支包含一个编码器-解码器的模块，d表示跳跃连接的深度，根据注意力-残差模块在神经网络中的具体位置，将d设为0、1、2、3；图5为实施例2中作为待预测数据集的3dircadb数据集上肝脏分割结果图；图6为实施例1中作为待预测数据集的lits数据集上肝脏分割结果图；图7为实施例2中作为待预测数据集的3dircadb数据集上肝脏分割平面与三维展示结果图；图8为实施例1中作为待预测数据集的lits数据集上肝脏分割平面与三维展示结果图。具体实施方式使用来自公开肝脏肿瘤分割比赛的数据集(lits数据集)与3dircadb数据集，其中，lits数据集共有200个原始三维ct图(computedtomography)，lits数据集中每一个原始三维ct图具有512×512的平面分辨率与不同的轴向切片数量zl，zl∈[42，1026]。3dircadb数据集共有20个原始三维ct图，3dircadb数据集中每一个原始三维ct图具有512×512的平面分辨率与不同的轴向切片数量zb，zb∈[74,260]。下面结合具体实施例进一步说明本发明的技术方案。一种基于残差-注意力深度神经网络的肝脏分割方法，包括以下步骤：步骤1，数据预处理1-1准备训练模型数据集，训练模型数据集包括：含有多个原始三维ct图的原始三维ct图集合t和含有与训练模型数据集中每一个原始三维ct图相对应的标定ct图的标定ct图集g，其中，每一个原始三维ct图中包含：肝脏区域、肿瘤区域、无关器官区域和背景区域，每一个标定ct图中包含：肝脏区域、肿瘤区域与背景区域。在本发明的实施例中，训练模型数据集包括：lits数据集中130个原始三维ct图作为原始三维ct图集合t，与该130个原始三维ct图相对应的标定ct图作为标定ct图集g(groundtruth)。lits数据集中剩余的70个原始三维ct图为实施例1中待预测数据集p。3dircadb数据集中的20个原始三维ct图为实施例2中的待预测数据集q。对原始三维ct图集合t做阈值化操作，再过滤噪声，用于去除所述原始三维ct图集合t中所有三维ct图内位于肝脏区域周围的其他器官的数据，得到阈值化ct图集合t’，其中，阈值化ct图集合t’中第h个三维ct图的第i个像素的hu值xhi的范围为：xhi∈[-100,200]其中，i＝1、2、3……n，n为阈值化ct图集合t’中第h个三维ct图的像素点的个数，h＝1、2、3……c，c为阈值化ct图集合t’中三维ct图的个数；对于医疗ct图像来说，hunsfield单位(hu)是测量ct图相对密度的一种度量。通常，hu值范围是从-1000到1000。由于肿瘤在肝组织上生长，周围的骨骼、空气或不相关的组织可能会干扰分割结果。因此，本发明将阈值化ct图集合t’的hu值xhi限定在从-100到200的范围内，以便移除肝脏区域以及周围不必要的信息。1-2对步骤1-1所得阈值化ct图集合t’先后依次进行零均值归一化和z-score标准化，得到三维归一化ct图集合tz；如果直接使用原始三维ct图集合t进行训练，不同的尺度特征可能会对结果产生影响。通过归一化数据，可以将不同的尺度特征转化为相同的尺度。本发明采用了依次先后进行的两种图像归一化策略：零均值归一化和z-score标准化，具体如下。1-2-1零均值归一化：按照公式(1)对于步骤1-1所得阈值化ct图集合t’中所有三维ct图的xhi进行计算，得到的零均值归一化ct图集，零均值归一化ct图集中第h个三维ct图的第i个像素的hu值为x’hi，i＝1、2、3……n，h＝1、2、3……c；其中，xhj为阈值化ct图集合t’中第h个三维ct图的第j个像素的hu值，j＝1、2、3……n；1-2-2z-score标准化：将步骤1-2-1所得零均值归一化ct图集中所有三维ct图的像素点x’hi代入公式(2)，得到三维归一化ct图集tz以及该三维归一化ct图集tz中所有三维ct图的像素的hu值yhi，其中，在所述公式(2)中，所述为所述零均值归一化ct图集中所有三维ct图的像素的hu值的均值，所述通过公式(3)计算得到，其中x’k为阈值化ct图集合t’中第k个像素的hu值，k＝1、2、3……total，total为零均值归一化ct图集中所有像素点的个数；所述s为所述零均值归一化ct图集中所有三维ct图的像素的hu值的标准差，所述s通过公式(4)计算得到；步骤2，训练集制作二维切片数据集制作：参照标定ct图集g，在步骤1-2所得三维归一化ct图集tz中筛选出多个正样本和多个负样本并由该正样本和负样本组成二维切片数据集，其中，所述正样本为所有包含肝脏区域的二维ct切片，所述负样本为未包含肝脏区域的二维ct切片；将所述二维切片数据集中的每一张二维ct切片缩放到256×256的像素大小，得到由32746张256×256二维ct切片组成的训练集a，将训练集a随机分成训练数据和验证数据，在本实施例中，训练数据为23283张，验证数据为9463张。其中，训练集a的张数32746以及训练数据和验证数据的张数均为人为设定值。其中，所述负样本为随机选取且该负样本的数量为所述三维归一化ct集tz中全部未包含肝脏区域的二维ct切片的数量的三分之一，以便减少后续步骤不必要的运算消耗。三维肝脏块数据集制作：为了平衡计算成本和效率，参照标定ct图集g中的肝脏区域，得到三维归一化ct图集合tz中三维ct图的肝脏边界区域，分别求出三维归一化ct图集合tz中每一个三维ct图内肝脏边界区域在冠状方向、矢状方向和轴向方向上的最小边界{amin,bmin,cmin,}和最大边界{amax,bmax,cmax}，其中，a为肝脏边界区域在冠状方向上的边界(amin为冠状方向上的最小边界，amax为冠状方向上的最大边界)，b为肝脏边界区域在矢状方向上的边界(bmin为矢状方向上的最小边界，bmax为矢状方向上的最大边界)，c为肝脏边界区域在轴向方向上的边界(cmin为轴向方向上的最小边界，cmax为轴向方向上的最大边界)；为了确保整个肝脏区域被包括在内，按照公式(5)对三维归一化ct图集合tz中每一个三维ct图的肝脏边界区域的冠状方向、矢状方向和轴向方向上的最小边界与最大边界进行扩张，以使肝脏边界区域被扩张后形成的被框定区域tb的像素空间位置a’,b’,c’满足公式(5)，a'∈[amin-10,amax+10],b'∈[bmin-10,bmax+10],c'∈[cmin-10,cmax+10](5)随后，首先对三维归一化ct图集合tz中每一个三维ct图的被框定区域tb进行重采样，得到重采样后的肝脏区域tr，其中，对被框定区域tb进行重采样的具体操作为：对被框定区域tb的冠状方向和矢状方向上进行重采样以形成224×224的分辨率，对被框定区域tb的轴向方向不进行重采样，此时，肝脏区域tr在冠状方向、矢状方向和轴向方向的像素大小a”,b”,c”表示为：a”＝224,b”＝224,c”∈[cmin-10,cmax+10](6)在每个所述重采样后的肝脏区域tr中随机地剪取(224×224×32)大小作为肝脏待训练图像块，得到包含2997个肝脏待训练图像块的训练集b，将训练集b分成训练数据和验证数据，在本实施例中，训练数据为2397个，验证数据为600个。其中，肝脏待训练图像块的个数2997以及训练数据和验证数据的个数均为人为设定值。三维肿瘤块数据集制作：参照标定ct图集g中的肿瘤区域得到三维归一化ct图集tz中三维ct图的肿瘤区域，并通过随机剪切得到37760个32×32×32像素大小的训练集c，将训练集c分成训练数据和验证数据，在本实施例中，训练数据为30208个，验证数据为7552个，其中训练集c的个数37760以及训练数据和验证数据的个数均为人为设定值。由于肝肿瘤比较细小同时又不容易被发现，如果采用和肝脏一样进行重采样并制作训练集的方案会导致丢失肿瘤信息，因此为了保证原始细小的肿瘤信息不丢失，我们制作三维肿瘤块数据集时并没有进行重采样。步骤3，构建残差-注意力深度神经网络模型本发明的残差-注意力深度神经网络(ra-unet)体系的总体结构由编码器(encoder)和解码器(decoder)构成。上下文信息由编码器在跳跃连接中传播，这种结构使得网络能够提取更复杂的层级特征。解码器接收具有不同复杂度的特征，并以分辨率由粗到精的过程重建特征。本发明在编码器和相应的解码器位置引入长距离跳跃连接，促使编码器的不同层次特征可以被合并到解码器中，这使得残差-注意力深度神经网络模型预测的更加精确并具有高可扩展性，最终在分割肝脏和肿瘤任务中得到很好的结果。构建残差-注意力深度神经网络：在keras和tensorflow深度学习库下构建残差-注意力深度神经网络，残差-注意力深度神经网络的结构按照训练数据集的不同可分为三个训练子模型，分别为：二维残差-注意力深度神经网络-ⅰ(ra-unet-ⅰ)用于被训练集a训练，三维残差-注意力深度神经网络-ⅱ(ra-unet-ⅱ)用于被训练集b练训，三维残差-注意力深度神经网络-ⅲ(ra-unet-ⅲ)用于被训练集c训练，其中：ra-unet-ⅰ使用二维卷积层，网络参数depth为4；ra-unet-ⅱ使用三维卷积层，网络参数depth为4；ra-unet-ⅲ使用三维卷积层，网络参数depth为3。所有训练子模型都从头开始训练，残差-注意力深度神经网络的权重参数用随机值初始化，并用adam优化方法进行训练，初始学习率为0.001，计算梯度的平均和平方系数分别为β1＝0.9，β2＝0.999，权重衰减参数decay＝0。如图2所示为残差-注意力深度神经网络的结构，该结构构建的模块包含如下：构建残差学习模块、构建注意力-残差学习模块和定义损失函数。3-4构建残差学习模块构建残差学习模块，将残差学习模块运作的原理定义为：yin+1＝yin+f(yin,win).(7)其中，yin为残差-注意力深度神经网络第in层的输入，也即训练集a、训练集b、训练集c分别经过in-1层卷积后输出的特征图；yin+1为残差-注意力深度神经网络第in层的输出，也即训练集a、训练集b、训练集c经过in层残差学习之后输出的特征图；f为需要被学习的残差映射函数；win为当前残差学习模块的权重；残差-注意力深度神经网络(模型)是建立在残差学习模块的基础之上，本发明的残差-注意力深度神经网络模型第一步便是构建残差学习模块。引入了残差学习模块来增强残差-注意力深度神经网络的学习能力，使得网络深度能更深。残差学习模块利用恒等映射(identitymapping)解决了神经网络的梯度消失问题(k.he,x.zhang,s.ren,andj.sun,“deepresiduallearningforimagerecognition,”pp.770–778,2015.)，极好的处理反向传播中常见的难题。残差学习模块直接将特征从早期卷积传播到后期卷积。同时，该结构提高了残差-注意力深度神经网络的收敛性和性能。残差学习模块由三组批归一化(bn)层、激活(relu)层和卷积层(conv)组成。卷积恒等映射用于确保网络的收敛性和性能。残差模块组成如图3所示。3-5构建注意力-残差学习模块构建注意力-残差学习模块，其中，在所述注意力-残差学习模块中注意力模块的输出特征图yim+1为：yim+1＝(1+sim)*yim(8)其中，yim为残差-注意力深度神经网络第im层的输入，也即训练集a、训练集b、训练集c分别经过im-1层卷积后输出的特征图；yim+1为残差-注意力深度神经网络第im层的输出，也即训练集a、训练集b、训练集c经过im层注意力-残差学习之后输出的特征图；sim为软掩模分支的输出，0≤sim≤1，如果sim无限接近于0，那么yim+1就会接近于初始特征图yim。残差-注意力深度神经网络模型是核心是注意力-残差学习模块，本发明的残差-注意力深度神经网络模型构建的第二个模块便是构建注意力-残差学习模块。如果只是单纯地堆叠注意力学习模块到神经网络中，其模型的性能就会下降(f.wangetal.,“residualattentionnetworkforimageclassification,”incomputervisionandpatternrecognition,2017,pp.6450–6458.)。这可以通过提出的注意力-残差学习模块来解决。本发明的注意力-残差学习模块将注意力模块划分为主干分支(trunkbranch)和软掩模分支(softmaskbranch)。其中，主干分支用于处理原始特征，而软掩模分支用于构造恒等映射。软掩模分支具有编码器-解码器结构，在注意力-残差学习模块中，它被用来增强优秀的特征，同时减少来自主干分支的噪声。软掩模分支中的编码器包含最大池化(maxpooling)、残差块和跳跃连接。图4详细展示了注意力-残差学习模块。注意力-残差学习模块可以通过主干分支保留原始特征信息，并通过软掩模分支来关注重要的肝肿瘤特征。通过使用这种学习机制，残差-注意力深度神经网络可以极大的提高性能。3-6定义损失函数训练集a、训练集b和训练集c通过残差-注意力深度神经网络模型多层卷积训练之后，进入最后与标定ct图集g做比较并得出损失值的模块。构建残差-注意力深度神经网络模型的最后一个模块是定义损失函数，用以设定残差-注意力深度神经网络模型优化的目标并获取该残差-注意力深度神经网络模型权重。通过最小化损失函数以优化残差-注意力深度神经网络模型，定义损失函数l为：在公式(9)中，pk为训练集a、训练集b和训练集c中第k个像素的类别；gk为标定ct图集g中第k个像素的类别；损失函数用于计算两个训练样本的相似程度，最终残差-注意力深度神经网络模型权重通过梯度下降、反向传播和最小化损失函数训练而得。步骤4、训练残差-注意力深度神经网络4-1训练肝脏切片与粗略分割肝脏训练阶段：将训练集a送入ra-unet-ⅰ中训练，调整所述损失函数至最小，当所述损失函数最小时，训练出该残差-注意力深度神经网络模型的权重wa。4-2训练肝脏块与精细分割肝脏：训练阶段：将训练集b送入ra-unet-ⅱ中训练，通过最小化损失函数训练出该残差-注意力深度神经网络的权重wb。4-3训练肿瘤块与精准分割肝肿瘤训练阶段：将训练集c送入ra-unet-ⅲ中进行训练，通过最小化损失函数训练出该残差-注意力深度神经网络的权重wc。步骤5、分割阶段将待预测数据集按照步骤1中的数据预处理进行预处理数据，得到三维归一化ct图集v’，针对所述三维归一化ct图集v’中每个三维ct图进行如下操作：第一分割阶段：将所述三维归一化ct图集v’中每个三维ct图中的每一张二维切片缩放至256×256像素大小并按轴向方向顺序送入训练完毕并载入权重wa的ra-unet-ⅰ进行预测，将每一张预测完毕的二维ct切片放大到512×512像素大小并按照该二维ct切片预测前所在的三维ct图的轴向方向按顺序重新堆叠成三维ct图v’，随后，采用三维连通域方法(h.m.moftah,a.ellahassanien,andm.shoman,“3dbraintumorsegmentationschemeusingk-meanclusteringandconnectedcomponentlabelingalgorithms,”ininternationalconferenceonintelligentsystemsdesignandapplications,2010,pp.320–324.)在三维ct图v’中标记肝脏，选择最大连通区域作为粗略的三维肝脏区域(即待精细分割的肝脏区域)，将所述粗略的三维肝脏区域在冠状方向、矢状方向和轴向方向上分别扩张10个像素，以确保粗略的三维肝脏区域被包围在扩张后的区域内，得到进入下一个分割步骤的待精细分割的肝脏区域v’1。该步骤旨在粗略定位肝脏区域以便去除冗余信息、提供更多肝脏有效信息，为后续精准分割做准备。表1列出了详细的残差-注意力深度神经网络参数。在编码器(encoder)中，数据传播到底部，并且在解码器(decoder)中反转。ra-unet-ⅰ接收到256×256形状的单通道图片，并将它们传递到编码器的底部。在解码阶段，低像素的特征从底部传递到顶部，通过上采样操作使得分辨率倍增。值得注意的是，编码器和解码器之间的远程连接是由注意力块捕获的。然后，我们将注意力块的特征与通过解码器相应上采样层中特征相结合，随后将上采样和注意块合并并传递给解码器的下一层。最终，用3×3卷积核大小的卷积层来生成肝脏分割概率图。表1残差-注意力深度神经网络-ⅰ(ra-unet-ⅰ)的详细参数。[]表示跳跃连接，[,]表示拼接操作，conv表示卷积，up表示上采样，res表示残差块，att表示注意力模块，depth表示连接深度。第二分割阶段：将肝脏区域v’1进行重采样，在肝脏区域v’1的冠状方向和矢状方向上进行重采样至224×224像素大小，轴向方向不进行重采样，得到经过重采样后待精细分割的肝脏区域v’2，将肝脏区域v’2的每个肝脏按轴向方向顺序剪取(224×224×32)像素大小的待精细分割肝脏三维图像块，将所有待精细分割肝脏三维图像块按剪取的先后顺序送入训练完毕且载入权重wb的ra-unet-ⅱ网络模型中进行预测，将预测完毕的待精细分割肝脏三维图像块按照原剪取该待精细分割肝脏三维图像块的顺序重新堆叠，用投票策略处理待精细分割肝脏三维图像块重叠部分，用三维连通域标记肝脏并提取最大连通区域为tl，在tl的冠状方向和矢状方向上进行重采样，轴向方向不进行重采样，得到精细分割后的肝脏区域v’3，此时，肝脏区域v’3与肝脏区域v’1在冠状方向和矢状方向上的大小相同。该步骤旨在精准的分割出肝脏。详细的网络参数列于表2。三维残差-注意力深度神经网络-ii(ra-unet-ii)是一个充分捕获空间特征的三维神经网络模型。ra-unet-ii合并了粗糙的低分辨率特征和高分辨率特征，以产生精确的分割。同时，ra-unet-ii利用残差模块处理梯度消失问题，允许网络深度达到“更深”而不损失精度。ra-unet-ii极大的降低了网络参数，仅仅花了4百万的训练参数，而达到641的网络深度。表2网络结构ra-unet-ii的详细参数。[]表示跳跃连接，[,]表示合并操作，conv表示卷积，up表示上采样，res表示残差块，att表示注意力模块，depth表示连接深度。编码器输出尺寸解码器输出尺寸input224^2×32×1att1[res4],depth＝014^2×2×256conv1224^2×32×32res7[up1,att1]14^2×2×256pooling112^2×16×32up228^2×4×256res1112^2×16×32att2[res3],depth＝128^2×4×128pooling56^2×8×32res8[up2,att2]28^2×4×128res256^2×8×64up356^2×8×128pooling28^2×4×64att3[res2],depth＝256^2×8×64res328^2×4×128res9[up3,att3]56^2×8×64pooling14^2×2×128up4112^2×16×64res414^2×2×256att4[res1],depth＝3112^2×16×32pooling7^2×1×256res10[up4,att4]112^2×16×32res57^2×1×512up5224^2×32×32res67^2×1×512conv2[up5,conv1]224^2×32×32up114^2×2×512conv3224^2×32×1第三分割阶段：将肝脏区域v’3按照顺序剪取(32×32×32)像素大小的待分割肿瘤三维图像块，按所有待分割肿瘤三维图像块按剪取的先后顺序送入训练完毕并载入权重wc的ra-unet-ⅲ网络模型中进行预测，将预测完毕的待分割肿瘤三维图像块按照原剪取顺序重新堆叠，用投票策略处理待分割肿瘤三维图像块重叠部分，最终得到预测的肿瘤分割结果v’4。该步骤旨在精准的分割出肝脏内部的肿瘤区域。详细的网络结构参数列于表3。表3网络结构ra-unet-ⅲ的详细参数。[]表示跳跃连接，[,]表示合并操作，conv表示卷积，up表示上采样，res表示残差块，att表示注意力模块，depth表示连接深度。实施例1按照上述步骤5的方法，将待预测数据集p(lits数据集中剩余的70个原始三维ct图)作为待预测数据集代入步骤4所得训练完毕的残差-注意力深度神经网络。6(a)表示待预测数据集p其中一个三维ct图中的二维原始切片，6(c)表示与6(a)相对应的二维标定ct图，6(b)表示将待预测数据集p代入步骤4所得训练完毕的残差-注意力深度神经网络后步骤5所得肿瘤分割结果v’4中的二维ct图。6(d)～6(k)表示实施例1所得肿瘤分割结果v’4其中一个三维ct图在轴向上每隔20张切片的分割的肿瘤预测结果的概率热图，颜色越深，肝肿瘤区域的可能性越大。由图6可知，本发明在lits数据集上表现优秀，可以很好的分割出肝脏与肿瘤。图8为待预测数据集p代入步骤4所得训练完毕的残差-注意力深度神经网络后步骤5所得肝脏分割平面与三维展示结果图，其中，绿色区域指示正确预测肝脏，黄色代表错误预测的肝脏，蓝色表示正确预测的肿瘤区域，红色意味着错误预测的肿瘤。8(a)为待预测数据集p中第一个三维ct图经过步骤5之后，整合肝脏分割v’3(肝脏区域v’3)，与肿瘤分割v’4(肿瘤分割结果v’4)后的一张轴向切片分割结果。8(b)为待预测数据集p中第二个三维ct图经过步骤5之后，整合肝脏分割v’3，与肿瘤分割v’4后的一张轴向切片分割结果。8(c)为待预测数据集p中第三个三维ct图经过步骤5之后，整合肝脏分割v’3，与肿瘤分割v’4后的一张轴向切片分割结果。8(d)为待预测数据集p中第四个三维ct图经过步骤5之后，整合肝脏分割v’3，与肿瘤分割v’4后的一张轴向切片分割结果。8(e)为8(a)对应的肝脏和肿瘤分割结果的三维视图，其中黄色部分表示肝脏，深色部分表示肿瘤。8(f)为8(b)对应的肝脏和肿瘤分割结果的三维视图，其中黄色部分表示肝脏，深色部分表示肿瘤。8(g)为8(c)对应的肝脏和肿瘤分割结果的三维视图，其中黄色部分表示肝脏，深色部分表示肿瘤。8(h)为8(d)对应的肝脏和肿瘤分割结果的三维视图，其中黄色部分表示肝脏，深色部分表示肿瘤。图8说明本发明在lits上表现卓越，充分体现了模型强大的泛化能力。实施例2按照上述步骤5的方法，将待预测数据集q(3dircadb数据集中的20个原始三维ct图)作为待预测数据集代入步骤4所得训练完毕的残差-注意力深度神经网络。5(a)表示待预测数据集q中一个三维ct图的二维原始切片，5(b)表示将待预测数据集q代入步骤4所得训练完毕的残差-注意力深度神经网络后步骤5所得肿瘤分割结果v’4的二维ct图。5(c)表示与5(a)相对应的标定ct图。5(d)～5(k)表示实施例2所得肿瘤分割结果v’4其中一个三维ct图在轴向上每隔20张切片的分割的肿瘤预测结果的概率热图，颜色越深，肝肿瘤区域的可能性越大。由图5可知，本发明在3dircadb数据集上表现优秀，可以很好的分割出肝脏与肿瘤。图7为待预测数据集q代入步骤4所得训练完毕的残差-注意力深度神经网络后步骤5所得肝脏分割平面与三维展示结果图，绿色区域指示正确预测肝脏，黄色代表错误预测的肝脏，蓝色表示正确预测的肿瘤区域，红色意味着错误预测的肿瘤。7(a)为待预测数据集q中第一个三维ct图经过步骤5之后，整合肝脏分割v’3，(肝脏区域v’3)与肿瘤分割v’4(肿瘤分割结果v’4)后的一张轴向切片分割结果。7(b)为待预测数据集q中第二个三维ct图经过步骤5之后，整合肝脏分割v’3，与肿瘤分割v’4后的一张轴向切片分割结果。7(c)为待预测数据集q中第三个三维ct图经过步骤5之后，整合肝脏分割v’3，与肿瘤分割v’4后的一张轴向切片分割结果。7(d)为待预测数据集q中第四个三维ct图经过步骤5之后，整合肝脏分割v’3，与肿瘤分割v’4后的一张轴向切片分割结果。7(e)为7(a)对应的肝脏和肿瘤分割结果的三维视图。其中黄色部分表示肝脏，深色部分表示肿瘤。7(f)为7(b)对应的肝脏和肿瘤分割结果的三维视图。其中黄色部分表示肝脏，深色部分表示肿瘤。7(g)为7(c)对应的肝脏和肿瘤分割结果的三维视图。其中黄色部分表示肝脏，深色部分表示肿瘤。7(h)为7(d)对应的肝脏和肿瘤分割结果的三维视图。其中黄色部分表示肝脏，深色部分表示肿瘤。图7说明本发明的模型在3dircadb上表现非常优秀，不仅能够分割出大块的肿瘤，同时对于细小的肿瘤块也能非常精细的分割出来肝肿瘤分割质量分数评估质量分数指标：肝肿瘤分割质量分数指标包括：volumetricoverlaperror(voe),relativevolumedifference(rvd),averagesymmetricsurfacedistance(assd),maximumsurfacedistance(msd),jaccardsimilaritycoefficient(jaccard)以及meandicescorepervolume(dice)。如图5～8所示，本发明的肝脏分割方法具有学习三维上下文信息的能力，并且能够成功地从ct图中分割出肝脏。该肝脏分割方法在3dicadb和lits的数据集上分割的肝脏准确率达到0.977和0.961的dice得分。结果表明，残差-注意力深度神经网络增强了分割肝脏的分辨能力，预测出的结果覆盖了大部分肝脏肿瘤区域并提供了显著的肝脏分割结果。具体分割质量分数评估如表4所示。表4肝脏分割的质量评价如图5～8所示，本发明的肝脏分割方法不仅在肝脏分割任务上表现卓越，而且在细微的肿瘤分割任务上也表现优秀。肝脏分割方法分别在3dicadb和lits的数据集上达到0.830和0.570的dice得分。结果表明，残差-注意力深度神经网络增强了分割肝肿瘤的分辨能力，预测出的结果把细小的肿瘤区域也非常好的鉴别出来。具体分割数值如表5所示。结果表明，本发明对于深度学习在肝肿瘤分割上具有重要的意义。表5肿瘤分割的质量评价以上对本发明做了示例性的描述，应该说明的是，在不脱离本发明的核心的情况下，任何简单的变形、修改或者其他本领域技术人员能够不花费创造性劳动的等同替换均落入本发明的保护范围。当前第1页1 2 3