一种改进U-net的肾脏肿瘤分割方法与流程

本发明属于肿瘤分割的技术领域，尤其涉及一种改进u-net的肾脏肿瘤分割方法。

背景技术：

通过影像学检查来诊断肾脏肿瘤是医生确诊肾癌的重要手段，但是由于不同医生的主观思想不同，对病变分割的结果存在差异性，会导致分割结果不理想，进而影响对病症的判断。所以，肾脏图像的语义分割结果对肾癌的确诊具有很大的帮助。目前国内外针对上述问题的解决方法有两方面：一方面使用基于深度学习的方法；另一方面是使用传统算法。任璐等人(任璐，李锵，关欣，等.改进的连续型最大流算法脑肿瘤磁核共振成像三维分割[j].激光与光电子学进展，2018，55(11):111011)采用改进的连续型最大流算法，使用中值滤波和快速模糊c均值聚类进行预处理得到预处理图像，对各预处理图像进行线性融合得到三维融合图像，采用快速模糊c均值算法对三维融合图像进行聚类得到三维欠分割图像。时永刚等人(时永刚，钱梦瑶，刘志文.结合全卷积网络和growcut的肾皮质分割算法[j].中国图象图形学报，2017，22(10):1418-1427.)采用全卷积网络和图分割相结合的方法进行肾皮质分割。cuinget等人(rémicuingnet，prevost，lesaged，etal.automaticdetectionandsegmentationofkidneysin3dctimagesusingrandomforests[c]//medicalimagecomputingandcomputer-assistedintervention–miccai2012.berlinheidelberg:springer，2012:66-74.)采用随机森林算法初步定位数据中的肾脏组织，然后使用形变模型将定位到的肾脏区域概率图进行形变，分割肾脏图像。freimen等人(freimanm，kronmana，essessj，etal.non-parametriciterativemodelconstraintgraphmin-cutforautomatickidneysegmentation[c]//medicalimagecomputingandcomputer-assistedintervention–miccai2010.berlinheidelberg:springer，2010:73-80.)采用马尔科夫随机条件场求解问题的方法得到图像的分割结果。

深度学习是通过学习样本数据的信息达到对数据样本的理解，这些学习过程中获得的信息在研究图像数据的时候能够提供很大的帮助。一直到2006年，geoffreyhinton在对深度学习这一概念的提出以及模型训练方法的改进打破了bp神经网络发展的瓶颈。卷积神经网络(cnn)由纽约大学的yannlecun提出的，经过一段时间的发展，2015年long等人根据cnn提出了新的全卷积神经网络(fcn)用于语义分割，随后语义分割开始了蓬勃发展，2016年zhao等人提出pspnet聚合不同区域的上下文信息，从而提高获取全局信息的能力，2017年badrinarayananv等人提出了segnet用于自动驾驶图像语义分割，2019年wu等人提出fastfcn更进一步的带动了语义分割的发展。

与传统的方法相比，现有的深度学习方法在肿瘤图像分割上有更好的表现，能够更全面的提取出肾脏肿瘤的特征区域。在深度学习模型训练中，成功训练一个深度网络需要大量已标注的训练样本，但是在医学领域中，由于患者的隐私性，很少有大量的数据集以供训练。u-net最早发表在2015年的miccai上，而后成为大多做医疗影像语义分割任务的基础网络，也启发了大量研究者去思考u型语义分割网络。而今在自然影像理解方面，也有越来越多的语义分割和目标检测模型开始关注和使用u型网络，比如语义分割的dfn和unet++，目标检测的fpn等。虽然u-net模型解决了小数据训练的问题，但它仍然存在许多未解决的问题，例如分割图像不全、边界不清晰等。

技术实现要素：

基于以上现有技术的不足，本发明所解决的技术问题在于提供一种改进u-net的肾脏肿瘤分割方法，结合深度残差网络和thelovasz-softmaxloss损失函数，实现基于残差全卷积网络(resunet)的语义分割方法，该方法通过利用lovaszhinge残差网络，来更好的提取图像的特征。

为了解决上述技术问题，本发明通过以下技术方案来实现：

本发明提供一种改进u-net的肾脏肿瘤分割方法，包括以下步骤：

步骤1：通过像素叠加的方法将肾脏和肾脏肿瘤合并在一起；

步骤2：在编码器部分使用卷积对图像进行若干次提取，在解码器部分使用转置卷积生成对应的分割好的肾脏和肾脏肿瘤图像；

步骤3：在编码器中引入残差学习单元；

步骤4：在网络训练中使用洛瓦斯损失函数进行优化训练。

优选的，步骤1之前还包括对数据进行预处理，将肾脏和肾脏肿瘤分隔开，分割好的标签图像一共有三个类别值：0是背景，1是肾区域，2是肾肿瘤区域。

进一步的，步骤3中的残差学习单元表示为：

yl＝h(xl)+f(xl,wl)

xl+1＝f(y1)

式中，xl是第l个残差单元的输入，xl+1是第l个残差单元的输出，f是残差函数，是网络在训练中不断学习到的残差，h(xl)＝xl表示恒等映射，f是修正线形单元激活函数。

可选的，步骤4中的洛瓦斯损失函数表示为：

式中，y^*为样本标签，为预测结果，c为类别。

由上，本发明的改进u-net的肾脏肿瘤分割方法在u型神经网络(u-net)的基础上结合残差网络采用基于深度残差卷积网络(resunet)的分割方法。该方法选取resnet34残差网络作为编码器，上采样作为解码器，利用特征融合技术将一个全局特征与一个相对局部特征映射相结合，并利用lovaszsoftmax作为损失函数进行优化训练。深度残差卷积网络(resunet)相比u型神经网络(u-net)能够更好的提取特征，有效地解决了在下采样过程中特征提取不完全的问题。实验通过对kits19challengedata数据集进行训练和测试，并且以dice系数、平均交并比(miou)、灵敏度(sens)、正确率(prec)作为评判标准。实验结果表明，本发明改进的方法比原始的方法更加优秀，有效的提高了肾脏肿瘤的分割精度。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下结合优选实施例，并配合附图，详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例的附图作简单地介绍。

图1为本发明的改进u-net的肾脏肿瘤分割方法的流程图；

图2为u型神经网络模型分割结果图，其中(a)为原始图像，(b)为标签，(c)为肾脏分割结果；

图3为残差学习单元的结构图；

图4为resunet神经网络模型图；

图5为部分测试数据集原图；

图6为收敛速度与收敛精度图；

图7为不同方法实验结果对比图；

图8为部分分割结果图，其中，(a)为原始图像，(b)为标签，(c)为肾脏分割结果，(d)为肿瘤分割结果，(e)为分割结果。

具体实施方式

下面结合附图详细说明本发明的具体实施方式，其作为本说明书的一部分，通过实施例来说明本发明的原理，本发明的其他方面、特征及其优点通过该详细说明将会变得一目了然。在所参照的附图中，不同的图中相同或相似的部件使用相同的附图标号来表示。

深度学习在医学图像语义分割领域得到了广泛的应用，由于医学图像语义较为简单，结构较为固定且数据量较少。而u-net融合了不同尺度的特征，同时跳级连接保证上采样恢复出来的特征不会很粗糙。所以，u-net是研究医学图像分割最常用的神经网络模型之一。

u-net采用编码器-解码器的网络结构，它的典型特点是u型对称结构，左侧是卷积层，主要作用是特征提取。右侧是上采样层，主要作用是精确定位。其中编码器下采样4次，一共下采样16倍。对称的，其解码器也相应得上采样4次，将编码器得到的高级语义特征图恢复到原图像的分辨率。同时为了进行定位操作，将来自下采样高分辨率特征与上采样相结合，随后连续的卷积层可以基于该信息学习，得到更为精确的输出。

图2为u-net的肾脏图像的分割结果，从图中可以看出，该网络的分割结果能够比较好的获取到肾脏和肾脏肿瘤的分割边界，但是还是存在分割的结果不完全的现象。针对这一现象本发明对u-net的编码器进行了改进，同时对训练网络的损失函数做出了改进，提出了resunet分割方法。

在深度学习中卷积神经网络(cnn)能够提取低中高水平的特征，但是为了能提取到更多的特征，神经网络的层数就要逐渐加大。并且，越深的网络提取的特征越抽象，越具有语义信息。由于网络会逐渐加深，训练集的准确率会逐渐降低，针对这个问题使用了一种全新网络-深度残差网络(resnet)，它能够解决网络加深导致准确率降低的情况。

其中深度残差网络的结构具有两种映射，一种是恒等映射，而另一种是残差映射，如图3所示，右面曲线是残差映射，剩余部分是恒等映射。类似于电路中的“短路”，所以是一种短连接。残差函数如公式(1)：

f(x)＝h(x)-x(1)

公式(1)中，x表示神经网络的输入，学习到的特征记为h(x)，而f(x)就是所谓的残差。残差公式是这样的原因是残差学习相比直接学习原始特征更容易。当残差为f(x)＝0时，学习到的特征和网络的输入相等，这个时候就做了恒等映射，这样的话网络的性能不会变的更差，但是在具体的训练过程中残差不会一直为0，这样的话会让网络在输入特征中不断的学习，使得网络的性能变的更好。

直观上看，残差学习需要学习的内容少，因为残差一般会比较小，学习难度就会小一点。而从数学角度更容易分析这个问题，首先残差学习单元可以表示为公式(2)：

yl＝h(xl)+f(xl,wl)(2)

xl+1＝f(y1)

公式(2)中，xl是第l个残差单元的输入，xl+1是第l个残差单元的输出，f是残差函数，是网络在训练中不断学习到的残差，而h(xl)＝xl表示恒等映射，f是修正线形单元(relu)激活函数。所以求得从浅层l到深层l学的学习特征为公式(3)：

对于传统的卷积神经网络(cnn)，堆叠在一起的网络是做乘法计算的，是非线性变换的。但是在深度残差网络中，由于短连接的使用，使得做乘法计算变成了做加法计算，所以网络变的更加稳定。

在使用u-net网络训练的时候，出现图像不全的问题，主要原因是编码器在进行下采样过程中，特征提取不完全，丢失特征过多。针对这个问题，本发明将特征提取能力强大的残差网络与在医学分割上表现很好的u型网络相结合，在肾脏分割和肾脏肿瘤分割上取得较好的效果。

图4为改进后的u-net网络结构，左面为编码器。进行训练时，先给定网络三个超参数，即每批处理的样本数、初始样本的像素、通道数。由这三个超参数组成的四维变量，初始输入网络的四维变量是(32，256，256，3)，其中，32是每批处理的样本数，256*256是初始样本像素，3是通道数。每一层主要作用是利用深度残差网络自动提取肾脏和肾脏肿瘤的特征信息，其中conv1-pool是由一个卷积层和一个池化层组成的，conv2、conv3、conv4和conv5分别是由三个，四个，六个和三个不同特征的残差学习单元组成。由于在下采样的过程中只使用了一个池化层，所以减少了特征信息的丢失。右面为解码器，是由四个转置卷积和一个二维卷积组成。转置卷积，就是把普通卷积操作的中的卷积核做一个转置，将在编码器中卷积层提取到的特征，在解码器中恢复为原来的尺寸，接着对原来图像中每个像素都进行分类，然后通过一个二维卷积输出分类完成后的图像，也就是本发明所要得到的结果。中间的连接为特征图连接，它是将编码器中conv1-pool，conv2、conv3和conv4relu激活后得到的特征图与conv5，up1，up2和up3relu激活后得到的特征图进行concat特征融合，这样就能将一个全局特征(编码层提取到的)与一个相对局部特征(解码器提取到的)相结合，由于语义信息在不同的特征图所表达的含义都不一样，所以将各个特征图的语义信息通过通道形式相加，会使网络学习到更多信息，从而提升了网络的性能。

在医学图像语义分割中，常用dice系数(dicecoefficient)损失函数。但是diceloss损失函数比较适用于样本极度不均的情况。一般的情况下，使用diceloss损失函数会对反向传播造成不利的影响，容易使训练变得不稳定。所以本发明使用了洛瓦斯损失函数(lovasz-softmaxloss)。

洛瓦斯损失是专门针对分割任务的评价指标交并比(iou)进行优化设计的，交并比评价指标(又名jaccardindex)的计算为公式(4):其中y^*为样本标签，为预测结果，c为类别。在训练时，最小化loss的形式为公式(5)。

基于洛瓦斯扩展的子模集合函数的分段线性凸函数对jaccardloss来说是一个很好的提升替代品。jaccardloss满足子模函数性质，但是它目前只适用于离散情况，如果网络预测结果是连续的，则经过离散化后会导致不可导。因此jaccardloss无法直接接在网络后面。为了在连续优化框架中优化jaccardloss，本发明使用了离散损失的平滑扩展。扩展来自对子模集合函数的分析，这里的集合函数是从错误预测集到正确集的一个映射。错误预测集为公式(6)，也就是真阳性并上假阳性。那么可以把jaccardloss改写成公式(7)。为了方便表示，用离散的一个超立方体{0,1}^p来表示带有指标向量的像素子集。

因为jaccardloss是子模函数，所以可以对其进行洛瓦斯扩展，使其可导且输入空间从离散的{0,1}^p变成连续的r^p，其输出值与原函数在{0,1}^p上的输出值保持相等，并具有凸性，优化方向保持一致。扩展公式为公式(8):其中π为一个排列，以m的降序排列，即

针对二分类问题，使用洛瓦斯扩展并指定使用错误向量m来构建替代损失：前景-背景问题，转化为结合洛瓦斯铰链的jaccardloss来做二元图像分割，使用jaccardindex来优化前景类对于每张图片x，定义y^*i∈{-1,1}，代表了像素i的样本标签。fi(x)是模型的第i个元素的输出评分函数的值，那么预测结果mi＝max(1-fi(x)yi^*,0)是对某个像素的i的铰链损失，那么mi就是作为误差向量，通过洛瓦斯扩展，将损失结果代替为应用了洛瓦斯铰链的jaccardloss。就是的洛瓦斯扩展。那么就能够得到一个损失为：这就是结合洛瓦斯铰链的jaccardloss。能够有效减少损失。

thekits19challengedata数据集，是来自300例肾癌患者的动脉期腹部ct图像，该数据的原始图像和分割好标签图像的数据格式是nifti格式，形状是(num_slices，高度，宽度)，num_slices对应轴向视图，并且随着切片索引的增加从上到下，切片厚度范围为1mm到5mm。由于设备的原因，本试验选用了80例样本被用作模型的训练和验证，剩下20例用于客观模型评估。

首先对数据进行预处理，分割好的标签图像一共有三个类别值：0是背景，1是肾区域，2是肾肿瘤区域。将三维图像解压分解为二维图像，图像的尺寸为512×512。本发明使用resunet网络分别对肾脏和肾脏肿瘤进行分割，所以第一个resunet数据集只有背景和肾区域的图像，其中训练与测试的图片共1780张，1424张作为训练样本，356张作为测试样本。第二个resunet数据集只有背景和肾肿瘤区域图像，其中训练与测试的图片共2190张，1752张作为训练样本，438张作为测试样本。经过去除均值和像素强度归一化得到灰度值图像用做网络输入。图5为该数据集部分用于测试的原图像。

为了验证本发明的有效性，在intel酷睿i78700k处理器，操作系统ubuntu-18.04，运行内存16g，显卡geforcegtx1080ti，keras2.1.6的计算机中，利用thekits19challengedata数据集进行试验。

实验过程中各种参数设置如下：优化器为adam，学习率为0.0001，图像的批处理样本数大小为32，迭代次数为500，图6为resunet的收敛速度与收敛精度。为了防止训练过程中出现过拟合现象，本发明采用batchnormalization(bn)归一化层，bn能够提高梯度的收敛程度，加快训练速度，同时可以使得每一层尽量面对同一特征分布的输入值，减少变化带来的不确定性，也降低了对后层网络的影响，各层网络变得相对独立。为了缓解过拟合问题的发生和解决梯度小时的情况，本发明使用了relu激活函数代替了sigmoid函数。为了更好的分割出来肾和肿瘤，本发明采用双resunet网络进行分割，首先，用第一个resunet网络分割出来肾，第二个resunet网络分割出来肿瘤，然后进行像素值相加，生成肾和肿瘤的图像。

实验中使用了dice相似性系数(dicesimilaritycoefficient，dsc)，平均交并比(miou)，灵敏度(sensitivity，sens)以及正确率(precision，prec)这四种评价指标对本发明模型的分割结果进行性能测试。公式(9)，(10)，(11)和(12)分别是上述四种评价指标的计算公式。

其中，tp为正确分割出的肾脏和肾脏肿瘤的像素数，fn为肾脏和肾脏肿瘤被错误分割成背景的像素数，fp为背景被错误标记为肾脏和肾脏肿瘤的像素值。

实验随机取测试集中的一半为验证集，为了客观地评价模型的性能，实验均使用5折交叉验证，所有的结果均为5折交叉验证中的中位数。为了验证网络改进及损失的改进对分割结果所产生的影响，主要对比了如表1中的四种结构：(1)现有技术中的fastfcn。(2)u型网络结构使用了diceloss损失函数。(3)unet++网络结构使用了diceloss损失函数。(4)u型网络加入残差学习单元，并使用了diceloss损失函数。(5)u型网络加入残差学习单元并使用了lovasz-softmaxloss损失函数。结果如表1所示。

表1实验结果比较

上表的各值，是通过实验所得到的复合系数(肾脏系数和肿瘤系数取平均值)。结果表明第五种结构的性能最好。因此可以看出残差学习单元对权重改变的灵敏性，相似性能对梯度做出更好的调整。但是从图6中可以看出，模型的收敛实验过程中出现多个跳变尖峰，原因是训练样本中出现了个别脏数据，从而导致网络学习到了脏数据的信息。从运行时间上来看，虽然fastfcn与resunet相比精度差距不是很大，但是运行时间上来说fastfcn要比resunet长的多，对于大批量数据，fastfcn就没有resunet的效率好。同时从表中可以看出lovasz-softmaxloss相比较于diceloss更适用于肾脏及肾脏肿瘤的分割。

图7展示了u-net、unet++、resunet三种方法对肾脏分割的结果，从最左列到最右列分别是原图像、标签图像、u-net方法测试结果、unet++方法测试结果和resunet方法测试结果。从图中可以看出，u-net方法分割出的图像不全面，unet++方法能大体分割出完整的图像，但是分割的图像比较模糊，相比较其他两种方法，resunet方法能够得到比较准确的分割结果。从表1的运行时间上来看，由于unet++和resunet网络参数较大，所需要的运行时间相比较于unet稍长，但是识别精度更高。

为了验证本发明方法的可行性，本发明在thekits19challengedata数据集上进行了大量的肾脏和肾脏肿瘤分割实验，图8展示了在thekits19challengedata数据集上部分验证集的分割结果。最左侧的一列是输入模型的原始ct图像，第二列是人工分割的结果，第三列是肾脏分割结果，第四列是肿瘤分割结果，最后一列是通过像素值相加的分割结果。通过表1可以发现，本发明的方法在dice相似性系数、平均交并比、灵敏度以及正确率上都在不同程度上优于其他算法。相比较原来的u-net网络，有了很大的提高，引入残差学习单元，使得网络训练过程中丢失的特征信息更少，并且得到的特征更加清晰，从而有更好的鲁棒性和精度。因此实验结果表明，本模型能够对肾脏和肾脏肿瘤图像分割的精度有一定的提升，对深度学习在医学肿瘤图像分割领域有一定的借鉴的意义。

肾脏和肾脏肿瘤的正确分割对医生的临床诊断具有重大的实际意义。本发明使用了一种改进u-net网络的肾脏肿瘤分割方法对肾脏和肾脏肿瘤进行分割，在数据预处理中，将肾脏和肾脏肿瘤分隔开，分别使用本发明方法进行分割，然后通过像素叠加的方法将其合并在一起。在编码器部分使用卷积对图像进行若干次提取，在解码器部分使用了转置卷积生成对应的分割好的肾脏和肾脏肿瘤图像。在编码器中引入残差学习单元，通过残差网络模块使得提取到的特征更加准确。在网络训练中使用了洛瓦斯损失(lovasz-softmaxloss)，使得在样本标签较小的情况下也能更快更稳定的收敛。通过thekits19challengedata数据集对本发明提出的方法的可行性进行了实验，最终的准确率达到了88.7％，miou也达到了89.3％，其他的指标也达到了85％以上。通过对分割出的肾脏和肾脏肿瘤结果比较，本发明提出的方法与其他方法相比更有优势。随着深度学习的发展，医学肿瘤图像分割的研究会不断深入，分割结果的准确度会逐渐提升，对医生的辅助诊断程度也会不断加深。

以上所述是本发明的优选实施方式而已，当然不能以此来限定本发明之权利范围，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和变动，这些改进和变动也视为本发明的保护范围。