图像分割方法、系统、电子设备及存储介质与流程

本发明涉及图像分割技术领域，特别涉及一种图像分割方法、系统、电子设备及存储介质。

背景技术：

大脑的区域体积和形状测量结果是根据大脑的结构分割得出的。覆盖在图像上的分割图对于可视化而言更为重要。体积和皮层表面的定量测量对于描述正常的大脑发育很重要，并且有潜力预测长期的神经发育表现。但是，mr(磁共振)图像的手动分割非常耗时。此外，手动分割会受到观察者之间和观察者内部差异的影响，从而限制了其可重复性。手工方法的这些局限性使得标记人群研究所需的大量被试构成了障碍。因此，需要精确的自动化技术来将大脑分割成感兴趣的结构。

随着图像分割技术在医学图像分析应用中的发展，深度学习中的cnn(convolutionalneuralnetworks，卷积神经网络)已广泛用于医学图像处理领域，有效地帮助临床医生和研究者高效准确地处理海量图像信息。其中包括对于mr图像的分割处理。虽然多年的研究已经使得成人脑部mr图像分割技术取得了重大进展，然而新生儿(出生4周以内)mr影像脑区的分割仍然是一个巨大的挑战。原因在于，新生儿脑mr图像的对比噪声比(cnr)要比成人低得多，以及这一时期脑的快速发育，其脑形态和外观与成人也有很大差异。

新生儿mr影像脑区分割通常依靠临床医生多年的诊断经验人工进行分割。临床医生通过反复观察新生儿磁共振3dt1影像进行分割的方式存在阅片工作量大，任务繁重的问题，而且阅片医生也容易发生视觉疲劳，存在分割出来的脑灰质、脑白质及脑脊液等边界模糊不清的问题。近年来深度学习技术成为基于手工设计特征的监督学习方法的有力替代方案，深度学习技术具有强大的模型容量并可自动学习提取具有高度辨别的特征，达到的性能可显著优于手工设计的特征。目前深度学习中的cnn已广泛用于医学图像处理领域，在新生儿脑区分割问题中也已采用一些主流的fcn(fullyconvolutionalnetworks，全卷积网络)结构，取得了较好的分割效果。但是，目前在使用fcn进行图像分割时，仍然存在预测时偏差较大，最终对分割精度造成不良影响；另外，有些实现方式复杂，存在计算量大的问题。

技术实现要素：

本发明要解决的技术问题是为了克服现有技术中使用cnn进行图像分割时，存在预测时偏差较大，导致最终分割精度不高，以及实现方式复杂存在计算量大的缺陷，提供一种能够充分融合浅层与深层的特征信息，通过构建的融合了多层特征信息网络自动实现医学图像的分割，大大提高图像分割准确率及降低计算量的图像分割方法、系统、电子设备及存储介质。

本发明是通过下述技术方案来解决上述技术问题：

本发明第一方面提供一种图像分割方法，所述图像分割方法包括：

获取医学图像；

将所述医学图像输入至图像分割模型中进行图像分割，得到分割结果；

所述图像分割模型采用卷积神经网络模型训练得到；

所述卷积神经网络模型包括依次连接的输入层、浅卷积层、多个纵向提取层、浅反卷积层和输出层；

其中，所述浅卷积层输出的特征信息的尺度为浅层特征尺度；

所述卷积神经网络模型还包括至少一个纵向连接结构，每个所述纵向连接结构对应一个所述纵向提取层；每个所述纵向连接结构用于将所对应的所述纵向提取层输出的特征信息反卷积到所述浅层特征尺度后与所述浅卷积层输出的特征信息进行融合，并将融合的结果直接或间接作为所述浅反卷积层的输入。

较佳地，与所述浅卷积层相邻的所述纵向提取层为首纵向提取层，与所述浅反卷积层相邻的所述纵向提取层为尾纵向提取层，当所述纵向提取层的数量大于两个时，其余的所述纵向提取层为中间纵向提取层；

当所述纵向连接结构所对应的所述纵向提取层为所述中间纵向提取层时，所述将所对应的所述纵向提取层输出的特征信息反卷积到所述浅层特征尺度后与所述浅卷积层输出的特征信息进行融合，并将融合的结果直接或间接作为所述浅反卷积层的输入，包括：将所述中间纵向提取层输出的特征信息反卷积到所述浅层特征尺度后与前一级所述纵向提取层进行通道合并得到的融合特征信息进行通道合并，并将通道合并的结果作为所述中间纵向提取层所对应的融合特征信息，所述中间纵向提取层所对应的融合特征信息间接作为所述浅反卷积层的输入。

较佳地，当所述纵向连接结构所对应的所述纵向提取层为所述首纵向提取层时，所述将所对应的所述纵向提取层输出的特征信息反卷积到所述浅层特征尺度后与所述浅卷积层输出的特征信息进行融合，并将融合的结果直接或间接作为所述浅反卷积层的输入，包括：将所述首纵向提取层输出的特征信息反卷积到所述浅层特征尺度后与所述浅卷积层输出的特征信息进行通道合并，并将通道合并的结果作为所述首纵向提取层对应的融合特征信息，所述首纵向提取层对应的融合特征信息间接作为所述浅反卷积层的输入。

较佳地，当所述纵向连接结构所对应的所述纵向提取层为所述尾纵向提取层时，所述将所对应的所述纵向提取层输出的特征信息反卷积到所述浅层特征尺度后与所述浅卷积层输出的特征信息进行融合，并将融合的结果直接或间接作为所述浅反卷积层的输入，包括：将所述尾纵向提取层输出的特征信息反卷积到所述浅层特征尺度后与前一级所述纵向提取层进行通道合并得到的融合特征信息进行通道合并，并将通道合并的结果作为所述尾纵向提取层所对应的融合特征信息，所述尾纵向提取层所对应的融合特征信息直接作为所述浅反卷积层的输入。

较佳地，所述卷积神经网络为v字型或u字型的卷积神经网络；

所述v字型或所述u字型的卷积神经网络模型包括依次连接的输入层、浅卷积层、多个卷积层、位于所述v字型或所述u字型底部的复合卷积层、多个反卷积层、浅反卷积层以及输出层，所述卷积层的数量和所述反卷积层的数量相同；

其中，所述卷积层、所述反卷积层以及所述复合卷积层均为所述纵向提取层。

较佳地，所述获取医学图像，包括：获取新生儿脑区的磁共振3dt1影像；

所述将所述医学图像输入至图像分割模型中进行图像分割，得到分割结果，包括：

对所述新生儿脑区的磁共振3dt1影像进行头部矫正，以得到第一矫正数据；

对所述第一矫正数据进行磁场场矫正，以得到第二矫正数据；

使用归一化方法对所述第二矫正数据进行标准化处理，以得到网络输入数据；

将所述网络输入数据输入至图像分割模型中进行图像分割，得到分割结果；

所述分割结果包括分割出新生儿脑区的脑白质、脑灰质及脑脊液中的至少一种。

较佳地，所述医学图像的成像模态包括计算机断层扫描图像、磁共振图像、x射线图像、超声图像以及分子图像中的至少一种；

和/或，每个所述纵向提取层均对应一个所述纵向连接结构。

本发明第二方面提供了一种图像分割系统，所述图像分割系统包括：

获取模块，用于获取医学图像；

分割模块，用于将所述医学图像输入至图像分割模型中进行图像分割，得到分割结果；

所述图像分割模型采用卷积神经网络模型训练得到；

所述卷积神经网络模型包括依次连接的输入层、浅卷积层、多个纵向提取层、浅反卷积层和输出层；

其中，所述浅卷积层输出的特征信息的尺度为浅层特征尺度；

所述卷积神经网络模型还包括至少一个纵向连接结构，每个所述纵向连接结构对应一个所述纵向提取层；每个所述纵向连接结构用于将所对应的所述纵向提取层输出的特征信息反卷积到所述浅层特征尺度后与所述浅卷积层输出的特征信息进行融合，并将融合的结果直接或间接作为所述浅反卷积层的输入。

较佳地，与所述浅卷积层相邻的所述纵向提取层为首纵向提取层，与所述浅反卷积层相邻的所述纵向提取层为尾纵向提取层，当所述纵向提取层的数量大于两个时，其余的所述纵向提取层为中间纵向提取层；

当所述纵向连接结构所对应的所述纵向提取层为所述中间纵向提取层时，所述纵向连接结构用于将所述中间纵向提取层输出的特征信息反卷积到所述浅层特征尺度后与前一级所述纵向提取层进行通道合并得到的融合特征信息进行通道合并，并将通道合并的结果作为所述中间纵向提取层所对应的融合特征信息，所述中间纵向提取层所对应的融合特征信息间接作为所述浅反卷积层的输入。

较佳地，当所述纵向连接结构所对应的所述纵向提取层为所述首纵向提取层时，所述纵向连接结构用于将所述首纵向提取层输出的特征信息反卷积到所述浅层特征尺度后与所述浅卷积层输出的特征信息进行通道合并，并将通道合并的结果作为所述首纵向提取层对应的融合特征信息，所述首纵向提取层对应的融合特征信息间接作为所述浅反卷积层的输入。

较佳地，当所述纵向连接结构所对应的所述纵向提取层为所述尾纵向提取层时，所述纵向连接结构用于将所述尾纵向提取层输出的特征信息反卷积到所述浅层特征尺度后与前一级所述纵向提取层进行通道合并得到的融合特征信息进行通道合并，并将通道合并的结果作为所述尾纵向提取层所对应的融合特征信息，所述尾纵向提取层所对应的融合特征信息直接作为所述浅反卷积层的输入。

较佳地，所述卷积神经网络为v字型或u字型的卷积神经网络；

所述v字型或所述u字型的卷积神经网络模型包括依次连接的输入层、浅卷积层、多个卷积层、位于所述v字型或所述u字型底部的复合卷积层、多个反卷积层、浅反卷积层以及输出层，所述卷积层的数量和所述反卷积层的数量相同；

其中，所述卷积层、所述反卷积层以及所述复合卷积层均为所述纵向提取层。

较佳地，所述获取模块用于获取新生儿脑区的磁共振3dt1影像；

所述分割模块包括：

第一矫正单元，用于对所述新生儿脑区的磁共振3dt1影像进行头部矫正，以得到第一矫正数据；

第二矫正单元，用于对所述第一矫正数据进行磁场场矫正，以得到第二矫正数据；

标准化处理单元，用于使用归一化方法对所述第二矫正数据进行标准化处理，以得到网络输入数据；

分割单元，用于将所述网络输入数据输入至图像分割模型中进行图像分割，得到分割结果；

所述分割结果包括分割出新生儿脑区的脑白质、脑灰质及脑脊液中的至少一种。

较佳地，所述医学图像的成像模态包括计算机断层扫描图像、磁共振图像、x射线图像、超声图像以及分子图像中的至少一种；

和/或，每个所述纵向提取层均对应一个所述纵向连接结构。

本发明第三方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的图像分割方法。

本发明第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如第一方面所述的图像分割方法的步骤。

本发明的积极进步效果在于：与现有技术相比，本发明通过增加纵向连接结构实现对卷积神经网络模型的网络结构的改进，改进后的网络结构充分融合了浅层与深层的信息，通过对深层和浅层特征的融合，使定位信息和分类信息相结合，构建了一个融合了多层特征信息的网络，同时采用直接将纵向提取层输出的特征信息的尺度反卷积到浅层特征尺度的方式，在兼顾充分融合浅层与深层的信息的同时，简化了网络复杂度，降低了计算量。本发明通过采用改进后的卷积神经网络模型对医学图像进行分割，能够充分融合浅层与深层的特征信息，通过构建的融合了多层特征信息网络自动实现医学图像的分割，能够提高图像分割准确率同时降低了计算量。

附图说明

图1为本发明实施例1的图像分割方法的流程图。

图2为本发明实施例1中对新生儿脑区的磁共振3dt1影像数据预处理的流程图。

图3为本发明实施例1中对新生儿脑区进行图像分割的模型训练的示意图。

图4为本发明实施例1中采用的改进的v-net网络结构示意图。

图5为本发明实施例2的图像分割系统的模块示意图。

图6为本发明实施例3的电子设备的结构示意图。

具体实施方式

下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。

实施例1

本实施例公开了一种图像分割方法，如图1所示，该图像分割方法包括：

步骤s1、获取医学图像。

获取的医学图像的成像模态可以为计算机断层扫描图像、磁共振图像、x射线图像、超声图像或分子图像等。

步骤s2、将医学图像输入至图像分割模型中进行图像分割，得到分割结果。

其中，图像分割模型采用卷积神经网络模型训练得到；该卷积神经网络模型包括依次连接的输入层、浅卷积层、多个纵向提取层、浅反卷积层和输出层；浅卷积层输出的特征信息的尺度为浅层特征尺度。该卷积神经网络模型还包括至少一个纵向连接结构，每个纵向连接结构对应一个纵向提取层。本实施例中每个纵向提取层均对应一个纵向连接结构，即有多少个纵向提取层就有多少个纵向连接结构。其中，与浅卷积层相邻的纵向提取层为首纵向提取层，与浅反卷积层相邻的纵向提取层为尾纵向提取层，当纵向提取层的数量大于两个时，其余的纵向提取层为中间纵向提取层。每个纵向连接结构用于将所对应的纵向提取层输出的特征信息反卷积到浅层特征尺度后与浅卷积层输出的特征信息进行融合，并将融合的结果直接或间接作为浅反卷积层的输入。具体如下：

当纵向连接结构所对应的纵向提取层为中间纵向提取层时，该纵向连接结构用于将中间纵向提取层输出的特征信息反卷积到浅层特征尺度后与前一级纵向提取层进行通道合并得到的融合特征信息进行通道合并，并将通道合并的结果作为中间纵向提取层所对应的融合特征信息，中间纵向提取层所对应的融合特征信息间接作为浅反卷积层的输入。

当纵向连接结构所对应的纵向提取层为首纵向提取层时，该纵向连接结构用于将首纵向提取层输出的特征信息反卷积到浅层特征尺度后与浅卷积层输出的特征信息进行通道合并，并将通道合并的结果作为首纵向提取层对应的融合特征信息，首纵向提取层对应的融合特征信息间接作为浅反卷积层的输入。

当纵向连接结构所对应的纵向提取层为尾纵向提取层时，该纵向连接结构用于将尾纵向提取层输出的特征信息反卷积到浅层特征尺度后与前一级纵向提取层进行通道合并得到的融合特征信息进行通道合并，并将通道合并的结果作为尾纵向提取层所对应的融合特征信息，尾纵向提取层所对应的融合特征信息直接作为浅反卷积层的输入。

本领域的技术人员公知的是网络结构中浅层特征对定位效果好，深层特征由于语义更高级，所以对分类结果好。现有的大部分网络结构中浅层特征与深层特征信息并没有充分利用。虽然有些改进的网络结构也采用了特征融合，但是它们往往只利用融合后得到的一种尺度特征，这种实现方式虽然在特征反卷积等过程中可以将深层特征的语义信息和浅层特征细节信息融合，但是只利用融合后得到的浅层特征进行预测会造成一些偏差，对图像分割或检测的精度造成不良影响。本实施例为了解决图像分割时特征信息融合不够充分的问题，提出了一种改进的图像分割模型，该图像分割模型对应的网络结构充分融合了浅层特征与深层特征信息，使定位信息和分类信息相结合，构建了一个融合了多层特征信息的网络结构，同时采用直接将纵向提取层输出的特征信息的尺度反卷积到浅层特征尺度的方式，在兼顾充分融合浅层与深层的特征信息的同时，还简化了网络复杂度，降低了计算量。本实施例通过采用改进后的卷积神经网络模型对医学图像进行分割，能够充分融合浅层与深层的特征信息，通过构建的融合了多层特征信息网络自动实现医学图像的分割，能够提高图像分割准确率，同时降低了计算量。

本实施例中，卷积神经网络可以采用segnet、pspnet、linknet、deeplab、refinenet等，也可以采用v字型或u字型的卷积神经网络，例如u-net、3du-net、v-net。

为了更好的理解本实施例的技术方案和技术效果，下面基于本实施例提供的图像分割方法，采用v-net网络对新生儿脑区的磁共振3dt1影像序列进行图像分割，具体说明如下：

新生儿大脑的自动形态分析对于定量评估正常的大脑发育和研究认知障碍的神经解剖学相关性至关重要。大脑异常发育与几种神经系统缺陷有关，为治疗干预提供了一个窗口。大约10％的早产儿会发展为脑瘫，多达50％的儿童会发展成认知或行为问题。有问题的病例最早可以追溯到胎儿期。脑室扩大是胎儿大脑中最常见的异常，并与精神病、自闭症和癫痫等神经系统疾病有关。分割大脑的mr图像是获得区域大脑结构定量测量的先决条件。在图像采集过程中，脑mr图像进一步受到婴儿运动伪影的影响。

本应用场景将利用改进的v-net深度学习网络自动分割新生儿磁共振3dt1影像序列中的脑白质、脑灰质及脑脊液，具体流程参见图2和图3。其中，改进的v-net深度学习网络结构参见图4，包括依次连接的输入层41(input)、浅卷积层42、三个卷积层43、位于v字型底部的复合卷积层44、三个反卷积层45、浅反卷积层46以及输出层47(output)，卷积层43的数量和反卷积层45的数量相同；其中，卷积层43、反卷积层45以及复合卷积层44均为纵向提取层，该改进的v-net深度学习网络结构还包括多个纵向连接结构48，每个纵向连接结构48对应一个纵向提取层。该网络结构包括自下而上的通道、自上而下的通道、横向连接和纵向连接四部分。

图1中步骤s1在本应用场景中获取的是新生儿脑区的磁共振3dt1影像。图2为对新生儿脑区的磁共振3dt1影像数据预处理的流程图，具体步骤说明如下：

1)输入新生儿3dt1磁共振影像数据。

2)头部矫正，对获取的新生儿磁共振影像数据进行头部矫正，以得到第一矫正数据。该步骤是为了把新生儿脑区每一帧的图像进行帧与帧之间的对齐操作，同时丢弃校正参数超出预期范围数据。

3)对第一矫正数据进行磁场场矫正，以得到第二矫正数据。磁场场矫正可以采用n3或n4场矫正。偏置场导致mri机器的磁场中的不均匀性，在同一组织内，mr图像上的亮度差异，强度值(从黑色到白色)。本应用场景中使用n4场校正mr图像的偏置场。

4)使用自适应归一化方法对第二矫正数据进行标准化处理，以得到网络输入数据。具体为将第二矫正数据按比例缩放，使之落入一个小的特定区间，去除数据的单位限制，将其转化为无量。得到的网络输入数据作为改进的v-net图像分割模型的输入，用于图像分割，最终得到分割结果。该分割结果包括分割出新生儿脑区的脑白质、脑灰质及脑脊液中的至少一种。

经过头部矫正处理后的数据，剔除部分运动伪迹严重数据，避免干扰正常数据。经过磁场场矫正处理后的数据，减少了因偏置场影响同一组织强度值不同的影响，使得脑白质，脑灰质，脑脊液三类强度值分明。经过自适应归一化处理后的数据，可避免不同场强下扫描的数据尺度不一致的影响。最后，经过预处理后整个网络的训练学习更准确的权重参数以及损失函数更快。

如图3所示，本例子中改进的v-net图像分割模型的训练步骤示意性说明如下：

1)采集新生儿脑区的磁共振3dt1数据，作为最初的输入，经过数据预处理得到网络训练数据集输入数据，通过专业医师在3dt1图像进行手动像素级别标注，即打标签，得到训练数据集与验证集的掩膜数据，训练数据集与验证集比例为8：2。

2)对经过标准化的训练数据集进行扩增处理，增大训练样本集。对数据扩增操作包括：图像翻转，图像旋转(-15°,15°)，错切变换(0.05)，水平移动(0,0.2)。训练过程中先对原数据不进行任何扩增变换，直接复制一份，再在此基础上进行扩增一份，训练集总体扩增三倍。

3)在网络训练阶段，训练集对改进v-net网络分割模型训练时，通过将训练集图像输入至改进v-net网络分割模型，并使用其对应的掩膜作为金标准来进行训练，基于预设的损失函数以及输出结果对改进v-net网络模型权重进行调整，其中所述的损失函数包括diceloss、focalloss、diceloss与focalloss的联合损失函数、diceloss和交叉熵的联合损失函数中的至少一种。本网络模型中设置分割结果与对应掩膜的重叠率为dice系数。

4)关于网络特征部分具体参见图4。

第一，把数据集n*96*96*96*1经输入层41传入到改进的v-net网络中，其中n表示数据集的数量。卷积网络通过第一层卷积层(即浅卷积层42)filters*filters*16，filters＝3，把第一层卷积层输出数据输入到第二层卷积层(即首纵向提取层)，同时把第一层卷积层输出数据反卷积到第一层特征尺度，然后把第一层特征与第二层反卷积特征进行融合操作，提取基于纵向连接深层特征与浅层特征融合信息。此时，特征融合后的特征融合信息尺度即第一组通道合并输出51为96*96*96*32。

第二，把第二层卷积层输出经过两次反卷积到第一层特征尺度，然后把第三层卷积层(即中间纵向提取层)反卷积特征与第一层特征进行融合操作，再次提取基于纵向连接深层特征与浅层特征融合信息。此时，特征融合后的特征融合信息尺度即第二组通道合并输出52为96*96*96*48。以此类推，基于本网络结构有4层自下而上的通道得到4个纵向连接结构；4层自上而下的通道得到另外4个纵向连接结构，共8个纵向连接结构，同时加上第一层特征，最后得到的特征融合信息尺度即最后一组通道合并输出53为96*96*96*144。

5)最后，将由4)得到的纵向连接融合特征与通过自上而下的上采样通道得到的特征再次融合，经过1*1卷积得到网络分割结果，经输出层47输出。

本方案公开的图像分割方法应用于脑区分割时，能够达到全自动分割脑白质、脑灰质及脑脊液的目的，在一定方面降低了对临床医生专业经验的要求，同时减轻临床医生一定工作量。

本方案应用于新生儿脑区分割时，充分考虑了新生儿mr影像脑区中脑白质、脑灰质等分界不明，定位困难，手动分割非常耗时耗力问题，将改进的v-net进行浅层信息充分融合分析，达到新生儿脑区分割高精度分割，实现临床医生对新生儿脑区体积和皮层表面量化目的，从而准确评估新生儿大脑发育情况。

本方案公开了一种纵向连接多尺度特征融合网络结构，通过利用深度学习反卷积算法将深层特征反卷积到浅层特征，把原浅层特征与通过反卷积得到的浅层特征融合，得到融合后的浅层特征。将深层特征信息通过反卷积到浅层特征尺度，然后与前一步浅层特征通道融合。本方案改进的纵向连接结构可以运用任何语义分割网络，包括但不限于运用新生儿脑区分割，成年人脑区分割，器官分割，病灶分割以及检测。

实施例2

如图5所示，本实施例公开了一种图像分割系统，图像分割系统包括获取模块1和分割模块2。其中，获取模块1用于获取医学图像，该医学图像的成像模态可以是计算机断层扫描图像、磁共振图像、x射线图像、超声图像或分子图像等。用于新生儿脑区分割时，获取模块1具体用于获取新生儿脑区的磁共振3dt1影像。分割模块2用于将医学图像输入至图像分割模型中进行图像分割，得到分割结果。用于新生儿脑区分割时，分割模块2具体包括：第一矫正单元21、第二矫正单元22、标准化处理单元23和分割单元24。第一矫正单元21用于对新生儿脑区的磁共振3dt1影像进行头部矫正，以得到第一矫正数据；第二矫正单元22用于对第一矫正数据进行磁场场矫正，以得到第二矫正数据；标准化处理单元23用于使用归一化方法对第二矫正数据进行标准化处理以得到网络输入数据；分割单元24用于将网络输入数据输入至图像分割模型中进行图像分割，得到分割结果；该分割结果包括分割出新生儿脑区的脑白质、脑灰质及脑脊液中的至少一种。

本实施例中，图像分割模型采用卷积神经网络模型训练得到；该卷积神经网络模型包括依次连接的输入层、浅卷积层、多个纵向提取层、浅反卷积层和输出层；浅卷积层输出的特征信息的尺度为浅层特征尺度；该卷积神经网络模型还包括至少一个纵向连接结构，每个纵向连接结构对应一个纵向提取层。本实施例中每个纵向提取层均对应一个纵向连接结构，即有多少个纵向提取层就有多少个纵向连接结构。其中，与浅卷积层相邻的纵向提取层为首纵向提取层，与浅反卷积层相邻的纵向提取层为尾纵向提取层，当纵向提取层的数量大于两个时，其余的纵向提取层为中间纵向提取层。

本实施例中，卷积神经网络可以采用segnet、pspnet、linknet、deeplab、refinenet等，也可以采用v字型或u字型的卷积神经网络，如u-net、3du-net、v-net。其中，v字型或u字型的卷积神经网络模型包括依次连接的输入层、浅卷积层、多个卷积层、位于v字型或u字型底部的复合卷积层、多个反卷积层、浅反卷积层以及输出层，卷积层的数量和反卷积层的数量相同；其中，卷积层、反卷积层以及复合卷积层均为纵向提取层。

每个纵向连接结构用于将所对应的纵向提取层输出的特征信息反卷积到浅层特征尺度后与浅卷积层输出的特征信息进行融合，并将融合的结果直接或间接作为浅反卷积层的输入。具体如下：

当纵向连接结构所对应的纵向提取层为中间纵向提取层时，该纵向连接结构用于将中间纵向提取层输出的特征信息反卷积到浅层特征尺度后与前一级纵向提取层进行通道合并得到的融合特征信息进行通道合并，并将通道合并的结果作为中间纵向提取层所对应的融合特征信息，中间纵向提取层所对应的融合特征信息间接作为浅反卷积层的输入。

当纵向连接结构所对应的纵向提取层为首纵向提取层时，该纵向连接结构用于将首纵向提取层输出的特征信息反卷积到浅层特征尺度后与浅卷积层输出的特征信息进行通道合并，并将通道合并的结果作为首纵向提取层对应的融合特征信息，首纵向提取层对应的融合特征信息间接作为浅反卷积层的输入。

当纵向连接结构所对应的纵向提取层为尾纵向提取层时，该纵向连接结构用于将尾纵向提取层输出的特征信息反卷积到浅层特征尺度后与前一级纵向提取层进行通道合并得到的融合特征信息进行通道合并，并将通道合并的结果作为尾纵向提取层所对应的融合特征信息，尾纵向提取层所对应的融合特征信息直接作为浅反卷积层的输入。

本领域的技术人员公知的是网络结构中浅层特征对定位效果好，深层特征由于语义更高级，所以对分类结果好。目前现有的大部分网络结构中浅层特征与深层特征信息并没有充分利用。虽然有些改进的网络结构也采用了特征融合，但是它们往往只利用融合后得到的一种尺度特征，这种实现方式虽然在特征反卷积等过程中可以将深层特征的语义信息和浅层特征细节信息融合，但是只利用融合后得到的浅层特征进行预测会造成一些偏差，对图像分割或检测的精度造成不良影响。本实施例为了解决图像分割时特征信息融合不够充分的问题，提出了一种改进的图像分割模型，该模型对应的网络结构充分融合了浅层特征与深层特征信息，使定位信息和分类信息相结合，构建了一个融合了多层特征信息的网络结构，同时采用直接将纵向提取层输出的特征信息的尺度反卷积到浅层特征尺度的方式，在兼顾充分融合浅层与深层的特征信息的同时，还简化了网络复杂度，降低了计算量。本实施例通过采用改进后的卷积神经网络模型对医学图像进行分割，能够充分融合浅层与深层的特征信息，通过构建的融合了多层特征信息网络自动实现医学图像的分割，能够提高图像分割准确率，同时降低了计算量。

本实施例公开的图像分割系统应用于脑区分割时，能够达到全自动分割脑白质、脑灰质及脑脊液的目的，在一定方面降低了对临床医生专业经验的要求，同时减轻临床医生一定工作量。

本实施例应用于新生儿脑区分割时，充分考虑了新生儿mr影像脑区中脑白质、脑灰质等分界不明，定位困难，手动分割非常耗时耗力问题，将改进的v-net进行浅层信息充分融合分析，达到新生儿脑区分割高精度分割，实现临床医生对新生儿脑区体积和皮层表面量化目的，从而准确评估新生儿大脑发育情况。

本实施例公开了一种纵向连接多尺度特征融合网络结构，通过利用深度学习反卷积算法将深层特征反卷积到浅层特征，把原浅层特征与通过反卷积得到的浅层特征融合，得到融合后的浅层特征。将深层特征信息通过反卷积到浅层特征尺度，然后与前一步浅层特征通道融合。本实施例改进的纵向连接结构可以运用任何语义分割网络，包括但不限于运用新生儿脑区分割，成年人脑区分割，器官分割，病灶分割以及检测。

实施例3

图6为本发明实施例3提供的一种电子设备的结构示意图。电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行所述程序时实现实施例1中图像分割方法。图6显示的电子设备60仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图6所示，电子设备60可以以通用计算设备的形式表现，例如其可以为服务器设备。电子设备60的组件可以包括但不限于：上述至少一个处理器61、上述至少一个存储器62、连接不同系统组件(包括存储器62和处理器61)的总线63。

总线63包括数据总线、地址总线和控制总线。

存储器62可以包括易失性存储器，例如随机存取存储器(ram)621和/或高速缓存存储器622，还可以进一步包括只读存储器(rom)623。

存储器62还可以包括具有一组(至少一个)程序模块624的程序/实用工具625，这样的程序模块624包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

处理器61通过运行存储在存储器62中的计算机程序，从而执行各种功能应用以及数据处理，例如本发明实施例1中图像分割方法。

电子设备60也可以与一个或多个外部设备64(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(i/o)接口65进行。并且，模型生成的设备60还可以通过网络适配器66与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器66通过总线63与模型生成的设备60的其它模块通信。应当明白，尽管图中未示出，可以结合模型生成的设备60使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、raid(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。

应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。

实施例4

本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现实施例1中图像分割方法的步骤。

其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。

在可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行实现实施例1中图像分割方法的步骤。

其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，所述程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。

虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。