基于深度学习的脑胶质瘤分割网络系统及分割方法与流程

本发明涉及医学图像分割技术领域，具体地说是一种基于深度学习的脑胶质瘤分割网络系统及分割方法。

背景技术：

在过去的几年里，深度学习特别是基于卷积神经网络的方法在医学图像语义分割方面取得了最先进的性能。

智能分割脑胶质瘤对疾病诊断和临床决策具有重要意义，然而，由于肿瘤结构自身固有的异质性，准确地实现脑肿瘤的机器提取仍然是一个公认的挑战。对脑胶质瘤的机器分割可以节省医生的时间，减少患者的成本，为进一步分析和监测肿瘤提供准确而有价值的解决方案。在临床上，对脑肿瘤图像进行准确的分割对于患者的护理有着不可缺少的作用。然而，准确和鲁棒地实现智能提取脑瘤仍然是一个公认的挑战，因为有两个瓶颈：(1)这些胶质瘤具有类似天线的结构，它们经常容易扩散并且对比度差；(2)脑胶质瘤与周围组织之间界限的模糊，使得对脑胶质瘤进行分割变得非常困难。

基于上述如何提升脑胶质瘤分割精度，是需要解决的技术问题。

技术实现要素：

本发明的技术任务是针对以上不足，提供一种基于深度学习的脑胶质瘤分割网络系统及分割方法，来解决如何提升脑胶质瘤分割精度的问题。

第一方面，本发明提供一种基于深度学习的脑胶质瘤分割网络系统，包括：

r2mfnet网络，所述r2mfnet网络为基于循环残差卷积神经网络和3d多纤维网络构成的网络，用于提取特征以输出特征图，上述r2mfnet网络共n个，n大于等于2，上述n个r2mfnet网络依次连接，位于传输末端的r2mfnet网络作为末端r2mfnet网络，其它r2mfnet网络作为中间r2mfnet网络；

池化层，所述池化层共n-1个并与中间r2mfnet网络一一对应，每个r2mfnet网络的输出端均连接有一个池化层；

上采样模块，所述上采样模块共n个，上述n个上采样模块依次连接，位于传输末端的上采样模块作为末端上采样模块，其它上采样模块作为中间上采样模块，上述中间上采样模块与上述中间r2mfnet网络一一对应，每个中间上采样模块和与其对应的中间r2mfnet网络的输出端连接，位于传输首端的中间上采样模块连接于末端r2mfnet网络的输出端，所述上采样模块用于将来自对应中间r2mfnet网络的特征图与上采样模块自身的特征映射连接；

末端卷积层，所述末端卷积层位于上述n-1个上采样模块的输出端，用于计算目标类的概率。

更优的，还包括：

首端卷积层，所述首端卷积层连接于上述n个r2mfnet网络的输入端，用于对输入的图像进行尺寸剪裁。

作为优选，所述r2mfnet网络包括：

循环残差卷积神经网络，所述循环残差卷积神经网络包括循环卷积神经网络和残差网络，在每个时间步长，循环卷积层用于接收一个新的输入、并基于当前输入和以前的时间步长信息生成一个输出，所述循环卷积层的输出作为残差部分，所述当前输入作为直接映射部分，所述循环残差卷积神经网络的输出由上述直接映射部分和残差部分组成，上述循环残差卷积神经网络共多个；

multiplexer网络，所述multiplexer网络分别与上述每个循环残差卷积神经网络连接，用于作为路由器重定向和放大每个循环残差卷积神经网络输出的数据。

作为优选，所述循环卷积神经网络包括前馈卷积层和多个循环层；

所述循环残差卷积神经网络用于通过如下操作进行特征提取：

设定xl为循环残差卷积神经网络中第l^th层中特定的输入样本，对于循环卷积层中第k^th个特征图上特定输入样本(i,j)处的一个像素，在时间为t时循环残差卷积神经网络的输出表示为：

其中，fl^(i,j)为前馈卷积层的输入，rl^(i,j)(t-1)为循环卷积层的输入，为前馈卷积层的权重，为第k层特征图在循环卷积层的权重，bk为偏置；

将上述得到的输出通过relu激活函数后，表达式为：

其中，表示循环残差卷积神经网络中第l^th层的输出；

循环残差卷积神经网络的输出由直接映射部分和残差部分组成，设定循环残差卷积神经网络的输出为xl+1，表达式为：

作为优选，所述multiplexer网络包括：

第一卷积层，所述第一卷积层分别与上述每个循环残差卷积神经网络连接，用于接收循环残差卷积神经网络输出的数据；

第二卷积层，所述第二卷积层与第一卷积层连接，用于定向输出数据。

第二方面，本发明提供一种基于深度学习的脑胶质瘤分割方法，包括如下步骤：

获取核磁图像作为输入图像，所述核磁图像上包括多种mri模态和专家标注的脑胶质区域；

对输入图像进行归一化处理，使得输入图像符合正态分布；

构建如第一方面任一项所述的基于深度学习的脑胶质瘤分割网络系统，将归一化后的输入图像输入上述脑胶质瘤分割网络系统。

作为优选，将归一化后的输入图像输入上述脑胶质瘤分割网络系统之前，通过卷积层对所述归一化后的输入图像进行尺寸剪裁。

本发明的基于深度学习的脑胶质瘤分割网络系统及分割方法具有以下优点：

1、r2mfnet网络基于循环残差卷积神经网络和3d多纤维网络构成，结合两者的优点，利用循环残差卷积神经网络可为分割构建更好的特征表示，通过引入3d多纤维网络，克服了计算量大的瓶颈；

2、上述循环残差卷积神经网络共多个，采用多纤维分组策略，将多个循环残差卷积神经网络分为多个平行和独立的网络，称为纤维，在保持网络整体宽度不变的情况下，网络参数大大降低，对整个网络系统的计算具有重大意义；

3、multiplexer充当路由器，附加在上述多个循环残差卷积神经网络的开始，重定向和放大所有循环残差卷积神经网络输出的数据，在不额外增加参数的情况下，提高了学习能力和特征提取能力。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

下面结合附图对本发明进一步说明。

图1为实施例1基于深度学习的脑胶质瘤分割网络系统的结构框图；

图2为残差卷积神经网络结构示意图；

图3为实施例1基于深度学习的脑胶质瘤分割网络系统中循环残差卷积神经网络结构示意图；

图4为实施例1基于深度学习的脑胶质瘤分割网络系统中多纤维循环残差卷积神经网络结构示意图；

图5为实施例1基于深度学习的脑胶质瘤分割网络系统中r2mfnet网络结构示意图；

图6为实施例1基于深度学习的脑胶质瘤分割网络系统中multiplexer网络结构示意图；

图7为实施例1基于深度学习的脑胶质瘤分割网络系统中循环卷积操作示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互结合。

需要理解的是，在本发明实施例的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。在本发明实施例中的“多个”，是指两个或两个以上。

本发明实施例提供基于深度学习的脑胶质瘤分割网络系统及分割方法，用于解决如何提升脑胶质瘤分割精度的技术问题。

实施例1：

本发明的一种基于深度学习的脑胶质瘤分割网络系统，包括r2mfnet网络、池化层、上采样模块和末端卷积层，r2mfnet网络为基于循环残差卷积神经网络和3d多纤维网络构成的网络，用于提取特征以输出特征图，上述r2mfnet网络共n个，n大于等于2，上述n个r2mfnet网络依次连接，位于传输末端的r2mfnet网络作为末端r2mfnet网络，其它r2mfnet网络作为中间r2mfnet网络；池化层共n-1个并与中间r2mfnet网络一一对应，每个r2mfnet网络的输出端均连接有一个池化层；上采样模块，所述上采样模块共n个，上述n个上采样模块依次连接，位于传输末端的上采样模块作为末端上采样模块，其它上采样模块作为中间上采样模块，上述中间上采样模块与上述中间r2mfnet网络一一对应，每个中间上采样模块和与其对应的中间r2mfnet网络的输出端连接，位于传输首端的中间上采样模块连接于末端r2mfnet网络的输出端，所述上采样模块用于将来自对应中间r2mfnet网络的特征图与上采样模块自身的特征映射连接；末端卷积层位于上述n-1个上采样模块的输出端，用于计算目标类的概率。

其中，循环残差卷积神经网络包括循环卷积神经网络和残差网络，在每个时间步长，循环卷积层用于接收一个新的输入、并基于当前输入和以前的时间步长信息生成一个输出，循环卷积层的输出作为残差部分，当前输入作为直接映射部分，循环残差卷积神经网络的输出由上述直接映射部分和残差部分组成，上述循环残差卷积神经网络共多个。

循环卷积神经网络包括前馈卷积层和多个循环层，循环卷积神经网络(rcnn)在人工神经网络领域有着悠久的历史，rcnn及其变体在不同基准下的目标识别任务中表现出优异的性能。在每个时间步长，rcnn接收一个新的输入，并基于当前输入和以前的时间步长信息生成一个输出。循环卷积层(rcl)是rcnn的关键模块，根据rcnn、rcl的状态在离散时间步长上演化。

循环残差卷积神经网络通过如下操作进行特征提取：

设定xl为循环残差卷积神经网络中第l^th层中特定的输入样本，对于循环卷积层中第k^th个特征图上特定输入样本(i,j)处的一个像素，在时间为t时循环残差卷积神经网络的输出表示为：

其中，fl^(i,j)为前馈卷积层的输入，rl^(i,j)(t-1)为循环卷积层的输入，为前馈卷积层的权重，为第k层特征图在循环卷积层的权重，bk为偏置；

将上述得到的输出通过relu激活函数后，表达式为：

其中，表示循环残差卷积神经网络中第l^th层的输出；

循环残差卷积神经网络的输出由直接映射部分和残差部分组成，设定循环残差卷积神经网络的输出为xl+1，表达式为：

将循环卷积层按时间步长t＝2展开，如图7所示，这里t＝2是指循环卷积操作，其中包含一个前馈连接，然后是两个循环连接。此外，带rcls的残差网络有助于建立更高效、更深入的模型。

多纤维提出的目标是减少特征映射和内核之间的连接数量，这对计算总体成本有重要的意义，如图3所示，我们假设输入特征图的尺寸和卷积核的大小是恒定的，cin表示输入通道的数量，cmid表示中间通道的数量，cout表示输出通道的数量，图3所示的连接总数con(b)表示为：

con(b)＝cin×cmid+cmid×cout

但如图4所示，采用多纤维分组策略，将普通残差网络分为k个平行和独立的残差网络，称为纤维。连接数可以表示为：

con(c)＝k×(cin/k×cmid/k+cmid/k×cout/k)

＝(cin×cmid+cmid×cout)/k

con(c)比con(b)小k倍，这样在保持单元整体宽度不变的情况下，网络参数大大降低，对整个网络的计算具有积极意义。

光纤是相互独立的，并阻止上述多个循环残差卷积神经网络之间交换信息。multiplexer网络分别与上述每个循环残差卷积神经网络连接，用于作为路由器重定向和放大每个循环残差卷积神经网络输出的数据。multiplexer网络包括第一卷积层和第二卷积层，第一卷积层分别与上述每个循环残差卷积神经网络连接，用于接收循环残差卷积神经网络输出的数据；第二卷积层与第一卷积层连接，用于定向输出数据。

如图6所示，本实施例中第一卷积层和第二卷积层均为1×1×1的卷积，使用两个卷积的目的是减少网络参数。输入通道的数量是cin，然后压缩为cin/4，最后扩大为cin。使用两次卷积的参数是然而，使用一个1×1×1的卷积的参数是通过使用两个1×1×1的卷积层，可以减少一半的参数。图5显示了整个r2mfnet网络，multiplexe网络附加在上述多个循环残差卷积神经网络的开始，在不增加额外参数的情况下提高学习能力和提取特征。

作为本实施例的进一步改进，还包括首端卷积层和末端卷积层，首端卷积层连接于上述n个r2mfnet网络的输入端，用于对输入的图像进行尺寸剪裁，使得输入的r2mfnet网络的输入图像有效的提前下、尺寸较小，减少计算量。

如图1所示，该实施例中，前端卷积层stride＝2，末端卷积层尺寸为1×1×1，并配置有softmax函数。

r2mfnet网络共四个，对应的上采样模块共三个，上述首端卷积层、r2mfnet网络和池化层组成编码器网络，上述上采样模块和末端卷积层组成编码器网络，编码器网络通过上述r2mfnet网络来提取输入的特征表示，使用最大池化操作来代替步长为2的3d卷积块，在解码路径中，对从来自编码器网络的特征图与解码器网络的特征映射连接起来。

本发明的基于深度学习的脑胶质瘤分割网络系统，结合了循环残差卷积神经网络和3d多纤维网络的优点，用于多模态核磁共振成像中肿瘤子区域的分割。

实施例2：

本发明的一种基于深度学习的脑胶质瘤分割方法，包括如下步骤：

s100、获取核磁图像作为输入图像，核磁图像上包括多种mri模态和专家标注的脑胶质区域；

s200、对输入图像进行归一化处理，使得输入图像符合正态分布；

s300、构建如实施例1公开的基于深度学习的脑胶质瘤分割网络系统，将归一化后的输入图像输入上述脑胶质瘤分割网络系统。

其中，该输入图像为多模态核磁共振成像图像，来源于miccai提供的含专家标注的脑胶质瘤的公共数据集brats(multimodalbraintumorsegmentationchallenge)，每个病人的图像都包括的4种mri模态和专家标注的脑胶质瘤区域，图像进行归一化处理，使得输入图像符合正态分布，即图像均值为0,标准差为1。归一化后的图像稳定性更强并且可加快网络收敛。将图像裁剪为128×128×128的大小，通道数为4，将其输入实施例1公开的分割网络系统中，在上述分割网络系统中，r2mfnet网络由编码器网络和解码器网络组成，如图1所示，编码器网络包含几个r2mfnet网络来提取输入的特征表示，通过池化层最大池化操作来代替步长为2的3d卷积块；在解码路径中，对从来自编码器网络的特征图与解码器网络的特征映射连接起来。

对于尺寸较大的输入图像，在将该输入图像输入上述网络之前，通过卷积层对上述归一化后的图像进行尺寸剪裁，使得输入图像中为有效肿瘤区域。

需要说明的是，上述各流程和各系统结构图中不是所有的步骤和模块都是必须的，可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的，可以根据需要进行调整。上述各实施例中描述的系统结构可以是物理结构，也可以是逻辑结构，即，有些模块可能由同一物理实体实现，或者，有些模块可能分由多个物理实体实现，或者，可以由多个独立设备中的某些部件共同实现。

上文通过附图和优选实施例对本发明进行了详细展示和说明，然而本发明不限于这些已揭示的实施例，基与上述多个实施例本领域技术人员可以知晓，可以组合上述不同实施例中的手段得到本发明更多的实施例，这些实施例也在本发明的保护范围之内。