基于Dense-Unet与超像素的磁共振图像分割方法

本发明涉及图像分割，具体是一种基于dense-unet与超像素的磁共振图像分割方法。

背景技术：

1、图像分割至今尚无通用的自身理论。随着各学科许多新理论和新方法的提出，出现了许多与一些特定理论、方法相结合的图像分割方法。包括特征空间聚类分析法，模糊分割技术和小波变换的分割方法。特征空间聚类法进行图像分割是将图像空间中的像素用对应的特征空间点表示，根据它们在特征空间的聚集对特征空间进行分割，然后将它们映射回原图像空间，得到分割结果，但是这类算法需要人工干预参数的设定来提高分割的速度，并且没有考虑空间信息，对噪声和灰度不均匀敏感；模糊分割技术可以和许多现有的理论进行结合，它是利用不同的s型隶属函数来定义模糊目标，通过优化过程选择一个具有最小不确定性的s函数，用该函数增强目标及属于该目标的像素之间的关系，但是该方法难在隶属函数的选择；基于小波变换的阈值图像分割方法的基本思想是首先由二进小波变换将图像的直方图分解为不同层次的小波系数，然后依据给定的分割准则和小波系数选择阈值门限，最后利用阈值标出图像分割的区域。分割算法的计算馈与图像尺寸大小呈线性变化，但是随着处理图像数量的增加，分割耗时长，而且容易出现分割不足或分割过度的情况。

2、随着计算机视觉和图像处理技术的发展，采用深度学习方法处理mri图像，成为一种热门手段。自从2006年hilton等人提出深度学习以来，深度学习在图像处理领域得到了快速发展，学科间的结合根据人工智能的水平提高变的更加的紧密，从而产生了一批又一批的优秀研究。2015年，long等提出了全卷积网络fcn(fully convolutional network,简称fcn)来用于图像分割，该网络用卷积层替换全连接层并且采用上采样操作恢复图像的维度，为了让过滤后的输入数据向网络深处推进时保留图像中的上下文空间信息，提出将输出与较浅层的输出融合；ronneberger等提出的u-net采用了编码器-解码器的对称结构，还通过下采样路径和上采样路径之间的跳过连接，用于语义信息的传递；gu等提出了ce-net网络，该网络采用resnet作为特征提取器，引入了密集空洞卷积和残差多尺度池化帮助融合信息，有效地提高了分割效果；su等提出了多尺度u-net(msu-net)用于医学图像分割，该网络对u-net网络的卷积块进行了调整，将多个具有不同感受野的卷积序列组成多尺度块，使网络从图像中获取更多样化的特征信息和更好的特征图；sinha等提出使用引导式的自注意力机制来获取更丰富的上下文依赖关系，该方法能够将局部特征与其对应的全局特征结合起来，并以自适应的方式显示相互依赖的通道映射。

3、基于u-net的网络的连续池化和卷积会降低图像的分辨率，导致部分空间信息丢失，难以提取更多的特征导致分割精确度较低。

技术实现思路

1、本发明的目的是针对现有技术的不足，而提供一种基于dense-unet与超像素的磁共振图像分割方法。这种方法具有更好的语义分割性能、能提高分割精度、在边缘细节上能分割地更加精准。

2、实现本发明目的的技术方案是：

3、一种基于dense-unet与超像素的磁共振图像分割方法，包括如下步骤：

4、1)数据预处理：将pascal voc 2012作为数据集、把数据集中的图像大小的尺寸设定为240*240，分为训练集和测试集，对数据集进行数据增强包括上下水平镜像、高斯噪声、高斯模糊、改变对比度和尺寸缩放，其中：

5、1-1)上下水平镜像：采用图像处理库或编程语言提供的函数实现水平镜像，即将图像从左到右翻转，图像处理库采用matlab工具；

6、1-2)高斯噪声：向图像的每个像素添加服从高斯分布的随机值引入高斯噪声，采用随机数生成器生成高斯分布的随机数，并将随机数添加到图像的每个像素上；

7、1-3)高斯模糊：高斯模糊是一种常用的图像模糊技术，高斯模糊采用高斯滤波器实现，高斯滤波器为权重矩阵，用于对图像进行卷积操作，卷积操作采用对图像的每个像素与周围像素的加权平均实现；

8、1-4)改变对比度：改变图像的对比度采用调整像素值的范围来实现，即采用直方图均衡化，将图像的像素值映射到新的范围，包括：

9、1-4-1)计算图像的直方图，获取每个像素值的频率分布；

10、1-4-2)计算累积分布函数cdf均衡化直方图；

11、1-4-3)将图像中的每个像素值映射为对应的cdf值；

12、1-5)尺寸缩放：采用图像处理库或编程语言提供的函数来实现图像的尺寸缩放，即采用插值算法重新分配像素值，插值算法为最近邻插值，它将每个像素的值设置为其最近邻的像素值，具体为：

13、1-5-1)将输入图像缩小或放大到目标尺寸；

14、1-5-2)对于每个目标像素，找到离它最近的输入像素，并将目标像素的值设置为该输入像素的值；

15、2)改进unet网络：unet的网络架构由两部分组成，一是下采样网络，通过采用卷积和最大池化操作，减少特征图的空间维度并扩增特征图数量，在原来unet下采样网络上添加了密集模块，并且使用swish激活函数替换了原来的relu激活函数；二是上采样网络或扩张网络，此网络与降采样网络操作类似，不过是对称的，在上采样网络中也采用了密集模块和swish激活函数，输入预处理后的图片，经过这个改进后的网络模型得到预测图，将密集卷积模块插入到unet模块中，取代一部分卷积快，采用swish激活函数取代relu激活函数，在编码器和解码器之间进行跳跃连接，解码器上接收来自编码器的特征，在缓解梯度消失问题的同时进行有效的特征提取，其中，密集卷积模块由多个卷积层convolutional layer和多条连接concatenation组成，密集卷积模块中包含多个卷积层convolutional layer，每个卷积层由一个卷积操作和一个非线性激活函数组成，卷积操作通过在输入特征图上滑动一个小的滤波器即卷积核提取特征，每个卷积层的输出特征图作为下一个卷积层的输入，密集卷积模块中的每个卷积层的输出特征图都与之前所有层的输出特征图进行连接concatenation即沿深度维度，swish函数为：f(x)＝x·sigmoid(x)，sigmoid(x)为神经元的非线性作用函数：当x趋近于负无穷时sigmoid(x)趋近于0；当x趋近于正无穷时sigmoid(x)趋近于1；当x＝0时，sigmoid(x)为1/2，swish的特殊之处在于它不是单调函数，它的一、二阶导数都是平滑，而不像relu一样存在转折点即存在导数不存在的点，因为swish存在计算效率高、光滑且非单调的有点，所以常用在移动端神经网络架构中，在进行多裂肌分割任务时，swish的平滑特性可以减少梯度消失或者梯度爆炸发生的概率，加速网络的收敛；

16、3)超像素分割：在网络之外另外采用尺度自适应的超像素分割网络，采用同样的数据集进行训练，具体为：

17、在尺度可调整的超像素分割算法中，超像素是顺序生成的，对于单个的超像素，从一个单像素长成一个超像素区域，依据宽度优先搜索和贪婪最短路径策略，并且提前设置路径距离阈值t来限制超像素的生长，根据图像内容生成不同大小的超像素，超像素区域的生长是从一个种子像素开始的，这个种子像素是图像中的任何一个像素，然后添加符合条件的相邻像素来生长出一个超像素，根据图像的复杂程度，在图像上生成不同尺寸的超像素，包括：

18、3-1)将种子s添加到超像素sk中，并且路径距离dk＝0，(s，ds)添加到距离最低优先级队列q；

19、3-2)具有最小路径距离dp的超像素p从距离最低优先级队列中弹出q(p，dp)；

20、3-2-1)如果dp＜t，p的邻居满足条件(1)或条件(2)，就添加到超像素sk和优先级队列q：对于相邻像素pnb，条件(1)pnb未分配给任何超像素；条件(2)pnb未分配给超像素sk，并且新的路径距离小于旧路径距离pnb，新的路径距离计算公式为

21、3-2-2)如果dp＞＝t，p被视为超像素sk的边界像素，并且将未分配给任何超像素的p的邻居像素添加到种子集x，循环执行步骤3-2)，直到优先级队列q为空；

22、3-3)然后从种子集x选择一个新的种子，并且这个种子没有分配给任何超像素，然后从该种子开始生成一个新的超像素，循环执行步骤3-1)到步骤3-3)；

23、4)结果融合：将步骤2)和步骤3)的结果进行融合，即将denseunet特征图与超像素分割结果进行逐像素的拼接操作，然后对融合后的特征进行全局池化操作，得到最后的结果；

24、5)测试：将数据集pascal voc 2012中的训练集输入到步骤2)和步骤3)中，将结果进行融合，将最终的分割结果与真实的标签值作对比，得到三个参数值，dice系数dsc(dicesimilariy coefficient，简称dsc)、jac(jaccard index，简称jac)和hd(hausdorffdistance，简称hd)，dsc衡量重叠程度，hd代表ground truth与分割边界之间所有最小距离的最大距离，dsc和jac值越大，网络性能越好；hd值越小，网络性能越好，评价指标的计算方式如下，其p为预测分割的像素集，g为ground truth的像素集：

25、dsc的计算公式：

26、

27、jac与dsc的关系如下：

28、

29、hd的计算公式：

30、hd(p，g)＝max(h(p，g)，h(g，p))，

31、h(p，g)＝maxmin|a-b|，

32、h(g，p)＝maxmin|b-a|，

33、将得到的结果与其它的模型分割出的结果作比较，如果优于其它的模型则达到预期，如果未达到预期，将unet网络重新训练，直至达到预期结果输出模型。

34、语义分割是计算机视觉领域中的重要任务，它旨在将图像中的每个像素标记为特定的语义类别，然而，传统的unet语义分割算法在编码特征提取过程中对细节信息的处理不足，导致在物体边缘等细节部分的分割效果不佳。本技术方案将密集块插入到unet网络中，并采用swish激活函数进行训练，通过引入dense-unet模型，更好地提取图像的语义特征，并得到粗糙的语义分割结果，本技术方案采用超像素分割算法将输入图像分割成超像素图像，超像素分割将图像分割为更加连续且具有一定语义信息的区域，从而保留了更多的细节信息，最后，本技术方案将高层抽象的语义特征与超像素的细节信息进行融合，以得到边缘优化的语义分割结果。

35、这种方法具有更好的语义分割性能、能提高分割精度、在边缘细节上能分割地更加精准。