一种基于深度学习的细胞图像分割方法

1.本发明属于图像处理领域，具体涉及一种基于深度学习的细胞图像分割方法。


背景技术：

2.在医学图像处理中，经常需要对图像中的细胞从背景中分割出来，以分析其轮廓、内部结构等方面的变化，从而为医学上的鉴定提供依据。传统的细胞图像分割需要依赖于人工进行，但是当图像中细胞数量较多时，人工分割的方法从效率上往往无法满足应用需求。因此，近年来，随着人工智能的不断发展，开始逐渐在细胞图像分割中引入了机器学习技术，这是理论和技术两方面发展的必然结果，具有极其远大的应用前景。
3.机器学习通常通过神经网络模型来实现，其中近年来提出的mask r
‑
cnn在医学图像分割中往往具有较好的性能。mask r
‑
cnn是何凯明等在文献“.mask r
‑
cnn.arxiv:1703.06870,2017”中于2017年在faster r
‑
cnn的基础上，借鉴fcn网络，在其现有边界框识别分支的基础上，扩展了分割掩码分支，实现了目标检测、目标分类及实例分割的功能，完成了端到端的像素级分割，是目前目标物体识别和分割的优秀算法之一。在机器学习的最新发展中，单任务的网络结构已经逐渐不再引人瞩目，取而代之的是集成、复杂、高效的多任务网络模型；mask r
‑
cnn就是典型的代表。mask r
‑
cnn网络的结构主要分为四个部分，分别为特征提取网络、区域建议网络(region proposal network，rpn)、roialign层以及全连接层。该算法首先将待检测图像通过预训练好的卷积神经网络，即特征金字塔网络(feature pyramid network，fpn)中进行特征提取，获取特征图，同时对每个卷积层进行特征融合。在rpn网络中，会在提取的特征图产生若干候选区域，这些候选区域在roialign层中会被进行下采样处理得到固定维度的特征向量，最后在全连接层实现对目标物体的定位、分类和分割。
4.resnet即残差网络，是何凯明团队在文献“deep residual learning for image recognition[c]//proceedings of the ieee conference on computer vision and pattern recognition.2016:770
‑
778”中于2016年提出的使用直接映射来连接网络不同层的方法。resnet由一系列残差块组成的。残差块分成两部分直接映射部分和残差部分，h(x1)是直接映射；f(xl，wl)是残差部分，一般由两个或者三个卷积操作构成，其中，addition是指单位加操作，relu是激活函数。
[0005]
resnet网络架构中具有几种常见深度的resnet，分别是resnet18，resnet34，resnet50，resnet101，resnet152。这几种深度的网络都由conv1、conv2_x、conv3_x、conv4_x、conv5_x组成。其中conv2_x、conv3_x、conv4_x、conv5_x又称为结构块(building block)，里面包含残差网络，因此可以用res来表示。那么resnet50可以表示为[res3 res4 res6 res3]，resnet101则表示为[res3 res4res23res3]。而每个building block又有相应的层组成。
[0006]
但是，细胞图像相对于其他医学图像具有较高的复杂度，直接采用mask r
‑
cnn往往存在精度不足，准确性不高的问题。因此，需要对传统的mask r
‑
cnn进行改进，使其能够
满足细胞图像分割的要求。


技术实现要素：

[0007]
本发明的目的在于解决现有技术中存在的问题，并提供一种基于深度学习的细胞图像分割方法。
[0008]
本发明所采用的具体技术方案如下：
[0009]
一种基于深度学习的细胞图像分割方法，其步骤如下：
[0010]
s1、构建试管内细胞图像的数据集，每张试管内细胞图像中带有细胞轮廓的标签；
[0011]
s2、基于所述数据集，通过迁移学习的方法训练细胞图像分割模型；所述细胞图像分割模型由mask r
‑
cnn网络基础上增加enhance
‑
block模块而成，输入图像经过resnet50网络和fpn网络进行特征提取得到原始特征图后，输入enhance
‑
block模块中进行通道和像素点的增强，再将增强后的特征图送入rpn网络得到目标候选框；所述目标候选框和增强后的特征图一并输入roialign层中，最后将roialign层输出的特征向量经过全连接层输出所述输入图像中的细胞分割结果；其中，在所述enhance
‑
block模块中，先对宽度
×
高度
×
通道数为w
×
h
×
c的所述原始特征图的每一个通道进行全局平均池化，得到的1
×1×
c的第一向量，然后将第一向量通过两层全连接层之后使用sigmoid函数映射到(0,1)区间，得到c个通道映射值；再将每个通道的通道映射值分别乘到所述原始特征图的对应通道上，得到w
×
h
×
c的中间特征图；再针对中间特征图中每一个像素点的所有通道值求平均得到通道均值，中间特征图中所有像素点的通道均值组成w
×
h
×
1的第二向量，将第二向量送入两层全连接后使用sigmoid函数映射到(0,1)区间，得到w
×
h个像素点映射值；将每个像素点的像素点映射值分别乘到所述中间特征图的对应像素点上，得到w
×
h
×
c的增强后的特征图；
[0012]
s3、将待分割的试管内细胞图像输入s2中训练后的细胞图像分割模型中，输出图像中的细胞分割结果。
[0013]
作为优选，所述s2中，所述试管内细胞图像为培养细胞的细胞板的俯拍图像。
[0014]
作为优选，所述s2中，数据集中每张试管内细胞图像均用labelme软件辅助标注，生成每张图片对应的标注文件，并转化成coco数据集的文件夹结构。
[0015]
作为优选，所述s2中，所述数据集划分为训练集和验证集，训练集用于训练细胞图像分割模型，待训练后的模型在验证集上的测试结果满足要求时，完成模型训练。
[0016]
作为优选，所述s2中，通过迁移学习的方法训练细胞图像分割模型时利用预训练好的mask r
‑
cnn模型初始化resnet50网络和fpn网络的参数，然后利用所述数据集对rpn网络、enhance
‑
block模块、roialign层及全连接层的网络参数进行优化。
[0017]
作为优选，所述s2中，模型训练时通过随机梯度下降算法更新优化模型参数。
[0018]
作为优选，所述s2中，细胞图像分割模型输出的细胞分割结果包含输入图像中细胞的类别、标注框和掩膜。
[0019]
本发明相对于现有技术而言，具有以下有益效果：
[0020]
本发明与传统分类方法相比的有益效果如下：
[0021]
本发明基于改进后的mask r
‑
cnn网络的方法具有较低的复杂度和较高的准确性。该方法以细胞图像为对象，将特征学习融入到建立模型的过程中，从而减少了人为设计特征造成的不完备性；不仅可以使用其语义分割分支对试管中的细胞进行准确的检测分割，
自主进行特征学习，而且能够精确分割，以此实现对细胞的快速检测与智能预测，进模型的可扩展性和可迁移性。而且本发明有望用于实现快速，低成本，精确，实时的自动化检测技术。
附图说明
[0022]
图1为本发明改进的mask r
‑
cnn网络架构。
[0023]
图2为标注图片；其中a标注前图片，b标注后的图片。
[0024]
图3为mask r
‑
cnn训练所需数据结构图。
[0025]
图4为本发明实施例中的细胞图像分割结果。
[0026]
图5为e
‑
block模块结构。
具体实施方式
[0027]
下面结合附图和具体实施方式对本发明做进一步阐述和说明。本发明中各个实施方式的技术特征在没有相互冲突的前提下，均可进行相应组合。
[0028]
本发明提出一种基于深度学习的细胞分割方法，细胞分割方法是基于改进后的mask r
‑
cnn的语义分割网络针对细胞图像实现建模，该模型可实现端到端训练，包括如下步骤：
[0029]
s1、构建试管内细胞图像的数据集，每张试管内细胞图像中带有细胞轮廓的标签。数据集需要满足模型的输入要求，具体的构建过程可根据实际进行调整。试管内细胞图像可以是细胞培养板在培养过程中的俯拍图像，其中每一个培养试管中均含有细胞培养液，在医学检测过程中经常需要从中分割出细胞图像，以便于分析其细胞形态。
[0030]
s2、基于上述数据集，可通过迁移学习的方法训练细胞图像分割模型。
[0031]
如图1所示，细胞图像分割模型由mask r
‑
cnn网络基础上增加enhance
‑
block模块而成。mask r
‑
cnn网络包含resnet、fpn、rpn、roialign以及两层全连接层组成的head等模块，各模块与现有技术一致，不再赘述。本发明中的残差网络resnet采用resnet50。模块的输入图像经过resnet50网络和fpn网络进行特征提取得到原始特征图后，输入增强模块enhance
‑
block模块中进行通道和像素点的增强，再将增强后的特征图送入rpn网络(region proposal network，rpn)得到目标候选框。目标候选框和增强后的特征图一并输入roialign层中，最后将roialign层输出的特征向量经过全连接层(fully connected layers，fc)输出输入图像中的细胞分割结果。
[0032]
其中，enhance
‑
block模块的输入为resnet50+fpn输出的w
×
h
×
c的原始特征图(feature map)，w、h、c分别为宽度、高度、通道数。在enhance
‑
block模块中，先对输入的原始特征图的每一个通道进行全局平均池化(global average pooling，gap)，每一个通道得到一个池化均值，由此得到的1
×1×
c的第一向量。然后将第一向量通过两层全连接层之后使用sigmoid函数映射到(0,1)区间，一共得到c个通道映射值，每一个映射值分别对应于一个通道。再将每个通道的通道映射值分别乘到前述原始特征图的对应通道上，即每一个通道中的各像素值分别乘上对应的通道映射值，由此得到w
×
h
×
c的中间特征图feature map1。再针对前述中间特征图feature map1中每一个像素点，计算每一个像素点的所有c个通道值的均值，得到每一个像素点对应的通道均值。中间特征图feature map1中所有像素
点的通道均值组成w
×
h
×
1的第二向量，将第二向量展开送入两层全连接后使用sigmoid函数映射到(0,1)区间，得到w
×
h个像素点映射值，每一个像素点映射值分别对应于一个像素点位置。将每个像素点的像素点映射值按照位置的完全对应关系，分别乘到中间特征图feature map1的对应像素点上，得到w
×
h
×
c的增强后的特征图feature map2。enhance
‑
block模块的结构可参见图5。
[0033]
上述enhance
‑
block模块中，两种映射值可分别视为权重，分别对原始特征图的通道和像素进行了强化。因此在enhance
‑
block模块中，对于特征提取网络输出的特征图，相当于对其每一个通道设置一个权重，通过网络训练出权重的值，增强需要重点关注的通道，有利于分类；然后再对每一个像素设置另一个权重，强化空间信息，有利于边界框的回归。
[0034]
上述细胞图像分割模型在训练前，可将数据集至少划分为训练集和验证集，训练集用于训练细胞图像分割模型，待训练后的模型在验证集上的测试结果满足要求时，完成模型训练。另外，该模型可通过迁移学习的方法进行训练，以加快训练速度和提高模型分割准确性。迁移学习的具体方法属于现有技术，不再赘述。本发明在通过迁移学习的方法训练细胞图像分割模型时，可利用coco数据集预训练好mask r
‑
cnn模型，然后用预训练好的mask r
‑
cnn模型初始化本发明的模型中的resnet50网络和fpn网络的参数，然后利用训练集对本发明模型中剩余的rpn网络、enhance
‑
block模块、roialign层及全连接层的网络参数进行优化，参数优化器(optimizer)可采用随机梯度下降算法(stochastic gradient descent，sgd)。
[0035]
s3、将待分割的试管内细胞图像输入s2中训练后的细胞图像分割模型中，输出图像中的细胞分割结果。
[0036]
根据mask r
‑
cnn模型的原理，细胞图像分割模型输出的细胞分割结果一般包含输入图像中细胞的类别、标注框和掩码(mask)三种，可根据该结果判断图像中的细胞所处位置以及边界。
[0037]
下面将上述方法应用于一个具体实施例中，以展示其具体实现过程。
[0038]
实施例
[0039]
本实施例中，基于深度学习的细胞图像分割方法具体步骤如下：
[0040]
(1)获取细胞板图像。
[0041]
细胞板图像通过俯拍细胞培养板获得，细胞培养板中含有大量阵列排布的细胞培养试管。需要使用labelme软件对试管进行标注，标注出其中存在的细胞，对应的标注标签为colony。标注后生成每张图片会生成相应的json文件。标注结果如图2所示，其中a为标注前图片；b为标注后的图片。
[0042]
(2)建立数字图像数据集
[0043]
对标注后生成的json文件进行处理，将数字图像数据集划分为训练集、验证集和测试集，使用labelme2coco.py文件转化成mask r
‑
cnn运行所需要的coco数据集的文件夹结构。图3所示，为mask r
‑
cnn训练所需的数据结构。
[0044]
(3)构建细胞图像分割模型
[0045]
如图1所示，细胞图像分割模型由mask r
‑
cnn网络基础上增加enhance
‑
block模块而成，输入图像经过resnet50网络和fpn网络进行特征提取得到原始特征图后，输入enhance
‑
block模块中进行通道和像素点的增强，再将增强后的特征图送入rpn网络得到目
标候选框；目标候选框和增强后的特征图一并输入roialign层中，最后将roialign层输出的特征向量经过全连接层输出输入图像中的细胞分割结果。
[0046]
其中，在enhance
‑
block模块中，先对宽度
×
高度
×
通道数为w
×
h
×
c的原始特征图的每一个通道进行全局平均池化，得到的1
×1×
c的第一向量，然后将第一向量通过两层全连接层之后使用sigmoid函数映射到(0,1)区间，得到c个通道映射值；再将每个通道的通道映射值分别乘到原始特征图的对应通道上，得到w
×
h
×
c的中间特征图；再针对中间特征图中每一个像素点的所有通道值求平均得到通道均值，中间特征图中所有像素点的通道均值组成w
×
h
×
1的第二向量，将第二向量送入两层全连接后使用sigmoid函数映射到(0,1)区间，得到w
×
h个像素点映射值；将每个像素点的像素点映射值分别乘到中间特征图的对应像素点上，得到w
×
h
×
c的增强后的特征图；
[0047]
(4)采用迁移学习的方法对模型进行训练。
[0048]
事先使用coco数据集对传统的mask r
‑
cnn模型进行训练，传统mask r
‑
cnn与本发明改进的mask r
‑
cnn相比区别在于没有enhance
‑
block模块。在对本发明的细胞图像分割模型进行训练前，先将预训练好的传统mask r
‑
cnn模型中resnet50网络和fpn网络的参数迁移至本发明改进的mask r
‑
cnn模型中，然后利用本发明构建的训练集对剩余的rpn网络、enhance
‑
block模块、roialign层及全连接层的网络参数进行优化，参数优化方法可采用随机梯度下降算法。因此，本发明改进的mask r
‑
cnn模型中，特征提取层即resnet50网络和fpn网络的参数在初始化后均保持不变，以便于提取细胞的有效特征并缩短模型的训练时间。对于其他层的结构rpn、roialign层及全连接层则利用细胞图像进行再训练，通过进一步优化提高对特定细胞图像分割的准确率。
[0049]
本发明中，基于mask r
‑
cnn采用目标检测框架mmdetection搭建的深度神经网络模型；在实验过程中，采用resnet50和fpn网络进行训练；训练12个周期epoch，选择layers为all，提高分割和分类的准确率。
[0050]
模型的超参设定如下：优化器(optimizer)选用随机梯度下降算法(stochastic gradient descent，sgd)，用于更新优化模型参数；在训练过程中的超参设置如表1所示。
[0051]
表1 mask r
‑
cnn模型超参数设定
[0052][0053]
(5)模型训练完毕后，将前述的测试集作为待分割的试管内细胞图像输入训练后的细胞图像分割模型中，输出图像中的细胞分割结果，细胞分割结果包含输入图像中细胞的类别、标注框和掩膜。最终一个实例中，预测和分割结果如图4所示分类分割结果。
[0054]
另外，为了对比说明本发明中使用enhance
‑
block模块的作用，本实施例设置了一个对照试验，对照试验与本实施例前述方法的区别在于细胞图像分割模型不设置enhance
‑
block模块，采用传统的mask r
‑
cnn模型，对比如表2所示。
[0055]
表2是否使用enhance
‑
block模块在数据集上的对比结果
[0056][0057]
从上述结果可见，本发明中通过采用enhance
‑
block模块，在通道和像素两个维度上均对特征图进行了增强，大大提高了对细胞图像的分类和分割准确率。因此，本发明将特征学习融入到建立模型的过程中，对试管孔的细胞进行准确的检测分，可以实现快速，低成本，精确的自动化检测技术，有利于提高的细胞检测效率。
[0058]
以上所述的实施例只是本发明的一种较佳的方案，然其并非用以限制本发明。有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型。因此凡采取等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。