一种基于细粒度识别的混杂细胞种类鉴定方法与流程

本发明涉及生物医学图像处理及机器学习领域，特别涉及一种混杂细胞种类鉴定方法。

背景技术：

生物医学实验中，细胞系被错误辨识或者交叉污染的情况时常发生，使用错误辨识或者交叉污染的细胞系会导致实验结果不能复现、研究结论错误、临床细胞治疗灾难等严重后果，同时也浪费大量人力、精力、金钱等。传统细胞系鉴定方法采用细胞样本dna信息与细胞库基因座相比对的方式，确定细胞系类别及是否被交叉污染，其成本较高、耗时较长。

近来，深度卷积神经网络在诸多视觉任务上已经取得巨大成功。相比传统的机器学习方法，卷积神经网络无需专家经验，能够自动提取合适的图像特征应用于分类、检测、语义分割等任务，因而表现出良好的性能。越来越多的研究人员将深度卷积神经网络应用到医学图像处理领域，并取得良好效果。在细胞图像识别方面，大部分现有技术都先从图像中分割出单个细胞，之后根据细胞形态学特征对其进行分类。这些方法对于图像中只包含单种、单个细胞的情况表现良好，但在细胞生长较为密集、检测区域包含多种细胞的情况下，图像中的细胞分割变得困难、细胞形态学特征容易受到其他种类细胞的干扰，导致细胞识别准确率降低。

细粒度识别是指同一类的不同子类或实例之间的识别，如贵宾犬、牧羊犬、斗牛犬等均属于犬类，它们之间的形态相差较小，需要凭借皮毛颜色、纹理等特征将其区分。细粒度识别大致可以分为局部模型及全局模型两类方法。局部模型首先对物体区分度较高的部位进行定位，之后提取这些位置的特征判断该物体类别，该类方法能够减少位置、姿态及视角变化对分类结果的影响。全局模型则通过提取整幅图像的特征对图像进行分类，视觉字典及其纹理分析的相关变种等经典图像表示方式都属于该类方法。国内外的研究人员已经使用卷积神经网络提取细粒度分类特征，并在纹理识别、场景识别、细粒度分类等任务中显示出卓越性能。

技术实现要素：

为了克服现有技术的缺陷，本发明提供一种操作简便、结果准确的混杂细胞种类鉴定方法，根据细胞形态特征的特异性进行细胞种类的精确识别，避免了传统细胞种类鉴定方法耗时较长、过程繁琐的缺点。本发明使用细粒度识别卷积神经网络模型进行混杂细胞图像像素级细胞种类鉴定，模型能够学习到细粒度细胞形态特征，通过纹理等信息识别细胞种类。相比通用深度卷积神经网络，该方法在细胞较小、生长密集、图像中包含多种细胞的情况下具有较高的识别准确率及鲁棒性。

本发明的具体方案为：

一种基于细粒度识别的混杂细胞种类鉴定方法，包括如下步骤：

预先建立细粒度识别卷积神经网络模型和细胞图像数据库，细胞图像数据库中包括有混种细胞图像，混种细胞图像为包括多种类型细胞的图像；

s1、收集混种细胞图像；

s2、将混种细胞图像输入细粒度识别卷积神经网络模型中，得出细胞种类热图；

s3、对混种细胞图像进行阈值化，得到细胞区域二值图像；

s4、结合细胞区域二值图像和细胞种类热图，得到细胞种类鉴定结果。

本发明在显微镜下采集得到混种细胞图像，通过细胞形态特征的特异性进行细胞种类的精确识别，避免了传统细胞种类鉴定方法耗时较长、过程繁琐的缺点。预先建立的细粒度识别卷积神经网络模型，其中学习有细粒度细胞形态特征，通过纹理等信息识别细胞种类，相比通用深度卷积神经网络模型，该方法在细胞较小、生长密集、图像中包含多种细胞的情况下具有较高的识别准确率及鲁棒性。阈值化后的细胞区域二值图像可将背景区域和细胞区域分开，以便于后续处理过程中去除背景区域中的误识别，提高识别准确率。

进一步地，细胞图像数据库还包括已标注有细胞种类标签的单种细胞图像，单种细胞图像为包括单种类型细胞的图像；预先建立细粒度识别卷积神经网络模型的步骤包括：

构造细粒度识别卷积神经网络模型；

收集单种细胞图像；

通过单种细胞图像对细粒度识别卷积神经网络模型进行训练。

本发明所使用的细粒度识别卷积神经网络在训练过程中只需要提供单种细胞图像的训练数据及其相应细胞种类标签，避免了对细胞图像进行语义分割所使用的像素级细胞种类标签，能够节省大量人力、物力。

进一步地，在训练前，对单种细胞图像进行数据扩增。使用数据扩增的方法，能一定程度上提高数据容量，从而提高模型的训练效果。

进一步地，数据扩增过程包括：平移、缩放、旋转以及色彩通道偏移。

进一步地，细胞图像数据库中的图像在取出使用前，需要进行预处理。预处理后的图像相比于原图，更有利于细粒度识别卷积神经网络提取细胞形态特征进行识别，提高细粒度识别卷积神经网络模型识别的准确率、细粒度识别卷积神经网络的训练效率。

进一步地，预处理过程包括：背景光照归一化、亮度归一化及对比度提升。

进一步地，将图像输入细粒度识别卷积神经网络模型前，需要将图像裁剪为多个图像块；由混种细胞图像形成的多个图像块在输入细粒度识别卷积神经网络模型后，得到多个细胞种类标签，将这多个细胞种类标签与混种细胞图像结合，形成细胞种类热图。具体通过滑动窗口的方式将图像裁剪为多个图像块；多个细胞种类标签转化为用像素值表示，映射到相应的图像块的中心位置，然后多个图像块再根据原混种细胞图像进行重新排列组合，以形成最终的细胞种类热图。

进一步地，阈值化后，还需要使用形态学操作去除噪点及孔洞，才能得到细胞区域二值图像。

进一步地，所述步骤s4具体为：对于细胞区域二值图像中的连通区域，统计连通区域内像素点所对应的细胞种类标签，将对应有像素点数量最多的细胞种类标签作为连通区域内所有像素点的细胞种类标签，得到细胞种类鉴定结果。上述像素点所对应的细胞种类标签，实质上是将细胞种类标签转化为像素值映射到像素点上。

进一步地，细粒度识别卷积神经网络模型包括五个卷积块、一个双线性外积层、一个全连接层。

相比于现有技术，本发明的有益效果为：

(1)本发明可以显微镜下的细胞图像作为系统输入，数据采集过程方便。使用人员只需采集清晰的显微镜下细胞图像，上传到系统，便可以完成细胞鉴定工作。避免了传统的细胞鉴定方法，需要将细胞样本送往鉴定中心、提取样本基因信息，进而进行细胞鉴定的繁琐过程。

(2)本发明所提出方法具有较强的鲁棒性。本发明预处理过程，能够有效消除不均匀的背景光照、归一化图像亮度、增强图像对比度。同时使用平移、缩放、旋转、色彩通道偏移等数据扩增方法，增加训练样本数量、避免模型过拟合，提高了模型的鲁棒性。

(3)本发明所提出的方法适用于多种场景的细胞图像的识别。大多数现有技术都只针对检测区域包含单种、单个细胞的情况进行检测。这些方法在细胞生长较为密集、检测区域包含多种细胞的情况下表现不佳。本发明所提出的方法在检测区域包含多种、多个细胞时，能够有效避免其他细胞对模型的干扰，产生准确的预测结果。

(4)本发明所提出方法能够产生准确的像素级细胞种类预测结果。本发明基于细粒度卷积神经网络，在模型中加入双线性池化层，对图像对级特征之间的交互进行建模，能够提取细胞细粒度形态特征。在细胞位置、形态等发生改变及检测区域包含其他种类细胞时，仍能产生准确的分类结果。

(5)本发明的细粒度卷积神经网络模型能够进行端到端训练、训练过程简便。相比现有技术使用多级、多阶段的方法，有效地简化了模型学习、训练过程。同时本发明细粒度卷积神经网络训练过程只需单种细胞图像及其种类标签，数据集收集及标注过程简便。

附图说明

图1是本发明的主要流程图。

具体实施方式

为使得本发明专利的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明专利中的附图，对本发明专利中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明专利，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明专利保护的范围。

下面结合附图对本发明作进一步描述：

如图1所示的一种基于细粒度识别的混杂细胞种类鉴定方法，包括如下步骤：

预先建立细粒度识别卷积神经网络模型和细胞图像数据库，细胞图像数据库中包括有混种细胞图像和已标注有细胞种类标签的单种细胞图像，混种细胞图像为包括多种类型细胞的图像，单种细胞图像为包括单种类型细胞的图像；

s1、收集混种细胞图像，并对混种细胞图像进行预处理；

s2、将混种细胞图像输入细粒度识别卷积神经网络模型中，得出细胞种类热图；

s3、对预处理后的混种细胞图像进行阈值化，使用形态学操作去除噪点及孔洞，得到细胞区域二值图像，噪点或孔洞是指大小小于64个像素的物体或孔洞；

s4、结合细胞区域二值图像和细胞种类热图，得到细胞种类鉴定结果。

建立细粒度识别卷积神经网络模型的步骤包括：

构造包括五个卷积块、一个双线性外积层、一个全连接层的细粒度识别卷积神经网络模型；

收集单种细胞图像，并对单种细胞图像进行预处理和数据扩增；

将经过预处理和数据扩增的单种细胞图像输入细粒度识别卷积神经网络模型进行训练。

上述预处理过程包括：背景光照归一化、亮度归一化及对比度提升，具体为：根据图像中细胞的尺寸，选择尺寸大于细胞大小(如64x64)的高斯卷积核尺寸(wkernel,hkernel)，之后将细胞图像与高斯核进行卷积，得到细胞图像的背景光照亮度图像：

其中，g(x,y)为二维高斯卷积核，σ为高斯分布的标准差，isrc为原始细胞图像，ibg为背景光照强度图像，为卷积操作。

之后，将原始细胞图像减去背景光照强度，之后加上背景光照均值，得到背景光照均一化之后的细胞图像：

其中，ibg_norm(x,y)为背景光照均一化后的细胞图像，为背景光照均值。

最后，进行灰度归一化及对比度提升。首先对输入图像四周使用最近值进行扩充，之后计算输入图像灰度值的均值及标准差，计算该像素点灰度归一化之后的灰度值：

其中，iin(x,y),iout(x,y)分别为输入、输出图像像素点的灰度值，为输入图像灰度均值及标准差，为设定的输出图像灰度值均值及标准差。

上述数据扩增过程包括平移、缩放、旋转以及色彩通道偏移，具体为：按顺序对原始图像进行缩放系数分别为{0.9,1.0,1.1}的缩放，并将缩放后图像标记为原始图像的细胞种类标签。

对上一步处理得到的图像，顺序分别进行旋转角度为{-90,0,90}的旋转，并将缩放后图像标记为原始图像的标签。

对上一步处理得到的图像，对其图像灰度值按顺序分别进行系数为{-10,0,10}的彩色通道偏移，即将原始图像每个通道的亮度值分别加上偏移系数。并将偏移后的图像标记为原始图像标签。

通过上述数据扩增操作，可以将数据集数量提升3x3x3＝27倍。

将图像输入细粒度识别卷积神经网络模型前，需要将图像裁剪为多个图像块；由混种细胞图像形成的多个图像块在输入细粒度识别卷积神经网络模型后，得到多个细胞种类标签，将这多个细胞种类标签与混种细胞图像结合，形成细胞种类热图。具体通过滑动窗口的方式将图像裁剪为多个图像块；多个细胞种类标签转化为用像素值表示，映射到相应的图像块的中心位置，然后多个图像块再根据原混种细胞图像进行重新排列组合，以形成最终的细胞种类热图。

在通过滑动窗口的方式将混种细胞图像裁剪为多个图像块前，在混种细胞图像的上下分别填充高度为hwin/2以及灰度值为0的像素块，在其左右分别填充宽度为wwin/2以及灰度值为0的像素块，在接下来进行滑动窗口时，使用大小为(wwin,hwin)的滑动窗口。滑动窗口较大，则识别效果差，识别时间短，如果滑动窗口较小，则识别效果好，但识别时间长。在将多个图像块输入细粒度识别卷积神经网络模型后，得到了多个细胞种类标签，将这些细胞种类标签作为混种细胞图像的每个图像块中心处(wcnt_win,hcnt_win)的范围内像素点的细胞种类标签，再将每个图像块组合成原混种细胞图像，即得细胞种类热图。其中有1≤wcnt_win≤wwin,1≤hcnt_win≤hwin。(wwin,hwin)为滑动窗口的宽与高，(wcnt_win,hcnt_win)可以根据实际需求进行不同选择，默认为(1,1)。当(wcnt_win,hcnt_win)取值较大时，用时较短，但识别效果较差；当(wcnt_win,hcnt_win)取值较小时，图片的识别效果较好，但用时较长。

所述步骤s4具体为：对于细胞区域二值图像中的连通区域，统计连通区域内像素点所对应的细胞种类标签，将对应有像素点数量最多的细胞种类标签作为连通区域内所有像素点的细胞种类标签，得到细胞种类鉴定结果。上述像素点所对应的细胞种类标签，实质上是将细胞种类标签转化为像素值映射到像素点上。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，而这些修改或者替换，并不使相应技术方案的本质脱离本发明专利技术方案的精神和范围。