一种基于点标注的弱监督多模态细胞图像分割方法

本发明属于计算机视觉的医学图像分析，具体涉及一种基于点标注的弱监督多模态细胞图像分割技术。

背景技术：

1、近年来，现有的深度学习方法在医学图像分析任务上取得了显著的成果。作为医学图像分析任务中的基础任务之一，细胞分割任务产生了大量可靠的基于深度学习的方法。然而，这项任务仍然具有挑战性。由于细胞图像的成像方法有很多，因此图像会具有不同的模态，从而导致图像特征各不相同。又因为细胞种类多样，形状各异，神经网络模型很难准确执行像素级的分割任务。此外，由于一张图像中可能有成百上千个细胞，通常需要专家花费大量精力对细胞图像进行标记，大大增加了研究成本。

2、为了减少标注的工作量，弱监督学习方法越来越受到关注。对于弱监督细胞分割任务，不需要对每张图像进行像素级标注。只需少量的粗标注，如点标注，线标注或边界框标注等，也可以使深度模型获得较好的性能。虽然这些方法可以减少标记的工作量，但这些弱监督方法和全监督方法之间仍然存在很大的性能差距。这是由于绝大多数弱监督方法对每个细胞只使用其中心点作为标注点，然而细胞分割任务中最容易出错的部分一般出现在细胞边界区域，这极大地影响了分割的准确性。此外，现有方法通常只生成一种标签，并通过算法进行逐步细化，这样非常容易为进一步训练引入错误信息，且不能充分利用标注。本发明采用点标注生成四种不同的标签，并利用五个不同任务支路训练深度网络，不仅能减少专家标注工作的负担，也能达到较高的细胞分割精度，以在医生诊断过程中予以更精确的智能辅助效果。

技术实现思路

1、本发明提供了一种基于点标注的弱监督多模态细胞图像分割方法，其特征在于，所述方法包括以下步骤：

2、步骤1，针对每个病例，获取其多模态细胞图像，并进行预处理；

3、步骤2，邀请专家针对多模态细胞图像进行点标注；

4、步骤3，提取多模态细胞图像的颜色特征和点标注的空间特征，包括但不限于超像素图像与维诺图等；

5、步骤4，利用多模态细胞图像的颜色特征和点标注的空间特征，制作四种不同的伪标签，包括但不限于维诺图分类伪标签、超像素分类伪标签、超像素回归伪标签以及细胞实例距离回归伪标签等；

6、步骤5，采用五种不同任务支路训练深度学习网络，包括但不限于维诺图分类支路、超像素分类支路、超像素回归支路、细胞实例距离回归支路以及局部温度调节支路等；细胞图像通过深度学习网络提取图像特征，并计算得到细胞预测概率图；

7、步骤6，利用基于分水岭算法的后处理方法处理细胞预测概率图，以得到最终的细胞分割结果；

8、具体地，在步骤1中，通过多种医学成像技术将病例p的组织成像为数字图像x0，其中包含但不限于病理图像、荧光图像、相位对比图像、微分干涉对比图像等；由于多模态图像的通道数量与值域各不相同，需要对其进行预处理，其方法包括但不限于统一细胞图像通道数量，归一化图像值域等；最终得到处理后的细胞图像x；

9、具体地，在步骤2中，专家对细胞图像进行点标注，对于每个细胞ci使用两个点进行标注，其中一个点为细胞中心点另一个点为距离最远的细胞边界点最终得到细胞标注点集合其中|c|为图像中的细胞数量；

10、具体地，在步骤3中，使用slic超像素分割算法提取图像颜色特征并将图像分割成超像素图像xsp，使用所有细胞的中心标注点cc的空间位置特征制作维诺图xvor；

11、具体地，在步骤4中，利用超像素图像和维诺图生成但不限于如下四种伪标签：对于每个细胞ci，使用为圆心，到之间的距离为半径做圆，得到细胞区域同时在维诺图xvor中找到属于细胞ci的区域并将与的交集作为该细胞的前景区域最终得到维诺图分类伪标签对于细胞图像x，采用局部k-means算法对所有像素进行k类聚类，从中心标注点个数占比最少的k个聚类簇中，随机抽取n个像素点作为背景点bi，采用细胞中心标注点作为前景点，并将bi和所在超像素区域置为背景或前景，超像素区域置为忽略区域，最终得到超像素分类伪标签将超像素分类伪标签中的前景区域置为1，其他区域置为0，并使用高斯滤波器进行处理，得到超像素回归伪标签对于每个细胞在维诺图分类伪标签中的前景区域ri,计算细胞中心标注点在m个方向上的到ri区域边界的距离集合其中，表示在第m个方向上到ri区域边界的距离，m∈[0,m)，最终得到细胞实例距离回归伪标签其中|c|表示标注点集合中的元素个数；

12、具体地，步骤5中，采用五种不同任务支路训练深度学习网络，包括但不限于以下五种深度学习任务：组建维诺图分类支路以预测维诺图分类结果采用维诺图分类伪标签作为监督信息，并采用逐像素交叉熵损失作为损失函数训练网络；组建超像素分类支路以预测超像素分类结果采用超像素分类伪标签作为监督信息，并采用逐像素交叉熵损失作为损失函数训练网络；组建超像素回归支路以预测超像素回归结果采用超像素回归伪标签作为监督信息，并采用逐像素均方差损失作为损失函数训练网络；组建细胞实例距离回归支路bdis以预测细胞实例距离回归结果采用细胞实例距离回归伪标签ydis，并采用逐实例极坐标交并比损失作为损失函数训练网络；组建局部温度调控支路blts以预测温度调控图并得到温度调控后的超像素分类结果采用超像素分类伪标签作为监督信息，并采用逐像素交叉熵损失作为损失函数训练网络；对每个待测病例细胞图像x进行滑窗预测，取超像素分类支路的输出作为预测概率图；

13、具体地，步骤6中，对于网络的预测概率图，分别采用两个阈值tseed与tcell得到细胞中心区域sseed与细胞区域scell，赋予sseed中每个联通域以不同的细胞id，并使用分水岭算法将这些细胞在细胞区域中扩散，得到最终的细胞分割结果

14、本发明针对现阶段基于深度学习的算法，使用点标注和弱监督技术，在保证分割精度不变的前提下，完成了对多模态细胞图像的分割任务，大大降低了专家标注与计算机运算的成本，并能更好地辅助医生对病例进行诊断。

技术特征：

1.一种基于点标注的弱监督多模态细胞图像分割方法，其特征在于，所述方法包括以下步骤：

2.如权利要求1所述一种基于点标注的弱监督多模态细胞图像分割方法，其特征在于，在步骤1中，针对每个病例，获取其多模态细胞图像，并进行预处理，具体为：通过多种医学成像技术将病例p的组织成像为数字图像x0，其中包含但不限于病理图像、荧光图像、相位对比图像、微分干涉对比图像等；由于多模态图像的通道数量与值域各不相同，需要对其进行预处理，其方法包括但不限于统一细胞图像通道数量，归一化图像值域等；最终得到处理后的图像x。

3.如权利要求1所述一种基于点标注的弱监督多模态细胞图像分割方法，其特征在于，在步骤2中，邀请专家对每个细胞使用两个点进行标注，其中一个点为细胞中心点另一个点为距离最远的细胞边界点最终得到细胞标注点集合其中|c|为图像中的细胞数量。

4.如权利要求1所述一种基于点标注的弱监督多模态细胞图像分割方法，其特征在于，在步骤3中，提取多模态细胞图像颜色特征和点标注空间特征，使用slic算法计算得到超像素图像xsp，使用细胞中心标注点集合cc生成维诺图xvor。

5.如权利要求1所述一种基于点标注的弱监督多模态细胞图像分割方法，其特征在于，在步骤4中，使用超像素图像xsp，维诺图xvor以及标注点集合c生成四种伪标签，其中包括但不限于维诺图分类伪标签超像素分类伪标签超像素回归伪标签以及细胞实例距离回归伪标签ydis，具体为：对于每个细胞ci，使用为圆心，到之间的距离为半径做圆，得到细胞区域同时在维诺图xvor中找到属于细胞ci的区域并将与的交集作为该细胞的前景区域最终得到维诺图分类伪标签对于细胞图像x，采用局部k-means算法对所有像素进行k类聚类，从中心标注点个数占比最少的k个聚类簇中，k取值为10，k取值为3，随机抽取n个像素点作为背景点bi，采用细胞中心标注点作为前景点，并将bi和所在超像素区域置为背景或前景，超像素区域置为忽略区域，最终得到超像素分类伪标签将超像素分类伪标签中的前景区域置为1，其他区域置为0，并使用高斯滤波器进行处理，得到超像素回归伪标签对于每个细胞在维诺图分类伪标签中的前景区域ri,计算细胞中心标注点在m个方向上的到ri区域边界的距离集合其中，表示在第m个方向上到ri区域边界的距离，m∈[0,m)，m取值为8，最终得到细胞实例距离回归伪标签

6.如权利要求1所述一种基于点标注的弱监督多模态细胞图像分割方法，其特征在于，在步骤5中，采用五种不同任务支路训练深度学习网络，包括但不限于以下五种任务支路：维诺图分类支路超像素分类支路超像素回归支路细胞实例距离回归支路bdis以及局部温度调控支路blts，具体为：

7.如权利要求1所述一种基于点标注的弱监督多模态细胞图像分割方法，其特征在于，在步骤6中，采用基于分水岭算法的后处理方法精修网络的预测结果，具体为：对于网络的预测概率图，分别采用两个阈值tseed与tcell得到细胞中心区域sseed与细胞区域scell，赋予sseed中每个联通域以不同的细胞id，并使用分水岭算法将这些细胞在细胞区域中扩散，得到最终的细胞分割结果

技术总结
本发明提供了一种基于点标注的弱监督多模态细胞图像分割方法。所述方法包括：针对多个病例，获取并预处理多模态细胞图像；根据细胞图像的颜色特征和点标注的空间特征，绘制四种不同的细胞分割伪标签，包括但不限于维诺图分类伪标签、超像素分类伪标签、超像素回归伪标签以及细胞实例距离回归伪标签等；搭建多模态细胞图像分割网络，提取图像深度特征，并使用五种不同的任务支路训练网络，包括但不限于维诺图分类支路、超像素分类支路、超像素回归支路、细胞实例距离回归支路以及局部温度调节支路等；将待分割细胞图像输入训练好的分割网络中，分割网络将提取图像特征，并计算得出细胞的概率；最后使用基于分水岭算法的后处理方法处理预测概率图，得到最终的细胞分割结果。本发明设计的基于点标注的弱监督多模态细胞图像分割方法，大幅降低了人为标注的工作量，并能高质量完成对于多模态细胞图像的细胞分割任务，进而辅助医生进行病情诊断。

技术研发人员：赵志诚,张滨宇
受保护的技术使用者：北京邮电大学
技术研发日：
技术公布日：2024/1/15