基于伪标注动态更新的细胞实例分割方法和装置与流程

1.本发明涉及图像分割技术领域，尤其涉及一种基于伪标注动态更新的细胞实例分割方法和装置。


背景技术：

2.在液态活检的技术流程当中，获取循环异常细胞环境下的完整分割是一个非常重要的步骤，因为精准和完整的细胞分割对下游的信号点检测有着非常大帮助。
3.现有深度学习的实例分割模型可以较好地对循环异常细胞进行细胞分割。然而，训练一个实例分割模型需要大量的细胞数据，而且由于需要对每个细胞对象都进行像素级别的标注，因此实例分割的标注成本非常高。因此，在保证实例分割模型的分割效果的同时，还需要尽可能降低实例分割模型训练过程中的标注成本，以提高模型构建的效率、降低模型构建的难度。
4.目前业界存在一些降低深度学习模型标注成本的方式，包括弱监督方式、半监督方式等。其中，半监督方式能利用有限的标注数据和大量的未标注数据来训练深度学习模型，大幅度降低深度学习模型的标注成本。然而，现有的半监督方式中，由于需要利用未标注数据的伪标注指导模型学习，因此深度学习模型的训练效果极易受到伪标注准确性的影响，故深度学习模型的训练效果得不到保证，难以满足细胞图像分割场景下对于分割准确度的需求。
5.此外，部分工作会在利用未标注数据对深度学习模型进行训练的过程中，随着模型参数的更新也迭代更新未标注数据的伪标注。然而，发明人发现，此类工作中均是在固定时机（例如一次迭代后）对未标注数据的伪标注进行更新，一旦在该固定时机模型的训练效果不佳，此时贸然更新未标注数据的伪标注反而可能导致伪标注准确性降低，从而降低了模型的训练效果。因此，如何动态更新伪标注以逐步提升伪标注准确性，从而保证模型训练过程中所使用的伪标注的准确性，将是半监督方式下提升模型训练效果的关键所在。


技术实现要素：

6.本发明提供一种基于伪标注动态更新的细胞实例分割方法和装置，用以解决现有技术中标注成本过高以及模型训练效果欠佳的缺陷。
7.本发明提供一种基于伪标注动态更新的细胞实例分割方法，包括：基于已标注细胞图像，训练得到教师分割模型，并基于所述教师分割模型对未标注细胞图像进行分割，得到所述未标注细胞图像的伪标注；基于已标注细胞图像和所述未标注细胞图像及其伪标注，对学生分割模型进行训练；其中，在当前轮训练结束后，基于验证集确定当前学生分割模型的预测精度；若当前学生分割模型的预测精度大于最佳模型，则基于当前学生分割模型更新最佳模型，再基于更新后的最佳模型更新所述未标注细胞图像的伪标注；基于训练好的学生分割模型，对待分割细胞图像进行实例分割，得到所述待分割
细胞图像的分割结果。
8.根据本发明提供的一种伪标注动态更新的细胞实例分割方法，所述基于验证集确定当前学生分割模型的预测精度，具体包括：基于验证集确定当前学生分割模型的细胞整体分割精度和细胞边缘分割精度，并基于所述细胞整体分割精度、细胞边缘分割精度和对应权重确定当前学生分割模型的预测精度。
9.根据本发明提供的一种伪标注动态更新的细胞实例分割方法，所述基于验证集确定当前学生分割模型的细胞整体分割精度和细胞边缘分割精度，具体包括：基于当前学生分割模型对所述验证集中的各个验证图像进行实例分割，得到所述各个验证图像的分割结果；基于所述各个验证图像的分割结果和标注结果，确定细胞命中数量、假阳细胞数量和细胞遗漏数量，并基于所述细胞命中数量、所述假阳细胞数量和所述细胞遗漏数量，确定所述细胞整体分割精度；基于所述各个验证图像的分割结果和标注结果，确定边缘命中数量、假阳边缘数量和边缘遗漏数量，并基于所述边缘命中数量、所述假阳边缘数量和所述边缘遗漏数量，确定所述细胞边缘分割精度。
10.根据本发明提供的一种伪标注动态更新的细胞实例分割方法，所述边缘命中数量、假阳边缘数量和边缘遗漏数量是基于预测细胞边缘与真实细胞边缘之间的匹配结果确定的；所述预测细胞边缘与真实细胞边缘之间的匹配结果是基于如下步骤确定的：基于所述各个验证图像的分割结果和标注结果，确定各个细胞的标签边缘区域以及预测边缘区域；所述标签边缘区域为与标注出的真实细胞边缘相距预设距离的区域，所述预测边缘区域为与分割出的预测细胞边缘相距预设距离的区域；基于所述各个验证图像中各个细胞的标签边缘区域和预测边缘区域，确定所述预测细胞边缘与真实细胞边缘之间的匹配结果。
11.根据本发明提供的一种伪标注动态更新的细胞实例分割方法，所述基于当前学生分割模型更新最佳模型，再基于更新后的最佳模型更新所述未标注细胞图像的伪标注，之后还包括：增大所述未标注细胞图像中各个像素的预测损失在下一轮训练过程中计算整体分割损失时的权重。
12.根据本发明提供的一种伪标注动态更新的细胞实例分割方法，所述增大所述未标注细胞图像中各个像素的预测损失在下一轮训练过程中计算整体分割损失时的权重，具体包括：确定当前学生分割模型的预测精度与更新前的最佳模型的预测精度之间的精度差异；基于所述精度差异，确定所述未标注细胞图像中各个像素的预测损失的权重增长值；其中，所述精度差异越大，所述权重增长值也越大；基于所述权重增长值，增大所述未标注细胞图像中各个像素的预测损失在下一轮训练过程中计算整体分割损失时的权重。
13.根据本发明提供的一种伪标注动态更新的细胞实例分割方法，所述学生分割模型包含结构不同的第一学生子模型和第二学生子模型以及融合层；所述未标注细胞图像的伪标注包括各个细胞的细胞标注掩膜；所述基于当前学生分割模型更新最佳模型，再基于更新后的最佳模型更新所述未标注细胞图像的伪标注，具体包括：基于所述更新后的最佳模型中的所述第一学生子模型和所述第二学生子模型，对所述未标注细胞图像进行实例分割，得到所述未标注细胞图像的第一分割结果和第二分割结果；所述第一分割结果和所述第二分割结果中均包含分割得到的细胞预测掩膜及其对应区域的细胞预测概率；将所述第一分割结果中任一区域的细胞预测概率与所述第二分割结果中同一区域的细胞预测概率融合，得到所述任一区域的更新预测概率；若所述任一区域的更新预测概率低于预设阈值，则从所述未标注细胞图像的伪标注中将所述任一区域对应的细胞标注掩膜删除；否则，将所述第一分割结果中所述任一区域对应的细胞预测掩膜与所述第二分割结果中同一区域对应的细胞预测掩膜融合，得到所述任一区域对应的更新预测掩膜，并将所述任一区域对应的更新预测掩膜作为所述未标注细胞图像的伪标注中所述任一区域对应的细胞标注掩膜。
14.根据本发明提供的一种伪标注动态更新的细胞实例分割方法，所述在当前轮训练结束后，基于验证集确定当前学生分割模型的预测精度，具体包括：分别基于所述第一学生子模型和所述第二学生子模型对所述验证集中的验证图像进行实例分割，得到所述验证图像的第一分割结果和第二分割结果；基于所述融合层，将所述验证图像的第一分割结果和第二分割结果进行融合，得到所述验证图像的分割结果；基于所述验证集中各个验证图像的分割结果，确定所述学生分割模型的预测精度。
15.本发明还提供一种伪标注动态更新的细胞实例分割装置，包括：伪标注预测单元，用于基于已标注细胞图像，训练得到教师分割模型，并基于所述教师分割模型对未标注细胞图像进行分割，得到所述未标注细胞图像的伪标注；学生模型训练单元，用于基于已标注细胞图像和所述未标注细胞图像及其伪标注，对学生分割模型进行训练；其中，在当前轮训练结束后，基于验证集确定当前学生分割模型的预测精度；若当前学生分割模型的预测精度大于最佳模型，则基于当前学生分割模型更新最佳模型，再基于更新后的最佳模型更新所述未标注细胞图像的伪标注；实例分割单元，用于基于训练好的学生分割模型，对待分割细胞图像进行实例分割，得到所述待分割细胞图像的分割结果。
16.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述伪标注动态更新的细胞实例分割方法的步骤。
17.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述伪标注动态更新的细胞实例分割方法的步
骤。
18.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述伪标注动态更新的细胞实例分割方法的步骤。
19.本发明提供的基于伪标注动态更新的细胞实例分割方法和装置，通过基于已标注细胞图像训练的教师分割模型对未标注细胞图像进行分割，得到未标注细胞图像的伪标注，作为学生分割模型的训练样本，可以有效减轻细胞实例分割任务中的标注成本，在学生分割模型当前轮训练结束后，基于验证集确定当前学生分割模型的预测精度，在当前学生分割模型的预测精度大于最佳模型时更新未标注细胞图像的伪标注，可以提高伪标注更新的可靠性，从而稳步提升未标注细胞图像的伪标注的准确性，保障学生分割模型后续训练的可靠性，进而提高细胞实例分割的准确性。
附图说明
20.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
21.图1是本发明提供的基于伪标注动态更新的细胞实例分割方法的流程示意图；图2是本发明提供的置信度统计的示意图；图3是本发明提供的学生分割模型训练方法的示意图；图4是本发明提供的数据增强方法的效果图；图5是本发明提供的基于多模型融合的学生分割模型训练方法的示意图；图6是本发明提供的基于伪标注动态更新的细胞实例分割装置的结构示意图；图7是本发明提供的电子设备的结构示意图。
具体实施方式
22.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
23.图1为本发明实施例提供的基于伪标注动态更新的细胞实例分割方法的流程示意图，如图1所示，该方法包括：步骤110，基于已标注细胞图像，训练得到教师分割模型，并基于所述教师分割模型对未标注细胞图像进行分割，得到所述未标注细胞图像的伪标注。
24.此处，可以对样本细胞图像进行人工标注，标注出其中每个像素的类型（细胞像素或背景像素），生成样本细胞图像中各个细胞的掩膜，得到已标注细胞图像。随后，利用已标注细胞图像对实例分割模型（例如maskrcnn模型）进行有监督训练，得到教师分割模型。利用该教师分割模型，对大量的未标注细胞图像（即没有经过人工标注的样本细胞图像）进行实例分割，得到未标注细胞图像的伪标注。其中，未标注细胞图像的伪标注包括模型预测的该图像中各个细胞的细胞掩膜，此外还可以包括该图像中各个细胞的外接包围框。此处，具
体是否需要生成细胞的外接包围框可以根据后续学生分割模型采用的网络架构决定，例如，若学生分割模型采用maskrcnn架构，则伪标注中需要包含细胞的外接包围框，若学生分割模型是基于unet架构的网络，则伪标注中可以不包含细胞的外接包围框。
25.另外，为了提高伪标注的准确性，在教师分割模型对部分未标注细胞图像进行实例分割后，如图2所示，可以统计模型输出的分割结果的置信度，并根据统计的置信度，利用肘部法则设置过滤阈值，例如0.95。随后，基于教师分割模型再对大量未标注细胞图像进行实例分割，并根据该过滤阈值对模型输出的分割结果进行过滤，保留置信度高于过滤阈值的分割结果，作为对应未标注细胞图像的伪标注。
26.普通的实例分割模型在训练时，通常采用基于mask的损失函数。然而，不精准的mask不利于基于mask的损失函数的收敛，且由于教师分割模型需要对细胞边缘进行分割，因此为了提高教师分割模型的细胞边缘分割精度，从而提高伪标注中细胞掩膜的精度，在训练教师分割模型时，其采用的损失函数在基于mask的损失函数基础上增加了boundary loss，以增强模型对mask边缘的预测。
27.步骤120，基于已标注细胞图像和所述未标注细胞图像及其伪标注，对学生分割模型进行训练；其中，在当前轮训练结束后，基于验证集确定当前学生分割模型的预测精度；若当前学生分割模型的预测精度大于最佳模型，则基于当前学生分割模型更新最佳模型，再基于更新后的最佳模型更新所述未标注细胞图像的伪标注。
28.此处，如图3所示，利用已标注细胞图像和上述步骤得到的未标注细胞图像及其伪标注，对学生分割模型进行训练。其中，学生分割模型的网络结构与教师分割模型的网络结构可以相同也可以不同，本发明实施例对此不作具体限定。其中，由于随着模型的训练，模型的性能效果会慢慢逼近伪标注所对应的性能最高点，如果没有及时更新伪标注以提升伪标注的准确性，反而会限制模型的性能效果，无法带来突破。因此，在学生分割模型的训练过程中，可以选取合适时机对未标注细胞图像的伪标注进行动态更新。具体而言，在当前轮训练（即一个epoch）结束后，可以基于验证集确定当前学生分割模型的预测精度。
29.若当前学生分割模型的预测精度大于当前保存的最佳模型的预测精度，表明通过这一轮训练，当前学生分割模型的训练效果有所提升，其分割准确性更佳。因此，可以基于当前学生分割模型更新最佳模型，即将当前学生分割模型作为新的最佳模型进行保存，再基于更新后的最佳模型更新上述未标注细胞图像的伪标注，以提升伪标注的准确性。可见，通过上述方式准确评估学生分割模型的训练效果，在其训练效果有明确提升时，再利用该明确提升的模型对未标注细胞图像的伪标注进行更新，可以提高伪标注更新的可靠性，从而稳步提升未标注细胞图像的伪标注的准确性，进而保障学生分割模型后续训练的可靠性。
30.此外，未标注细胞图像的伪标注中可能含有较多高置信度的噪声，因此可以对未标注细胞图像采用强数据增强方法，例如resize、垂直反转、高斯噪声、亮度变化、旋转、亮度噪声、饱和度变化以及copypaste，丰富未标注细胞图像中的信息，避免模型过拟合伪标注中的噪声。而对于已标注细胞图像，可以采用常规的数据增强方法，例如resize和随机翻转。其中，强数据增强方法的效果如图4所示，其中左图为原始图像，右图为强数据增强后的图像（二者并非完全对应，仅为示意）。
31.步骤130，基于训练好的学生分割模型，对待分割细胞图像进行实例分割，得到所
述待分割细胞图像的分割结果。
32.此处，获取需要进行实例分割的待分割细胞图像，并将该待分割细胞图像输入至学生分割模型中进行实例分割，得到学生分割模型输出的待分割细胞图像的分割结果。其中，待分割细胞图像的分割结果可以包含该图像中每一像素的类型，或是包含该图像中各个细胞的细胞掩膜，分割结果的具体形式可以根据应用场景中的实际需求设定，本发明实施例对此不作具体限定。
33.本发明实施例提供的方法，通过基于已标注细胞图像训练的教师分割模型对未标注细胞图像进行分割，得到未标注细胞图像的伪标注，作为学生分割模型的训练样本，可以有效减轻细胞实例分割任务中的标注成本，在学生分割模型当前轮训练结束后，基于验证集确定当前学生分割模型的预测精度，在当前学生分割模型的预测精度大于最佳模型时更新未标注细胞图像的伪标注，可以提高伪标注更新的可靠性，从而稳步提升未标注细胞图像的伪标注的准确性，保障学生分割模型后续训练的可靠性，进而提高细胞实例分割的准确性。
34.基于上述实施例，所述基于验证集确定当前学生分割模型的预测精度，具体包括：基于验证集确定当前学生分割模型的细胞整体分割精度和细胞边缘分割精度，并基于所述细胞整体分割精度、细胞边缘分割精度和对应权重确定当前学生分割模型的预测精度。
35.具体地，可以基于验证集确定当前学生分割模型的细胞整体分割精度和细胞边缘分割精度，再基于上述细胞整体分割精度、细胞边缘分割精度和两类精度分别对应权重确定当前学生分割模型的预测精度，以精确评估当前学生分割模型的训练效果，从而确定更准确的伪标注更新时机。其中，在计算预测精度时，细胞整体分割精度和细胞边缘分割精度对应的权重可以相同也可以不同。为了引导学生分割模型更关注细胞边缘的分割，以提升细胞实例分割的边缘分割精度，可以将细胞边缘分割精度的权重设定得高于细胞整体分割精度的权重。此处，可以采用如下公式计算当前学生分割模型的预测精度ap：ap = w1*mask ap+w2*boundary ap其中，mask ap为细胞整体分割精度，boundary ap为细胞边缘分割精度，w1和w2分别为细胞整体分割精度和细胞边缘分割精度的权重，示例性地，w1可以设置为0.5，w2可以设置为1。
36.此处，通过确定当前学生分割模型的细胞整体分割精度，可以量化该模型对于细胞整体的分割准确性，即区分细胞区域和非细胞区域的能力。然而，在确定细胞整体分割精度时，其结果易受到细胞尺寸以及图像噪声等干扰，单一的细胞整体分割精度难以准确反映模型的分割效果。此外，对于细胞分割任务而言，尤其是循环异常细胞等特殊细胞的分割任务，对于细胞边缘的分割精度要求较高。因此，在评估模型训练效果时，还引入了细胞边缘分割精度，以量化该模型对于细胞边缘的分割准确性，从而全面且精准地评估模型当前的训练效果。
37.基于上述任一实施例，所述基于验证集确定当前学生分割模型的细胞整体分割精度和细胞边缘分割精度，具体包括：基于当前学生分割模型对所述验证集中的各个验证图像进行实例分割，得到所述各个验证图像的分割结果；
基于所述各个验证图像的分割结果和标注结果，确定细胞命中数量、假阳细胞数量和细胞遗漏数量，并基于所述细胞命中数量、所述假阳细胞数量和所述细胞遗漏数量，确定所述细胞整体分割精度；基于所述各个验证图像的分割结果和标注结果，确定边缘命中数量、假阳边缘数量和边缘遗漏数量，并基于所述边缘命中数量、所述假阳边缘数量和所述边缘遗漏数量，确定所述细胞边缘分割精度。
38.具体地，学生分割模型训练效果的评估准确性直接影响着伪标注更新的可靠性，评估准确性越高，选取的伪标注更新时机越恰当，因此伪标注更新的可靠性越高。因此，需要加强学生分割模型训练效果评估的准确性，以提升未标注细胞图像伪标注的准确性。
39.对此，可以基于当前学生分割模型对验证集中的各个验证图像进行实例分割，得到各个验证图像的分割结果。随后，一方面，可以基于各个验证图像的分割结果和标注结果，确定细胞命中数量、假阳细胞数量和细胞遗漏数量。其中，细胞命中数量是指分割结果中能够与标注结果中标注得到的真实细胞相匹配的细胞数量；假阳细胞数量是指分割结果中与标注结果中标注得到的所有真实细胞均不匹配的细胞数量；细胞遗漏数量是指标注结果中与分割结果中分割得到的所有细胞均不匹配的真实细胞数量。细胞之间是否匹配，可以采用iou方式确定，即求取两个细胞对应区域的交并比，交并比的公式如下所示：若交并比大于预设阈值（例如0.5）则表示两个细胞相匹配，否则两个细胞不匹配。
40.基于细胞命中数量、假阳细胞数量和细胞遗漏数量，可以确定细胞整体分割精度。此处，可以采用如下公式计算细胞整体分割精度：其中，mask ap为细胞整体分割精度，tp为细胞命中数量，fp为假阳细胞数量，fn为细胞遗漏数量。
41.另一方面，还可以基于各个验证图像的分割结果和标注结果，确定边缘命中数量、假阳边缘数量和边缘遗漏数量。其中，边缘命中数量是指分割结果中边缘部分能够与标注结果中标注得到的真实细胞的边缘部分相匹配的细胞数量；假阳边缘数量是指分割结果中边缘部分与标注结果中标注得到的所有真实细胞的边缘部分均不匹配的细胞数量；细胞遗漏数量是指标注结果中边缘部分与分割结果中分割得到的所有细胞的边缘部分均不匹配的真实细胞数量。
42.随后，基于边缘命中数量、假阳边缘数量和边缘遗漏数量，可以确定细胞边缘分割精度。其中，细胞边缘分割精度的计算方式与细胞整体分割精度的计算方式类似，在此不再赘述。
43.需要说明的是，本发明实施例不对细胞整体分割精度的确定步骤与细胞边缘分割精度的确定步骤的执行顺序作任何限定，二者可以以任何顺序先后执行或是同时执行。
44.通过上述方式确定细胞整体分割精度和细胞边缘分割精度，可以兼顾细胞整体区域、细胞边缘区域，以及假阳检测、细胞遗漏等细胞分割任务中容易出现的错误类型，从而提高了学生分割模型训练效果评估的准确性，进而提高了伪标注更新的可靠性。
45.基于上述任一实施例，所述边缘命中数量、假阳边缘数量和边缘遗漏数量是基于
预测细胞边缘与真实细胞边缘之间的匹配结果确定的；所述预测细胞边缘与真实细胞边缘之间的匹配结果是基于如下步骤确定的：基于所述各个验证图像的分割结果和标注结果，确定各个细胞的标签边缘区域以及预测边缘区域；所述标签边缘区域为与标注出的真实细胞边缘相距预设距离的区域，所述预测边缘区域为与分割出的预测细胞边缘相距预设距离的区域；基于所述各个验证图像中各个细胞的标签边缘区域和预测边缘区域，确定所述预测细胞边缘与真实细胞边缘之间的匹配结果。
46.具体地，在计算边缘命中数量、假阳边缘数量和边缘遗漏数量时，需要判断两个细胞的边缘部分是否相匹配，即需要确定预测细胞边缘与真实细胞边缘之间的匹配结果。其中，预测细胞边缘是分割结果中细胞的边缘部分，真实细胞边缘是标注结果中真实细胞的边缘部分。
47.此处，可以基于各个验证图像的分割结果和标注结果，确定各个细胞的标签边缘区域以及预测边缘区域，再基于各个验证图像中各个细胞的标签边缘区域和预测边缘区域，确定预测细胞边缘与真实细胞边缘之间的匹配结果。其中，标签边缘区域为与标注出的真实细胞边缘相距预设距离的区域；预测边缘区域为与分割出的预测细胞边缘相距预设距离的区域。通过获取同一细胞在标注结果中的标签边缘区域及其在分割结果中的预测边缘区域，并通过交并比的方式确定预测细胞边缘与真实细胞边缘之间的匹配结果。此处，预测细胞边缘与真实细胞边缘之间的匹配度可以采用如下公式计算得到：其中，为预测细胞边缘与真实细胞边缘之间的匹配度；g指代标注结果中任一细胞的掩膜，p指代分割结果中该细胞的掩膜，gd指代标签边缘区域，pd指代预测边缘区域。
48.若预测细胞边缘与真实细胞边缘之间的匹配度大于预设阈值，则表明预测细胞边缘与真实细胞边缘之间相匹配，否则预测细胞边缘与真实细胞边缘之间不匹配。
49.基于上述任一实施例，所述基于当前学生分割模型更新最佳模型，再基于更新后的最佳模型更新所述未标注细胞图像的伪标注，之后还包括：增大所述未标注细胞图像中各个像素的预测损失在下一轮训练过程中计算整体分割损失时的权重。
50.具体地，当当前学生分割模型的训练效果有明确提升时更新未标注细胞图像的伪标注，提升了未标注细胞图像伪标注的准确性，因此其可以为模型提供更准确的训练方向。正由于未标注细胞图像的伪标注的准确性有所提升，因此在学生分割模型下一轮的训练过程中，可以增大未标注细胞图像中各个像素的预测损失在计算整体分割损失时的权重，以加强未标注细胞图像的伪标注在训练过程中对于模型训练方向的影响，进一步提升模型的训练效果。
51.需要说明的是，在学生分割模型开始训练时，虽然未标注细胞图像的伪标注的准确性不是很高，但仍将未标注细胞图像中各个像素的预测损失在计算整体分割损失时的权重设置为与已标注细胞图像的对应权重相等。原因在于，虽然标注细胞图像的伪标注的准确性不是很高，但是一方面较强的数据增强处理可以避免模型过拟合伪标注中的噪声，另
一方面未标注细胞图像的数据量远大于已标注细胞图像（一般10倍以上），通过将未标注细胞图像中各个像素的预测损失在计算整体分割损失时的权重设置为与已标注细胞图像的对应权重相等，可以让模型更多地关注未标注细胞图像，避免模型过拟合少部分已标注细胞图像。
52.基于上述任一实施例，所述增大所述未标注细胞图像中各个像素的预测损失在下一轮训练过程中计算整体分割损失时的权重，具体包括：确定当前学生分割模型的预测精度与更新前的最佳模型的预测精度之间的精度差异；基于所述精度差异，确定所述未标注细胞图像中各个像素的预测损失的权重增长值；其中，所述精度差异越大，所述权重增长值也越大；基于所述权重增长值，增大所述未标注细胞图像中各个像素的预测损失在下一轮训练过程中计算整体分割损失时的权重。
53.具体地，在增大未标注细胞图像中各个像素的预测损失在下一轮训练过程中计算整体分割损失时的权重时，权重的增加幅度将是影响模型后续训练效果的关键之一。若权重的增加幅度过大，可能导致伪标注中当前存在的较多错误标注对模型训练产生过大的负面影响，从而阻碍模型学习。
54.对此，可以确定当前学生分割模型的预测精度与更新前的最佳模型的预测精度之间的精度差异，并基于该精度差异，确定未标注细胞图像中各个像素的预测损失的权重增长值。需要说明的是，各个未标注细胞图像中各个像素的预测损失的权重增长值相同，例如都增加0.2。其中，精度差异越大，表明当前学生分割模型的性能提升越明显，利用当前学生分割模型更新后的未标注细胞图像的伪标注的准确性更高、错误标注更少。因此，可以将权重增长值设置得越大，以快速提高未标注细胞图像的伪标注在下一轮训练中的影响，在提升模型后续训练效果的同时加快模型训练效率。反之，精度差异越小，表明当前学生分割模型的性能提升越微弱，利用当前学生分割模型更新后的伪标注中错误标注难以明显降低。因此，可以将权重增长值设置得更小，以避免未标注细胞图像的伪标注中的错误标注在下一轮训练中产生过大负面影响。
55.随后，根据上述确定的权重增长值，增大未标注细胞图像中各个像素的预测损失在下一轮训练过程中计算整体分割损失时的权重，以开启学生分割模型的下一轮训练。
56.基于上述任一实施例，所述学生分割模型包含结构不同的第一学生子模型和第二学生子模型以及融合层；所述未标注细胞图像的伪标注包括各个细胞的细胞标注掩膜；所述基于当前学生分割模型更新最佳模型，再基于更新后的最佳模型更新所述未标注细胞图像的伪标注，具体包括：基于所述更新后的最佳模型中的所述第一学生子模型和所述第二学生子模型，对所述未标注细胞图像进行实例分割，得到所述未标注细胞图像的第一分割结果和第二分割结果；所述第一分割结果和所述第二分割结果中均包含分割得到的细胞预测掩膜及其对应区域的细胞预测概率；将所述第一分割结果中任一区域的细胞预测概率与所述第二分割结果中同一区域的细胞预测概率融合，得到所述任一区域的更新预测概率；若所述任一区域的更新预测概率低于预设阈值，则从所述未标注细胞图像的伪标
注中将所述任一区域对应的细胞标注掩膜删除；否则，将所述第一分割结果中所述任一区域对应的细胞预测掩膜与所述第二分割结果中同一区域对应的细胞预测掩膜融合，得到所述任一区域对应的更新预测掩膜，并将所述任一区域对应的更新预测掩膜作为所述未标注细胞图像的伪标注中所述任一区域对应的细胞标注掩膜。
57.具体地，由于伪标注中容易存在错误标注，而这些错误标注若为高置信度，则容易在后续的半监督训练中得以累计，导致模型更加确信自己的错误预测，从而朝向错误的方向学习，较大程度降低了模型的训练效果。因此，为了纠正伪标注中高置信度的错误标注，以提升伪标注的准确性，可以采用多模型融合的方式进行伪标注的更新。
58.具体而言，如图5所示，学生分割模型可以包含结构不同的第一学生子模型和第二学生子模型以及融合层，以融合第一学生子模型和第二学生子模型针对未标注细胞图像的预测结果，两种预测结果相互印证，从而可以得到置信度更高的预测结果，提升伪标注更新的可靠性。其中，第一学生子模型和第二学生子模型为两个结构不同的实例分割模型，原因在于在学生分割模型的训练过程中，第一学生子模型和第二学生子模型所使用的训练样本是相同的，若二者的模型结构相同，会导致两个模型的预测结果趋同，难以达到两个模型相互印证的效果，对于伪标注准确性的提升效果也将不明显。
59.需要说明的是，当学生分割模型训练完毕后，实际使用时，可以利用整个学生分割模型或是其中的子模型进行细胞实例分割，选用某个子模型进行实例分割时，可以采用第一学生子模型和第二学生子模型中性能更好的子模型，本发明实施例对此不作具体限定。另外，为了与学生分割模型相一致，教师分割模型也可以包含第一教师子模型和第二教师子模型以及融合层，利用第一教师子模型和第二教师子模型分别对未标注细胞图像进行分割，并将两个子模型的输出结果进行融合，得到未标注细胞图像最初始的伪标注。
60.未标注细胞图像的伪标注包括对应图像中各个细胞的细胞标注掩膜。为了更可靠地更新伪标注以提升伪标注的准确性，可以在确认当前学生分割模型的性能有明确提升时，利用当前学生分割模型中的第一学生子模型和第二学生子模型，对未标注细胞图像进行实例分割，得到该未标注细胞图像的第一分割结果和第二分割结果。其中，第一分割结果和第二分割结果中均包含分割得到的细胞预测掩膜及其对应区域的细胞预测概率。此处，细胞预测掩膜为对应模型预测得到的细胞掩膜，细胞预测概率为对应模型计算的细胞预测掩膜对应区域为细胞区域的概率，细胞预测概率越高，对应模型越确信对应区域为细胞区域。
61.随后，将第一分割结果中任一区域的细胞预测概率与第二分割结果中同一区域的细胞预测概率融合，得到该区域的更新预测概率。其中，第二分割结果中任一细胞预测掩膜对应的区域与第一分割结果中任一细胞预测掩膜对应的区域之间的重合程度超过预设阈值，则可以认为两个区域是同一区域。此处，若第一分割结果或第二分割结果中该区域的细胞预测概率较低，融合之后，将会拉低该区域的更新预测概率；若第一分割结果和第二分割结果中该区域的细胞预测概率均较高，则该区域的更新预测概率也会维持在一个较高值。
62.通过判断该区域的更新预测概率是否低于预设阈值，可以确定该区域是否真的是细胞区域。若该区域的更新预测概率低于预设阈值，即第一学生子模型和第二学生子模型中至少有一个子模型不确定该区域是否为细胞区域，故可以认为该区域为假阳区域，因此
从该未标注细胞图像的伪标注中将该区域对应的细胞标注掩膜删除，从而纠正伪标注中的错误标注。
63.否则，将第一分割结果中该区域对应的细胞预测掩膜与第二分割结果中同一区域对应的细胞预测掩膜融合，得到该区域对应的更新预测掩膜，并将该区域对应的更新预测掩膜作为该未标注细胞图像的伪标注中该区域对应的细胞标注掩膜，实现伪标注的更新。
64.整个伪标注的更新过程可以如下式所示：整个伪标注的更新过程可以如下式所示：其中，为未标注细胞图像；和分别代表第一学生子模型和第二学生子模型；表示第一学生子模型输出的细胞预测概率、细胞包围框和细胞预测掩膜，表示第二学生子模型输出的细胞预测概率、外接包围框和细胞预测掩膜，其中，外接包围框可以根据模型结构选择是否输出；其中，为更新预测概率；若更新预测概率大于预设阈值，则采用下式进行伪标注更新：其中，为更新预测掩膜。
65.在此基础上，若模型结构决定了训练过程中需要使用外接包围框，也可以基于上述更新预测掩膜生成对应的外接包围框，并据此更新伪标注。
66.基于上述任一实施例，所述在当前轮训练结束后，基于验证集确定当前学生分割模型的预测精度，具体包括：分别基于所述第一学生子模型和所述第二学生子模型对所述验证集中的验证图像进行实例分割，得到所述验证图像的第一分割结果和第二分割结果；基于所述融合层，将所述验证图像的第一分割结果和第二分割结果进行融合，得到所述验证图像的分割结果；基于所述验证集中各个验证图像的分割结果，确定所述学生分割模型的预测精度。
67.具体地，在确认伪标注动态更新的时机时，需要确定当前学生分割模型的细胞整体分割精度和细胞边缘分割精度，并基于细胞整体分割精度、细胞边缘分割精度和对应权重确定当前学生分割模型的预测精度。对于上述多模型融合结构的学生分割模型，可以分别基于第一学生子模型和第二学生子模型对验证集中的验证图像进行实例分割，得到验证图像的第一分割结果和第二分割结果。随后，基于融合层，将验证图像的第一分割结果和第二分割结果进行融合，得到该验证图像更高置信度的分割结果。
68.随后，基于验证集中各个验证图像的分割结果，采用如上述实施例中给出的方式确定学生分割模型的预测精度。例如，获取当前学生分割模型的细胞整体分割精度和细胞边缘分割精度，并基于细胞整体分割精度、细胞边缘分割精度和对应权重确定当前学生分割模型的预测精度。
69.基于上述任一实施例，图6为本发明实施例提供的基于伪标注动态更新的细胞实
例分割装置的结构示意图，如图6所示，该装置包括：伪标注预测单元610、学生模型训练单元620和实例分割单元630。
70.其中，伪标注预测单元610用于基于已标注细胞图像，训练得到教师分割模型，并基于所述教师分割模型对未标注细胞图像进行分割，得到所述未标注细胞图像的伪标注；学生模型训练单元620用于基于已标注细胞图像和所述未标注细胞图像及其伪标注，对学生分割模型进行训练；其中，在当前轮训练结束后，基于验证集确定当前学生分割模型的预测精度；若当前学生分割模型的预测精度大于最佳模型，则基于当前学生分割模型更新最佳模型，再基于更新后的最佳模型更新所述未标注细胞图像的伪标注；实例分割单元630用于基于训练好的学生分割模型，对待分割细胞图像进行实例分割，得到所述待分割细胞图像的分割结果。
71.本发明实施例提供的装置，通过基于已标注细胞图像训练的教师分割模型对未标注细胞图像进行分割，得到未标注细胞图像的伪标注，作为学生分割模型的训练样本，可以有效减轻细胞实例分割任务中的标注成本，在学生分割模型当前轮训练结束后，基于验证集确定当前学生分割模型的预测精度，在当前学生分割模型的预测精度大于最佳模型时更新未标注细胞图像的伪标注，可以提高伪标注更新的可靠性，从而稳步提升未标注细胞图像的伪标注的准确性，保障学生分割模型后续训练的可靠性，进而提高细胞实例分割的准确性。
72.基于上述任一实施例，所述基于验证集确定当前学生分割模型的预测精度，具体包括：基于验证集确定当前学生分割模型的细胞整体分割精度和细胞边缘分割精度，并基于所述细胞整体分割精度、细胞边缘分割精度和对应权重确定当前学生分割模型的预测精度。
73.基于上述任一实施例，所述基于验证集确定当前学生分割模型的细胞整体分割精度和细胞边缘分割精度，具体包括：基于当前学生分割模型对所述验证集中的各个验证图像进行实例分割，得到所述各个验证图像的分割结果；基于所述各个验证图像的分割结果和标注结果，确定细胞命中数量、假阳细胞数量和细胞遗漏数量，并基于所述细胞命中数量、所述假阳细胞数量和所述细胞遗漏数量，确定所述细胞整体分割精度；基于所述各个验证图像的分割结果和标注结果，确定边缘命中数量、假阳边缘数量和边缘遗漏数量，并基于所述边缘命中数量、所述假阳边缘数量和所述边缘遗漏数量，确定所述细胞边缘分割精度。
74.基于上述任一实施例，所述边缘命中数量、假阳边缘数量和边缘遗漏数量是基于预测细胞边缘与真实细胞边缘之间的匹配结果确定的；所述预测细胞边缘与真实细胞边缘之间的匹配结果是基于如下步骤确定的：基于所述各个验证图像的分割结果和标注结果，确定各个细胞的标签边缘区域以及预测边缘区域；所述标签边缘区域为与标注出的真实细胞边缘相距预设距离的区域，所述预测边缘区域为与分割出的预测细胞边缘相距预设距离的区域；基于所述各个验证图像中各个细胞的标签边缘区域和预测边缘区域，确定所述预
测细胞边缘与真实细胞边缘之间的匹配结果。
75.基于上述任一实施例，所述基于当前学生分割模型更新最佳模型，再基于更新后的最佳模型更新所述未标注细胞图像的伪标注，之后还包括：增大所述未标注细胞图像中各个像素的预测损失在下一轮训练过程中计算整体分割损失时的权重。
76.基于上述任一实施例，所述增大所述未标注细胞图像中各个像素的预测损失在下一轮训练过程中计算整体分割损失时的权重，具体包括：确定当前学生分割模型的预测精度与更新前的最佳模型的预测精度之间的精度差异；基于所述精度差异，确定所述未标注细胞图像中各个像素的预测损失的权重增长值；其中，所述精度差异越大，所述权重增长值也越大；基于所述权重增长值，增大所述未标注细胞图像中各个像素的预测损失在下一轮训练过程中计算整体分割损失时的权重。
77.基于上述任一实施例，所述学生分割模型包含结构不同的第一学生子模型和第二学生子模型以及融合层；所述未标注细胞图像的伪标注包括各个细胞的细胞标注掩膜；所述基于当前学生分割模型更新最佳模型，再基于更新后的最佳模型更新所述未标注细胞图像的伪标注，具体包括：基于所述更新后的最佳模型中的所述第一学生子模型和所述第二学生子模型，对所述未标注细胞图像进行实例分割，得到所述未标注细胞图像的第一分割结果和第二分割结果；所述第一分割结果和所述第二分割结果中均包含分割得到的细胞预测掩膜及其对应区域的细胞预测概率；将所述第一分割结果中任一区域的细胞预测概率与所述第二分割结果中同一区域的细胞预测概率融合，得到所述任一区域的更新预测概率；若所述任一区域的更新预测概率低于预设阈值，则从所述未标注细胞图像的伪标注中将所述任一区域对应的细胞标注掩膜删除；否则，将所述第一分割结果中所述任一区域对应的细胞预测掩膜与所述第二分割结果中同一区域对应的细胞预测掩膜融合，得到所述任一区域对应的更新预测掩膜，并将所述任一区域对应的更新预测掩膜作为所述未标注细胞图像的伪标注中所述任一区域对应的细胞标注掩膜。
78.基于上述任一实施例，所述在当前轮训练结束后，基于验证集确定当前学生分割模型的预测精度，具体包括：分别基于所述第一学生子模型和所述第二学生子模型对所述验证集中的验证图像进行实例分割，得到所述验证图像的第一分割结果和第二分割结果；基于所述融合层，将所述验证图像的第一分割结果和第二分割结果进行融合，得到所述验证图像的分割结果；基于所述验证集中各个验证图像的分割结果，确定所述学生分割模型的预测精度。
79.图7示例了一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(communications interface)720、存储器(memory)730和
通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行基于伪标注动态更新的细胞实例分割方法，该方法包括：基于已标注细胞图像，训练得到教师分割模型，并基于所述教师分割模型对未标注细胞图像进行分割，得到所述未标注细胞图像的伪标注；基于已标注细胞图像和所述未标注细胞图像及其伪标注，对学生分割模型进行训练；其中，在当前轮训练结束后，基于验证集确定当前学生分割模型的预测精度；若当前学生分割模型的预测精度大于最佳模型，则基于当前学生分割模型更新最佳模型，再基于更新后的最佳模型更新所述未标注细胞图像的伪标注；基于训练好的学生分割模型，对待分割细胞图像进行实例分割，得到所述待分割细胞图像的分割结果。
80.此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。
81.另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的基于伪标注动态更新的细胞实例分割方法，该方法包括：基于已标注细胞图像，训练得到教师分割模型，并基于所述教师分割模型对未标注细胞图像进行分割，得到所述未标注细胞图像的伪标注；基于已标注细胞图像和所述未标注细胞图像及其伪标注，对学生分割模型进行训练；其中，在当前轮训练结束后，基于验证集确定当前学生分割模型的预测精度；若当前学生分割模型的预测精度大于最佳模型，则基于当前学生分割模型更新最佳模型，再基于更新后的最佳模型更新所述未标注细胞图像的伪标注；基于训练好的学生分割模型，对待分割细胞图像进行实例分割，得到所述待分割细胞图像的分割结果。
82.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的基于伪标注动态更新的细胞实例分割方法，该方法包括：基于已标注细胞图像，训练得到教师分割模型，并基于所述教师分割模型对未标注细胞图像进行分割，得到所述未标注细胞图像的伪标注；基于已标注细胞图像和所述未标注细胞图像及其伪标注，对学生分割模型进行训练；其中，在当前轮训练结束后，基于验证集确定当前学生分割模型的预测精度；若当前学生分割模型的预测精度大于最佳模型，则基于当前学生分割模型更新最佳模型，再基于更新后的最佳模型更新所述未标注细胞图像的伪标注；基于训练好的学生分割模型，对待分割细胞图像进行实例分割，得到所述待分割细胞图像的分割结果。
83.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其
中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
84.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
85.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。