细胞核有丝分裂检测的评价方法和系统与流程

1.本技术涉及图像处理技术领域，具体涉及一种细胞核有丝分裂检测的评价方法和系统。


背景技术：

2.细胞核的检测与人体疾病的诊断具有很大的相关性，其中的有丝分裂细胞检测属于乳腺癌分级诊断领域，有丝分裂细胞的检测和统计与病患的乳腺癌风险诊断具有直接相关性。其中的有丝分裂计数任务主要统计处于核分裂过程中的细胞个数。目前，在临床病理中，病理学家主要通过在高分辨率的整张数字病理切片上手动标记观察到的有丝分裂细胞，再对它进行计数与评估；在科研中，研究人员主要通过结合深度学习的方法来实现有丝分裂的检测任务。在有丝分裂检测的任务中，主要采用的是深度学习中的目标检测方法，该方法能够针对图像中的潜在有丝分裂细胞实现直接定位和识别，但该方法存在一定的局限性。虽然目标检测方法能够实现端到端的检测效果，但最终结果是一步到位的，未对最终结果进行二次验证，进而导致了检测结果性能受限。
3.相关技术中，在核分裂计数领域，目前采用的目标检测方法均是直接采用端到端目标检测方法得到潜在有丝分裂细胞的目标框和类别，实现一步到位。然而采用该方式会遇到的一个问题是，在最终预测的有丝分裂细胞潜在目标框存在部分难例，类别评分趋于有丝分裂细胞和非有丝分裂细胞之间，难于辨别。更具体地说，目前的方案通过对目标框进行置信度评分，假设置信度评分的阈值设为0.5，即目标框的置信度评分大于0.5则判断为有丝分裂细胞，反之则为非有丝分裂细胞。难例就是目标框的置信度评分在0.5附近的情况，这些情况下难以辨别是否为有丝分裂细胞。


技术实现要素：

4.为至少在一定程度上克服相关技术中存在的置信度评分在阈值附件时难以辨别是否为有丝分裂细胞的问题，本技术提供一种细胞核有丝分裂检测的评价方法和系统。
5.根据本技术实施例的第一方面，提供一种细胞核有丝分裂检测的评价方法，包括：
6.将有丝分裂细胞图像输入目标检测模型，提取有丝分裂细胞的目标框及对应的置信度；
7.基于有丝分裂细胞的目标框进行潜在目标的二次评分；
8.融合置信度和二次评分结果，形成最终的有丝分裂细胞预测评分。
9.进一步地，所述目标检测模型为基于机器学习或基于深度学习的目标检测模型；
10.所述目标检测模型的输入为有丝分裂细胞图像，输出为包含有丝分裂细胞目标框的预测图以及每个目标框对应的置信度。
11.进一步地，所述目标检测模型的训练过程包括如下步骤：
12.生成训练数据，所述训练数据包括一定数量的有丝分裂细胞图像及每张图像所对应的真实有丝分裂细胞的目标框；
13.基于目标检测模型的预测结果与真实的目标框之间的差异，构建目标函数；
14.将训练数据输入目标检测模型进行训练，采用梯度下降法对目标函数进行优化，完成对目标检测模型参数的迭代更新。
15.进一步地，基于有丝分裂细胞的目标框进行潜在目标的二次评分，包括如下步骤：
16.对目标框中的内容进行特征提取，生成对应的特征图或特征向量；
17.对特征图或特征向量进行二分类，根据分类结果输出二次评分。
18.进一步地，对目标框中的内容进行特征提取，包括如下步骤：
19.将目标框中的内容输入特征提取网络，生成对应的特征图或特征向量；
20.其中，所述特征提取网络的训练过程为：使用深度学习的训练方法将图像分类模型训练完成后，将图像分类模型的最后一层分类头去掉，剩余的神经网络架构作为特征提取网络。
21.进一步地，对特征图或特征向量进行二分类，根据分类结果输出二次评分，包括如下步骤：
22.采用目标分类网络对特征图或特征向量进行二分类，输出目标框内容为有丝分裂细胞的置信度评分；
23.如果置信度评分大于预设阈值，判断为是有丝分裂细胞，此时将置信度评分作为二次评分输出；
24.如果置信度评分小于预设阈值，判断为非有丝分裂细胞，此时输出二次评分为0。
25.进一步地，融合置信度和二次评分结果，形成最终的有丝分裂细胞预测评分，包括如下步骤：
26.将置信度记为score1，二次评分记为score2，则最终的预测评分为score＝s1
×
score1+s2
×
score2；其中s1+s2＝1。
27.根据本技术实施例的第二方面，提供一种细胞核有丝分裂检测的评价系统，包括：
28.目标提取模块，用于将有丝分裂细胞图像输入目标检测模型，提取有丝分裂细胞的目标框及对应的置信度；
29.二次评分模块，用于基于有丝分裂细胞的目标框进行潜在目标的二次评分；
30.融合预测模块，用于融合置信度和二次评分结果，形成最终的有丝分裂细胞预测评分。
31.根据本技术实施例的第三方面，提供一种计算机设备，包括存储器和处理器；所述存储器用于存储计算机程序；所述处理器用于执行所述存储器中的计算机程序，以实现如上任意一种实施例所述方法的操作步骤。
32.根据本技术实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上任意一种实施例所述方法的操作步骤。
33.本技术的实施例提供的技术方案具备以下有益效果：
34.本技术的方案对输入图像进行目标框提取后，再针对提取的目标框进行二次识别与验证，将目标检测的置信度评分与二次评分结果进行融合，以此综合判断该框内为有丝分裂细胞的概率，达到增强判断的目的，增强有丝分裂细胞的精准识别能力；解决了单一目标检测方案下，置信度评分在阈值附近时难以判断的问题。
35.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不
能限制本技术。
附图说明
36.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。
37.图1是本发明实施例示出的一种细胞核有丝分裂检测的评价方法的流程图。
38.图2是本发明实施例示出的一种乳腺病理核分裂图像检测评价方法的流程图。
39.图3是本发明实施例示出的一种乳腺病理核分裂图像检测评价方法的网络结构图。
40.图4是本发明实施例示出的一种细胞核有丝分裂检测的评价系统的框图。
具体实施方式
41.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的方法和系统的例子。
42.在当前的有丝分裂细胞检测方案中，假设输入图片的大小为h
×w×
c(空间大小为h
×
w，通道数量为c)，通过目标检测方法产生的目标框为n个，每个目标框及其置信度评分的表示为(x
ti
,y
ti
,x
bi
,y
bi
,scorei)，其中前四项代表目标框的左上角坐标和右下角坐标，最后一项代表该目标框包含的内容为有丝分裂细胞的置信度评分。假设将置信度评分的阈值设为0.5，即大于0.5则判断为有丝分裂细胞；反之则为非有丝分裂细胞。但如果置信度评分恰好在0.5附近，这就造成了难以辨别的情况，称为难例。有丝分裂细胞的数目确定与患者的情况判断息息相关，因而对于每个难例的准确识别就显得尤为重要。
43.针对现有技术中核分裂计数的模型均是采用端到端目标检测模型进行有丝分裂细胞检测，导致部分难例难以区分的问题，本技术提出了一种基于有丝分裂细胞目标检测结果进行评价的评分系统，以帮助模型识别难例，达到准确识别有丝分裂细胞的目的。该模型以可端到端训练的神经网络模型构成，通过目标分类的监督学习范式来进行训练，将有丝分裂细胞检测的目标框内的像素内容作为该神经网络模型的输入，然后通过网络处理以后输出该内容是否为有丝分裂细胞的判断情况并输出对应的评分。在此基础上，将目标检测的输出评分结果与该神经网络模型的输出评分结果结合起来，综合判断该框内为有丝分裂细胞的概率，达到增强判断的目的。
44.图1是根据一示例性实施例示出的一种细胞核有丝分裂检测的评价方法的流程图。该方法可以包括以下步骤：
45.步骤s1、将有丝分裂细胞图像输入目标检测模型，提取有丝分裂细胞的目标框及对应的置信度。
46.其中，所述目标检测模型为基于机器学习或基于深度学习的目标检测模型。所述目标检测模型的输入为有丝分裂细胞图像，输出为包含有丝分裂细胞目标框的预测图以及每个目标框对应的置信度。
47.步骤s2、基于有丝分裂细胞的目标框进行潜在目标的二次评分；其中，潜在目标指
有丝分裂细胞，由于此时还不能确定是否包含有丝分裂细胞，故称为“潜在目标”。
48.步骤s3、融合置信度和二次评分结果，形成最终的有丝分裂细胞预测评分。该预测评分用于评价对应目标框中包含有丝分裂细胞的可能性。
49.本技术的方案对输入图像进行目标框提取后，再针对提取的目标框进行二次识别与验证，将目标检测的置信度评分与二次评分结果进行融合，以此综合判断该框内为有丝分裂细胞的概率，达到增强判断的目的，增强有丝分裂细胞的精准识别能力；解决了单一目标检测方案下，置信度评分在阈值附近时难以判断的问题。
50.应当理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
51.本发明提出了一种乳腺病理核分裂象检测的评价方法，利用构建的分类神经网络模型对目标检测模型提供的有丝分裂细胞目标框内容进行二次识别和验证，再通过综合考虑分类型神经网络模型产生的评分和目标检测模型产生的评分，基于两者形成有丝分裂细胞检测框的最终评分，进而增强有丝分裂细胞的精准识别能力。
52.为了使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明的实施例作进一步详细描述。
53.如图2所示，本发明提出了一种有效利用乳腺病理核分裂检测结果并进行评价的解决方案，包括如下步骤：
54.s100：基于有丝分裂细胞输入图像提取有丝分裂细胞目标框及置信度；
55.s200：基于s100生成的有丝分裂细胞目标框进行潜在目标二次评分；
56.s300：融合s100生成的有丝分裂细胞目标框的置信度和s200生成的潜在目标框内容的二次评分结果，形成最终的有丝分裂细胞预测评分。
57.下面对各个步骤的详细内容进行扩展说明。
58.s100：有丝分裂细胞目标检测
59.针对s100中的有丝分裂细胞目标检测，为了解决输入图像中潜在有丝分裂细胞目标的预测问题，本发明具体的有丝分裂细胞目标检测网络可采用现有的目标检测网络进行替换与使用，具体的检测流程为：
60.s110、模型训练；
61.所述目标检测模型的训练过程包括如下步骤：生成训练数据；基于目标检测模型的预测结果与真实的目标框之间的差异，构建目标函数；将训练数据输入目标检测模型进行训练，采用梯度下降法对目标函数进行优化，完成对目标检测模型参数的迭代更新。
62.对于s110中，模型训练的输入包括：训练数据和目标检测模型。训练数据指的是：包括一定数量的有丝分裂细胞图像及每张图像所对应的真实有丝分裂细胞的目标框。例如：给定有丝分裂细胞的输入图像的尺度为512
×
512像素，那么对应的有丝分裂细胞的目标框为(x
ti
,y
ti
,x
bi
,y
bi
)，分别对应目标框的左上角坐标和右下角坐标，一张图像可对应多个目标框的组合，目标框的表示在输入图像的尺度范围之内。目标检测模型的选择可以为
任意的现有的基于机器学习的或者基于深度学习的目标检测模型，如rcnn或yolo等。
63.对于s110中，模型训练的过程包括：目标函数的构建及其优化。目标函数的构建是基于目标检测模型的预测结果与真实的目标检测框之间的差异来完成的，一般可用iou loss、cross entropy loss等来构建。由于本发明的目标检测模型选择是基于机器学习或深度学习的目标检测模型，因此对应的目标函数的优化可采用常用的梯度下降法(sgd，stochastic gradient descent)及其变种来完成对目标检测模型参数的迭代更新。
64.对于s110中，模型训练的输出包括：一个可以预测有丝分裂细胞目标框的目标检测模型。该模型的参数是通过模型训练优化完成的目标检测模型参数。
65.s120、模型预测；
66.模型预测包括：有丝分裂细胞图片潜在有丝分裂细胞的预测图及各个目标框对应的置信度。预测图是通过基于s110训练的目标检测模型来完成的，给定一张固定尺寸的有丝分裂细胞图像作为目标检测模型的输入，然后该目标检测模型输出一张同一尺度的潜在有丝分裂细胞目标框的预测图，每个目标框对应预测为有丝分裂细胞的置信度。置信度的取值范围为0到1，置信度大于0.5的目标框被视为有丝分裂细胞；反之则视为非有丝分裂细胞。
67.s200：有丝分裂细胞目标评分
68.在一些实施例中，步骤s2基于有丝分裂细胞的目标框进行潜在目标的二次评分，包括如下步骤：对目标框中的内容进行特征提取，生成对应的特征图或特征向量；对特征图或特征向量进行二分类，根据分类结果输出二次评分。
69.基于s100的目标检测模型对有丝分裂细胞输入图像的处理，产生s101候选目标框及其对应的s102置信度，详细流程见图3所示。s200主要完成对s101中的候选目标框的内容分析及输出对应的有丝分裂细胞评分。具体流程如下：
70.s210、候选目标框特征提取
71.对于s101产生的目标框中对应的内容，s210将其作为特征提取网络的输入。在本技术的方案中，目标框中的内容指目标框中的图像内容。
72.在实际应用中，对目标框中的内容进行特征提取，包括如下步骤：将目标框中的内容输入特征提取网络，生成对应的特征图或特征向量；其中，所述特征提取网络的训练过程为：使用深度学习的训练方法将图像分类模型训练完成后，将图像分类模型的最后一层分类头去掉，剩余的神经网络架构作为特征提取网络。
73.s210主要完成的任务是对s101候选目标框中的内容进行特征提取，产生对应的特征图或特征向量。对于s210中，模型训练的输入包括训练数据和神经网络模型。训练数据是一定数量的s100输出的目标框图及其它有丝分裂细胞图像，并且每张图像包括一个关于有丝分裂细胞的二分类标签。此处的模型训练范式采用的目标分类领域的监督学习范式。此处的神经网络模型可采用任意现有的基于深度学习的图像分类模型，如resnet、alexnet等。
74.对于s210中采用的模型，使用深度学习的训练方法训练完成后，将其最后一层分类头去掉，再将剩余的神经网络架构作为候选目标框的特征提取网络。假设输入图像为96
×
96大小，经过s210的特征提取以后，可以形成任意大小的特征图h
×
w或者任意大小的特征向量h，用以代表该输入图像的核心信息。
75.s220、候选目标框内容分类
76.在实际应用中，对特征图或特征向量进行二分类，根据分类结果输出二次评分，包括如下步骤：采用目标分类网络对特征图或特征向量进行二分类，输出目标框内容为有丝分裂细胞的置信度评分；如果置信度评分大于预设阈值，判断为是有丝分裂细胞，此时将置信度评分作为二次评分输出；如果置信度评分小于预设阈值，判断为非有丝分裂细胞，此时输出二次评分为0。
77.对于s220的输入为s210进行候选目标框特征提取后的特征图或特征向量。此处是对这些特征图或特征向量进行二分类，判断候选目标框内的内容是否为有丝分裂细胞。对于s220中完成分类任务的模型可采用逻辑回归、支持向量机、多层感知机等网络，亦可直接采用目标分类模型。对于s220的输出为对候选目标框内容判断为有丝分裂细胞的评分，输出结果范围为0到1。设定一个二分类的阈值，如果输出结果大于阈值，则判断为有丝分裂细胞，反之则为非有丝分裂细胞。如果判断为有丝分裂细胞，则输出s221有丝分裂细胞评分置信度；反之则输出s222非有丝分裂细胞，置信度为0。
78.s300：有丝分裂细胞最终评分
79.s300完成的任务是对有丝分裂细胞进行最终的评分，它的输入为基于s100和s200针对候选目标框中产生的有丝分裂细胞的置信度评分。它的输出为综合判断s100和s200针对候选目标框产生的有丝分裂细胞的置信度评分的结果。两者的综合判断方式可采用累加、累乘、加权组合等方式。本发明针对s100产生的候选目标框对应的有丝分裂细胞的置信度评分和s200产生的对候选目标框的有丝分裂细胞判断的置信度评分的融合方式具体定义如下：
80.s310、融合方式定义和参数选择；
81.在实际应用中，融合置信度和二次评分结果，形成最终的有丝分裂细胞预测评分，包括如下步骤：将置信度记为score1，二次评分记为score2，则最终的预测评分为score＝s1
×
score1+s2
×
score2；其中s1+s2＝1。
82.假设针对s100产生的候选目标框对应的有丝分裂细胞的置信度评分为score1，针对s200产生的对候选目标框的有丝分裂细胞判断的置信度评分为score2，融合方式采用加权组合的方式来给定：score＝s1
×
score1+s2
×
score2。其中s1和s2代表两者的加权比例，给定s1+s2＝1。对于各个给定参数的选择可通过在给定的有丝分裂细胞数据集上进行优化选择。
83.s320、最终评分；
84.针对s310采用的融合方式对s100产生的候选目标框对应的有丝分裂细胞的置信度评分和s200产生的对候选目标框的有丝分裂细胞判断的置信度评分进行了综合判断，并得出了确切的置信度评分。s320完成的任务是将最终评分的结果展示到输出的结果图像中，即各个对应目标框的置信度评分。
85.综上所述，本技术的方案针对有丝分裂细胞检测的目标框内容进行了二次识别与检测，通过考虑二次识别与检测的方法来达到有丝分裂细胞检测难例分析的目的，从而构建更合理的有丝分裂细胞检测模型，达到解决难例分析的目的，提高有丝分裂细胞检测准确度。通过构建分类型神经网络模型来进行有丝分裂细胞检测二次识别与具体评价的方法，从而达到有丝分裂细胞检测的推理仍然为端到端的架构，便于医生操作。
86.图4是根据一示例性实施例示出的一种细胞核有丝分裂检测的评价系统的框图。参照图4，该系统包括目标提取模块401、二次评分模块402和融合预测模块403。
87.目标提取模块401用于将有丝分裂细胞图像输入目标检测模型，提取有丝分裂细胞的目标框及对应的置信度。二次评分模块402用于基于有丝分裂细胞的目标框进行潜在目标的二次评分。融合预测模块403用于融合置信度和二次评分结果，形成最终的有丝分裂细胞预测评分。
88.关于上述实施例中的系统，其中各个模块执行操作的具体步骤已经在有关该方法的实施例中进行了详细描述，此处不再详细阐述说明。上述细胞核有丝分裂检测的评价系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
89.在一个实施例中，本技术还提供了一种计算机设备。该计算机设备包括通过系统总线连接的处理器、存储器。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机程序被处理器执行时以实现一种细胞核有丝分裂检测的评价方法：将有丝分裂细胞图像输入目标检测模型，提取有丝分裂细胞的目标框及对应的置信度；基于有丝分裂细胞的目标框进行潜在目标的二次评分；融合置信度和二次评分结果，形成最终的有丝分裂细胞预测评分。
90.在一个实施例中，本技术还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现一种细胞核有丝分裂检测的评价方法：将有丝分裂细胞图像输入目标检测模型，提取有丝分裂细胞的目标框及对应的置信度；基于有丝分裂细胞的目标框进行潜在目标的二次评分；融合置信度和二次评分结果，形成最终的有丝分裂细胞预测评分。
91.可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
92.需要说明的是，在本技术的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本技术的描述中，除非另有说明，“多个”的含义是指至少两个。
93.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本技术的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本技术的实施例所属技术领域的技术人员所理解。
94.应当理解，本技术的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场
可编程门阵列(fpga)等。
95.本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
96.此外，在本技术各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
97.上述提到的存储介质可以是只读存储器，磁盘或光盘等。
98.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
99.尽管上面已经示出和描述了本技术的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本技术的限制，本领域的普通技术人员在本技术的范围内可以对上述实施例进行变化、修改、替换和变型。