一种识别病理图像中癌细胞的方法及装置与流程

本发明涉及医疗技术领域，特别涉及一种识别病理图像中癌细胞的方法及装置、计算机设备、计算机可读存储介质。

背景技术：

目前通常通过病理检查来确诊患者是否患有癌症，将待检组织切片后进行染色操作以得到不同的染色图像，如免疫组化染色图像。病理科的医生通过在显微镜下对染色图像进行整体和局部的观察以确定癌巢的位置，进而进行相应的判断。采用此种方式确定癌巢耗时耗力，阅片效率低，且存在较大的主观性，可能会出现误判的情况。

另外，癌巢内阳性癌细胞、免疫细胞的分布情况对患者后续治疗反应的预测具有重要的意义，然而现有的方式仍是在显微镜下选择若干视野来大致计算病理片中的阳性癌细胞、免疫细胞的比例，得出检测结果，采用此种方式来确定癌巢内阳性癌细胞、免疫细胞的分布情况，检测效率低且不准确。

因此，如何能够识别出病理图像中的癌巢，并知晓癌巢中阳性癌细胞、免疫细胞的分布情况，提高对病理图像的阅片效率和准确度，对阳性癌细胞和免疫细胞的检测效率和检测准确度，成为目前亟待解决的问题之一。

技术实现要素：

本发明提供一种识别病理图像中癌细胞的方法、装置、计算机设备及计算机可读存储介质，以识别出病理图像中的癌细胞。一方面提高了对病理图像进行阅片的效率和准确度，另一方面也提高了识别癌细胞的效率和准确度。

本发明提供一种识别病理图像中癌细胞的方法，包括：

对所述病理图像进行切分以获得多幅子图；

在所述多幅子图中确定癌巢子图；

确定癌巢子图中细胞核的中心点，基于所述细胞核的中心点确定细胞核；

将所述细胞核输入至第一分类模型以获得细胞是癌细胞的置信度；

基于所述细胞是癌细胞的置信度和第一阈值识别所述病理图像中的癌细胞。

可选的，在所述多幅子图中确定癌巢子图包括：

获取与所述子图关联的至少一幅关联子图，其中，所述关联子图与所述子图部分重合；

将所述子图及其关联子图输入至第二分类模型以获得所述子图为癌巢子图的置信度；

基于所述子图为癌巢子图的置信度和第二阈值在所述子图中确定癌巢子图。

可选的，确定癌巢子图中细胞核的中心点包括：

将所述癌巢子图输入至分割模型以获得所述癌巢子图中的每一个像素点为细胞核的中心点的置信度；

在以所述像素点为中心的预定邻域中，若所述像素点为细胞核的中心点的置信度最大，则基于该像素点为细胞核的中心点的置信度和第三阈值确定癌巢子图中细胞核的中心点。

可选的，基于所述细胞核的中心点确定细胞核包括：在所述癌巢子图中，以所述细胞核的中心点为中心，形成预设邻域，所述细胞核包含于所述预设邻域中。

可选的，所述子图及其关联子图的中心相同。

可选的，所述识别病理图像中癌细胞的方法，还包括：

将所述细胞核输入至第三分类模型以获得细胞是阳性癌细胞的置信度；

基于所述细胞是阳性癌细胞的置信度和第三阈值识别所述病理图像中的阳性癌细胞。

本发明还提供一种识别病理图像中癌细胞的装置，包括：

切分单元，用于对所述病理图像进行切分以获得多幅子图；

第一确定单元，用于在所述多幅子图中确定癌巢子图；

第二确定单元，用于确定癌巢子图中细胞核的中心点，基于所述细胞核的中心点确定细胞核；

第一分类模型，用以输入所述细胞核，输出细胞是癌细胞的置信度；

识别单元，用于基于所述细胞是癌细胞的置信度和第一阈值识别所述病理图像中的癌细胞。

本发明还提供一种计算机设备，包括至少一个处理器、以及至少一个存储器，其中，所述存储器存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器能够执行上述的识别病理图像中癌细胞的方法。

本发明还提供一种计算机可读存储介质，当所述存储介质中的指令由设备内的处理器执行时，使得所述设备能够执行上述的识别病理图像中癌细胞的方法。

与现有技术相比，本发明的技术方案具有如下有益效果：

对病理图像进行切分以获得多幅子图，在多幅子图中确定癌巢子图。然后确定癌巢子图中细胞核的中心点，基于所述细胞核的中心点确定细胞核，将所述细胞核输入至第一分类模型以获得细胞是癌细胞的置信度。最后，基于所述细胞是癌细胞的置信度和第一阈值识别所述病理图像中的癌细胞。由于无需再通过人工的方式对病理图像进行阅片来确定癌巢后再确定癌细胞，因此，在一定程度上提高了阅片效率和阅片准确度的同时也提高了对癌细胞识别的效率和准确度。由于对阳性癌细胞和免疫细胞的分布情况的检测需要基于对癌细胞的检测，故也在一定程度上提高了对阳性癌细胞和免疫细胞的分布情况的检测效率和检测准确度。另外，在识别病理图像中的癌细胞时，将病理图像切分获得多幅子图，在每一幅子图中确定癌巢子图，进而在癌巢子图中确定癌细胞，也在一定程度上提高了识别病理图像中癌细胞的速度。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例的病理图像的示意图；

图2为本发明实施例的识别病理图像中癌细胞的方法的示意图；

图3为本发明实施例的第二分类模型的示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

现有技术中，识别癌巢、癌细胞、检测阳性癌细胞和免疫细胞的分布情况时，采用人工方式，效率和准确度较低。因此，本发明实施例提供一种人工智能的方式来识别病理图像中的癌细胞、检测阳性癌细胞核免疫细胞的分布情况。

本领域技术人员知晓，在识别病理图像中的癌细胞时，通常需要先确定病理图像中的癌巢(主要由癌细胞组成)，然后再在癌巢中识别癌细胞，而对于癌巢中癌细胞的识别，主要是通过对细胞核的大小和颜色深浅进行判断，通常细胞核大颜色浅的为癌细胞。因此，本发明实施例中，先识别病理图像中的癌巢，再确定癌巢中的细胞核，最终基于对细胞核的判断来确定细胞是否是癌细胞。在对本发明的技术方案进行详细描述前，先对本发明实施例的病理图像进行简单的说明。

图1为本发明实施例的病理图像的示意图，病理图像通常可以通过对病理切片放大一定的倍数，如20倍、40倍后进行扫描以后获得。图1中，病理图像包括了癌细胞(阳性癌细胞、阴性癌细胞)、免疫细胞、其他细胞等。

图2为本发明实施例的识别病理图像中癌细胞的方法的示意图，如图2所示，本发明实施例的识别病理图像中癌细胞的方法包括：

s101，对所述病理图像进行切分以获得多幅子图。

s102，在所述多幅子图中确定癌巢子图。

s103，确定癌巢子图中细胞核的中心点，基于所述细胞核的中心点确定细胞核。

s104，将所述细胞核输入至第一分类模型以获得细胞是癌细胞的置信度。

s105，基于所述细胞是癌细胞的置信度和第一阈值识别所述病理图像中的癌细胞。

执行s101，对所述病理图像进行切分以获得多幅子图。本实施例中可以将所述病理图像切分为512×512大小的多幅子图，也可以切分为比其大或者小的子图，本领域技术人员可以根据实际需求将病理图像切分为不同大小的子图。子图的形状可以是正方形、矩形、圆形等。

执行s102，在多幅子图中确定癌巢子图。本实施例中，所谓的癌巢子图是指最终确认为是癌巢的子图。发明人考虑到，确定病理图像中的癌巢时，待确定的子图的尺寸不同，细胞核所呈现的相对的大小及相对的颜色也是不同的。如，子图较小时，细胞核相对呈现的较大，染色相对呈现的较深，但是随着子图的增大，细胞核会相对呈现的较小，染色会相对呈现的较浅。因此，发明人提出，在通过神经网络对癌巢进行确认时，不仅仅输入一幅待识别的子图，而是在该待识别的子图的基础上，获得与其关联的多个关联子图，将待识别的子图和其关联子图一同输入至神经网络，以通过神经网络来确定输入的待识别子图是否为癌巢。具体地，本实施例中通过如下方式确定子图中的癌巢子图。

首先，获取与所述子图关联的至少一幅关联子图。具体地，本实施例中，与子图关联的关联子图，与该子图部分重合，其可以是比子图大的图，也可以是比子图小的图，关联子图的形状与子图的形状可以相同也可以不同，如子图为正方形，关联图为矩形。子图为矩形，关联图为正方形。另外，关联图和其子图中心可以相同也可以不同。本实施例中为了便于获取子图的关联图且提高对子图分类的准确度，所述关联图与所述子图中心相同，形状相同。具体地，本实施例中，考虑到最终对子图分类的准确度和分类速度，对每一个子图，选取两个与其关联的关联图。具体地，以所述子图为512×512的图为例，其关联图可以分别是与子图中心和形状均相同的大小分别为1024×1024、2048×2048的两个关联图。当然，在其他实施例中，所述子图可以为2048×2048，其关联图可以分别为与其中心和形状均相同的大小分别为1024×1024、512×512的两个关联图。

然后，将所述子图及其关联子图输入至第二分类模型以获得所述子图为癌巢子图的置信度。具体地，本实施例中，所述分类模型包括：特征提取网络和分类网络，特征提取网络的输出作为分类网络的输入。参见图3，图3为本发明实施例的第二分类模型的示意图，以子图为512×512的图，关联子图分别为1024×1024、2048×2048的图为例对本发明实施例的第二分类模型进行描述。

如图3所示，子图及其关联子图作为分类模型的三路输入至特征提取网络，对于每一路输入而言，可以将其通过若干个连续的卷积模块，以输出相应的特征图。本实施例中，以输出的特征图的大小为256×256进行说明，在其他实施例中，输出的特征图的大小也可以为128×128，64×64。本领域技术人员可以根据实际需求选择卷积模块的个数以输出不同尺寸的特征图。如图3中所示，512×512的子图通过一个卷积模块输出大小为256×256的特征图，1024×1024的关联子图通过两个卷积模块输出大小为256×256的特征图，2048×2048的关联子图通过三个卷积模块输出大小为256×256的特征图。每一个卷积模块可以均包括一个3×3的2d卷积层，一个批归一化层(bn，batchnormalization)、一个激活层和一个2×2的最大池化(maxpooling)层。激活函数可以为线性整流函数(relu，recifiedlinearunit)。通过特征网络输出的三张256×256的特征图合并为一个256×256×96特征图后输入至分类网络以输出最终的分类结果，即该子图为癌巢的置信度。本实施例中，所述分类网络可以包括2个依次连续的全连接层，全连接层和全连接层之间可以为通过率为0.5的dropout层。第二个全连接层输出子图是癌巢的置信度，并通过softmax操作使得子图是癌巢的置信度和子图不是癌巢的置信度之和为1。

需要说明的是，图3中仅给出了本发明实施例的第二分类模型的示意图，本领域技术人员可以根据实际需要选择不同类型的分类模型，只要可以实现对子图是否是癌巢的分类即可。

最后，基于所述子图为癌巢子图的置信度和第二阈值在所述子图中确定癌巢子图。

本实施例中，第二阈值可以为0.5也即，当分类模型输出的子图为癌巢的置信度大于0.5时，所述子图为癌巢子图。

至此，通过上述过程对病理图像中的每一幅子图进行判断，以确定该子图否为癌巢癌巢子图，本实施例中，还可以将判断为癌巢的子区域用不同的颜色进行勾勒或者标记，可以利于医生对癌巢观察和诊断。本实施例中，在确定子图是否为癌巢时，融合了子图及其关联子图的信息来对子图进行分类，提高了对子图进行分类的准确率，也即提高了确定子图是否为癌巢子图的准确率。本实施例中将病理图像切分为多幅子图，对多幅子图进行逐一确定是否为癌巢子图的方式，在一定程度上也提高了确定病理图像中癌巢的速度，且采用上述的方式确定病理图像中的癌巢快速简单准确度高。

执行s103，确定癌巢子图中细胞核的中心点，基于所述细胞核的中心点确定细胞核。本实施中，具体地，

首先，可以将所述癌巢子图输入至分割模型以获得所述癌巢子图中的每一个像素点为细胞核的中心点的置信度。所述分割模型可以为以vgg作为backbone的u-net神经网络模型，也可以是全卷积神经网络(fcn，fullyconvolutionalnetwork)模型等。

本实施例中的分割模型可以包括依次连接的特征提取模块、下采样模块和上采样模块。其中，特征提取模块可以包括连续的第一卷积单元和第二卷积单元，第一卷积单元可以包括一个2d卷积层、一个批量归一化(bn，batchnarmalization)层和一个激励函数层，第二卷积单元也可以包括一个2d卷积层、一个批量归一化层和一个激励函数层。本实施例中的激励函数可以为多种类型的激励函数，如，可以为线性整流函数(relu，rectifiedlinearunit)。

本实施例中，上采样模块和下采样模块的数量可以由本领域技术人员根据实际经验设定，如可以包括一个下采样模块和一个上采样模块，也可以包括多个(两个或两个以上)上采样模块和下采样模块。其中，每个下采样模块可以包括一个2d下采样层以及一个卷积特征提取模块，2d下采样层的尺寸可以为2×2。相应地，每个上采样模块可以包括一个2d反卷积上采样层、一个拼接层以及一个卷积特征提取模块，2d反卷积上采样层的尺寸可以为2×2。本发明实施例中，上采样模块的拼接层可以与下采样模块的下采样层的输出结果相对应，从而可以拼接下采样层的输出结果，得到特征图。最后对特征图进行卷积可以得到分割的结果。本实施例中，输入为癌巢子图时，输出为癌巢子图中的每一个像素点为细胞核的中心点的置信度。

然后，判断在以癌巢子图中的每一个像素点为中心的预定邻域中，该像素点为细胞核的中心点的置信度是否为最大，若是最大，则以该像素点为细胞核的中心点的置信度和第三阈值确定癌巢子图中细胞核的中心点。

具体地，本实施例中，以每一个像素点为中心的预定邻域可以为正方形、也可以为矩形、圆形等。若该邻域为正方形，其边长可以为7～15个像素点之间，如，以该像素点为中心的边长为11个像素点的正方形。在确定该像素点为细胞核的中心点的置信度为预定邻域中所有像素点为细胞核的中心点的置信度中最大的那个时，以该像素点为细胞核的中心点的置信度和第三阈值来确定癌巢子图中细胞核的中心点。本实施例中，所述第三阈值可以根据实际经验而定，如第三阈值可以为0.3。也即当像素点为细胞核的中心点的置信度为其预定邻域中最大时，若该像素点为细胞核的中心点的置信度大于0.3，则该像素点为细胞核的中心点。

最后，基于所述细胞核的中心点确定细胞核。具体地，本实施例中，可以在所述癌巢子图中，以所述细胞核的中心点为中心，形成预设邻域，所述预设邻域可以为正方形、矩形、圆形等。所述预设邻域为正方形，则正方形的边长可以在18～30个像素点之间，如可以为24个像素点。所述细胞核则位于该预设邻域中。

执行s104，将所述细胞核输入至第一分类模型以获得细胞是癌细胞的置信度。本实施例中，所述第一分类模型可以包括：特征提取网络和分类网络，特征提取网络的输出作为分类网络的输入。特征提取网络，可以包括若干个连续的卷积模块，以输出特征图。每一个卷积模块可以均包括一个3×3的2d卷积层，一个批归一化层(bn，batchnormalization)、一个激活层和一个2×2的最大池化(maxpooling)层。激活函数可以为线性整流函数(relu，recifiedlinearunit)。分类网络可以包括2个依次连续的全连接层，全连接层和全连接层之间可以为通过率为0.5的dropout层。第二个全连接层输出细胞是癌细胞的置信度，并通过softmax操作使得细胞是癌细胞的置信度和细胞不是癌细胞的置信度之和为1。

执行s105，基于所述细胞是癌细胞的置信度和第一阈值识别所述病理图像中的癌细胞。本实施例中，所述第一阈值可以为0.5，也即当细胞是癌细胞的置信度大于0.5时，确定该细胞为病理图像中的癌细胞。

本实施例中，为了知晓癌巢中阳性癌细胞的分布情况，还可以将所述细胞核输入至第三分类模型以获得细胞是阳性癌细胞的置信度。第三分类模型的结构与第一分类模型的结构相类似，此处不再赘述。然后基于所述细胞是阳性癌细胞的置信度和第三阈值识别所述病理图像中的阳性癌细胞。本实施例中，所述第三阈值可以为0.5，也即当细胞是阳性癌细胞的置信度大于0.5时，该细胞为阳性癌细胞。

此外，本实施例中还可以通过其他分类模型知晓癌巢中免疫细胞、其他细胞的分布情况，将所述细胞核输入至对应的分类模型，则可以获得细胞是免疫细胞的置信度、细胞为其他细胞的置信度。分类模型的结构与第一分类模型的结构相类似，此处不再赘述。然后基于所述细胞是免疫细胞的置信度和相应的阈值识别癌巢中的免疫细胞，基于所述细胞是其他细胞的置信度和相应的阈值识别癌巢中的其他细胞。

通过上述方式获得了癌细胞、阳性癌细胞和免疫细胞的数量后，可以计算阳性癌细胞占癌细胞的比例以获得阳性癌细胞的分布情况，即肿瘤比例评分(tps，tumorproportionscore)。还可以计算免疫细胞占癌巢中所有细胞的比例，来知晓免疫细胞的分布情况。

至此，通过上述的方式识别了病理图像中的癌细胞、阳性癌细胞，进而知晓了癌巢中阳性癌细胞的分布情况。由于在确定癌巢以及识别癌细胞的过程中，提高了识别效率和准确度，进而也提高了最终获得的tps的效率和准确度。

本发明还提供一种识别病理图像中癌细胞的装置，所述识别病理图像中癌细胞的装置包括：

切分单元，用于对所述病理图像进行切分以获得多幅子图；

第一确定单元，用于在所述多幅子图中确定癌巢子图；

第二确定单元，用于确定癌巢子图中细胞核的中心点，基于所述细胞核的中心点确定细胞核；

第一分类模型，用以输入所述细胞核，输出细胞是癌细胞的置信度；

识别单元，用于基于所述细胞是癌细胞的置信度和第一阈值识别所述病理图像中的癌细胞。

本实施例的识别病理图像中癌细胞的装置的实施可以参见上述的识别病理图像中癌细胞的方法的实施，此处不再赘述。

基于相同的技术构思，本发明实施例提供了一种计算机设备，包括至少一个处理器、以及至少一个存储器，其中，所述存储器存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器能够执行上述的识别病理图像中癌细胞的方法。

基于相同的技术构思，本发明实施例提供了一种计算机可读存储介质，当所述存储介质中的指令由设备内的处理器执行时，使得所述设备能够执行上述的识别病理图像中癌细胞的方法。

本领域内的技术人员应明白，本发明的实施例可提供为方法、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。