病理切片图像处理方法、电子设备及存储介质与流程

1.本发明涉及医学图像处理技术领域，尤其涉及一种病理切片图像处理方法、电子设备及存储介质。


背景技术：

2.脑胶质瘤是因为大脑和脊髓胶质细胞癌变所产生的最常见的原发性颅脑恶性肿瘤。其发病率约占颅内肿瘤的35.2％～61.0％，由成胶质细胞衍化而来，具有发病率高、复发率高、死亡率高以及治愈率低的特点。胶质瘤又分为多种亚型，根据胶质瘤细胞形态可以分为星形细胞瘤和少突细胞瘤等。
3.目前，对于脑胶质瘤的分类，需要人工对病理切片图像进行识别。然而，病理切片图像并不是一张或几张图像。为了进行病理诊断，通常采用显微镜在20倍或40倍物镜下z型扫描整张病理切片，一张病理全切片往往扫描得到上千张切片图像。传统的人工识别方法需要病理医生详细地浏览完这上千张图像后给出诊断结果，不仅耗时耗力，而且在浏览过程中，可能会忽略一些不明显的高风险特征，从而影响诊断结果的准确性。


技术实现要素：

4.为了解决现有技术中人工识别脑胶质瘤带来的耗时耗力、准确性不高的问题，本发明提供一种病理切片图像处理方法、电子设备及存储介质。
5.为了实现上述目的，本发明采用如下技术方案：
6.第一方面，提供一种病理切片图像处理方法，包括：
7.获取待处理病理切片图像；
8.对所述待处理病理切片图像进行分类处理，得到所述待处理病理切片图像的初始肿瘤分类结果；
9.识别所述待处理病理切片图像中是否有增生坏死，得到所述待处理病理切片图像的增生坏死识别结果；
10.根据所述初始肿瘤分类结果和所述增生坏死识别结果，获取所述待处理病理切片图像的目标肿瘤分类结果。
11.在本发明一个优选实施例中，所述对所述待处理病理切片图像进行分类处理，得到所述待处理病理切片图像的初始肿瘤分类结果，包括：
12.采用预设的多个二分类模型分别对所述待处理病理切片图像进行分类处理，得到多个二分类结果；
13.根据所述多个二分类结果，得到所述待处理病理切片图像的初始肿瘤分类结果；
14.其中，各所述二分类模型分别用于识别所述待处理病理片图像是否为对应的预设肿瘤类别，当所有所述二分类模型均识别所述待处理病理片图像不为对应的预设肿瘤类别时，则将所述待处理病理片图像单独归类。
15.在本发明一个优选实施例中，在对所述待处理病理切片图像进行分类处理之前，
所述方法还包括：
16.检测所述待处理病理切片图像是否为预设的无意义切片图像，若否，则对所述待处理病理切片图像进行分类处理。
17.在本发明一个优选实施例中，所述无意义切片图像包括无组织区域切片图像、出血区域切片图像和手术烫伤区域切片图像中的至少一种。
18.在本发明一个优选实施例中，所述识别所述待处理病理切片图像中是否有增生坏死，包括：
19.通过预设的分类算法，识别所述待处理病理切片图像中是否有增生坏死。
20.第二方面，本发明提供一种病理图像处理方法，包括：
21.获取若干病理切片图像，所述若干病理切片图像通过对同一病理切片的不同位置分别进行扫描得到；
22.利用前述任一项所述的方法分别对各所述病理切片图像进行处理，得到各所述病理切片图像的目标肿瘤分类结果；
23.对各所述病理切片图像的目标肿瘤分类结果进行汇总，得到所述病理切片的肿瘤分类结果。
24.在本发明一个优选实施例中，当各所述待处理病理切片图像中有增生坏死时，所述方法还包括：
25.根据各所述待处理病理切片图像生成所述病理切片对应的热图，以便根据所述热图获取所述病理切片中增生坏死的位置。
26.在本发明一个优选实施例中，所述方法还包括：对各所述病理切片图像的目标肿瘤分类结果进行统计，得到统计结果。
27.第三方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的方法。
28.第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，其所述程序被处理器执行时实现上述任一项所述的方法的步骤
29.通过采用上述技术方案，本发明具有如下有益效果：
30.本发明通过首先对所述待处理病理切片图像进行分类处理，得到所述待处理病理切片图像的初始肿瘤分类结果；而后识别所述待处理病理切片图像中是否有增生坏死，得到所述待处理病理切片图像的增生坏死识别结果；最后根据所述初始肿瘤分类结果和所述增生坏死识别结果，获取所述待处理病理切片图像的目标肿瘤分类结果，从而能够自动识别待处理病理切片图像的肿瘤类别，省时省力，同时，通过结合所述初始肿瘤分类结果和所述增生坏死识别结果进行进一步分类，能够得到更加准确的目标肿瘤分类结果。
附图说明
31.图1为本发明实施例1的病理切片图像处理方法的流程图；
32.图2为本发明实施例1的病理切片图像处理方法的原理图；
33.图3为本发明实施例2的病理图像处理方法的流程图；
34.图4为本发明实施列2中病理切片的示例图；
35.图5为图4中病理切片对应的细胞形态分布图；
36.图6为图4中病理切片对应的梯度类激活图；
37.图7为本发明实施例3的病理切片图像处理系统的结构框图；
38.图8为本发明实施例4的病理图像处理系统的结构框图；
39.图9为本发明实施例5的电子设备的硬件架构图。
具体实施方式
40.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
41.在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任意或所有可能组合。
42.实施例1
43.本实施例提供一种病理切片图像处理方法，如图1和2所示，该方法具体包括以下步骤：
44.s11，获取待处理病理切片图像。
45.在本实施例中，病理切片图像是指利用显微镜从设定区域开始、以指定分辨率(如40倍物镜、10倍目镜)对病理切片进行扫描(如z字形扫描)得到的单张图像。其中，病理切片是指取一定大小的病变组织，用病理组织学方法制成的切片，病理切片的类型包括但不限于h
‑
e(苏木精
‑
伊红)染色切片、细胞病理切片等。
46.s12，对所述待处理病理切片图像进行分类处理，得到所述待处理病理切片图像的初始肿瘤分类结果。
47.本实施例根据病理学切片的不同细胞形态，可将待处理病理切片图像分为以下7类：间变星形细胞瘤、室管膜瘤、星形细胞瘤、少突细胞瘤、炎症、淋巴瘤和转移瘤，具体如图2所示。其中，变星形细胞瘤、室管膜瘤、星形细胞瘤、少突细胞瘤属于非胶质瘤，炎症、淋巴瘤和转移瘤属于胶质瘤。
48.优选地，本实施例并不采用常规的多分类分类器对待处理切片图像进行多分类处理，而是采用多个二分类的分类器分别对处理切片图像进行分类处理，具体过程如下：
49.首先，采用预设的多个二分类模型分别对所述待处理病理切片图像的细胞形态进行分类处理，得到多个二分类结果；而后，根据所述多个二分类结果，得到所述待处理病理切片图像的初始肿瘤分类结果。其中，各所述二分类模型分别用于识别所述待处理病理片图像是否为对应的预设肿瘤类别，当所有所述二分类模型均识别所述待处理病理片图像不为对应的预设肿瘤类别时，则将所述待处理病理片图像单独归类。
50.具体来说，可以采用七个二分类器分别对所述待处理病理切片图像的细胞形态进行分类处理，各二分类器分别用于区分间变星形细胞瘤/其它、室管膜瘤/其它、星形细胞瘤/其它、少突细胞瘤/其它、炎症/其它、淋巴瘤/其它以及转移瘤/其它类别。其中，各二分类器可以采用densenet实现，也可以被替换为其它分类算法，包括但不限于resnet、vgg等
深度学习算法。
51.例如，当某二分类器输出的结果不为“其它”，而另外几个分类器输出的结果均为“其它”时，则将所述某二分类器的输出结果作为所述待处理病理切片图像的初始肿瘤分类结果。
52.当多个二分类器输出的结果均为“其它”时，则将所述待处理病理切片图像识别为未知类别。
53.本实施例通过将多分类问题分解为多个二分类问题，不但能够降低分类器的学习难度，提高分类器的训练效率，而且当多个二分类器输出的结果均为“其它”时，通过将所述待处理病理切片图像单独归类为未知类别，有助于识别训练集中未出现的稀有未知病例。
54.s13，识别所述待处理病理切片图像中是否有增生坏死，得到所述待处理病理切片图像的增生坏死识别结果。
55.增生坏死是识别肿瘤类别的重要图像特征，在高风险的胶质瘤病理切片中存在大量的增生坏死。
56.为了识别图像中是否有增生坏死，可以训练增生坏死检测模型进行检测，但是训练增生坏死检测模型存在以下两个难点：其一，增生和坏死组织大面积的存在于单张切片图像上，很难标注出一个用于训练的准确检测框；其二，对于一些高风险特征比较明显的切片，其肿瘤细胞核密度很高，颜色很深，导致图像上的增生坏死很难看到，所以会存在漏标的情况。
57.对此，本实施例优选采用预设的分类算法代替检测模型来识别所述待处理病理切片图像中是否有增生坏死。其中，此处的分类算法具体可以采用densenet实现，也可以被替换为其它分类算法，包括但不限于resnet、vgg等深度学习算法。
58.s14，根据所述初始肿瘤分类结果和所述增生坏死识别结果，获取所述待处理病理切片图像的目标肿瘤分类结果。
59.具体地，本实施例在初始肿瘤分类结果的基础上，结合增生坏死识别结果作了进一步分类。例如，如图2所示，当初始肿瘤分类结果为室管膜瘤且待处理病理切片图像中有增生坏死时，则将待处理病理切片图像的目标肿瘤分类结果识别为间变室管膜瘤；当初始肿瘤分类结果为星形细胞瘤且待处理病理切片图像中有增生坏死时，则将待处理病理切片图像的目标肿瘤分类结果识别为胶质母细胞瘤；当初始肿瘤分类结果为少突细胞瘤且待处理病理切片图像中有增生坏死时，则将待处理病理切片图像的目标肿瘤分类结果识别为间变少突细胞瘤。对于除室管膜瘤、胶质母细胞瘤和间变少突细胞瘤以外的其它初始肿瘤分类结果，则可以直接作为相应的目标肿瘤分类结果。
60.优选地，本实施例在执行步骤s12之前，还包括：检测所述待处理病理切片图像是否为预设的无意义切片图像，若是，则结束流程，若否，则执行步骤s12以对所述待处理病理切片图像进行分类处理。
61.在本实施例中，无意义切片图像包括无组织区域切片图像、出血区域切片图像和手术烫伤区域切片图像中的至少一种，这三个区域的图像对切片诊断无参考价值。
62.其中，无组织区域和出血区域不存在细胞核结构，对于h
‑
e切片图像来说，由于h
‑
e染色切片将细胞核染为紫色，出血区域的红细胞为红色，无组织区域为灰色，因而根据简单的rgb色彩占比，即可区分出无组织区域切片图像和出血区域切片图像。
63.手术烫伤区域存在大量的增生样组织，多出现在切片的边缘，因而可以将切片图像的位置信息和图像信息输入预先训练的分类算法进行识别。此处的分类算法具体可以采用densenet实现，也可以被替换为其它分类算法，包括但不限于resnet、vgg等深度学习算法。
64.本实施例通过在分类之前检测所述待处理病理切片图像是否为预设的无意义切片图像，可以实现无意义切片图像的快速筛查。
65.综上，本实施例通过首先对所述待处理病理切片图像进行分类处理，得到所述待处理病理切片图像的初始肿瘤分类结果；而后识别所述待处理病理切片图像中是否有增生坏死，得到所述待处理病理切片图像的增生坏死识别结果；最后根据所述初始肿瘤分类结果和所述增生坏死识别结果，获取所述待处理病理切片图像的目标肿瘤分类结果，从而能够自动识别待处理病理切片图像的肿瘤类别，省时省力，同时通过结合所述初始肿瘤分类结果和所述增生坏死识别结果进行分类，能够得到更加准确的目标肿瘤分类结果。
66.实施例2
67.本实施例提供一种病理图像处理方法，如图6所示，该方法具体包括以下步骤：
68.s21，获取若干病理切片图像，所述若干病理切片图像通过对同一病理切片的不同位置分别进行扫描得到。
69.例如，所述若干病理切片图像是指利用显微镜从设定区域开始、以指定分辨率(如40倍物镜、10倍目镜)对病理切片进行扫描(如z字形扫描)得到的所有图像。
70.s22，利用前述任一项实施例所述的方法分别对各所述病理切片图像进行处理，得到各所述病理切片图像的目标肿瘤分类结果。
71.具体地，对于每一张病理切片图像，利用前述任一项实施例所述的方法分别对该病理切片图像进行处理，得到该病理切片图像的目标肿瘤分类结果。
72.s23，对各所述病理切片图像的目标肿瘤分类结果进行汇总，得到所述病理切片的肿瘤分类结果。
73.在本实施例中，具体可以采用多示例学习算法对各病理切片图像的目标肿瘤分类结果进行汇总和学习处理，得到对应病理切片的最终肿瘤分类结果。
74.例如，当单张病理切片图像的目标肿瘤分类结果被分为以下12类：无意义染色、未知、转移瘤、淋巴瘤、炎症、少突细胞瘤、间变少突细胞瘤、星形细胞瘤、间变星型细胞瘤、胶质母细胞瘤、室管膜瘤和间变室管膜瘤时，对应的病理切片可以被分为以下11类：未知、转移瘤、淋巴瘤、炎症、少突细胞瘤、间变少突细胞瘤、星形细胞瘤、间变星型细胞瘤、胶质母细胞瘤、室管膜瘤和间变室管膜瘤。
75.本实施例通过利用前述任一项实施例所述的方法分别对同一病理切片不同位置的各所述病理切片图像进行处理，得到各所述病理切片图像的目标肿瘤分类结果，而后根据各所述病理切片图像的目标肿瘤分类结果，获取所述病理切片的肿瘤分类结果，能够实现病理切片的自动诊断。
76.优选地，本实施例还可以根据各待处理切片图像的目标肿瘤分类结果生成相应的细胞形态分布图，以供医生在后处理阶段进行参考。其中，细胞形态分布图中的每种细胞形态分别对应一种目标肿瘤分类结果。例如，当病理切片如图3所示时，生成的对应细胞形态分布图如图4所示。
77.优选地，当所述待处理病理切片图像中有增生坏死时，本实施例还可以包括：根据各所述待处理病理切片图像生成所述病理切片对应的热图，以便根据所述热图得到所述病理切片中增生坏死的位置。此处的热图优选为如图5所示的梯度类激活图，在该梯度类激活图中能够显示病理切片图中增生坏死的具体位置，便于定位高风险区域，有助于病理科医生后续的诊断。本实施例生成梯度类激活图的具体过程如下：首先针对每张待处理病理切片图像分别进行梯度类激活处理，而后根据所有待处理切片图像的梯度类激活处理结果生成梯度类激活图。
78.优选地，本实施例还包括对各所述病理切片图像的目标肿瘤分类结果进行统计，得到统计结果，该统计结果优选以饼图等方式进行展示，以供医生在后处理阶段进行参考。
79.实施例3
80.本实施例提供一种病理切片图像处理系统，如图7所示，该系统包括：
81.第一图像获取模块11，用于获取待处理病理切片图像；
82.初始分类模块12，用于对所述待处理病理切片图像进行分类处理，得到所述待处理病理切片图像的初始肿瘤分类结果；
83.增生识别模块13，用于识别所述待处理病理切片图像中是否有增生坏死，得到所述待处理病理切片图像的增生坏死识别结果；
84.目标分类模块14，用于根据所述初始肿瘤分类结果和所述增生坏死识别结果，获取所述待处理病理切片图像的目标肿瘤分类结果。
85.优选地，所述初始分类模块12具体用于：
86.采用预设的多个二分类模型分别对所述待处理病理切片图像进行分类处理，得到多个二分类结果；
87.根据所述多个二分类结果，得到所述待处理病理切片图像的初始肿瘤分类结果。
88.优选地，所述系统还包括：图像检测模块，用于在所述初始分类模块12对所述待处理病理切片图像进行分类处理之前，检测所述待处理病理切片图像是否为预设的无意义切片图像，若否，则调用初始分类模块12对所述待处理病理切片图像进行分类处理。
89.优选地，所述无意义切片图像包括无组织区域切片图像、出血区域切片图像和手术烫伤区域切片图像中的至少一种。
90.优选地，所述增生识别模块13具体用于：
91.通过预设的分类算法，识别所述待处理病理切片图像中是否有增生坏死。
92.本实施例通过对所述待处理病理切片图像进行分类处理，得到所述待处理病理切片图像的初始肿瘤分类结果；识别所述待处理病理切片图像中是否有增生坏死，得到所述待处理病理切片图像的增生坏死识别结果；根据所述初始肿瘤分类结果和所述增生坏死识别结果，获取所述待处理病理切片图像的目标肿瘤分类结果，从而能够自动识别待处理病理切片图像的肿瘤类别，省时省力，同时通过结合所述初始肿瘤分类结果和所述增生坏死识别结果进行分类，能够得到更加准确的目标肿瘤分类结果。
93.实施例4
94.本实施例提供一种病理图像处理系统，如图8所示，该系统包括：
95.第二图像获取模块21，用于获取若干病理切片图像，所述若干病理切片图像通过对同一病理切片的不同位置分别进行扫描得到；
96.图像处理模块22，用于利用前述任一实施例所述的方法分别对各所述病理切片图像进行处理，得到各所述病理切片图像的目标肿瘤分类结果；
97.切片分类模块23，用于对各所述病理切片图像的目标肿瘤分类结果进行汇总，得到所述病理切片的肿瘤分类结果。
98.本实施例通过利用前述任一项实施例所述的方法分别对同一病理切片不同位置的各所述病理切片图像进行处理，得到各所述病理切片图像的目标肿瘤分类结果，并根据各所述病理切片图像的目标肿瘤分类结果，获取所述病理切片的肿瘤分类结果，能够实现病理切片的自动诊断。
99.优选地，当各所述待处理病理切片图像中有增生坏死时，所述方法还包括：
100.根据各所述待处理病理切片图像生成所述病理切片对应的热图，以便根据所述热图获取所述病理切片中增生坏死的位置，所述热图优选为梯度类激活图。
101.优选地，所述方法还包括：根据各所述病理切片图像的目标肿瘤分类结果生成饼图。
102.对于系统实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
103.实施例5
104.图9是本发明一示例实施例示出的一种电子设备的结构示意图、示出了适于用来实现本发明实施方式的示例性电子设备60的框图。图9显示的电子设备60仅仅是一个示例不应对本发明实施例的功能和使用范围带来任何限制。
105.如图6所示，电子设备60可以以通用计算设备的形式表现，例如其可以为服务器设备。电子设备60的组件可以包括但不限于：上述至少一个处理器61、上述至少一个存储器62、连接不同系统组件(包括存储器62和处理器61)的总线63。
106.总线63包括数据总线、地址总线和控制总线。
107.存储器62可以包括易失性存储器，例如随机存取存储器(ram)621和/或高速缓存存储器622，还可以进一步包括只读存储器(rom)623。
108.存储器62还可以包括具有一组(至少一个)程序模块624的程序工具625(或实用工具)，这样的程序模块624包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
109.处理器61通过运行存储在存储器62中的计算机程序，从而执行各种功能应用以及数据处理，例如上述任一实施例所提供的方法。
110.电子设备60也可以与一个或多个外部设备64(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(i/o)接口65进行。并且，模型生成的电子设备60还可以通过网络适配器66与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器66通过总线63与模型生成的电子设备60的其它模块通信。应当明白，尽管图中未示出，可以结合模型生成的电子设备60使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、raid(磁盘阵列)
系统、磁带驱动器以及数据备份存储系统等。
111.应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
112.实施例6
113.本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任一实施例所提供的方法的步骤。
114.其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
115.在可能的实施方式中，本公开还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行实现上述任一实施例所提供的方法的步骤。
116.其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开的程序代码，所述程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。
117.虽然以上描述了本公开的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本公开的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本公开的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本公开的保护范围。