一种基于深度学习的颅内肿瘤细胞的分类方法和系统

1.本发明涉及图片识别相关技术领域，尤其是涉及一种基于深度学习的颅内肿瘤细胞的分类方法和系统。


背景技术：

2.目前，全球有超过30万例患者被新诊断为中枢神经系统肿瘤，其中约25万例患者因患病去世。少突胶质细胞瘤和星形胶质细胞瘤是胶质瘤中最常见的病理类型。中枢神经系统生殖细胞肿瘤是第三常见的中枢神经系统肿瘤，主要在儿童中常见，而颅内生殖细胞瘤(ig)是其最常见的组织学亚型。虽然ig、少突胶质细胞瘤和星形胶质细胞瘤都属于中枢神经系统肿瘤类别并且具有相似的细胞形态，但它们的治疗方案和预后差异很大。ig具有高度的放疗敏感性，治疗方案以全脑放疗加局部推量作为标准治疗。少突胶质细胞瘤和星形胶质细胞瘤首选手术，然后根据肿瘤的分级选择放疗或/和化疗方案。ig患者预后良好，5年总生存率(0s)超过90％，而星形胶质细胞瘤和少突胶质细胞瘤的5年0s率在48％-66％之间。但是，由于误诊导致不必要的ig切除，可能会破坏大脑的神经认知功能，若误诊导致病灶切除不足可能增加复发的风险。
3.ig、少突胶质细胞瘤和星形胶质细胞瘤的准确诊断非常重要，其主要基于三种检查：术中冰冻切片(冰冻切片)检查、基于苏木精伊红(he)染色的肿瘤切片检查和分子检测。分子检测可识别可以通过免疫组化(ihc)和基因测序进行诊断，具有病理分子检测的活检标本被认为是诊断ig、少突胶质细胞瘤和星形胶质细胞瘤的金标准。然而，分子检测既复杂又耗时(通常需要一周以上)，因此无法在术中或术后早期进行分类诊断。临床上，以冰冻切片和he染色切片为基础的病理检查是较好的诊断方法。冰冻切片在手术过程中可在几分钟内提供良恶性诊断倾向，而he染色切片出比冰冻切片具有更好的诊断价值，细胞结构更清晰，可在术后3-5个工作日内结合免疫组化获得诊断结论，从而后续方案。因此，ig、少突胶质细胞瘤和星形胶质细胞瘤的术中和术后决策主要依赖于冰冻切片和he染色切片的病理学诊断。然而由于细胞形态相似，即使是经验丰富的病理学家也无法仅根据冰冻切片和he染色切片准确区分ig、少突胶质细胞瘤和星形胶质细胞瘤的形态特征。


技术实现要素：

4.本发明旨在至少解决现有技术中存在的技术问题。为此，本发明提出一种基于深度学习的颅内肿瘤细胞的分类方法和系统，有利于辅助医师预测颅内肿瘤细胞以及进行预后方案的制定，提高了医师对颅内肿瘤细胞的分类准确率与工作效率。
5.本发明的第一方面，提供了一种基于深度学习的颅内肿瘤细胞的分类方法，包括如下步骤：
6.获取切片的全片扫描病理学图像；
7.通过三步图像预处理方法得到所述全片扫描病理学图像的小图块；
8.利用预设的基于深度学习的神经网络模型提取所述小图块的特征，并根据所述小
图块的特征预测图块分类结果；
9.根据所述图块分类结果，预测所述颅内肿瘤细胞的类型。
10.根据本发明的实施例，至少具有如下技术效果：
11.本方法通过获取切片的全片扫描病理学图像，通过三步图像预处理方法得到全片扫描病理学图像的小图块，利用预设的基于深度学习的神经网络模型提取小图块的特征，并根据小图块的特征预测图块分类结果，根据图块分类结果，预测颅内肿瘤细胞的类型，通过基于全片扫描病理学图像对颅内肿瘤细胞进行类型预测，有利于辅助医师预测颅内肿瘤细胞以及进行预后方案的制定，提高了医师对颅内肿瘤细胞的分类准确率与工作效率。
12.根据本发明的一些实施例，所述切片包括冰冻切片和he染色切片。
13.根据本发明的一些实施例，所述通过三步图像预处理方法得到所述全片扫描病理学图像的小图块，包括：
14.将所述全片扫描病理学图像转换为灰度图，并以220为阈值分割灰度图上的组织区域；
15.将所述组织区域划分为分辨率为0.5微米每像素图块且不重叠的224
×
224图块；
16.将所述224
×
224图块输入至预设的基于深度学习的组织切片选择模型中，得到所述基于深度学习的组织切片选择模型输出的全片扫描病理学图像的小图块。
17.根据本发明的一些实施例，在所述通过三步图像预处理方法得到所述全片扫描病理学图像的小图块之后，还包括步骤：
18.将所述小图块随机进行水平翻转、垂直翻转、修改亮度和依据概率p1对图片进行水平翻转中的一个或几个组合的操作。
19.根据本发明的一些实施例，所述利用预设的基于深度学习的神经网络模型提取所述小图块的特征，并根据所述小图块的特征预测图块分类结果，包括：
20.将所述小图块输入改进的resnet18网络模型中，生成特征图a；其中，所述改进的resnet18网络模型是在resnet18网络模型的基础上，删除平均池化层之后的网络部分；
21.将所述特征图a输入arpy网络模型中，输出重点特征的位置信息，所述arpy网络模型由两个卷积核为3*3的卷积层相连后再连接两个全连接层组成；
22.将重点特征对应的组织区域进行剪裁后重设尺寸为224*224，随机遮挡后输入所述改进的resnet18网络模型中，得到特征图b；
23.将所述特征图a和所述特征图b进行拼接操作后再依次经过全连接层fc1、概率为p2的dropout层、全连接层fc2、bn层、全连接层fc3、relu激活函数层、全连接层fc4和softmax函数，预测小图块的特征区域的类别概率值；
24.根据所述类别概率值得到图块分类结果。
25.根据本发明的一些实施例，所述图块分类结果包括颅内生殖细胞瘤图块，少突胶质细胞瘤图块和星形胶质细胞瘤图块。
26.根据本发明的一些实施例，所述根据所述图块分类结果，预测所述颅内肿瘤细胞的类型，包括：
27.通过多数投票法从图块分类结果中预测出所述颅内肿瘤细胞的类型。
28.本发明的第二方面，提供一种基于深度学习的颅内肿瘤细胞的分类系统，所述一种基于深度学习的颅内肿瘤细胞的分类系统包括：
29.数据获取模块，用于获取切片的全片扫描病理学图像；
30.数据预处理模块，用于通过三步图像预处理方法得到所述全片扫描病理学图像的小图块；
31.图块分类模块，用于利用预设的基于深度学习的神经网络模型提取所述小图块的特征，并根据所述小图块的特征预测图块分类结果；
32.类型预测模块，用于根据所述图块分类结果，预测所述颅内肿瘤细胞的类型。
33.本系统获取切片的全片扫描病理学图像，通过三步图像预处理方法得到全片扫描病理学图像的小图块，利用预设的基于深度学习的神经网络模型提取小图块的特征，并根据小图块的特征预测图块分类结果，根据图块分类结果，预测颅内肿瘤细胞的类型，通过基于全片扫描病理学图像对颅内肿瘤细胞进行类型预测，有利于辅助医师预测颅内肿瘤细胞以及进行预后方案的制定，提高了医师对颅内肿瘤细胞的分类准确率与工作效率。
34.本发明的第三方面，提供了一种基于深度学习的颅内肿瘤细胞的分类电子设备，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行上述的基于深度学习的颅内肿瘤细胞的分类方法。
35.本发明的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行上述的基于深度学习的颅内肿瘤细胞的分类方法。
36.需要注意的是，本发明的第二方面至第四方面与现有技术之间的有益效果与上述的一种基于深度学习的颅内肿瘤细胞的分类系统与现有技术之间的有益效果相同，此处不再细述。
37.本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
38.本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
39.图1是本发明一实施例的一种基于深度学习的颅内肿瘤细胞的分类方法的流程图；
40.图2是图1中的步骤s102的流程图；
41.图3是图1中的步骤s103的流程图；
42.图4是图1中的步骤s104的流程图；
43.图5是本发明一实施例的一种基于深度学习的颅内肿瘤细胞的分类系统的流程图。
具体实施方式
44.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附
图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
45.在本发明的描述中，如果有描述到第一、第二等只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
46.在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
47.本发明的描述中，需要说明的是，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
48.目前，ig、少突胶质细胞瘤和星形胶质细胞瘤的术中和术后决策主要依赖于冰冻切片和he染色切片的病理学诊断。然而由于细胞形态相似，即使是经验丰富的病理学家也无法仅根据冰冻切片和he染色切片准确区分ig、少突胶质细胞瘤和星形胶质细胞瘤的形态特征。
49.为了解决上述技术缺陷，参照图1，本发明的一个实施例，提供一种基于深度学习的颅内肿瘤细胞的分类方法，包括：
50.s101、获取切片的全片扫描病理学图像。
51.s102、通过三步图像预处理方法得到全片扫描病理学图像的小图块。
52.s103、利用预设的基于深度学习的神经网络模型提取小图块的特征，并根据小图块的特征预测图块分类结果。
53.s104、根据图块分类结果，预测颅内肿瘤细胞的类型。
54.本方法获取切片的全片扫描病理学图像，通过三步图像预处理方法得到全片扫描病理学图像的小图块，利用预设的基于深度学习的神经网络模型提取小图块的特征，并根据小图块的特征预测图块分类结果，根据图块分类结果，预测颅内肿瘤细胞的类型，通过基于全片扫描病理学图像对颅内肿瘤细胞进行类型预测，有利于辅助医师预测颅内肿瘤细胞以及进行预后方案的制定，提高了医师对颅内肿瘤细胞的分类准确率与工作效率。
55.在一些实施例中，切片包括冰冻切片和he染色切片。
56.参照图2，在一些实施例中，步骤s102可以包括但不限于包括步骤s201至步骤s203：
57.步骤s201、将全片扫描病理学图像转换为灰度图，并以220为阈值分割灰度图上的组织区域。
58.步骤s202、将组织区域划分为分辨率为0.5微米每像素图块且不重叠的224
×
224图块。
59.步骤s203、将224
×
224图块输入至预设的基于深度学习的组织切片选择模型中，得到基于深度学习的组织切片选择模型输出的全片扫描病理学图像的小图块。
60.在一些实施例中，在通过三步图像预处理方法得到全片扫描病理学图像的小图块之后，基于深度学习的颅内肿瘤细胞的分类方法可以包括但不限于包括步骤s301：
61.步骤s301、将小图块随机进行水平翻转、垂直翻转、修改亮度和依据概率p1对图片
进行水平翻转中的一个或几个组合的操作。
62.参照图3，在一些实施例中，步骤s103可以包括但不限于包括步骤s401至步骤s405：
63.步骤s401、将小图块输入改进的resnet18网络模型中，生成特征图a；其中，改进的resnet18网络模型是在resnet18网络模型的基础上，删除平均池化层之后的网络部分。
64.步骤s402、将特征图a输入arpy网络模型中，输出重点特征的位置信息，arpy网络模型由两个卷积核为3*3的卷积层相连后再连接两个全连接层组成。
65.步骤s403、将重点特征对应的组织区域进行剪裁后重设尺寸为224*224，随机遮挡后输入改进的resnet18网络模型中，得到特征图b。
66.步骤s404、将特征图a和特征图b进行拼接操作后再依次经过全连接层fc1、概率为p2的dropout层、全连接层fc2、bn层、全连接层fc3、relu激活函数层、全连接层fc4和softmax函数，预测小图块的特征区域的类别概率值。
67.步骤s405、根据类别概率值得到图块分类结果。
68.在一些实施例中，图块分类结果包括颅内生殖细胞瘤图块，少突胶质细胞瘤图块和星形胶质细胞瘤图块。
69.参照图4，在一些实施例中，步骤s104可以包括但不限于包括步骤s501：
70.步骤s501、通过多数投票法从图块分类结果中预测出颅内肿瘤细胞的类型。
71.为了便于本领域人员的理解，以下提供一组实验数据：
72.在手术过程中，病理学家只能在冰冻切片层面上区分良恶性区域，不能立即区分肿瘤类型，这可能导致不恰当的治疗方案。我们的研究表明病理学家的基于冰冻切片的ig、少突胶质细胞瘤和星形胶质细胞瘤的诊断准确性仅54.6％-69.7％。在识别ig病例方面，三位病理学家的准确性分别为9.1％、54.6％和90.9％，其结果可能导致误诊和不必要手术切除。我们的冰冻切片模型可以独立的以100.0％准确度区分ig和其他两种肿瘤，这也让所有病理学家的ai辅助后的准确率达到100.0％，因此，本发明的冰冻切片的基于深度学习的神经网络模型可有效辅助神经外科医生在所有三个肿瘤的手术过程中选择合适的治疗方案。
73.术后早期治疗方案(化疗和/或放疗)是由he染色切片病理诊断确定，术后约24小时内得到初步结果。但是，我们发现病理学家基于he全片扫描病理学图像诊断ig、少突胶质细胞瘤和星形胶质细胞瘤的准确率在53.5％到83.7％范围内。本发明的he染色切片的基于深度学习的神经网络模型可以分别以95.4％和83.3％内部和外部准确率辅助诊断这三种肿瘤，可以协助病理学家进行诊断。
74.另外，参照图5，本发明还提供了一种基于深度学习的颅内肿瘤细胞的分类系统，包括数据获取模块1100、数据预处理模块1200、图块分类模块1300以及审计和类型预测模块1400，其中：
75.数据获取模块1100用于获取切片的全片扫描病理学图像。
76.数据预处理模块1200用于通过三步图像预处理方法得到全片扫描病理学图像的小图块。
77.图块分类模块1300用于利用预设的基于深度学习的神经网络模型提取小图块的特征，并根据小图块的特征预测图块分类结果。
78.类型预测模块1400用于根据图块分类结果，预测颅内肿瘤细胞的类型。
79.本系统获取切片的全片扫描病理学图像，通过三步图像预处理方法得到全片扫描病理学图像的小图块，利用预设的基于深度学习的神经网络模型提取小图块的特征，并根据小图块的特征预测图块分类结果，根据图块分类结果，预测颅内肿瘤细胞的类型，通过基于全片扫描病理学图像对颅内肿瘤细胞进行类型预测，有利于辅助医师预测颅内肿瘤细胞以及进行预后方案的制定，提高了医师对颅内肿瘤细胞的分类准确率与工作效率。
80.需要注意的是，本系统实施例与上述的方法实施例是基于相同的发明构思，因此上述方法实施例的相关内容同样适用于本系统实施例，这里不再赘述。
81.处理器和存储器可以通过总线或者其他方式连接。
82.存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络模型连接至该处理器。上述网络模型的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
83.实现上述实施例的基于深度学习的颅内肿瘤细胞的分类方法所需的非暂态软件程序以及指令存储在存储器中，当被处理器执行时，执行上述实施例中的基于深度学习的颅内肿瘤细胞的分类方法，例如，执行以上描述的图1中的方法步骤s101至步骤s104。
84.本技术还提供一种计算机可读存储介质，存储有计算机可执行指令，计算机可执行指令用于执行：如上述的基于深度学习的颅内肿瘤细胞的分类方法。
85.该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个处理器或控制器执行，例如，被上述电子设备实施例中的一个处理器执行，可使得上述处理器执行上述实施例中的基于深度学习的颅内肿瘤细胞的分类方法，例如，执行以上描述的图1中的方法步骤s101至步骤s104。
86.本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序单元或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序单元或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
87.上面结合附图对本发明实施例作了详细说明，但本发明不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。