补片级严重程度判断方法、切片级严重程度判断方法及执行其的计算系统与流程

本发明涉及补片级严重程度判断方法、切片级严重程度判断方法及执行其的计算系统，更详细地，涉及一种利用深度学习模型的输出来判断有效等级的方法(该深度学习模型被训练成获得病理图像输入并输出组织学严重程度等级信息)，以及一种利用深度学习模型的输出来判断病理切片图像中包括的整个组织的切片级严重程度的方法及执行其的计算系统(该深度学习模型被训练成分析包括组织的既定部分图像以判断疾病的组织学严重程度)。

背景技术：

1、为了治疗癌症等重症疾病而切除一部分或全部组织后，对切除的组织实施组织病理学检查，诊断疾病的严重程度，以预测患者的预后及确定治疗方法。

2、不同的疾病有不同的组织学分级系统，这些系统基于组织形态学特征对疾病的严重程度进行分级并报告。例如，对于乳腺癌，有一种称为诺丁汉系统(nottingham system)的分级系统，测量组织结构的维持程度(小管形成)、细胞核均匀程度(核多形性)以及有丝分裂发生水平的程度(核分裂能力)，并分别标记1至3的等级后相加，以这种方式对组织的严重程度进行分级。对于卵巢癌，有一种与诺丁汉系统类似的称为西尔弗伯格系统(silverberg system)的分级系统，同样针对组织结构、细胞核、有丝分裂各自的范畴标记1至3的等级后，基于此对严重程度分级。对于前列腺癌，有一种称为格里森分级系统(gleason grading system)的分级系统，根据腺体组织的形态学特征来区分与1至5级对应的组织模式，并根据整个组织中各等级的区域比例来对整体严重程度分级。

3、这种分级系统的最大问题是极难根据系统的标准来准确地确定病变等级。生物组织的形态根据疾病的进行程度而逐渐变化，在一种病变内可能存在可分类为多种等级的组织，因而频繁发生难以确定为某一等级的情形。

4、最近，由于深度学习技术的发展，图像识别领域已经能够开发出准确度超越人类认知能力的深度学习模型。因此，在医疗领域中，也正在开发并使用利用深度学习诊断疾病的技术。通过数字切片扫描仪扫描生物组织切片而生成的全片图像(whole slide image)由于尺寸非常大，因而使用如下方法，即，在对其进行分析以诊断疾病或诊断严重程度时，大致上将全片图像分割为小型局部图像(补片或拼块)，利用深度学习模型对其中每个进行分析，并汇总其结果而生成全片的诊断结果。

5、在利用深度学习模型来分析组织图像以识别组织的严重程度等级时，如上所述，由于等级区分模糊，存在模型对与等级间边界相应的组织的识别结果准确度不高的问题。通过对边界处的组织应用允许判断模糊性的双重类别标注方法(韩国授权专利第10-2162895号；支持双重类别的疾病诊断系统及其方法)等，可使得深度学习模型对等级模糊组织的分析结果处于等级间的边界，但却极难训练成强烈支持某一等级。

6、相反，在深度学习模型的分析结果未如此强烈支持某一等级的情况下，会判断为相应组织的组织学严重程度处于两个等级的边界，通过兼顾这种边界信息来计算全片的组织学严重程度，预计可比原有组织学严重程度报告系统实现更精细的严重程度分级。nagpal等在前列腺癌的组织学严重程度判断技术开发相关研究(nagpal,k.,foote,d.,liu,y.et al.development and validation of a deep learning algorithm forimproving gleason scoring of prostate cancer.npj digit.med.2,48,2019https://doi.org/10.1038/s41746-019-0112-2)中，提到了对等级判断模糊的组织赋予与边界相应的值的方法。然而在该研究中，仅提到了这种方法的可行性及根据多个病理学家的分级共识程度赋予与边界相应的值的示例，而并未提到使用深度学习模型对病变赋予与等级边界相应的值的方法，或整合对每种病变精细赋予的严重程度等级来对整个组织的严重程度进行分级的方法。

7、另一方面，在原有的各疾病的组织学严重程度报告系统中，主要以如下方式确定整个组织的严重程度。例如，对于前列腺癌的格里森分级系统，由按区域面积计的前两个严重程度等级之和确定整体严重程度，详细而言，可如下所示表示全体区域的平均严重程度。

8、[表1]

9、

10、

11、另外，对于乳腺癌，也可对观察的区域，赋予组织结构、细胞核、细胞分裂各自范围的平均等级，并将其相加赋予整体等级，因而可视为通过全体区域的平均严重程度的形式确定全体组织的严重程度。然而根据情况，当存在严重程度较高等级的病变时，与其大小无关，也会需要赋予较高严重程度如何。因此，在输出各局部图像的组织学严重程度信息的情况下，对其进行整合的方法有使用最大值或使用平均值等。然而如上述前列腺癌严重程度级的“罕见情形”所示，仅凭一般的最大值/最小值/平均值，不足以确定整体严重程度，可利用机器学习(深度学习)模型等开发一种更准确的切片级严重程度判断方法。

技术实现思路

1、技术问题

2、本发明要实现的技术课题是提供一种可通过深度学习技术来更精细地区分生物组织全片图像的严重程度的切片级严重程度判断方法。

3、另外，提供一种可有效判断生物组织图像的有效等级的方法。

4、技术方案

5、根据本发明一个方面，提供一种切片级严重程度判断方法，该切片级严重程度判断方法在包括第一深度学习模型的计算系统中执行，该第一深度学习模型为预先训练成如果输入将病理切片图像分割为既定单位大小的各个局部图像，则输出对所输入局部图像的判断结果的人工神经网络，所述方法包括：针对将既定的待判断病理切片图像分割为所述单位大小的多个待判断局部图像中每个，基于输入所述待判断局部图像后所述第一深度学习模型所输出的所述待判断局部图像的判断结果来确定所述待判断局部图像的有效等级的步骤；及基于构成所述待判断病理切片图像的所述多个待判断局部图像中每个的有效等级来确定所述待判断病理切片图像整体的切片级严重程度等级的步骤；其中，所述第一深度学习模型所输出的所述局部图像的判断结果为既定疾病在既定组织学严重程度分级系统上的各等级可能性(likelihood)数值，在所述严重程度分级系统上的各等级被预先赋予了既定的等级分数；而且，基于输入所述待判断局部图像后所述第一深度学习模型所输出的所述待判断局部图像的判断结果来确定所述待判断局部图像的有效等级的步骤包括：基于所述待判断局部图像在所述严重程度分级系统上的各等级的可能性数值和在所述严重程度分级系统上的各等级的等级分数来确定所述待判断局部图像的有效等级的步骤。

6、在一实施例中，基于输入所述待判断局部图像后所述第一深度学习模型所输出的在所述严重程度分级系统上的各等级的可能性数值和在所述严重程度分级系统上的各等级的等级分数来确定所述待判断局部图像的有效等级的步骤可包括：以在所述严重程度分级系统上的各等级的可能性数值为加权值，计算在所述严重程度分级系统上的各等级的等级分数的加权平均值，以确定所述待判断病理图像的有效等级的步骤；以在所述严重程度分级系统上的各等级中可能性数值较高的多个上位等级中每个的可能性数值为加权值，计算所述多个上位等级中每个的等级分数的加权平均值，以确定所述待判断病理图像的有效等级的步骤；或将在所述严重程度分级系统上的各等级中可能性数值最高的最上位等级的等级分数，确定为所述待判断病理图像的有效等级的步骤。

7、根据本发明另一方面，提供一种切片级严重程度判断方法，该切片级严重程度判断方法在包括第一深度学习模型的计算系统中执行，该第一深度学习模型为预先训练成如果输入将病理切片图像分割为既定单位大小的各个局部图像，则输出对所输入局部图像的判断结果的人工神经网络，所述方法包括：针对将既定的待判断病理切片图像分割为所述单位大小的多个待判断局部图像中每个，基于输入所述待判断局部图像后所述第一深度学习模型所输出的所述待判断局部图像的判断结果来确定所述待判断局部图像的有效等级的步骤；及基于构成所述待判断病理切片图像的所述多个待判断局部图像中每个的有效等级来确定所述待判断病理切片图像整体的切片级严重程度等级的步骤；其中，所述第一深度学习模型所输出的所述局部图像的判断结果包括构成所述局部图像的各像素的判断结果，所述各像素的判断结果为既定疾病在既定组织学严重程度分级系统上的各等级可能性(likelihood)数值，在所述严重程度分级系统上的各等级被预先赋予了既定的等级分数；而且，基于输入所述待判断局部图像后所述第一深度学习模型所输出的所述待判断局部图像的判断结果来确定所述待判断局部图像的有效等级的步骤包括：针对构成所述待判断局部图像的各个待判断像素，基于所述待判断像素在所述严重程度分级系统上的各等级的可能性数值和在所述严重程度分级系统上的各等级的等级分数来确定所述待判断像素的有效等级的步骤；及基于构成所述待判断局部图像的各待判断像素的有效等级来确定所述待判断局部图像的有效等级的步骤。

8、在一实施例中，基于所述第一深度学习模型所输出的所述待判断像素在所述严重程度分级系统上的各等级的可能性数值和在所述严重程度分级系统上的各等级的等级分数来确定所述待判断像素的有效等级的步骤可包括：以所述待判断像素在所述严重程度分级系统上的各等级的可能性数值为加权值，计算在所述严重程度分级系统上的各等级的等级分数的加权平均值，以确定所述待判断像素的有效等级的步骤；以所述待判断像素在所述严重程度分级系统上的各等级中可能性数值较高的多个上位等级中每个的可能性数值为加权值，计算所述多个上位等级中每个的等级分数的加权平均值，以确定所述待判断像素的有效等级的步骤；或将所述待判断像素在所述严重程度分级系统上的各等级中可能性数值最高的最上位等级的等级分数，确定为所述待判断像素的有效等级的步骤。

9、在一实施例中，基于构成所述待判断局部图像的各待判断像素的有效等级来确定所述待判断局部图像的有效等级的步骤可包括：计算构成所述待判断局部图像的各待判断像素的有效等级的代表值，以确定所述待判断局部图像的有效等级的步骤。

10、在一实施例中，计算构成所述待判断局部图像的各待判断像素的有效等级的代表值，以确定所述待判断局部图像的有效等级的步骤可包括：将构成所述待判断局部图像的各待判断像素的有效等级的最大值、最小值、平均值、中值、四分位距(interquartilerange：iqr)内的平均值中任一个计算为代表值的步骤。

11、在一实施例中，基于构成所述待判断病理切片图像的所述多个待判断局部图像中每个的有效等级来确定所述待判断病理切片图像整体的切片级严重程度等级的步骤可包括：计算构成所述待判断病理切片图像的各待判断局部图像的有效等级的代表值，以确定所述待判断病理切片图像整体的切片级严重程度等级的步骤。

12、在一实施例中，计算构成所述待判断病理切片图像的各待判断局部图像的有效等级的代表值，以确定所述待判断病理切片图像整体的切片级严重程度等级的步骤可包括：将构成所述待判断病理切片图像的各待判断局部图像的有效等级的最大值、最小值、平均值、中值、四分位距(interquartile range：iqr)内的平均值中任一个计算为代表值的步骤。

13、在一实施例中，所述计算系统可还包括作为人工神经网络的第二深度学习模型，其被预先训练成如果输入数据集，则输出用于判断所述病理切片图像的严重程度等级的输出值，该数据集包括将病理切片图像分割为所述单位大小的多个局部图像中每个的有效等级；而且，基于构成所述待判断病理切片图像的所述多个待判断局部图像中每个的有效等级来确定所述待判断病理切片图像的严重程度等级的步骤可包括：基于输入数据集后所述第二深度学习模型所输出的输出值来确定所述待判断病理切片图像的严重程度等级的步骤；其中，该数据集包括构成所述待判断病理切片图像的所述多个待判断局部图像中每个的有效等级。

14、在一实施例中，所述第二深度学习模型为根据第二深度学习模型训练方法而预先训练的人工神经网络，所述第二深度学习模型训练方法可包括：获得多个训练用病理切片图像的步骤；针对所述多个训练用病理切片中每个，生成与所述训练用病理切片图像相应的数据集的步骤；及将与所述多个训练用病理切片图像相应的数据集中每个输入至所述第二深度学习模型，以训练所述第二深度学习模型的步骤；其中，生成与所述训练用病理切片图像相应的数据集的步骤可包括：针对将所述训练用病理切片图像分割为所述单位大小的多个数据集生成用局部图像中每个，基于输入所述数据集生成用局部图像后所述第一深度学习模型所输出的判断结果来确定所述数据集生成用局部图像的有效等级的步骤；及生成包括所述多个数据集生成用局部图像中每个的有效等级的数据集的步骤。

15、根据本发明另一方面，提供一种补片级严重程度判断方法，该补片级严重程度判断方法在包括第一深度学习模型的计算系统中执行，该第一深度学习模型为预先训练成如果输入将病理切片图像分割为既定单位大小的各个局部图像，则输出对所输入局部图像的判断结果的人工神经网络，所述方法包括：将既定的待判断局部图像输入至所述第一深度学习模型，获得所述第一深度学习模型所输出的所述待判断局部图像的判断结果的步骤，其中，所述待判断局部图像的判断结果为既定疾病在既定严重程度分级系统上的各等级可能性(likelihood)数值，所述严重程度分级系统上的各等级被预先赋予了既定的等级分数；及基于输入所述待判断局部图像后所述第一深度学习模型所输出的在所述严重程度分级系统上的各等级的可能性数值和在所述严重程度分级系统上的各等级的等级分数来确定所述待判断局部图像的有效等级的步骤。

16、根据本发明另一方面，提供一种补片级严重程度判断方法，该补片级严重程度判断方法在包括第一深度学习模型的计算系统中执行，该第一深度学习模型为预先训练成如果输入将病理切片图像分割为既定单位大小的各个局部图像，则输出对所输入局部图像的判断结果的人工神经网络，所述方法包括：将既定的待判断局部图像输入至所述第一深度学习模型，获得所述第一深度学习模型所输出的所述待判断局部图像的判断结果的步骤，其中，所述第一深度学习模型所输出的所述待判断局部图像的判断结果包括构成所述待判断局部图像的各像素的判断结果，所述各像素的判断结果为既定疾病在既定组织学严重程度分级系统上的各等级可能性(likelihood)数值，所述严重程度分级系统上的各等级被预先赋予了既定的等级分数；针对构成所述待判断局部图像的各个待判断像素，基于所述待判断像素在所述严重程度分级系统上的各等级的可能性数值和在所述严重程度分级系统上的各等级的等级分数来确定所述待判断像素的有效等级的步骤；及基于构成所述待判断局部图像的各待判断像素的有效等级来确定所述待判断病理图像的有效等级的步骤。

17、根据本发明另一方面，提供一种记录于介质中的计算机程序，其安装于数据处理装置，用于执行上述方法。

18、根据本发明另一方面，提供一种计算机可读记录介质，其记录有用于执行上述方法的计算机程序。

19、根据本发明另一方面，提供一种计算系统，其包括处理器及存储器，其中，所述存储器存储计算机程序及第一深度学习模型，该第一深度学习模型为预先训练成如果输入将病理切片图像分割为既定单位大小的各个局部图像，则输出对所输入局部图像的判断结果的人工神经网络，而且，所述计算机程序在被所述处理器执行时，控制使得所述计算系统执行上述方法。

20、在一实施例中，所述存储器可还存储作为人工神经网络的第二深度学习模型，其被预先训练成如果输入数据集，则输出用于判断所述病理切片图像的严重程度等级的输出值，该数据集包括将病理切片图像分割为所述单位大小的多个局部图像中每个的有效等级。

21、发明效果

22、根据本发明的技术构思，可提供一种切片级严重程度判断方法，可利用深度学习模型的输出来更精细地区分整个组织(换言之，即全片图像)的严重程度，其中，该深度学习模型被训练成对将全片图像分割为既定单位大小的一部分，即局部图像(例如，补片(patch)或拼块(tile))进行分析以判断既定疾病的组织学严重程度。

23、另外，可提供一种可利用深度学习模型的输出来有效判断局部图像本身的有效等级的方法，其中，该深度学习模型被训练成输出生物组织图像的组织学严重程度等级信息。