图像分类方法、系统、电子设备和存储介质与流程

1.本发明涉及图像分析技术领域，特别涉及一种图像分类方法、系统、电子设备和存储介质。


背景技术：

2.脑胶质瘤是由于大脑和脊髓胶质细胞癌变所产生的常见的原发性颅脑恶性肿瘤，其发病率约占颅内肿瘤的35.2％～61.0％，由成胶质细胞衍化而来，具有发病率高、复发率高、死亡率高以及治愈率低的特点。胶质瘤又分为多种亚型，根据胶质瘤细胞形态可以分为星形细胞瘤和少突细胞瘤。
3.苏木精
‑
伊红染色法(hematoxyin
‑
eosin staining)，简称he染色法，石蜡切片技术里常用的染色法之一；苏木精染液为碱性，主要使细胞核内的染色质与胞质内的核酸着紫蓝色；伊红为酸性染料，主要使细胞质和细胞外基质中的成分着红色。he染色法不仅是是组织学、胚胎学、病理学教学与科研中最基本、使用最广泛的技术方法，也在脑胶质瘤的诊断中有着重要的作用。通过观察肿瘤切片的病理组织形态可以对胶质瘤进行分级。
4.然而病理切片并不是一张或几张图片。在20倍或40倍物镜下，显微镜z型扫描整张切片，因此，一张病理全切片往往由上千张小图片组成，为了便于区分这两种图片，将显微镜直接扫描得到的图片成为小图或单张切片，再将这些小图拼接而成的病理切片成为全切片。传统肉眼观察法需要病理医生详细地浏览完这上千张图片后给出诊断，非常耗时；并且全切片的标签和单张病理图片的切片会产生不一致，此时需要医生经过统计的方式得到诊断结果，从而造成识别效率较低。


技术实现要素：

5.本发明要解决的技术问题是为了克服现有技术中病理切片的分类识别效率较低、准确度较低等缺陷，提供一种图像分类方法、系统、电子设备和存储介质。
6.本发明是通过下述技术方案来解决上述技术问题：
7.本发明提供一种图像分类方法，所述图像分类方法包括：
8.获取待处理病理切片图像；
9.从所述待处理病理切片图像中选取一定数量的子切片图像，所述子切片图像为能够体现病理特征的图像；
10.构建一定数量的所述子切片图像对应的图结构信息，所述图结构信息用于表征不同的所述子切片图像对应的图像节点信息和图像关联关系信息；
11.将所述图结构信息输入至病理分类模型，以输出所述待处理病理切片图像对应的图像分类结果。
12.较佳地，在一种预设分辨率下，所述图像节点信息对应所述子切片图像的图像描述信息；
13.所述图像关联关系信息用于表征所述预设分辨率下，空间位置相邻的所述子切片
图像之间的位置连接关系。
14.较佳地，在至少两个预设分辨率下，所述图像节点信息对应所述子切片图像的图像描述信息；
15.所述图像关联关系信息用于表征同一所述预设分辨率下，空间位置相邻的所述子切片图像之间的位置连接关系；和不同的所述预设分辨率下，两个所述子切片图像中对应的内容之间的连接关系。
16.较佳地，在一种预设分辨率下，所述从所述待处理病理切片图像中选取一定数量的子切片图像的步骤包括：
17.按照设定选取规则从所述预设分辨率的所述待处理病理切片图像中选取一定数量的子切片图像；或，
18.在至少两个预设分辨率下，所述从所述待处理病理切片图像中选取一定数量的子切片图像的步骤包括：
19.按照设定选取规则从每个所述预设分辨率的所述待处理病理切片图像中选取一定数量的子切片图像；
20.其中，所述设定选取规则对应选取所述待处理病理切片图像中的全部子切片图像、选取所述待处理病理切片图像中的设定数量比例的子切片图像、确定感兴趣区域以选取所述感兴趣区域中的全部子切片图像、在所述感兴趣区域中按照固设方式选取子切片图像、在所述感兴趣区域中一次随机选取子切片图像、或者在所述感兴趣区域中多次随机选取子切片图像。
21.较佳地，获取所述病理分类模型的步骤包括：
22.获取训练集中的样本病理切片图像；
23.从所述样本病理切片图像中选取一定数量的样本子切片图像；
24.构建一定数量的样本子切片图像在一种预设分辨率下对应的样本图结构信息；
25.将一种预设分辨率下的所述样本图结构信息对应的图像节点信息和图像关联关系信息作为输入，所述样本病理切片图像对应的样本分类结果作为输出，训练得到用于预测病理种类的所述病理分类模型；或，
26.分别构建一定数量的样本子切片图像在至少两个预设分辨率下对应的样本图结构信息；
27.将每个预设分辨率下的所述样本图结构信息中的图像节点信息，和表征同一所述预设分辨率下空间位置相邻的样本子切片图像之间的位置连接关系，以及不同的所述预设分辨率下，两个样本子切片图像中对应的内容之间的连接关系的图像关联关系信息作为输入，所述样本病理切片图像对应的样本分类结果作为输出，训练得到用于预测病理种类的所述病理分类模型。
28.较佳地，所述病理分类模型包括图卷积神经网络，获取所述病理分类模型的步骤还包括：
29.对于任意一个预设分辨率下所述样本子切片图像，对每个所述样本子切片图像的图像节点信息进行特征提取以获取设定维度的特征信息；
30.基于所述特征信息和所述图像关联关系信息构建与所述图卷积神经网络匹配的自注意力机制，所述自注意力机制用于计算每个所述样本子切片图像对分类结果的影响程
度；
31.其中，所述病理分类模型包括所述自注意力机制。
32.较佳地，所述病理分类模型的同一层中采用一个或者多个注意力端，每个所述注意力端与不同的所述自注意力机制相对应，不同的所述自注意力机制对应用于表征病理情况的不同体现特征。
33.较佳地，当所述待处理病理切片图像为胶质瘤病理切片图像，不同的所述自注意力机制分别对应细胞核的密集程度、有无增生坏死或病理切片所展示的组织形态；或，
34.所述待处理病理切片图像包括胶质瘤病理切片图像、宫颈病理切片图像或肺癌切片图像。
35.本发明还提供一种图像分类系统，所述图像分类系统包括：
36.待处理图像获取模块，用于获取待处理病理切片图像；
37.子切片图像选取模块，用于从所述待处理病理切片图像中选取一定数量的子切片图像，所述子切片图像为能够体现病理特征的图像；
38.图结构信息构建模块，用于构建一定数量的所述子切片图像对应的图结构信息，所述图结构信息用于表征不同的所述子切片图像对应的图像节点信息和图像关联关系信息；
39.图像分类结果获取模块，用于将所述图结构信息输入至病理分类模型，以输出所述待处理病理切片图像对应的图像分类结果。
40.较佳地，在一种预设分辨率下，所述图像节点信息对应所述子切片图像的图像描述信息；
41.所述图像关联关系信息用于表征所述预设分辨率下，空间位置相邻的所述子切片图像之间的位置连接关系。
42.较佳地，在至少两个预设分辨率下，所述图像节点信息对应所述子切片图像的图像描述信息；
43.所述图像关联关系信息用于表征同一所述预设分辨率下，空间位置相邻的所述子切片图像之间的位置连接关系；和不同的所述预设分辨率下，两个所述子切片图像中对应的内容之间的连接关系。
44.较佳地，在一种预设分辨率下，所述子切片图像选取模块用于按照设定选取规则从所述预设分辨率的所述待处理病理切片图像中选取一定数量的子切片图像；或，
45.在至少两个预设分辨率下，所述子切片图像选取模块用于按照设定选取规则从每个所述预设分辨率的所述待处理病理切片图像中选取一定数量的子切片图像；
46.其中，所述设定选取规则对应选取所述待处理病理切片图像中的全部子切片图像、选取所述待处理病理切片图像中的设定数量比例的子切片图像、确定感兴趣区域以选取所述感兴趣区域中的全部子切片图像、在所述感兴趣区域中按照固设方式选取子切片图像、在所述感兴趣区域中一次随机选取子切片图像、或者在所述感兴趣区域中多次随机选取子切片图像。
47.较佳地，所述图像分类系统还包括病理分类模型获取模块，所述病理分类模型获取模块包括：
48.样本图像切片单元，用于获取训练集中的样本病理切片图像；
49.图像选取单元，用于从所述样本病理切片图像中选取一定数量的样本子切片图像；
50.信息构建单元，用于构建一定数量的样本子切片图像在一种预设分辨率下对应的样本图结构信息；
51.模型训练单元，用于将一种预设分辨率下的所述样本图结构信息对应的图像节点信息和图像关联关系信息作为输入，所述样本病理切片图像对应的样本分类结果作为输出，训练得到用于预测病理种类的所述病理分类模型；或，
52.信息构建单元，用于分别构建一定数量的样本子切片图像在至少两个预设分辨率下对应的样本图结构信息；
53.模型训练单元，用于将每个预设分辨率下的所述样本图结构信息中的图像节点信息，和表征同一所述预设分辨率下空间位置相邻的样本子切片图像之间的位置连接关系，以及不同的所述预设分辨率下，两个样本子切片图像中对应的内容之间的连接关系的图像关联关系信息作为输入，所述样本病理切片图像对应的样本分类结果作为输出，训练得到用于预测病理种类的所述病理分类模型。
54.较佳地，所述病理分类模型包括图卷积神经网络；
55.所述图像分类系统还包括：
56.特征信息提取模块，用于对于任意一个预设分辨率下所述样本子切片图像，对每个所述样本子切片图像的图像节点信息进行特征提取以获取设定维度的特征信息；
57.自注意力机制构建模块，用于基于所述特征信息和所述图像关联关系信息构建与所述图卷积神经网络匹配的自注意力机制，所述自注意力机制用于计算每个所述样本子切片图像对分类结果的影响程度；
58.其中，所述病理分类模型包括所述自注意力机制。
59.较佳地，所述病理分类模型的同一层中采用一个或者多个注意力端，每个所述注意力端与不同的所述自注意力机制相对应，不同的所述自注意力机制对应用于表征病理情况的不同体现特征。
60.较佳地，当所述待处理病理切片图像为胶质瘤病理切片图像，不同的所述自注意力机制分别对应细胞核的密集程度、有无增生坏死或病理切片所展示的组织形态；或，
61.所述待处理病理切片图像包括胶质瘤病理切片图像、宫颈病理切片图像或肺癌切片图像。
62.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行计算机程序时实现上述的图像分类方法。
63.本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的图像分类方法。
64.在符合本领域常识的基础上，所述各优选条件，可任意组合，即得本发明各较佳实施例。
65.本发明的积极进步效果在于：
66.(1)通过从待处理病理切片图像中选取一定数量的子切片图像，基于这些子切片图像构建表征每个图节点以及图与图之间关联的图结构信息，以将图结构信息输入至病理分类模型输出与待处理病理切片图像对应的图像分类结果，即通过对不同的子切片图像建
立其对应的图模型，能够更准确地将不同的子切片图像进行关联分析与处理，以有效地提高图像分类结果的准确性和可靠性；(2)该图像分类方法适用于一种或多种预设分辨率下的待处理病理切片图像处理，通过不同分辨率下的图像特征的分析处理以最终确定图像分类结果，进一步地提高了图像分类结果的准确性和可靠性。(3)通过对样本子切片图像的图像节点信息进行特征提取得到一定维度的特征信息，构建与图卷积神经网络相适配的自注意力机制，计算得到每个所述样本子切片图像对分类结果的影响程度，以输出高风险、恶化程度较高的子切片，实现在全切片中全面高亮显示(如增生、高密度细胞核等信息)，便于用户或医生查看或分析等。
附图说明
67.图1为本发明实施例1的图像分类方法的流程图。
68.图2为本发明实施例2的图像分类方法的第一流程图。
69.图3为本发明实施例2的图像分类方法的第二流程图。
70.图4为本发明实施例2的不同分辨率下子切片图像的第一示意图。
71.图5为本发明实施例2的不同分辨率下子切片图像的第二示意图。
72.图6的(a)部分为本发明实施例2的不同分辨率下子切片图像的第三示意图。
73.图6的(b)部分为本发明实施例2的不同分辨率下子切片图像的图结构示意图。
74.图6的(c)部分为本发明实施例2中特征矩阵形成的示意图。
75.图6的(d)部分为本发明实施例2中连接矩阵形成的示意图。
76.图7的(a)部分为本发明实施例2中多注意力端神经网络的示意图。
77.图7的(b)部分为本发明实施例2中单注意力端神经网络的示意图。
78.图8的(a)部分为本发明实施例2中4个注意力端时在不同分辨率下的分类结果示意图。
79.图8的(b)部分为本发明实施例2中8个注意力端时在不同分辨率下的分类结果示意图。
80.图9为本发明实施例2中待处理病理切片图像的示意图。
81.图10的(a)部分为本发明实施例2的注意力机制下的高亮区域r1下分辨率40x下的显示结果示意图。
82.图10的(b)部分为本发明实施例2的注意力机制下的高亮区域r2下分辨率10x下的显示结果示意图。
83.图11为本发明实施例3的图像分类系统的模块示意图。
84.图12为本发明实施例4的图像分类系统的模块示意图。
85.图13为本发明实施例5的实现图像分类方法的电子设备的结构示意图。
具体实施方式
86.下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
87.实施例1
88.如图1所示，本实施例的图像分类方法包括：
89.s101、获取待处理病理切片图像；
90.其中，待处理病理切片图像包括胶质瘤病理切片图像、宫颈病理切片图像或肺癌切片图像等。本实施例的病理切片图像可以为全切片图像，也可以为全切片图像的一部分图像。
91.s102、从待处理病理切片图像中选取一定数量的子切片图像(或称小图)，子切片图像为能够体现病理特征的图像；
92.在一种预设分辨率下，步骤s102包括：
93.按照设定选取规则从预设分辨率的待处理病理切片图像中选取一定数量的子切片图像；或，
94.在至少两个预设分辨率下，步骤s102包括：
95.按照设定选取规则从每个预设分辨率的待处理病理切片图像中选取一定数量的子切片图像；
96.其中，设定选取规则对应选取待处理病理切片图像中的全部子切片图像、选取待处理病理切片图像中的设定数量比例的子切片图像、确定感兴趣区域以选取感兴趣区域中的全部子切片图像、在感兴趣区域中按照固设方式选取子切片图像、在感兴趣区域中一次随机选取子切片图像、或者在感兴趣区域中多次随机选取子切片图像等。
97.病理切片图像一般由大量的(如几千张)子切片图像构成，而体现病变或病理特征可能只出现在比较少数量的子切片图像上，因此需要通过针对性选取特定的子切片图像以进行分析，才能够有效地保证图像分类结果的精度。
98.具体地，在子切片图像选取过程中，可以根据实际需求选取全部数量的子切片图像即100％；也可以通过获取每张子切片图像对应的平均像素值，剔除平均像素值低于设定像素阈值的图像，以筛选出平均像素值高于或者等于设定像素阈值的所有子切片图像，如剔除空白的子切片图像，仅保留图像中与待检测对象对应的占全部数量的子切片图像的设定数量比例的子切片图像；还可以根据病理切片图像的类型确定其中的感兴趣区域，例如，以胶质瘤病理切片图像为例，细胞核在图像中显示偏向红色和蓝色，因此可以根据红色和蓝色预先选取出感兴趣区域，然后在该感兴趣区域中选取全部的子切片图像、多次随机选取或者按照其他选取规则等，尽可能地选取出可以表征病理特征的所有子切片图像，以保证后续分类结果的可靠性。
99.上述的子切片图像方式可以根据实际待处理病理切片图像的类型以及实际场景的分类需求等进行选择或重新设置。
100.s103、构建一定数量的子切片图像对应的图结构信息，图结构信息用于表征不同的子切片图像对应的图像节点信息和图像关联关系信息；
101.具体地，在一种预设分辨率下，图像节点信息对应子切片图像的图像描述信息，图像关联关系信息用于表征预设分辨率下，空间位置相邻的子切片图像之间的位置连接关系。
102.在至少两个预设分辨率下，图像节点信息对应子切片图像的图像描述信息，图像关联关系信息用于表征同一预设分辨率下，空间位置相邻的子切片图像之间的位置连接关系；和不同的预设分辨率下，两个子切片图像中对应的内容之间的连接关系，该连接关系的确定过程中，通过获取任意两个子切片图像的图像描述信息以确定两张图像中包含的内容
是否发生重叠或者相同，若是则确定不同的预设分辨率下的这两个子切片图像的连接关系。
103.s104、将图结构信息输入至病理分类模型，以输出待处理病理切片图像对应的图像分类结果。
104.本实施例中，通过从待处理病理切片图像中选取一定数量的子切片图像，基于这些子切片图像构建表征每个图节点以及图与图之间关联的图结构信息，以将图结构信息输入至病理分类模型输出与待处理病理切片图像对应的图像分类结果，即通过对不同的子切片图像建立其对应的图模型，能够更准确地将不同的子切片图像进行关联分析与处理，以有效地提高图像分类结果的准确性和可靠性；该图像分类方法适用于一种或多种预设分辨率下的待处理病理切片图像处理，通过不同分辨率下的图像特征的分析处理以最终确定图像分类结果，进一步地提高了图像分类结果的准确性和可靠性。
105.实施例2
106.本实施例的图像分类方法是对实施例1的进一步改进，具体地：
107.本实施例中，考虑到当待处理病理切片图像中的待分类的对象不是单个物体，而是多个物体组成时，多个物体组成的示例包的标签，不一定与其中的每个物体都相同。例如，胶质母细胞瘤是一种恶性程度非常高的肿瘤，如果一个全切片中，有几个单张子切片是胶质母细胞瘤，即使其他子切片图像的恶性程度没有那么高，那么这一整个全切片还是应该被诊断为胶质母细胞瘤。相反地，如果一个人被诊断为胶质母细胞瘤，子切片图像不一定都是胶质母细胞瘤。
108.现有的比较直观地解决方法是训练一个单张切片分类的网络，去判断全切片中每张子切片图像的标签。然而，这种方法在训练时需要医生手动标注小图标签作为训练金标准。然而一个全切片图像往往由5k
‑
8k张子切片图像组成，一张一张给出金标准，是非常耗时耗力的，人工成本以及时间成本较高，造成图像自动分类效率较低。且该过程设计人工手动标注，无法避免地可能会因人为疏忽造成标注标签发生错误等，从而降低网络训练的可靠性。
109.本实施例中提出一种多实例学习算法，在训练时，从待处理病理切片图像中选取出一定数量的子切片图像，将其作为一个整体包，该整体包对应一个标签即分类结果(如肿瘤类型)，以基于该整体包对应的图结构信息及其对应的分类结果进行神经网络的训练(即多示例学习算法)；在测试过程中，对从新的病理切片图像选取出的自切片图像构成的整体包输出一个标签预测结果即预测分类结果，以确定模型训练的准确度，并在不满足设定条件时重新训练模型，直至满足设定条件则停止训练。该模型训练方式无需复杂的预处理步骤，无需额外标注感兴趣区域等操作，有效地简化了模型训练流程，提高了模型训练效率。本实施例的病理分类模型训练的具体过程如下：
110.在一种预设分辨率下，如图2所示，本实施例的获取病理分类模型的步骤包括：
111.s2011、获取训练集中的样本病理切片图像；
112.s2012、从样本病理切片图像中选取一定数量的样本子切片图像；
113.s2013、构建一定数量的样本子切片图像在一种预设分辨率下对应的样本图结构信息；
114.s2014、将一种预设分辨率下的样本图结构信息对应的图像节点信息和图像关联
关系信息作为输入，样本病理切片图像对应的样本分类结果作为输出，训练得到用于预测病理种类的病理分类模型。
115.在至少两种预设分辨率下，如图3所示，本实施例的获取病理分类模型的步骤包括：
116.s2021、获取训练集中的样本病理切片图像；
117.s2022、从样本病理切片图像中选取一定数量的样本子切片图像；
118.s2023、分别构建一定数量的样本子切片图像在至少两个预设分辨率下对应的样本图结构信息；
119.s2024、将每个预设分辨率下的样本图结构信息中的图像节点信息，和表征同一预设分辨率下空间位置相邻的样本子切片图像之间的位置连接关系，以及不同的预设分辨率下，两个样本子切片图像中对应的内容之间的连接关系的图像关联关系信息作为输入，样本病理切片图像对应的样本分类结果作为输出，训练得到用于预测病理种类的病理分类模型。
120.在模型训练之前，通过建立病理切片图像的多种分辨率，可以根据不同类型的病理切片图像确定与其相适应的分辨率，以在不同分辨率下的不同的图像特征来进行诊断，然后从多种分辨率下的病理切片图像中选取子切片图像进行多实例学习。
121.以胶质瘤病理切片图像为例，如图4所示，一般会建立与其对应的三种分辨率：(1)5倍：对应低分辨率，大视野，该分辨率下虽然看不到细胞内的细节，但是可以观察到组织中细胞坏死的特征。(2)10倍：对应中分辨率，中视野，该分辨率下虽然看不到细胞内的细节，但是可以观察到微血管内皮增生和细胞坏死；(3)40倍：对应高分辨率，低视野，该分辨率下由于视野较小，无法观察到完整的增生坏死，但是可以看到细胞内的细节。假设可以获得n个5x分辨率的单张图像，同时会得到4n个10x单张图像和64n个40x单张图像，具体参见图5。
122.在数学上，图结构包括两个重要构成参数，第一个构成参数是节点和节点特征，第二个构成参数是节点连接参数，正是节点和节点之间的连接构成了网络的形状。
123.本实施例中的病理切片图像分类中构建所有子切片图像之间的空间关系，以提高病理切片图像分类的准确率。
124.通过densenet(一种图像处理模型)等图像特征提取技术提取出每个子切片图像中包含的特征信息；然后对于同一分辨率下子切片图像，通过空间位置相邻的子切片图像之间的位置建立连接关系；对于多个分辨率的情况，将同一预设分辨率下空间位置相邻的子切片图像之间的位置建立连接关系；和将不同的预设分辨率下，两个子切片图像中对应的内容之间建立连接关系，这样病理切片图像中任意分辨率下的子切片图像全部连接在一起。
125.图结构被两个矩阵定义，连接矩阵a(对应图像关联关系信息))和特征矩阵x(对应图像节点信息)。连接矩阵a用于描述图结构上节点之间的关系，a中使用1表示连接，0表示不连接。x用于描述图结构上每个节点自己的特征。
126.在本实施例中，使用一个69n*69n的矩阵来表示a，该矩阵的第x行第y列(以及第y行第x列)，表示第x张图和第y张图的连接关系。使用一个69n*m的矩阵来表示x，即每个子切片图像有一个m维的向量来描述。
127.具体地，对于子切片图像中的特征提取方式可以根据实际情况进行筛选，包括但
不限于自编码器、变分自编码器、对抗生成网络等。
128.图与图之间在结构上的关联性可以通过计算相互之间的欧式距离、相互之间的特征相关性等方式，一旦对应的欧式距离小于设定距离、特征相关性小于设定阈值等满足就将其进行连接。
129.在一可实施例的方案中，本实施例的病理分类模型包括图卷积神经网络，当然也可以为其他任何可以对图结构信息进行模型训练的网络结构。
130.另外，本实施例中，在图卷积神经网络中引入自注意力机制，以能够帮助网络关注到高风险/恶化程度较高的子切片图像，且能够更好地融合特征，有效地提高图像分类结果的准确度。具体地：
131.本实施例的获取病理分类模型的步骤还包括：
132.对于任意一个预设分辨率下样本子切片图像，对每个样本子切片图像的图像节点信息进行特征提取以获取设定维度的特征信息；
133.基于特征信息和图像关联关系信息构建与图卷积神经网络匹配的自注意力机制，自注意力机制用于计算每个样本子切片图像对分类结果的影响程度；
134.其中，病理分类模型包括自注意力机制。
135.传统的自注意力机制通过特征降维来计算每个维度的注意力。假设每个特征是一个n维向量，自注意力机制通过数学模型将n维向降维成一维向量(即一个数值)，该数值就是自注意力机制所计算出的特征的重要性。
136.具体地，对于本实施例的病理切片图像而言，通过特征提取器提取出每张子切片图像的图像节点信息对应的768维特征建立新的自注意力机制，计算出每个子切片图像在分类过程中的重要性。对于恶性的病人，重要性高的那些子切片图像，相对应的恶性程度也就更高。
137.对于传统的自注意力机制，输入的特征信息x∈r
n
×
m
,自注意力机制通过如下公式计算特征图上的注意力：
138.s＝(tanh(xw1))w2139.x
′
＝softmax(s
t
)x
140.其中，w1∈r
m
×
p
和w2∈r
p
×
q
分别代表线性变换的参数，tanh为激活函数，p是一个超参数，用来指定线性变换的中间值，s∈r
n
×
q
即为计算得到的自注意力矩阵，矩阵的每个元素代表着x中每一行的注意力值或者说重要性。x
′
代表经过自注意力机制加权平均后的特征图。然而传统的自注意力机制并没有考虑到输入数据之间的关联性。
141.本实施例中提出一种基于图结构的自注意力机制，提出基于图卷积的自注意力模块，图卷积操作在数学上的定义公式如下：
[0142][0143]
其中，对于l层的特征信息x
l
，其与对应的图像关联关系信息的连接矩阵为a，w为卷积操作中需要被学习的参数。使用图卷积操作，可以得到如下的基于图卷积的自注意力模块计算特征图(即每个子切片图像)上的注意力：
[0144]
[0145][0146]
本实施例中构建的自注意力模块基于图结构信息中的多维度特征信息和图像关联关系信息得到，与图卷积神经网络相适配，能够计算出每个子切片图像对分类结果的影响程度，进一步地提高了图像分类结果的准确度。
[0147]
病理分类模型的同一层中可以采用一个或者多个注意力端，每个注意力端与不同的自注意力机制相对应，不同的自注意力机制对应用于表征病理情况的不同体现特征。
[0148]
具体地，当待处理病理切片图像为胶质瘤病理切片图像，不同的自注意力机制分别对应细胞核的密集程度、有无增生坏死或病理切片所展示的组织形态。
[0149]
例如，对于胶质瘤病理切片图像，目标就是对神经胶质瘤的五种主要类型进行分类。对于不同种类的胶质瘤，病理科医生一般会通过一张全切片的不同地方面去进行评估。比如根据细胞核的密集程度、有无增生坏死等组织，来判断是否为高级别的胶质瘤；根据病理切片所展示的组织形态，来判断胶质瘤是属于星型细胞瘤还是少突细胞瘤等。
[0150]
本实施例中提出一种多端注意力的方法，即在图卷积神经网络的同一层中添加多个并行的注意力机制模块，每个自注意力机制对应一个注意力机制模块；以根据不同的自注意力机制分别计算出每个子切片图像在某一维度上对分类结果的影响程度，以根据影响程度进一步分析确定病理情况，以保证更加全面地获取病理信息，最后将不同注意力模块的获取结果通过级联的操作合并在一起以得到最终的分类结果。
[0151]
参见图6的(a)
‑
(d)所示，图6的(a)与图4中的不同分辨率下的子切片图像相对应，图6的(b)为每个分辨率下的子切片图像的图结构，其中每个原点对应一张子切片图像，每根连线对应两张子切片图像之间的关联关系；图6的(c)表示对每个子切片图像进行特征提取以获取对应的特征矩阵x，图6的(d)表示对应的连接矩阵a。
[0152]
参见图7的(a)，为添加多个并行的注意力机制模块后，图卷积神经网络的数据处理过程，其中对h个heads(h个注意力端)的获取结果x1’、x2
’…
xh’进行级联合并处理，并通过全连接层输出最终的分类结果。
[0153]
参见图7的(b)，对应图结构信息输入至每个注意力机制模块得出处理过程，具体包括：将图结构信息对应的multiresolution graph g(a，x)矩阵信息输入至图卷积神经网络，依次进行graph convolution、drop out、graph convolution、drop out的输出结果输入至注意力机制模块，同时也将multiresolution graph g(a，x)矩阵信息输入至注意力机制模块，最终获得feature mapx
′
。
[0154]
例如，参见图8的(a)所示，对应采用四个注意力端(h＝4)时，获取3种分辨率下4个注意力端对应的分类结果。参见图8的(b)所示，对应采用个注意力端(h＝8)时，获取3种分辨率下8个注意力端对应的分类结果。
[0155]
参见图9所示，为待处理病理切片图像，其中对应注意力机制下的两个高亮区域r1和r2，图10的(a)对应图9中区域r1在分辨率40x下对应的显示结果，图10的(b)对应图9中区域r2在分辨率10x下对应的显示结果，通过图10的(a)和图10的(b)能够在上面观察到明显的增生和高密度的细胞核。
[0156]
另外，本实施例中，模型训练时从样本病理切片图像中选取的样本子切片图像的数量，与实际分类场景中从待处理病理切片图像中选取的子切片图像的数量，可以相同也可以不同；对于包含不同数量的包，采用adaptive pooling(适应性池化)方式进行处理，使
得整个图像分类过程更加灵活与高效。具体地，在选取出一定数量的子切片图像并形成对应的图结构信息后，将当前图结构中的节点数量与模型训练时对应的图结构的节点数量进行比较，若两者相同则无需执行适应性池化处理；若两者不相同，则采用适应性池化方式对图结构进行池化缩小处理，直至处理后的图结构的节点数量与训练模型时对应的图结构的节点数量相同，则完成该池化处理操作，然后再将池化处理后的图结构信息输入至图卷积神经网络进行图像分类处理。
[0157]
本实施例病理切片图像还包括ct切片图像或是mr切片图像等，上述中涉及的所有参数都可以根据实际医学病理切片图像的自身特点进行重新设置，以保证图像分类操作灵活性和分类精度。
[0158]
本实施例中，通过从待处理病理切片图像中选取一定数量的子切片图像，基于这些子切片图像构建表征每个图节点以及图与图之间关联的图结构信息，以将图结构信息输入至病理分类模型输出与待处理病理切片图像对应的图像分类结果，即通过对不同的子切片图像建立其对应的图模型，能够更准确地将不同的子切片图像进行关联分析与处理，以有效地提高图像分类结果的准确性和可靠性；该图像分类方法适用于一种或多种预设分辨率下的待处理病理切片图像处理，通过不同分辨率下的图像特征的分析处理以最终确定图像分类结果，进一步地提高了图像分类结果的准确性和可靠性。通过对样本子切片图像的图像节点信息进行特征提取得到一定维度的特征信息，构建与图卷积神经网络相适配的自注意力机制，计算得到每个样本子切片图像对分类结果的影响程度，以输出高风险、恶化程度较高的子切片，实现在全切片中全面高亮显示，便于用户或医生查看或分析等。
[0159]
实施例3
[0160]
如图11所示，本实施例的图像分类系统包括：
[0161]
待处理图像获取模块1，用于获取待处理病理切片图像；
[0162]
其中，待处理病理切片图像包括胶质瘤病理切片图像、宫颈病理切片图像或肺癌切片图像等。本实施例的病理切片图像可以为全切片图像，也可以为全切片图像的一部分图像。
[0163]
子切片图像选取模块2，用于从待处理病理切片图像中选取一定数量的子切片图像，子切片图像为能够体现病理特征的图像；
[0164]
在一种预设分辨率下，子切片图像选取模块2用于按照设定选取规则从预设分辨率的待处理病理切片图像中选取一定数量的子切片图像；
[0165]
在至少两个预设分辨率下，子切片图像选取模块2用于按照设定选取规则从每个预设分辨率的待处理病理切片图像中选取一定数量的子切片图像；
[0166]
其中，设定选取规则对应选取待处理病理切片图像中的全部子切片图像、选取待处理病理切片图像中的设定数量比例的子切片图像、确定感兴趣区域以选取感兴趣区域中的全部子切片图像、在感兴趣区域中按照固设方式选取子切片图像、在感兴趣区域中一次随机选取子切片图像、或者在感兴趣区域中多次随机选取子切片图像等。病理切片图像一般由大量的(如几千张)子切片图像构成，而体现病变或病理特征可能只出现在比较少数量的子切片图像上，因此需要通过针对性选取特定的子切片图像以进行分析，才能够有效地保证图像分类结果的精度。
[0167]
具体地，在子切片图像选取过程中，可以根据实际需求选取全部数量的子切片图
像即100％；也可以通过获取每张子切片图像对应的平均像素值，剔除平均像素值低于设定像素阈值的图像，以筛选出平均像素值高于或者等于设定像素阈值的所有子切片图像，如剔除空白的子切片图像，仅保留图像中与待检测对象对应的占全部数量的子切片图像的设定数量比例的子切片图像；还可以根据病理切片图像的类型确定其中的感兴趣区域，例如，以胶质瘤病理切片图像为例，细胞核在图像中显示偏向红色和蓝色，因此可以根据红色和蓝色预先选取出感兴趣区域，然后在该感兴趣区域中选取全部的子切片图像、多次随机选取或者按照其他选取规则等，尽可能地选取出可以表征病理特征的所有子切片图像，以保证后续分类结果的可靠性。
[0168]
上述的子切片图像方式可以根据实际待处理病理切片图像的类型以及实际场景的分类需求等进行选择或重新设置。
[0169]
图结构信息构建模块3，用于构建一定数量的子切片图像对应的图结构信息，图结构信息用于表征不同的子切片图像对应的图像节点信息和图像关联关系信息；
[0170]
具体地，在一种预设分辨率下，图像节点信息对应子切片图像的图像描述信息，图像关联关系信息用于表征预设分辨率下，空间位置相邻的子切片图像之间的位置连接关系。
[0171]
在至少两个预设分辨率下，图像节点信息对应子切片图像的图像描述信息，图像关联关系信息用于表征同一预设分辨率下，空间位置相邻的子切片图像之间的位置连接关系；和不同的预设分辨率下，两个子切片图像中对应的内容之间的连接关系。
[0172]
图像分类结果获取模块4，用于将图结构信息输入至病理分类模型，以输出待处理病理切片图像对应的图像分类结果。
[0173]
本实施例中，通过从待处理病理切片图像中选取一定数量的子切片图像，基于这些子切片图像构建表征每个图节点以及图与图之间关联的图结构信息，以将图结构信息输入至病理分类模型输出与待处理病理切片图像对应的图像分类结果，即通过对不同的子切片图像建立其对应的图模型，能够更准确地将不同的子切片图像进行关联分析与处理，以有效地提高图像分类结果的准确性和可靠性；该图像分类方法适用于一种或多种预设分辨率下的待处理病理切片图像处理，通过不同分辨率下的图像特征的分析处理以最终确定图像分类结果，进一步地提高了图像分类结果的准确性和可靠性。
[0174]
实施例4
[0175]
本实施例的图像分类系统是对实施例3的进一步改进，具体地：
[0176]
本实施例中，考虑到当待处理病理切片图像中的待分类的对象不是单个物体，而是多个物体组成时，多个物体组成的示例包的标签，不一定与其中的每个物体都相同。例如，胶质母细胞瘤是一种恶性程度非常高的肿瘤，如果一个全切片中，有几个单张子切片是胶质母细胞瘤，即使其他子切片图像的恶性程度没有那么高，那么这一整个全切片还是应该被诊断为胶质母细胞瘤。相反地，如果一个人被诊断为胶质母细胞瘤，子切片图像不一定都是胶质母细胞瘤。
[0177]
现有的比较直观地解决方法是训练一个单张切片分类的网络，去判断全切片中每张子切片图像的标签。然而，这种方法在训练时需要医生手动标注小图标签作为训练金标准。然而一个全切片图像往往由5k
‑
8k张子切片图像组成，一张一张给出金标准，是非常耗时耗力的，人工成本以及时间成本较高，造成图像自动分类效率较低。且该过程设计人工手
动标注，无法避免地可能会因人为疏忽造成标注标签发生错误等，从而降低网络训练的可靠性。
[0178]
本实施例中提出一种多实例学习算法，在训练时，从待处理病理切片图像中选取出一定数量的子切片图像，将其作为一个整体包，该整体包对应一个标签即分类结果(如肿瘤类型)，以基于该整体包对应的图结构信息及其对应的分类结果进行神经网络的训练(即多示例学习算法)；在测试过程中，对从新的病理切片图像选取出的自切片图像构成的整体包输出一个标签预测结果即预测分类结果，以确定模型训练的准确度，并在不满足设定条件时重新训练模型，直至满足设定条件则停止训练。该模型训练方式无需复杂的预处理步骤，无需额外标注感兴趣区域等操作，有效地简化了模型训练流程，提高了模型训练效率。
[0179]
具体地，如图12所示，本实施例的图像分类系统还包括病理分类模型获取模块5，该病理分类模型获取模块5具体包括：
[0180]
样本图像切片单元6，用于获取训练集中的样本病理切片图像；
[0181]
图像选取单元7，用于从样本病理切片图像中选取一定数量的样本子切片图像；
[0182]
信息构建单元8，用于构建一定数量的样本子切片图像在一种预设分辨率下对应的样本图结构信息；
[0183]
模型训练单元9，用于将一种预设分辨率下的样本图结构信息对应的图像节点信息和图像关联关系信息作为输入，样本病理切片图像对应的样本分类结果作为输出，训练得到用于预测病理种类的病理分类模型。或，
[0184]
信息构建单元8，用于分别构建一定数量的样本子切片图像在至少两个预设分辨率下对应的样本图结构信息；
[0185]
模型训练单元9，用于将每个预设分辨率下的样本图结构信息中的图像节点信息，和表征同一预设分辨率下空间位置相邻的样本子切片图像之间的位置连接关系，以及不同的预设分辨率下，两个样本子切片图像中对应的内容之间的连接关系的图像关联关系信息作为输入，样本病理切片图像对应的样本分类结果作为输出，训练得到用于预测病理种类的病理分类模型。
[0186]
在一可实施例的方案中，病理分类模型包括图卷积神经网络，本实施例的图像分类系统还包括：
[0187]
特征信息提取模块10，用于对于任意一个预设分辨率下样本子切片图像，对每个样本子切片图像的图像节点信息进行特征提取以获取设定维度的特征信息；
[0188]
自注意力机制构建模块11，用于基于特征信息和图像关联关系信息构建与图卷积神经网络匹配的自注意力机制，自注意力机制用于计算每个样本子切片图像对分类结果的影响程度；
[0189]
其中，病理分类模型包括自注意力机制。
[0190]
病理分类模型的同一层中采用一个或者多个注意力端，每个注意力端与不同的自注意力机制相对应，不同的自注意力机制对应用于表征病理情况的不同体现特征。
[0191]
具体地，当待处理病理切片图像为胶质瘤病理切片图像，不同的自注意力机制分别对应细胞核的密集程度、有无增生坏死或病理切片所展示的组织形态。
[0192]
本实施例的图像分类系统的实现原理参见实施例2中的图像分类算法的实现逻辑过程，因此此处就不再赘述。
[0193]
本实施例中，通过从待处理病理切片图像中选取一定数量的子切片图像，基于这些子切片图像构建表征每个图节点以及图与图之间关联的图结构信息，以将图结构信息输入至病理分类模型输出与待处理病理切片图像对应的图像分类结果，即通过对不同的子切片图像建立其对应的图模型，能够更准确地将不同的子切片图像进行关联分析与处理，以有效地提高图像分类结果的准确性和可靠性；该图像分类方法适用于一种或多种预设分辨率下的待处理病理切片图像处理，通过不同分辨率下的图像特征的分析处理以最终确定图像分类结果，进一步地提高了图像分类结果的准确性和可靠性。通过对样本子切片图像的图像节点信息进行特征提取得到一定维度的特征信息，构建与图卷积神经网络相适配的自注意力机制，计算得到每个样本子切片图像对分类结果的影响程度，以输出高风险、恶化程度较高的子切片，实现在全切片中全面高亮显示，便于用户或医生查看或分析等。
[0194]
实施例5
[0195]
图13为本发明实施例5提供的一种电子设备的结构示意图。电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现实施例1或2中任意一实施例中的图像分类方法。图13显示的电子设备30仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
[0196]
如图13所示，电子设备30可以通用计算设备的形式表现，例如其可以为服务器设备。电子设备30的组件可以包括但不限于：上述至少一个处理器31、上述至少一个存储器32、连接不同系统组件(包括存储器32和处理器31)的总线33。
[0197]
总线33包括数据总线、地址总线和控制总线。
[0198]
存储器32可以包括易失性存储器，例如随机存取存储器(ram)321和/或高速缓存存储器322，还可以进一步包括只读存储器(rom)323。
[0199]
存储器32还可以包括具有一组(至少一个)程序模块324的程序/实用工具325，这样的程序模块324包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
[0200]
处理器31通过运行存储在存储器32中的计算机程序，从而执行各种功能应用以及数据处理，例如本发明实施例1或2中任意一实施例中的图像分类方法。
[0201]
电子设备30也可以与一个或多个外部设备34(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(i/o)接口35进行。并且，模型生成的设备30还可以通过网络适配器36与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图13所示，网络适配器36通过总线33与模型生成的设备30的其它模块通信。应当明白，尽管图中未示出，可以结合模型生成的设备30使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、raid(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。
[0202]
应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
[0203]
实施例6
[0204]
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，程序被处理
器执行时实现实施例1或2中任意一实施例中的图像分类方法中的步骤。
[0205]
其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
[0206]
在可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行实现实施例1或2中任意一实施例中的图像分类方法中的步骤。
[0207]
其中，可以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。
[0208]
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。