基于多特征融合递进式判别的乳腺病理全切片分类方法与流程

1.本发明涉及医学影像诊断技术以及电子信息领域的图形和图像处理软件领域，具体涉及一种基于多特征融合递进式判别的乳腺病理全切片分类方法。


背景技术：

2.乳腺癌，不仅是全球女性健康的敌人，也是我国女性发病率第一的恶性肿瘤，近年来乳腺癌患者呈现年轻化的趋势。乳腺癌的诊断需要显微水平的图像评估，以便早期发现肿瘤，并基于病理学诊断结果设计治疗方法。
3.随着显微摄影和全切片扫描技术的发展，病理切片能以数字图像的形式保存下来，使得计算机视觉的方法可以应用于病理领域
1.。全视野数字切片(whole slide images，wsis)是利用全自动显微镜扫描系统将传统玻璃切片进行扫描拼接生成的一整张全视野的数字切片，包含从组织到细胞层面丰富而详尽的信息。数字病理的出现有效节省了医院病理科的人力、时间成本，提高病理诊断的质量和效率，在一定程度上缓解了病理科的发展困境。
4.近年来，诸多学者对病理图像的识别进行了研究。早期的乳腺组织图像处理方法多采用传统机器学习算法。该类算法基于人工设计的特征进行分类。基于人工特征和机器学习的方法存在一定的局限性，由于不同类别的细胞具有极大的相似性，给特征提取带来极大的困难，并且无法设计高层抽象的特征。目前，随着以卷积神经网络为主的深度学习方法得到广泛应用，组织病理学数字切片的计算机辅助诊断技术研究取得了明显的进展。
5.分块采样方法是基于深度学习的全切片分类法的一种方法。这种方法先把全切片图像切割成多个小尺寸的分块，再将这些小尺寸分块输入卷积神经网络中提取特征，然后聚合这些特征作为全切片的特征，最终使用分类器对全切片特征进行分类得到最终分类结果。比如，wang
2.等人将乳腺癌前哨淋巴结切片使用滑动窗口方法提取出256
×
256像素的分块，将其送入训练好的googlenet模型中，将所有分块的恶性程度概率组合起来得到全切片的癌变热力图，提取热力图中包括肿瘤区域面积、肿瘤区域个数等28种特征，最后送入随机森林中进行全片的分类。hou
3.等人提出一种新的基于em的方法，自动识别具有高判别性的小块用于cnn模型的训练，并训练一个决策融合模型来聚合cnn给出的图像块预测。
6.上述方法都是直接将小尺寸图像块作为cnn模型的输入，未考虑到这些图像块之间存在空间相关性。一般来说，全切片的肿瘤区域比切割的图像块大，使得肿瘤概率高的图像块在空间上相对聚集。当斑块位于肿瘤区域时，其相邻斑块也很有可能被标记为肿瘤，因为它们位于相邻区域。为了明确建模相邻图像块之间的空间相关性，kong
4.等人提出了一种使用长短时记忆网络(long short-term memory，lstm)的空间网络，该网络基于从cnn分类器提取的图像块特征来捕获空间相关性。为检测全切片图像中的癌症转移，li
5.等人提出了一个神经条件随机场(ncrf)深度学习框架，通过将cnn模型和一个完全连接的条件随机场(conditional random field，crf)集成来考虑相邻图像块之间的空间相关性。然而上述两种方法使用了两阶段方法来获取空间相关性，cnn阶段无法获取图像块之间的空间相
关性，导致两个阶段分离，没有实现端到端的计算。
7.在获得众多小图癌变性质判定后，为获取整张图片的癌变类型，需要汇总小图的性质以获取全切片特征。目前，全切片特征的提取方法主要分为两类：一类是基于肿瘤区域热力图的方法
2.，它关注全切片图像的预测的肿瘤区域的整体形态特征以及它占整个组织区域的特征，但是热力图的特征是人工设计提取的，存在效率低和精确度不足的局限性；另一类是基于cnn特征聚合的方法
6.，它从cnn模型中提取每一个图像块的n维特征向量，将有辨别力的图像块的特征聚合为全切片图像的特征，但是最终获取的特征是经过多次卷积操作后提取的高层抽象特征，解释性不强。考虑到上述两种全切片特征提取方法各有优缺点，本发明通过特征连接的方式取二者的优点，把基于热力图的特征和基于cnn的特征进行拼接，以使全切片图像的特征更具有代表性，同时增加可解释性。
8.在病理图像诊断过程中，临床上对于假阴性和假阳性的容忍是不同的。一般对于假阴性更为敏感，认为假阴性比假阳性严重的多，因为假阴性会导致误判和漏判，错过最佳治疗时机，为病人带来更大的风险。
9.现有的全切片分类方法大多对得到的一种特征进行判断，如wang等人
7.在多种特征融合方法得到的全切片特征中，选择分类正确率最高的一种作为最后的分类特征。但单纯依靠任意一个特征给出的结果都存在假阴性比例比较高的问题，同时每个特征所关注的图像的细节是不同的。因此逐一使用这些特征对上一次判断结果为阴性的wsi图像进行判别，可以最大程度降低假阴性的比例。通过文献调研发现，目前国内外还没有这种思路的相关报导。


技术实现要素：

10.为了克服现有技术的缺陷，本发明采用一种多特征融合递进式判别的方法，对多种特征进行递进式地判定，以减少或避免病理图像识别过程中假阴性的产生。
11.1)针对上述提出的将小尺寸图像块作为cnn模型的输入，未考虑到这些图像块之间存在空间相关性，本发明将多个病理图像块作为整体输入到cnn模型中，过滤掉其中不同类型的图像块，有效避免异常离群点的出现。
12.2)针对最终用于分类的全切片特征存在局限性、解释性不强等问题，本发明将全局描述符和热力图特征进行聚合，使全切片的特征更具有代表性，在对全切片图像进行分类的同时检测出癌变区域，使其识别结果更具有解释性。
13.3)针对病理图像诊断过程中，假阴性比假阳性会带来更大的危害且单一特征判断容易造成假阴性的问题，本发明采用一种多特征递进式判别的方法，通过对判定为阴性的图像逐一使用各个特征进行判定，以减少病理图像识别过程中假阴性的产生。
14.本发明基于多特征融合递进式判别的乳腺病理全切片分类方法的技术方案包括以下步骤：
15.s1：使用ostu方法去除全切片中空白区域，提取病理图像中的组织区域，并在组织区域中使用随机取点的方法制作cnn模型训练的训练集和测试集；
16.s2：选择改进的resnet34网络作为图像块识别模型，并进行训练；
17.s3：制作全切片图像分类的数据集输入已训练的图像块识别模型中，从cnn模型中提取图像块的特征向量和癌变概率，对每个块进行特征聚合形成块描述符，同时将每个块
的坐标和癌变概率进行保存得到肿瘤区域热力图；
18.s4：使用(平均值、最大值、加权)三种特征融合手段聚合病理图像的块描述符分别得到三种类型的类描述符，将所有类描述符聚合得到最终的全局描述符；
19.s5：使用人工设计的特征提取肿瘤区域热力图特征；
20.s6：从全局描述符选择具有代表性的特征，与热力图的特征进行连接得到最终全切片图像的特征描述符；
21.s7：使用多特征递进式决策的方法对所获得的三种全切片特征描述符进行最终的判定。
22.步骤s1具体包括以下步骤：
23.s1.1：对乳腺病理图像中的癌变区域进行人工标记；进行人工标记通常邀请专业病理专家参与；
24.s1.2：使用ostu分割法去除乳腺病理图像中的空白区域，提取组织区域，提高计算的效率；
25.s1.3：以随机取点的方式，在标记为癌变的乳腺病理全切片的肿瘤区域中提取244
×
244像素大小的图像块作为阳性数据集，在标记为癌变的乳腺病理全切片和标记为非癌变的乳腺病理全切片的正常组织区域中，分别提取244
×
244像素大小的图像块作为阴性数据集；
26.s1.4：使用reinhard色彩迁移方法将所有图像块进行颜色归一化，并将数据集进一步分为训练集和测试集。
27.步骤s2采用一个改进的resnet34网络作为图像块的预测模型，该模型以resnet34为基础，为了使网络能适应不同尺寸的输入，将最后一层全连接层替换成两个全卷积层，同时将resnet34中所有卷积层的填充操作删除，避免预测时出现边界效应。随后使用训练集对resnet34进行训练。具体包括以下步骤：
28.s2.1：使用翻转、旋转、裁剪等数据增强的方法增加训练集的多样性；
29.s2.2：设定模型中的学习率、权重等参数；
30.s2.3：通过改进的网络结构处理输入的数据，计算损失值，反向传播梯度到神经网络的参数中；
31.s2.4：根据更新规则来更新网络中的权重值。
32.在具体的实施例中，s3具体包括：
33.s3.1：制作全切片分类的数据集，使用滑动窗口方式在病理图像的组织区域提取896
×
896像素大小的图像块，并使用reinhard对图像块进行颜色归一化。我们将896
×
896像素大小的图像块称为block，block可以看作是由n
×
n个图像块组成的大网格。在本发明中n＝4；
34.s3.2：直接将block输入到已训练的卷积神经网络进行图像块癌变性质的预测。在预测过程中，对于每一个图像块，从改进的resnet34的倒数第二个卷积层输出一个512维的特征f，并在最后一个卷积层输出其患癌概率p。再通过三种特征融合方法聚合block内图像块特征得到block特征描述符bm，其中m∈[1,m]，m为特征融合方法的数量；
[0035]
s3.3：获取block的概率值。对于每一个block，通过取其所包含的每一个图像块的患癌概率的平均值，作为整个block的患癌概率(这是一个0到1之间的恶性肿瘤概率值，代
表该block患恶性肿瘤的概率)。
[0036]
s3.4：根据所有的block的患癌概率值，绘制全切片图像肿瘤区域热力图，并以高亮显示恶性肿瘤所在位置。
[0037]
在具体的实施例中，s3.2所述三种特征融合手段包括：
[0038]
1)加权：考虑同一个block内所有图像块的特征，并设每一个图像块特征对block特征的贡献与其患癌概率成正比，计算公式如下：
[0039][0040]
2)取最大值：将概率最高的图像块的特征作为block的特征，计算公式如下：
[0041][0042]
3)取平均值：将block中所有图像块的特征取平均作为block的特征，计算公式如下：
[0043][0044]
其中b表示block描述符，n为block每行(列)中的图像块的个数，p
i,j
，f
i,j
分别为block内第i行j列的图像块的患癌概率和特征。
[0045]
步骤s4具体包括以下步骤：
[0046]
s4.1：通过判断block的概率是否超过某一阈值α来辨别block是否具有判别力，本发明选取阈值α＝0.3。
[0047]
s4.2：在全切片图像中分别将所有判别力的block的特征bm进行聚合，形成类特征cm。
[0048]
所述类特征为：
[0049][0050]
其中b
k,m
是步骤s3中bm取得的block特征描述符，n表示判别block的数量。
[0051]
步骤s5具体包括以下步骤：
[0052]
得到全切片组织病理图像的恶性肿瘤热力图之后，从热力图中提取恶性肿瘤区域的几何和形态学特征信息，将其组合形成热力图的特征h；
[0053]
所述提取的热力图的特征包括：
[0054]
如癌细胞区域的数量、恶性肿瘤区域面积和周长的最值、平均值和方差、恶性肿瘤区域占整个组织区域的百分比和密度值、最大恶性肿瘤区域中最长轴的大小、恶性肿瘤区域偏心率大小等31个形态和几何特征。
[0055]
所述提取的热力图的特征如表1所示。
[0056]
表1热力图特征
[0057][0058][0059]
步骤s6具体包括以下步骤：
[0060]
s6.1：利用特征选择的方法剔除s4获取的类描述符cm中不相关或冗余的特征得到类特征子集dm，从而达到减少特征个数，提高模型精确度，减少运行时间的目的；
[0061]
s6.2：将特征选择之后的类特征子集dm与s5提取的热力图的特征h连接形成最终的全切片图像的特征gm。
[0062]
所述特征选择是指根据阳性样本和阴性样本之间的特征差异来选择特征。令pos和neg分别表示表示训练集中癌变图像和正常图像，n
pos
和n
neg
分别表示癌变图像和正常图像的数量，v
i,k
表示第i个图像的第k维特征，则第k个特征的差值diffk为：
[0063][0064]
然后将所有的特征差值从最大到最小排序，选择特征差值最大的前100个特征，从而得到类特征子集dm。
[0065]
步骤s7具体包括以下步骤：
[0066]
s7.1：提取训练集的三种全切片图像的特征(g1、g2、g3)，将三种特征合集分别输入进随机森林中，对随机森林进行训练，获得决策器(rf1、rf2、rf3)；
[0067]
s7.2：将测试的全切片图像的特征g1输入进随机森林决策器rf1中进行全切片类型的判定，即有癌和无癌两种类型。若rfm判定该全切片图像的类型为有癌，则结束步骤，输出该全切片最终判定类型为有癌；否则，执行步骤s7.3；
[0068]
s7.3：将特征g2输入进随机森林决策器rf2中进行全切片类型的判定，若rf2判定该全切片图像的类型为有癌，则结束步骤，输出该全切片最终判定类型为有癌；否则，执行步骤s7.4；
[0069]
s7.4：将特征g3输入进随机森林决策器rf3中进行全切片类型的判定，若rf3判定该
全切片图像的类型为有癌，则输出该全切片最终判定类型为有癌；若随机森林决策器rf3判定该全切片图像为无癌，则输出该全切片最终判定类型为无癌。
附图说明
[0070]
图1为本发明基于多特征融合递进式判别的乳腺病理全切片分类方法的流程图；
[0071]
图2为本发明基于多特征融合递进式判别的乳腺病理全切片分类方法中递进决策的流程图。
具体实施方式
[0072]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0073]
如图1所示，本发明基于多特征融合递进式判别的乳腺病理全切片分类方法的技术方案包括以下步骤：
[0074]
s1：使用ostu方法去除全切片中空白区域，提取病理图像中的组织区域，并在组织区域中使用随机取点的方法制作cnn模型训练的训练集和测试集；
[0075]
s2：选择改进的resnet34网络作为图像块识别模型，并使用cnn模型训练的训练集采用随机梯度下降算法对网络参数进行训练；
[0076]
s3：将全切片图像以滑动窗口的方式切割成分块输入已训练的图像块识别模型中，从识别模型中提取图像块的特征向量和癌变概率，对每个块进行特征聚合形成块描述符，同时将每个块的坐标和癌变概率进行保存得到肿瘤区域热力图；
[0077]
s4：使用取平均值、取最大值、加权三种特征融合手段聚合病理图像的块描述符分别得到三种类型的类描述符，将所有类描述符聚合得到最终的全局描述符；
[0078]
s5：从热力图中提取恶性肿瘤区域的31个几何和形态学特征，将其组合形成热力图的特征；
[0079]
s6：从全局描述符选择具有代表性的特征，与热力图的特征进行连接得到最终三种全切片图像的特征描述符；s7：使用多特征递进式决策的方法对所获得的三种全切片特征描述符进行最终的判定。
[0080]
步骤s1具体包括以下步骤：
[0081]
s1.1：邀请专业病理专家对乳腺病理图像中的癌变区域进行人工标记；
[0082]
s1.2：使用ostu分割法去除乳腺病理图像中的空白区域，提取组织区域，提高计算的效率；
[0083]
s1.3：以随机取点的方式，在标记为癌变的乳腺病理全切片的肿瘤区域中提取244
×
244像素大小的图像块作为阳性数据集，在标记为癌变的乳腺病理全切片和标记为非癌变的乳腺病理全切片的正常组织区域中，分别提取244
×
244像素大小的图像块作为阴性数据集；
[0084]
s1.4：使用reinhard色彩迁移方法将所有图像块进行颜色归一化，并将数据集进一步分为训练集和测试集。
[0085]
步骤s2采用一个改进的resnet34网络作为图像块的预测模型，该模型以resnet34为基础，为了使网络能适应不同尺寸的输入，将最后一层全连接层替换成两个全卷积层，同时将resnet34中所有卷积层的填充操作删除，避免预测时出现边界效应。随后使用训练集对resnet34进行训练。具体包括以下步骤：
[0086]
s2.1：使用翻转、旋转、裁剪等数据增强的方法增加训练集的多样性；
[0087]
s2.2：设定模型中的学习率、权重等参数；
[0088]
s2.3：通过改进的网络结构处理输入的数据，计算损失值，反向传播梯度到神经网络的参数中；
[0089]
s2.4：根据更新规则来更新网络中的权重值。
[0090]
在具体的实施例中，s3具体包括：
[0091]
s3.1：制作全切片分类的数据集，使用滑动窗口方式在病理图像的组织区域提取896
×
896像素大小的图像块，并使用reinhard对图像块进行颜色归一化。我们将896
×
896像素大小的图像块称为block，block可以看作是由n
×
n个图像块组成的大网格。在本发明中n＝4；
[0092]
s3.2：直接将block输入到已训练的卷积神经网络进行图像块癌变性质的预测。在预测过程中，对于每一个图像块，从改进的resnet34的倒数第二个卷积层输出一个512维的特征f，并在最后一个卷积层输出其患癌概率p。再通过三种特征融合方法聚合block内图像块特征得到block特征描述符bm，其中m∈[1,m]，m为特征融合方法的数量；
[0093]
s3.3：获取block的概率值。对于每一个block，通过取其所包含的每一个图像块的患癌概率的平均值，作为整个block的患癌概率(这是一个0到1之间的恶性肿瘤概率值，代表该block患恶性肿瘤的概率)。
[0094]
s3.4：根据所有的block的患癌概率值，绘制全切片图像肿瘤区域热力图，并以高亮显示恶性肿瘤所在位置。
[0095]
在具体的实施例中，s3.2所述三种特征融合的方法包括：
[0096]
1)加权方法：该方法考虑同一个block内所有图像块的特征，并设每一个图像块特征对block特征的贡献与其患癌概率成正比，计算公式如下：
[0097][0098]
2)最大值方法：该方法将概率最高的图像块的特征作为block的特征，计算公式如下：
[0099][0100]
4)平均值方法：该方法将block中所有图像块的特征取平均作为block的特征，计算公式如下：
[0101][0102]
其中b表示block描述符，n为block每行(列)中的图像块的个数，p
i,j
，f
i,j
分别为block内第i行j列的图像块的患癌概率和特征。
[0103]
步骤s4具体包括以下步骤：
[0104]
s4.1：通过判断block的概率是否超过某一阈值α来辨别block是否具有判别力，本发明选取阈值α＝0.3。
[0105]
s4.2：在全切片图像中分别将所有判别力的block的特征bm进行聚合，形成类特征cm。
[0106]
在具体的实施例中，所述类特征聚合方法包括：
[0107][0108]
其中b
k,m
是步骤s3中bm取得的block特征描述符，n表示判别block的数量。
[0109]
步骤s5具体包括以下步骤：
[0110]
得到全切片组织病理图像的恶性肿瘤热力图之后，从热力图中提取恶性肿瘤区域的几何和形态学特征信息，将其组合形成热力图的特征h；
[0111]
所述提取的热力图的特征如表1所示：
[0112]
表1热力图特征
[0113][0114][0115]
步骤s6具体包括以下步骤：
[0116]
s6.1：利用特征选择的方法剔除s4获取的类描述符cm中不相关或冗余的特征得到类特征子集dm，从而达到减少特征个数，提高模型精确度，减少运行时间的目的；
[0117]
s6.2：将特征选择之后的类特征子集dm与s5提取的热力图的特征h连接形成最终的全切片图像的特征gm。
[0118]
所述特征选择是指根据阳性样本和阴性样本之间的特征差异来选择特征。令pos和neg分别表示表示训练集中癌变图像和正常图像，n
pos
和n
neg
分别表示癌变图像和正常图像的数量，v
i,k
表示第i个图像的第k维特征，则第k个特征的差值diffk为：
whole slide lung cancer image analysis[j].ieee transactions on cybernetics,2019,99:1-13。