一种乳腺组织病理图像良恶性判别方法及装置与流程

1.本发明涉及医学影像诊断技术领域，尤其涉及一种乳腺组织病理图像良恶性判别方法及装置。


背景技术：

2.乳腺癌是女性最常见的恶性肿瘤之一，占女性所罹患全部恶性肿瘤的23％，统计数据显示，多达1/8的女性在一生中的某个时间会患上乳腺癌。在我国，每年女性乳腺癌发病人数为16.9万人(占全球总发病数12.25％)，死亡约4.5万人，发病率位居所有女性恶性肿瘤的首位，且发病率呈现逐年上升，且年轻化趋势明显。而乳腺癌只要做到早发现、早诊断和早治疗，其生存率将大幅提高，早期乳腺癌生存率超过90％，但晚期乳腺癌的5年生存率却只有30％～40％。
3.作为乳腺癌诊断的“金标准”，在传统的临床应用中，病理医生通常需要逐个分析每位患者的送检样本，才能给出病理诊断报告,该过程充分考验病理医生的专业素养，高度依赖其工作经验。病理科室长期处于人才培养周期长、人才缺口大、超负荷运转的状态，利用现代信息技术辅助病理医生进行诊断的方法可以缓解病理科室的压力，提升病理医生的工作效率。
4.对乳腺组织病理图像的精准分类逐渐在辅助医生诊断及满足临床应用上体现出极高的应用价值。早期的乳腺病理图像的良恶性判别依赖于基于人工提取特征和传统机器学习的分类算法，这类算法需要人工设计特征提取器对病理图像进行特征提取，得到高质量的全局特征，并利用提取出的特征使用机器学习的方法(例如支持向量机、随机森林等)对原始组织病理图像进行分类，得到最终结果。在这类算法中，人工设计特征提取器需要相关病理专家专业的领域知识，特征提取较为复杂，从原始图像中提取包括颜色、纹理和结构等特征作为分类器的输入，最终获得组织病理图像的良恶性分类。但是人工设计特征提取器的过程较为复杂，且耗时耗力，很大程度上受到病理学专家的主观影响，高度依赖病理专家的经验。此外，人工提取的特征表达能力有限，无法涵盖图像的全面信息，导致提取的特征不具备代表性，影响最终的分类效果。基于数据和模型驱动的深度学习算法可以自动地从原始图像中分层提取图像的抽象特征，在组织病理学领域，可以将深度卷积神经网络应用于组织病理图像的分类任务中。
5.深度卷积神经网络在通用类图像分类任务中取得了优异的成绩。随着电子显微技术的发展，多种基于深层卷积神经网络的组织病理图像判别方法应用于临床诊断，辅助病理科医生对患者进行细胞良恶性的判断，目前已开发出了对乳腺癌、前列腺癌、肺癌和结直肠癌等癌症组织病理图像的识别算法。由于卷积神经网络需要规格化的图像输入，而病理图像的大小通常超过了十亿像素，远远超过了任何一种主流卷积神经网络的输入要求，若直接采用降采样的方式降低图像的分辨率会缺失组织图像中的许多形态特征。目前研究人员只得将全切片的组织病理图像按照卷积神经网络的输入要求通过滑动窗口、随机切分成网络可以接受的分块大小，先对分块进行特征提取，再对这些特征进行整合，得到全切片的
特征，最终获得原始组织病理图像的分类。
6.目前，对全切片病理图像进行良恶性判定的主流方法包括分块采样方法和多示例学习方法。分块采样法首先将全切片进行分块，再对这些分块进行特征提取，最终聚合这些分块的特征，得到全切片图像的分类，已有许多学者对此做出了相关的工作。比如，wang等人将camelyon16乳腺癌前哨淋巴结切片随机裁剪为256x256像素的分块，以此训练googlenet对分块进行分类，再将所有分块的特征组合起来，得到全切片的热力图，最后通过随机森林进行全切片的分类。xu等人使用了改进的alexnet分类模型，通过微调预训练的alexnet模型，然后将224x224的分块送入网络得到4096维的特征向量，最后将所有的分块特征经过p-norm池化计算得到全切片的二分类结果。dhungel等通过人为规范神经网络的特征学习过程，使用简单cnn定向地提取图像特征，该定向特征在随机森林分类器上的表现优于人为提取的同类特征，并直接利用该网络对乳腺病理图象做出分类预测。
7.上述方法中，模型的训练均使用了大量的人工标注数据，而对组织病理学图像进行像素级的标注需要病理科医生专业的领域知识。在实际的临床应用中，获取高精度的像素级标注是困难且繁琐的，即使是对于经验丰富的病理学专家也存在一些模棱两可的区域，因此，这类分类模型的发展和应用受到了一定程度的制约。
8.在实际临床应用中存在的病理数据集都是全切片级别的，基于此，多示例学习方法应运而生，相关学者进行了研究。多示例学习是一种基于弱监督训练的方法，在病理学领域，将全切片视作一个包，将全切片切出的分块全部视作包中的实例，若包被视为良性的，则认为包中的所有实例均为良性；反之，若包被视作恶性的，则包中至少有一个实例应当被视作恶性。campanella等人提出了一种基于多示例的仅使用诊断报告作为训练数据的弱监督模型。该模型是一种不需要像素级标注数据集的大规模分类框架，可以对乳腺癌、前列腺癌、基底细胞癌全切片进行良恶性判别。hou等人提出了一种最大化期望值的方法从全切片的分块中选择判别力较强的区域作为全切片图像判别的依据，并优化了决策融合策略，组合分块级别的分类结果，利用分块之间的空间关系获得全切片的良恶性判别结果。zhu等将多示例学习方法和alexnet网络相结合，通过alexnet网络和病人乳腺原始图像得到整个乳腺的病灶良恶性概率分布图，再通过基于稀疏表达的多示例学习从概率图中得到乳腺组织病理图像的良恶性分类。
9.上述多示例学习方法中弥补了全监督学习模型对像素级数据标注依赖程度高的问题，仅使用全切片级别的标注即可实现有无癌变的分类。多实例学习策略在一定程度上提升了模型的泛化能力。
10.在临床中，组织发生癌变的区域通常在细胞基质中，而在上述方法中学者们未对细胞基质和间质做出区分，并且在模型训练过程中产生了大量的冗余计算。本发明提出将乳腺病理组织图像的判别分成两阶段进行，在进行判别之前提取出更易发生癌变的细胞基质区域，再对基质区域做出良恶性判别。通过相关文献和发明专利的调研，目前乳腺组织病理图像的良恶性判别方法中并未出现与本发明相关的研究。


技术实现要素：

11.本发明的目的在于提供一种乳腺组织病理图像良恶性判别方法及装置，能够实现端到端的对乳腺组织病理图像进行良恶性判别,通过机器学习方法对全切片中的基质区域
进行提取，获取切片的基质区域，再将基质区域送入改进的vgg网络模型进行良恶性判定，实现对乳腺组织切片有无癌变的分类。
12.为了实现上述目的，本发明提供一种乳腺组织病理图像良恶性判别方法，包括：
13.将待处理的乳腺组织病理全切片图像进行分块，获得多个分块图像；
14.对所述多个分块图像中的每一个分块图像分别执行：
15.对分块图像进行平滑处理，获得平滑处理后的图像；
16.对所述平滑处理后的图像进行阈值分割，获得去除背景后的分块图像；
17.对所述去除背景后的分块图像进行边缘分割，获得边缘分割后的图像；以获得多个边缘分割后的图像，其中，每一个分块图像分别对应边缘分割后的图像；
18.将所述多个边缘分割后的图像输入到训练好的神经网络模型，获得融合分块的二分类结果；
19.基于所获得的融合分块的二分类结果，对全切片图像进行判别，得到全切片的二分类结果。
20.一种实现方式中，所述将待处理的乳腺组织病理全切片图像进行分块，获得多个分块图像的步骤：
21.使用openslide模块读取乳腺组织病理全切片图像；
22.选定一预设尺寸的窗口以固定步长沿着所述乳腺组织病理全切片图像的预设方向进行滑动，获取切片。
23.一种实现方式中，所述对分块图像中的每一个分块图像进行平滑处理，获得平滑处理后的图像的步骤：
24.步骤31：使用opencv模块读取分块，采用一预设半径的观察窗在每一个分块图像上进行采样；
25.步骤32：将当前观察窗中获得的像素值进行排序，获得中位像素值；
26.步骤33：使用所述中位像素值更新观察窗中心的像素值；
27.重复步骤32和33，直至对每一个分块图像进行滤波处理。
28.一种实现方式中，所述对所述平滑处理后的分块图像进行阈值分割，获得所述乳腺组织病理全切片图像的去背景图像的步骤：
29.针对所述平滑处理后的分块图像中的每一个图像执行步骤：
30.使用otsu全局阈值分割方法进行阈值分割，基于图像自动选择初始化阈值，将图像分成前景图像和背景图像；
31.剔除背景图像，并对所述前景图像进行高斯去噪，获得所述乳腺组织病理全切片图像的去背景图像。
32.一种实现方式中，所述对所述去除背景后的分块图像进行边缘分割，获得边缘分割后的图像的步骤：
33.步骤51：在每一个去除背景后的分块图像中选择一组细胞基质区域的种子像素，获取种子像素灰度值；
34.步骤52：确定一个与所述种子像素灰度值差值门限；
35.步骤53：逐个计算种子像素周围的像素灰度值与所述种子像素的差值，若小于门限,则选为生长区域内元素；若大于门限，则剔除；
36.步骤54：对周围像素重复执行步骤53，使用canny边缘检测算子对周围像素进行判断，若不是边缘算子，则作为新的种子像素，继续生长；若为边缘算子，则停止生长。
37.本发明还公开了一种乳腺组织病理图像良恶性判别装置，所述装置包括处理器、以及通过通信总线与处理器连接的存储器；其中，
38.所述存储器，用于存储计算机程序；
39.所述处理器，用于执行计算机程序时，以实现任一项所述的兼顾空间信息相关性的乳腺病理图像癌变性质判读方法。
40.应用本发明实施例提供的一种乳腺组织病理图像良恶性判别方法及装置，能够有效提高对乳腺组织病理图像进行判别的准确度，辅助病理科医生进行临床诊断，提升诊断效率。
附图说明
41.图1是本发明实施例一种乳腺组织病理图像良恶性判别方法的流程示意图。
42.图2是乳腺组织病理图像区域生长和边缘检测工作流程图。
具体实施方式
43.以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。
44.在乳腺病理组织图像中基质和间质是两种基本的组织，约有80％的癌变发生在乳腺基质组织。wang等人的实验表明，大型的全切片图像中有将近82％的区域是空白区域。对于乳腺全切片图像，通常每幅图超过了十亿像素，无论是对于识别算法还是硬件设备都是严峻的考验。现有的识别算法多针对整幅图片进行计算，未对图像中的细胞基质和间质做出区分，故在模型训练过程中会产生大量的冗余计算，从而导致算法的计算量巨大，耗时且效率不高。鉴于此，本发明提出一种乳腺组织病理图像良恶性判别方法，首先自动筛选全切片图像中更有可能出现癌变的区域，再对这些区域进行良恶性判别。本发明的目的在于使识别算法对乳腺病理图像的判别更具有针对性，压缩模型的计算量，从而提升模型对于乳腺组织病理图像的识别效率，以解决现有技术中对乳腺组织病理图像判别中存在的准确度低、计算冗余较大的问题。
45.如图1本发明提供一种乳腺组织病理图像良恶性判别方法，包括：
46.s110，将待处理的乳腺组织病理全切片图像进行分块，获得多个分块图像。
47.需要说明的是，将获取的乳腺组织病理全切片图像进行分块，采用分块技术将全切片图像分成大小为224
×
224像素的分块大小，分块技术可选用随机分块、重叠采样分块等分块方法。具体地：
48.步骤11：使用openslide模块读取乳腺组织病理全切片图像i；
49.步骤12：选定尺寸为224x224像素的窗口以固定步长s(s《224个像素)沿着图像i从左到右、从上到下进行滑动，获取切片；
50.步骤13：将切片保存，供后续步骤处理。
51.对所述多个分块图像中的每一个分块图像分别执行s120-s140,以获得每一个分块图像经过步骤s120-s140依次处理后的图像处理结果。
52.s120，对所述多个分块图像中的每一个分块图像进行平滑处理,获得平滑处理后的图像。
53.可以理解的是，对s110得到的分块图像使用中值滤波的方法进行平滑处理，以减少组织切片制备过程中产生的噪声和模糊，目的在于去除图像中的噪点信号，可以选用不同的滤波方法对分块进行滤波处理，如均值滤波、最值滤波等。具体的：
54.步骤21：使用opencv模块读取分块，选用半径为r的观察窗在分块上进行采样；
55.步骤22：将当前观察窗中获得的像素值进行排序，获得中位像素值；
56.步骤23：使用中位像素值更新观察窗中心的像素值；
57.步骤24：重复步骤22和步骤23，对分块整体进行滤波处理。
58.s130，对所述平滑处理后的图像进行阈值分割，获得去除背景之后的分块图像。
59.需要说明的是，对s120得到的平滑处理后图像使用otsu全局阈值分割方法进行阈值分割，基于图像自动选择初始化阈值，将图像分成前景图像和背景图像(由于在该阶段只是筛选出组织目标，排除背景，采用该方法可以快速找到目标的阈值)。
60.进一步的，根据图像自动选择初始化阈值，判断是否为前景，如果否，则剔除背景图像；如果是，对前景图像进行高斯去噪，获得乳腺组织病理全切片图像的去背景图像。
61.s140，对所述去除背景后的分块图像进行边缘分割，获得边缘分割后的图像；以获得多个边缘分割后的图像，其中，每一个分块图像分别对应边缘分割后的图像。
62.可以理解的是，对s130得到的去除背景后的分块图像进行边缘分割,本发明采用基于区域生长和边缘检测相结合的方法对乳腺组织细胞的基质区域进行提取，目的在于将组织细胞的基质和间质相分离，提取出更可能发生癌变的基质区域。具体的如图2所示：
63.步骤51：在分块图像中选择一组细胞基质区域的种子像素，获取其灰度值大小；分组的目的是要提取分块图像中的细胞基质区域，排除掉其它空洞的区域，减少模型的计算量。由于之前经过了二值化处理，空洞区域的像素应该在[0]附近。使用opencv模块获取图像中的细胞基质区域的像素,其像素值为b，以此作为种子像素。
[0064]
步骤52：确定一个与种子像素灰度值差值门限t；种子像素周围的像素和种子进行作差，相似的两个像素的的像素值差异不会太大。从种子像素开始从它的上下左右四个方向开始生长，直到碰到[0]附近的值(就是碰到了空洞区域)，碰到了空洞，就停止生长。这里的目的是提取出分块图像的基质区域。这个门限也不好确定为某个固定值，需要看每批分块图像的具体情况。假设把种子像素的像素值取为b，在它向周围生长过程中，碰到的像素，和它的像素值差距超过了t，那就不把这个像素加入到生长区域了，停止生长。
[0065]
步骤53：逐个计算种子像素周围的像素灰度值与种子像素的差值，若小于门限t,则选为生长区域内元素；若大于门限t，则剔除；
[0066]
步骤54：对周围像素重复步骤53，使用canny边缘检测算子对周围像素进行判断，若不为边缘算子，则作为新的种子像素，继续生长，若为边缘算子，则停止生长。
[0067]
s150,将所述多个边缘分割后的图像输入到训练好的神经网络模型，获得融合分块的二分类结果。
[0068]
将所有分块图像分别对应的边缘分割后的图像输入至训练好的vgg19网络模型进
行判别，获得乳腺组织有无癌变的二分类结果。
[0069]
需要说明的是，本发明首先设计和训练的vgg19卷积神经网络模型，具体的步骤包括：
[0070]
步骤61：重新设计原vgg模型的分类器，将模型的输出转换为两类；
[0071]
步骤62：利用数据增广技术进行数据扩增；所述数据增强技术包括缩放、旋转、水平平移、垂直平移、随机中心裁剪等技术，使用数据增强技术已获得的分块图像进行数据扩增，得到更多的训练样本。目的在于训练出准确度较高的深度卷积神经网络模型，对乳腺组织病理图像做出有无癌变的判别。使用步骤5.2扩增后的数据及其标注文件对改进后的vgg19网络模型进行微调训练，训练过程中冻结特征提取层，仅对分类层进行训练；保存训练好的模型参数。
[0072]
步骤63：对模型进行训练和验证，得到最优模型。
[0073]
基于步骤61，vgg网络模型有a～e等5种不同的配置，原始网络均由imagenet数据集进行训练，在本发明中采用vgg19网络模型，使用imagenet数据集对模型的特征提取层进行预训练，将分类层的softmax函数改为适用于本发明的二分类函数，完成对乳腺组织病理图像有无癌变的二分类任务。
[0074]
基于步骤62，数据增强技术包括缩放、旋转、水平平移、垂直平移、随机中心裁剪等技术。
[0075]
将全切片组织图像特征输入至训练好的卷积神经网络模型进行判别，目的在于通过深度学习的方法对乳腺组织病理图像做出有无癌变的判别，其具体做法如下：
[0076]
搭建vgg卷积神经网络模型，特征提取层采用预训练好的vgg19网络模型，分类层使用二分类的softmax函数，以适用于本发明的分类任务；
[0077]
使用经过处理后得到的乳腺组织病理分块图像以及标注文件，对卷积神经网络的分类层进行训练，训练过程中使用验证集对每一轮的模型进行验证，得到准确度最高的模型，得到分类模型，保存好模型参数文件。
[0078]
通过深度学习的方法对乳腺组织病理图像做出有无癌变的判别，其具体做法如下：
[0079]
步骤71：搭建vgg卷积神经网络，特征提取层采用预训练好的vgg19网络模型，分类层使用二分类的softmax函数，以适用于本发明的分类任务；
[0080]
步骤72：使用乳腺组织病理图像经过前述步骤处理后得到的分块图像以及标注文件，对网络的分类层进行训练，训练过程中使用验证集对每一轮的模型进行验证，得到准确度最高的模型，得到分类模型，保存好模型参数文件；
[0081]
步骤73：使用上一步骤得到的模型对组织图片进行预测，得到的有无癌变的二分类结果，完成乳腺组织病理图像的分类。
[0082]
s160，基于所获得的融合分块的二分类结果，对全切片图像进行判别，得到全切片的二分类结果。
[0083]
将分块图像输入训练好的vgg19网络得到分块的预测结果，融合分块的二分类结果，对全切片图像进行判别，得到全切片的二分类结果。
[0084]
具体地，本发明采用多示例学习的策略，将一个全切片所切分出的所有分块图像视作一个包，若分块全为无癌，则将全切片判定为无癌，若分块中出现了癌变，则将全切片
判断为有癌。
[0085]
本发明首先使用公开数据集imagenet上对vgg19网络模型网络进行预训练；预训练实施后，调整网络模型的结构，将网络的输出层改成2类，使网络输出为2类预测结果。
[0086]
假设一个乳腺组织病理全切片图像被分成了10个小图，先通过神经网络模型对这10个小图作二分类。如果10个小图均被判定为无癌，那整个大图就是无癌；如果10个小图中出现了1个有癌，甚至多个有癌，那大图一定有癌。
[0087]
本发明通过对乳腺组织病理图像良恶性判读，能够有效提高对乳腺组织病理图像进行判别的准确度，辅助病理科医生进行临床诊断。
[0088]
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。