一种基于DenseNet和条件随机场的乳腺病理图像分类方法

本发明属医学图像处理，具体涉及一种基于多尺度网络的病理图像分类方法。

背景技术：

1、乳腺癌是中国女性第一高发恶性肿瘤，发病率逐年升高，严重威胁中国女性的生命健康。早期乳腺癌是可治愈性疾病，精准地诊断乳腺癌可以最大程度地提高患者的生存概率和生活质量。随着智能算法的发展、医学数据的积累和医疗水平的进步，各种智能算法也逐渐被运用到了医疗领域。

2、传统的图像分类算法由特征提取、特征编码、分类器设计三个步骤组成，通常需要占用大量的人力资源，难以实用。卷积神经网络(convolutional neural networks,cnn)具有良好的自动特征建模能力。目前，病理图像分类领域广泛使用cnn构建深度学习(deeplearning,dl)模型。随着深度学习技术的快速发展与服务器计算性能的提高，人工智能技术在医疗辅助诊断领域取得了突破性进展，已有很多研究工作应用人工智能技术分析病理图像。

技术实现思路

1、基于现有病理图像分类方法的不足之处，本发明提出一种基于densenet和条件随机场的多尺度乳腺病理图像分类方法。

2、为了达到上述目的，提出一种基于改进densenet和条件随机场的乳腺病理图像分类方法,包括如下步骤：

3、s1：获取乳腺组织原始图片，根据医生的经验在数据上标记病灶区域。

4、s2：采用阈值分割算法和形态学算法去除不含乳腺组织的区域，利用全切片病理图像和人工标注的病灶区域标签，生成乳腺癌病理图像块，制作训练集和验证集。

5、s3：构建以densenet和条件随机场为基础架构的多尺度图像分类模型，使用训练集对所述模型进行训练，再利用验证集对训练的模型进行参数调优。

6、s4:将未标注的乳腺病理全切片图像作为测试集，预测测试集病理图像块的良恶性，生成乳腺癌病灶区域概率热图，实现乳腺癌区域的自动检测。

7、所述步骤s2中，所述阈值分割算法为大津阈值法，并进行形态学闭运算和开运算的操作，得到病理组织区域，使乳腺病理组织和背景二值化。

8、所述步骤s2中，对乳腺病理图像切片的具体方法为：根据人工标注的病灶位置标签，在正常病理组织和乳腺癌标注区域内，利用随机生成的策略，生成多个坐标点(x,y),这些坐标点(x,y)包括乳腺癌正样本坐标和正常病理组织负样本坐标；将随机生成的坐标点(x,y)映射到全切片病理图像上，利用坐标点生成768×768病理图像块；然后将切片以7：3的比例构建训练集和验证集。

9、所述步骤s3中，多尺度分类模型由特征提取模块和分类模块构成。

10、所述特征提取模块首先用resize函数的缩放操作将输入图像分辨率分别改变为原始切片图的0.8和1.2倍，即得到pi＝{p1.2,p1,p0.8}，再将三个不同分辨率的图像同时输入经过改进的densenet主干网络中，随后对p0.8上采样，p1.2下采样以及p1卷积归一化，最后完成多尺度融合，计算公式为：

11、a(p)＝d(d(p1.2))+b(d(p1))+u(d(p0.8))

12、其中，d()表示基于特征层下采样，b()表示基于特征层卷积归一化，u()则表示基于特征层上采样。

13、在多尺度融合过程中，采用平均池化操作完成下采样；同时对原始分辨率的特征图进行卷积归一化的操作，并加入非线性激活函数，引入非线性因素；采用双线性插值函数来完成上采样操作；

14、所述分类模块将经过多尺度融合的单张病理图像块的特征图送入平均池化层，然后将经过池化的特征图以3*3的网格图方式切割为9张特征块；随后采用条件随机场计算特征块边缘分布，进一步计算交叉熵损失，从而预测特征块图像的良恶性。

15、所述条件随机场用于预测单张病理图像块中良恶性组织的分布情况，起到提升检测精度、提高分类准确率的作用，将经过特征提取的多尺度特征图转换为特征块，若每个病理特征块表示为则可以得到对应特征块良恶性概率分布以此表明每个特征块xi的预测结果良恶性；当9个特征块都被预测为良性，则判断对应的病理图为良性，若其中任意一个特征块为恶性，则判断该病理图像为恶性。可用如下公式表示概率分布情况：

16、

17、其中e(y,x)代表能量函数，用以衡量概率分布y的损失，z(x)代表配分函数，保证p(y|x)是一个有效的概率分布。

18、由概率分布公式知，概率分布的关键在于对能量函数e(y,x)的计算，其计算公式如下：

19、

20、其中i,j的范围是1到9，即9个特征块的下标；ψu为切片损失，即特征块xi取标签yi的负似然对数，用来计算切片xi的预测结果与真实标签之间的损失；而ψp为成对势能，采用了欧氏距离来计算两个特征块xi、xj的预测结果与对应的真实标签之间的联合损失，反映特征块之间的空间相似性，其计算公式为：

21、

22、其中wij是一个可训练权重，控制特征块xi和xj的空间关联强度；n为特征块个数，设置为9。

23、所述步骤s4中，从未进行人工标注的测试集中提取病理图像块，利用densenet模型和网络权重系数对顺序生成的病理图像块进行预测；将图像块的良恶性结果映射到测试集全切片病理图像上，根据图像块良恶性情况生成乳腺癌病灶区域概率热图，实现乳腺癌区域的自动检测。

24、本发明的优点在于：

25、本发明提出了多尺度特征提取模块，利用小尺度感受野提取图像的局部特征，又采用大尺度感受野获取图像全局信息，既增强了语义信息表征能力，又扩展了几何信息表征能力。此外，采用上采样和下采样对多尺度特征完成特征融合，可以在不引入额外参数的情况下保留更多细节。

26、本发明改进了条件随机场，将特征图分割为更小的特征块，利用欧氏距离计算特征块之间的损失，获取乳腺病理图的良恶性概率分布，提高了检测精度和分类准确率。

技术特征：

1.一种基于densenet和条件随机场的多尺度乳腺病理图像分类方法，其特征在于，包括如下步骤：

2.根据权利要求1所述乳腺组织病理图像分类方法，其特征在于，所述步骤s2中，所述阈值分割算法为大津阈值法，并进行形态学闭运算和开运算的操作，得到病理组织区域，使乳腺病理组织和背景二值化。

3.根据权利要求1所述乳腺组织病理图像分类方法，其特征在于，所述步骤s2中，所述对乳腺病理图像切片的具体方法为：在正常病理组织和乳腺癌标注区域内，利用随机生成的策略，生成多个坐标点(x,y),这些坐标点(x,y)包括乳腺癌正样本坐标和正常病理组织负样本坐标；将随机生成的坐标点(x,y)映射到全切片病理图像上，利用坐标点生成768×768病理图像块；然后将切片以7：3的比例构建训练集和验证集。

4.根据权利要求1所述乳腺组织病理图像分类方法，其特征在于，所述步骤s3中，多尺度分类网络模型包含多尺度特征提取模块和分类模块；

5.根据权利要求1所述乳腺组织病理图像分类方法，其特征在于，所述步骤s4中，从未进行人工标注的测试集中提取病理图像块，利用densenet模型和网络权重系数对顺序生成的病理图像块进行预测；将图像块的良恶性结果映射到测试集全切片病理图像上，根据图像块良恶性情况生成全切片病理图中乳腺癌病灶位置，实现乳腺癌区域的自动检测。

技术总结
本发明公开了一种基于DenseNet和条件随机场的乳腺病理图像分类方法，包括以下步骤：首先从数字病理扫描仪中获取乳腺病理全切片图像，根据医生的经验在数据上标记病灶区域；采用阈值分割算法和形态学算法去除不含乳腺组织的区域；利用全切片病理图像和人工标注的病灶区域标签，生成乳腺癌病理图像块，制作训练集和验证集；随后构建多尺度特征提取模块和条件随机场分类模块，建立基于DenseNet和条件随机场为基础架构的多尺度图像分类模型；利用不同尺度的图像训练网络模型，通过条件随机场得到概率分布，预测分类结果；最后测试未标注的乳腺病理全切片图像，生成乳腺癌病灶位置，实现乳腺癌区域的自动检测。

技术研发人员：陈金令,陈杰,林帅,莫琳,陈百合,陆浩,苏妍琳,王一桥,陈宇,刘蓉
受保护的技术使用者：西南石油大学
技术研发日：
技术公布日：2024/1/15