一种基于深度学习的乳腺钼靶胸大肌区域分割方法

1.本发明属于图像处理技术领域，具体涉及一种基于深度学习的乳腺钼靶胸大肌区域分割方法。


背景技术：

2.乳腺癌是女性恶性肿瘤之首，当前数字乳腺x线(钼靶)是筛查早期乳腺癌的主要检查手段，早在1976年就有学者提出钼靶影像中的腺体密度可以作为乳腺癌的独立风险因素之一，在后续的研究中相继有学者提出原发及复发性乳腺癌都与患者的腺体密度有着强相关性。精准的提取出钼靶影像中的腺体部分对后续的诊断有着极大的帮助，但是由于胸大肌区域与腺体区域的灰阶度较为相似，通过计算机技术对钼靶影像腺体部分提取时，胸大肌部分对其精度有着较大的影像。正确的分割钼靶影像中胸大肌部分对乳腺腺体含量估计以及患者患乳腺癌风险的预测有着重要意义。
3.现阶段去除钼靶图像中胸大肌区域较为常见的有以下两种方法：一种是基于传统图像特征提取的方法，通过灰度变化、边缘检测、灰度共生矩阵等方法提取出胸肌和脂肪间隙两者之间的特征，通过两者特征之间的差异找出胸肌边界；另一种方法则是使用机器学习的方法结合钼靶图像中像素点特征构建机器学习模型，从而进行模型的预测得到胸肌区域，如k均值聚类、支持向量机(svm)和模糊k均值聚类法。但这两类方法存在如下缺陷：由于钼靶图像分辨率较高，无效信息含量较多的特点，机器学习进行目标预测时，在精度达标的同时，其计算机资源消耗较高，且速度较慢；由于不同种类乳腺含量不同，脂肪间隙常包含部分腺体、不同钼靶机及医生拍摄时造成的差异。在这些特殊情况下，传统图像算法耗时较慢，且最终处理的效果不太理想。


技术实现要素：

4.本发明的目的在于针对上述问题，提出一种基于深度学习的乳腺钼靶胸大肌区域分割方法，可提高钼靶影像去除胸肌部分的效率及腺体含量计算精准度，为患者患乳腺癌风险的预测提供更好的依据。
5.为实现上述目的，本发明所采取的技术方案为：
6.本发明提出的一种基于深度学习的乳腺钼靶胸大肌区域分割方法，包括如下步骤：
7.s1、获取原始乳腺钼靶图像并进行预处理，预处理具体如下：
8.s11、将原始乳腺钼靶图像进行格式转换；
9.s12、基于最大轮廓检测算法对格式转换后的图像进行拍摄信息标签去除；
10.s13、基于gamma校正对去除拍摄信息标签后的图像进行胸大肌区域特征增强；
11.s14、利用labelme软件勾画gamma校正后的图像的胸大肌区域生成json文件；
12.s15、将json文件转换为掩膜图像，标记胸大肌区域像素值为1，其余区域像素值为0；
13.s2、利用数据增强算法将对应的去除拍摄信息标签后的图像和掩膜图像分别进行扩充，将扩充后的图像归为数据集；
14.s3、建立deeplabv3模型并利用数据集进行模型训练；
15.s4、将待识别乳腺钼靶图像依次进行格式转换、去除拍摄信息标签和gamma校正，获得第一乳腺钼靶图像；
16.s5、采用训练好的deeplabv3模型对第一乳腺钼靶图像中胸大肌区域进行预测，输出预测特征图，并将预测特征图重构尺寸为经过格式转换后的待识别乳腺钼靶图像的尺寸；
17.s6、将经过格式转换后的待识别乳腺钼靶图像和重构后的预测特征图进行相乘操作，获得去除胸大肌后的目标乳腺钼靶图像。
18.优选地，格式转换为将dicom格式转换为png格式，掩膜图像为png格式。
19.优选地，利用数据增强算法将对应的去除拍摄信息标签后的图像和掩膜图像分别进行扩充，具体如下：
20.s21、将对应的去除拍摄信息标签后的图像和掩膜图像分别进行n种gamma值的gamma校正；
21.s22、将校正前后的图像均进行水平翻转，获得扩充后的图像，扩充后的图像包括校正前后的图像和水平翻转后的图像。
22.优选地，步骤s21中，n＝4，gama值分别为0.43、0.51、0.55和0.68。
23.优选地，将扩充后的图像归为数据集前还将扩充后的图像重构为相同尺寸。
24.优选地，利用数据集进行模型训练采用cross entropy loss和dice loss作为总损失函数。
25.与现有技术相比，本发明的有益效果为：
26.1)该方法采用深度学习deeplabv3语义分割模型，并使用cross entropy loss和dice loss作为总损失函数，与传统的语义分割模型常用的entropy loss或softmax loss相比，dice loss计算了人工勾画与模型预测掩膜图像的相似度，使语义分割模型的loss函数计算更加严谨准确；
27.2)该方法与传统图像和机器学习去除胸大肌区域的算法相比，在算法中省去了复杂的特征提取部分，而且通过本技术所提出的图像，经过预处理工作后所训练的模型适用于不同种类和各种特殊情况下的胸肌区域分割，同时本技术分割钼靶胸肌区域所使用的时间是传统算法的1/7倍，是机器学习算法的1/25倍，解决了背景技术中所提到的效率问题和现实当中特殊情况下的钼靶图像中胸肌区域分割的问题，进一步提高了钼靶影像去除胸肌部分的效率及腺体含量计算时的精准度，为患者患乳腺癌风险的预测提供更好的依据。
附图说明
28.图1为本发明基于深度学习的乳腺钼靶胸大肌区域分割方法流程图；
29.图2为本发明步骤s12中去除拍摄信息标签前后的对比图；
30.图3为本发明步骤s21中gamma校正前后的对比图；
31.图4为本发明步骤s2中数据增强扩充结果图；
32.图5为本发明步骤s3中模型第一次训练及模型超参数调优后使用迁移学习的批次
和损失结果图；
33.图6为本发明步骤s6中目标乳腺钼靶图像结果图。
具体实施方式
34.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
35.需要说明的是，除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中在本技术的说明书中所使用的术语只是为了描述具体的实施例的目的，不是在于限制本技术。
36.如图1-6所示，一种基于深度学习的乳腺钼靶胸大肌区域分割方法，包括如下步骤：
37.s1、获取原始乳腺钼靶图像并进行预处理，预处理具体如下：
38.s11、将原始乳腺钼靶图像进行格式转换；
39.s12、基于最大轮廓检测算法对格式转换后的图像进行拍摄信息标签去除；
40.s13、基于gamma校正对去除拍摄信息标签后的图像进行胸大肌区域特征增强；
41.s14、利用labelme软件勾画gamma校正后的图像的胸大肌区域生成json文件；
42.s15、将json文件转换为掩膜图像，标记胸大肌区域像素值为1，其余区域像素值为0。
43.在一实施例中，格式转换为将dicom格式转换为png格式，掩膜图像为png格式。
44.其中，预处理包括依次将原始乳腺钼靶图像进行格式转换、最大轮廓算法、gamma校正(伽马校正)、胸肌区域勾画和掩膜图像转换。格式转换为将dicom格式转换为png格式(像素值区域为0～255)，获得原始png钼靶图像。在png图像中使用最大轮廓检测算法寻找最大轮廓区域(乳房)，将最大轮廓区域与png图像相乘，去除图像上的拍摄信息标签(如医院、时间等信息)。使用伽马校正对不同种类腺体的钼靶图像进行胸肌区域特征增强，即增强胸肌边界及脂肪间隙之间的特征。医生使用labelme软件对胸大肌区域进行精准勾画，得到胸大肌区域json文件；通过json转换算法将json文件转换为胸大肌区域掩膜图像(胸大肌区域像素值为1，其余为背景区域，像素值为0)。通过预处理去除原始乳腺钼靶图像中的干扰部分、增强数据特征以及勾画胸大肌影部分，为deeplabv3模型训练提供了有效、精准的数据。
45.s2、利用数据增强算法将对应的去除拍摄信息标签后的图像和掩膜图像分别进行扩充，将扩充后的图像归为数据集。
46.在一实施例中，利用数据增强算法将对应的去除拍摄信息标签后的图像和掩膜图像分别进行扩充，具体如下：
47.s21、将对应的去除拍摄信息标签后的图像和掩膜图像分别进行n种gamma值的gamma校正；
48.s22、将校正前后的图像均进行水平翻转，获得扩充后的图像，扩充后的图像包括校正前后的图像和水平翻转后的图像。
49.在一实施例中，步骤s21中，n＝4，gama值分别为0.43、0.51、0.55和0.68。
50.在一实施例中，将扩充后的图像归为数据集前还将扩充后的图像重构为相同尺寸。
51.其中，由于乳腺钼靶侧斜位中胸大肌的位置及角度也作为一种特征，所以根据其胸大肌位置特点，将数据集只进行左右翻转操作进行数据扩充。如图3所示，为使用四种gamma值0.43、0.51、0.55和0.68分别对四种去除拍摄信息标签后的图像(acr-a、acr-b、acr-c、acr-d)进行胸大肌区域增强，弱化脂肪间隙区域。如图4所示，为对同一去除拍摄信息标签后的图像进行胸大肌区域增强，根据钼靶胸大肌区域特征，对去除拍摄信息标签后的图像(记为原始数据)进行gamma校正(如使用四种gamma值0.43、0.51、0.55和0.68分别校正)、水平翻转，根据乳腺腺体进行gamma矫正的4个矫正值，对上述水平翻转后的数据进行4次数据扩充，并对去除拍摄信息标签后的图像也进行水平翻转扩充，将数据扩充至原始数据量的10倍，其所对应的掩膜图像可进行相同处理进行数据扩充，扩充数据集可为deeplabv3模型训练提供了有效、精准、大量的数据。将扩充后的图像重构至图像大小为512x512的单通道图像，将图像统一尺寸并进行压缩，便于输入后续所构建的deeplabv3深度学习模型中进行训练。
52.s3、建立deeplabv3模型并利用数据集进行模型训练。
53.在一实施例中，利用数据集进行模型训练采用cross entropy loss和dice loss作为总损失函数。
54.其中，将扩充后的图像形成的数据集按照8:1:1的比例划分为训练集(train)、验证集(validation)和测试集(test)进行模型训练，模型训练采用cross entropy loss和dice loss作为总损失函数，保存每一轮训练的权重文件，每训练一个批次结束后，使用验证集对该批次的模型泛化性能进行验证，根据训练的总损失以及验证集上的损失值进行学习率的调整，待所有批次训练完成后使用测试集验证模型最终的泛化性能；训练完成后根据模型和数据的特点对模型的超参数调整，最终保存总损失及验证集损失最小批次的权重文件作为最终模型权重参数。
55.具体地，使用pytorch深度学习框架构建deeplabv3语义分割模型，添加cross entropy loss和dice loss两种损失作为损失函数，使用adam优化器对模型进行优化，其初始学习率为0.0005，并设置在训练中，若本次的总损失大于等于前一次的总损失，则自动下降学习率，反之则不变；将图像送入所构建的deeplabv3深度学习模型中进行训练400个epochs，设置batch size为32，设置保存每一轮训练后得到的模型参数，并命名为训练批次_totalloss_总损失值_valloss_验证集损失值，同时设置早停机制，若验证集上的准确率在10次连续训练的过程中不再变化，则停止训练默认模型找到最优解。如首先使用扩充后的数据让模型训练200个epochs，其中添加早停机制(若验证集上的准确率在10次连续训练的过程中不再变化，则停止训练默认模型找到最优解)；使用迁移学习将第一次训练的权重参数对模型进行初始化，并添加学习率自动衰减机制(若本次的总损失大于等于前一次的总损失，则自动下降学习率，反之则不变)对调优后得模型进行二次训练。由图5可知，通过超参数及模型调整后的模型训练集和验证集损失值将至0.01以下，模型泛化性能达到最优，完成训练。
56.s4、将待识别乳腺钼靶图像依次进行格式转换、去除拍摄信息标签和gamma校正，
获得第一乳腺钼靶图像。
57.其中，将待识别乳腺钼靶图像进行处理，如格式转换为将dicom格式转换为png格式(像素值区域为0～255)。在png图像中使用最大轮廓检测算法寻找最大轮廓区域(乳房)，去除图像上的拍摄信息标签(如医院、时间等信息)。使用伽马校正对不同种类腺体的钼靶图像进行胸肌区域特征增强，即增强胸肌边界及脂肪间隙之间的特征，获得第一乳腺钼靶图像。再将第一乳腺钼靶图像的尺寸重构为512x512的单通道图像后，送入deeplabv3模型进行预测。
58.s5、采用训练好的deeplabv3模型对第一乳腺钼靶图像中胸大肌区域进行预测，输出预测特征图，并将预测特征图重构尺寸为经过格式转换后的待识别乳腺钼靶图像的尺寸。
59.其中，deeplabv3模型在预测过程中按照概率值对图像各像素点进行上色，如采用二分类，存在两种概率，如使用numpy科学工具包的argmax()函数提取出所对应的区域并上色，以概率大的位置为胸大肌区域，上色为255，概率小的位置为背景区域，上色为0，获得预测特征图，即分割后的胸大肌掩膜图像。
60.s6、将经过格式转换后的待识别乳腺钼靶图像和重构后的预测特征图进行相乘操作，获得去除胸大肌后的目标乳腺钼靶图像。如图6所示，左侧上图为待识别原始png钼靶图像(即经过格式转换后的待识别乳腺钼靶图像，为png格式)，左侧下图为对应的重构后的预测特征图，右图为进行相乘操作后获得的目标乳腺钼靶图像，图中灰色底色仅用便于区分各图像边界，避免图像白色区域与图纸白色背景混合，或还可采用虚线区分图像边界。
61.以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
62.以上所述实施例仅表达了本技术描述较为具体和详细的实施例，但并不能因此而理解为对申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。