基于深度对抗网络的带边界标注信息乳腺肿块图生成方法与流程

本发明涉及医学影像处理算法领域，更具体地，涉及一种基于深度对抗网络的带边界标注信息乳腺肿块图生成方法。

背景技术：

乳腺癌是女性中最常见的癌症之一，也是导致女性癌症死亡的最主要原因，而乳腺癌筛查是降低乳腺癌死亡率的主要途径，尤其是乳腺钼靶摄影检查。随着深度学习的快速发展，在乳腺钼靶图片研究中，基于视觉感知的计算机辅助诊断技术取得突破性进展，但是该类方法需要大量数据和边界标注信息。然而，从实际场景中收集和标注大规模的含有病灶的乳腺钼靶数据集具有局限性。一方面，乳腺钼靶图片的标注需要医学专家的特定领域知识，而且标注大规模多样性的乳腺钼靶图片的过程具有耗时费力、人工标注不可靠等缺点；另一方面，乳腺钼靶图片数据集具有类别不平衡性的特点，即不含病灶的乳腺钼靶图片的数量要远远多于含病灶的乳腺钼靶图片的数量，这进一步加剧了深度学习模型训练的困难性。因此通过利用计算机图形学、深度学习、虚拟现实等技术合成大规模多样性带有标注信息的乳腺钼靶图片已经成为工程实践中亟待解决的问题。

对于乳腺钼靶图片的合成，当前大多数研究工作主要集中在对乳腺肿块病变的生成，而由于肿块在形状、边缘、密度、大小等方面的巨大变化，当前的乳腺肿块生成方法存在着许多不足。pezeshka等人于2016年发表在medicalimaging2016:computer-aideddiagnosis上的论文“seamlesslesioninsertionindigitalmammography:methodologyandreaderstudy”，通过改变肿块形状、对比度和位置的分布以及创建新的病变背景组合来扩展给定的数据集，但是该方法需要大量的人工的干预，耗时费力，不适用于合成大规模的乳腺钼靶数据集。wue等人于2018年发表在imageanalysisformovingorgan,breast,andthoracicimages上的论文“conditionalinfillinggansfordataaugmentationinmammogramclassification”，通过利用条件生成对抗网络将肿块病变融合到健康的乳腺钼靶图片中，并提升了分类器的性能，但是该方法没有充分考虑到肿块的形状、大小、边缘等病理信息。beckeras等人于2018年发表在arxivpreprintarxiv:1811.07767上的论文“injectingandremovingmalignantfeaturesinmammographywithcyclegan:investigationofanautomatedadversarialattackusingneuralnetworks”，通过风格转换技术在健康的乳腺钼靶图片上注入恶性肿块，并且能够误导放射科医生的诊断，但是该方法生成的乳腺钼靶图片不带有肿块的边界标注信息。

技术实现要素：

本发明提供一种基于深度对抗网络的带边界标注信息乳腺肿块图生成方法，该方法有效解决了医疗图像数据有限且难以标注的问题。

为了达到上述技术效果，本发明的技术方案如下：

一种基于深度对抗网络的带边界标注信息乳腺肿块图生成方法，包括以下步骤：

s1：利用乳腺钼靶数据集中所有含有肿块病变的乳腺钼靶图片以及对应的肿块标注图片，分别提取肿块图片和肿块分割图片，并将提取的图片缩放到统一尺寸；

s2：利用步骤s1提取的图片，根据肿块的形状、大小、边缘、密度来设计肿块图片生成器g2，使该生成器能够生成高质量的多样性丰富的肿块图片；

s3：利用肿块分割图片，设计肿块分割图片生成器g1来模拟肿块分割区域的形状和大小，并生成无限多的肿块分割图片；

s4：利用步骤s3生成的肿块分割图片，模拟其对应于健康乳腺钼靶图片上的位置，并生成肿块标注图片，重复步骤s1中的操作得到提取的健康乳腺组织图片和肿块分割图片；

s5：利用步骤s2设计的肿块图片生成器g2在步骤s4中提取到的健康乳腺组织图片上生成肿块，并把生成的肿块还原到健康乳腺钼靶图片的原始位置。

进一步地，所述步骤s1的具体过程是：

s11：根据肿块标注图片，查找肿块分割区域轮廓，返回矩形边界框坐标(x,y,w,h)；

s12：取w和h的最大值作为边界框的长和宽；

s13：对正方形边界框向外扩充100个像素值，提取该区域并且记下新的坐标位置(x',y',w',h')；

s14：根据坐标(x',y',w',h')，提取肿块；

s15：把提取的肿块分割图片和肿块图片缩放到256×256。

进一步地，所述步骤s2中，所述肿块图片生成器采用深度u-net网络结构进行设计，生成器的输入为三通道图像，输出为生成的灰度肿块图像，生成器的目标损失函数由对抗损失和特征匹配损失组成；所述u-net网络结构包括下采样和上采样两个过程：下采样是一系列卷积加池化操作，每经过一个池化层就有一个不同尺度的特征层，这也是对输入图像进行特征提取的过程；上采样是一系列反卷积操作，每上采样一次，就和特征提取部分对应的通道数相同的特征层进行融合；u-net在图像生成过程中融入了不同尺度和级别的特征信息，使生成的肿块图片非常逼真。

进一步地，所述三通道图像的第一个通道是一个具有随机噪声填充区域的乳腺组织，该噪声服从于均匀分布，第二个通道是肿块分割区域，第三个通道是肿块边缘分割区域；生成器根据输入的第二和第三个通道，分别专注学习生成肿块本身，包括形状、大小、密度和肿块的边缘结构，同时两个通道也限制了在第一个通道上的生成位置；三通道图像的生成过程具体包括以下步骤：

s21，把原始的256×256大小的肿块分割图片记为raw256，将其放大到296×296，然后把放大后的图片进行中心剪裁，剪裁的结果是256×256大小的新的肿块分割图片，记为crop256；

s22，根据crop256的肿块分割区域轮廓，在提取的肿块组织上生成服从均匀分布的随机噪声，记为noise256；

s23，对crop256和raw256执行图片减操作，即像素值相减，得到肿块的边缘分割图片，记为margin256；

s24，通过对noise256、raw256、margin256三个灰度图像进行拼接操作，即可得到生成器的三通道输入图像，其分辨率大小为256×256×3。

进一步地，所述目标损失函数表示如下：

式中，g表示生成器，d表示判别器，第一项表示对抗损失，第二项为特征匹配损失，λ用于平衡对抗损失和特征匹配损失对整体损失的贡献。

进一步地，所述对抗损失中，利用基于图像块的判别损失使生成器对图像的局部高频信息进行建模，对抗损失函数可以表示如下：

式中，x为三通道输入图像，r为真实肿块图像，g(x)代表生成器生成的肿块图像。

进一步地，所述特征匹配损失能够使生成器对肿块图像的全局低频特征进行建模，假设用{φl}表示vgg-19卷积神经网络φ的不同卷积层的集合，特征匹配损失函数被定义如下：

式中，θ表示生成器的网络参数，φ0表示恒等映射，r代表真实的目标图像，x表示输入的标签，g(x,θ)代表生成的图像，超参数λl平衡每一层对特征损失的贡献；

对于φl，l≥1，使用了vgg-19网络中的“conv1_2”、“conv2_2”、“conv3_2”、“conv4_2”和“conv5_2”五个卷积激活层，超参数{λl}是被自动设置的，并被初始化为每个层中元素数量的倒数。

进一步地，步骤s3中，所述肿块分割图片生成器采用深度卷积生成对抗网络dcgan进行实现，其输入是一个服从于均匀分布的128维向量z，输出是256×256大小的肿块分割图片；dcgan能够单纯的学习肿块分割区域的形状和大小，从而连续不断地根据噪声生成大规模多样性的高分辨率肿块分割图像。

进一步地，所述步骤s4中，所述肿块标注图片的生成具体包括以下步骤：

s41：模拟真实肿块分割区域的大小：首先计算从数据集中提取的全部未经缩放的肿块分割图片高度的均值和方差；然后利用高斯分布函数生成大量的新的图片高度值；最后利用这些模拟的宽度或高度值对生成的肿块分割图片进行缩放；

s42：模拟肿块在健康乳腺钼靶图片上的位置：首先对所有的乳腺钼靶图片做翻转处理，使乳房都在图片的同一侧；假设w是乳腺钼靶图片的宽度，h是乳腺钼靶图片的高度，生成一张分辨率为w×h、像素值全为0的灰度图像，记为imageanno；然后使用均匀分布函数来选取生成的肿块分割图片对应于正常乳腺钼靶图片上的横坐标和纵坐标，其中横坐标x～u(w/10,w/2)，纵坐标y～u(h/4,3×h/4)，最后根据坐标(x,y)，把肿块分割标签复原到图片imageanno上。

进一步地，所述步骤s5中，所述把生成的肿块还原到健康乳腺钼靶图片的原始位置是步骤s1中肿块提取操作的逆过程。

与现有技术相比，本发明技术方案的有益效果是：

本发明在专注于肿块生成的同时，增加了肿块的边缘信息描述，使生成的肿块更加逼真；从肿块的大小和形状的角度设计肿块分割图片生成器，使生成的肿块更加丰富多样；在大量的健康乳腺钼靶图片上生成了带有标注信息的肿块，并且在肿块的边缘、形状、大小和位置方面都产生了多样性。所述方法具有简单高效、鲁棒性强等优点，作为一种数据增强方式，能够胜任不同的目标场景。本发明克服了现有肿块生成方法的不足，充分利用了肿块的病理信息来生成肿块，有效解决了医疗图像数据有限且难以标注的问题，大力推动现有人工智能乳腺辅助诊断的研究，具有重大临床意义与实际应用价值。

附图说明

图1为本发明方法流程图；

图2为肿块分割图片和肿块图片的提取过程；

图3为生成的肿块图片样例；

图4为真实的肿块图片样例；

图5为生成的肿块分割图片示例；

图6为在健康乳腺钼靶图片上的肿块生成结果以及对应的肿块标注图片。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

如图1所示，本发明提供了一种基于深度对抗网络的带边界标注信息乳腺肿块图生成方法，本发明实施例具体实施步骤如下：

步骤1，利用乳腺钼靶数据集中所有含有肿块病变的乳腺钼靶图片以及对应的肿块标注图片，分别提取肿块图片和肿块分割图片，并将提取的图片缩放到统一尺寸；

乳腺钼靶数据集来自于公开的ddsm(digitaldatabaseforscreeningmammography)数据集的一部分，包括含有肿块的乳腺钼靶图片及对应的肿块标注图片各765张，还有2800张健康的乳腺钼靶图片。由于在ddsm数据集中很多乳腺钼靶图像上都存在磁带标记和白色噪音，需要通过图像处理程序和手动方法对这些背景干扰信息进行去除。

肿块和肿块分割图片的提取具体包括以下步骤：

步骤11，根据肿块标注图片，查找肿块分割区域轮廓，返回矩形边界框坐标(x,y,w,h)；

步骤12，取w和h的最大值作为边界框的长和宽；

步骤13，对正方形边界框向外扩充100个像素值，提取该区域并且记下新的坐标位置(x',y',w',h')；

步骤14，根据坐标(x',y',w',h')，提取肿块；

步骤15，把提取的肿块分割图片和肿块图片缩放到256×256。

肿块分割图片和肿块图片提取的过程如图2所示。

步骤2，利用步骤1提取的图片，根据肿块的形状、大小、边缘、密度来设计肿块图片生成器g2，使该生成器能够生成高质量的多样性丰富的肿块图片；

肿块图片生成器采用深度u-net网络结构进行设计，生成器的输入为三通道图像，输出为生成的灰度肿块图像，生成器的目标损失函数由对抗损失和特征匹配损失组成。

u-net网络结构包括下采样和上采样两个过程：下采样是一系列卷积加池化操作，每经过一个池化层就有一个不同尺度的特征层，这也是对输入图像进行特征提取的过程；上采样是一系列反卷积(deconvolution)操作，每上采样一次，就和特征提取部分对应的通道数相同的特征层进行融合。u-net在图像生成过程中融入了不同尺度和级别的特征信息，能够使生成的肿块图片非常逼真，一些肿块生成样例如图3所示，作为对比，图4显示了真实的肿块示例。

三通道图像的第一个通道是一个具有随机噪声填充区域的乳腺组织，该噪声服从于均匀分布，第二个通道是肿块分割区域，第三个通道是肿块边缘分割区域。生成器根据输入的第二和第三个通道，分别专注学习生成肿块本身(包括形状、大小、密度)和肿块的边缘结构，同时两个通道也限制了在第一个通道上的生成位置。三通道图像的生成过程具体包括以下步骤：

步骤21，把原始的256×256大小的肿块分割图片记为raw256，将其放大到296×296，然后把放大后的图片进行中心剪裁，剪裁的结果是256×256大小的新的肿块分割图片，记为crop256；

步骤22，根据crop256的肿块分割区域轮廓，在提取的肿块组织上生成服从均匀分布的随机噪声，记为noise256；

步骤23，对crop256和raw256执行图片减操作，即像素值相减，得到肿块的边缘分割图片，记为margin256；

步骤24，通过对noise256、raw256、margin256三个灰度图像进行拼接操作，即可得到生成器的三通道输入图像，其分辨率大小为256×256×3。

目标损失函数表示如下：

式中，g表示生成器，d表示判别器，第一项表示对抗损失，第二项为特征匹配损失，λ用于平衡对抗损失和特征匹配损失对整体损失的贡献。

对抗损失中，利用基于图像块的判别损失使生成器对图像的局部高频信息进行建模，对抗损失函数可以表示如下：

式中，x为三通道输入图像，r为真实肿块图像，g(x)代表生成器生成的肿块图像。

特征匹配损失能够使生成器对肿块图像的全局低频特征进行建模，假设用{φl}表示vgg-19卷积神经网络φ的不同卷积层的集合，特征匹配损失函数被定义如下：

式中，θ表示生成器的网络参数，φ0表示恒等映射，r代表真实的目标图像，x表示输入的标签，g(x,θ)代表生成的图像，超参数λl平衡每一层对特征损失的贡献。

对于φl，l≥1，使用了vgg-19网络中的“conv1_2”、“conv2_2”、“conv3_2”、“conv4_2”和“conv5_2”五个卷积激活层，超参数{λl}是被自动设置的，并被初始化为每个层中元素数量的倒数。

步骤3，利用肿块分割图片，设计肿块分割图片生成器g1来模拟肿块分割区域的形状和大小，并生成无限多的肿块分割图片；

肿块分割图片生成器采用深度卷积生成对抗网络dcgan进行实现，其输入是一个服从于均匀分布的128维向量z，输出是256×256大小的肿块分割图片。dcgan能够单纯的学习肿块分割区域的形状和大小，从而连续不断地根据噪声生成大规模多样性的高分辨率肿块分割图像，一些生成的肿块分割图片示例如图5所示。

步骤4，利用步骤3生成的肿块分割图片，模拟其对应于健康乳腺钼靶图片上的位置，并生成肿块标注图片，重复步骤1中的操作得到提取的健康乳腺组织图片和肿块分割图片；

肿块标注图片的生成具体包括以下步骤：

步骤41，模拟真实肿块分割区域的大小：首先计算从数据集中提取的全部未经缩放的肿块分割图片高度的均值和方差；然后利用高斯分布函数生成大量的新的图片高度值；最后利用这些模拟的宽度或高度值对生成的肿块分割图片进行缩放。

步骤42，模拟肿块在健康乳腺钼靶图片上的位置：首先对所有的乳腺钼靶图片做翻转处理，使乳房都在图片的同一侧；假设w是乳腺钼靶图片的宽度，h是乳腺钼靶图片的高度，生成一张分辨率为w×h、像素值全为0的灰度图像，记为imageanno；然后使用均匀分布函数来选取生成的肿块分割图片对应于正常乳腺钼靶图片上的横坐标和纵坐标，其中横坐标x～u(w/10,w/2)，纵坐标y～u(h/4,3×h/4)，最后根据坐标(x,y)，把肿块分割标签复原到图片imageanno上。

步骤5，利用步骤2设计的肿块图片生成器g2在步骤4中提取到的健康乳腺组织图片上生成肿块，并把生成的肿块还原到健康乳腺钼靶图片的原始位置。

把生成的肿块还原到健康乳腺钼靶图片的原始位置是步骤1中肿块提取操作的逆过程。图6显示在健康乳腺钼靶图片上的肿块生成结果以及对应的肿块标注图片。

相同或相似的标号对应相同或相似的部件；

附图中描述位置关系的用于仅用于示例性说明，不能理解为对本专利的限制；

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。