一种利用生成对抗网络来实现肺结节检测的方法

1.本发明涉及医学图像计算机辅助检测，更具体的，涉及一种基于生成对抗网络的肺部ct肺结节检测方法。


背景技术：

2.肺结节的检测是从一组计算机断层扫描(ct)切片中识别出肺结节的准确位置。肺结节检测方法主要分为基于传统手工的检测和基于深度学习的检测方法。其中传统手工的检测框架主要分为四个步骤：预处理、肺分割、结节检测和分类。
3.(1)预处理的目的是通过对输入的肺部ct图像应用不同的滤波器来减少噪声并增强结节状结构。其中中值滤波器，点增强滤波器，对数滤波器和基于直方图均衡化的滤波器在此阶段得到了广泛使用。
4.(2)肺分割主要是通过仅提取肺区域来减少搜索空间，主要采用基于阈值的分割方法。
5.(3)结节检测是主要模块，目的是使用图像处理技术检测潜在的肺结节，包括候选结节和假阳性减少两个步骤。针对结节候选检测的框架有基于阈值、区域、聚类、混合或混合分割算法、偏微分方程、模型、图谱、模板匹配、过滤、特征、概念等方法。在假阳性减少阶段，从检测到的结节候选区域中提取不同的基于强度、基于形态、形状和基于纹理的特征作为特征向量，并将其馈送到分类器以进行真正的结节检测。
6.(4)在分类阶段，肺结节的识别已经在不同的分类器的帮助下完成了，实现最终结果的输出。
7.近年来，由于深度学习方法具有更高的检测和分类精度，已经成为医学成像领域中有价值的工具，大部分工作都选择使用cnn作为肺结节的检测架构。基于cnn的肺结节的检测架构主要可以分为四类：(1)用于实现网络的基本卷积运算类型，例如2
‑
d或3
‑
d或两者相结合来使用；(2)基于进化算法来优化cnn网络参数；(3)基于融合的cnn算法，可以将基于手工艺的特征与基于cnn的提取特征进行组合，以形成最终的特征向量；(4)使用预训练的cnn网络。cnn在一个大型且不同的数据集上进行训练，对最终权重进行微调，然后用于对象检测或分类，这样可以实现更高的分类精度。
8.传统手工的检测方法不仅需要根据经验手工设计模型，选择适当的参数标准，耗费大量的时间，而且扩展性还比较差，对凹形边界的收敛性也较差。基于深度学习的方法解决了传统手工设计复杂，自适应的生成合适的参数，保证了模型的准确性，但是基于cnn的方法需要大量的标记的训练数据，但是并没有大量经过标记的数据集。所有一些人考虑用生成对抗网络来模拟生成肺结节，将这些生成的肺结节参与到训练中来提高cnn网络的分类精度。
9.肺结节是在肺癌患者中发现的肺组织异常，在不同的研究工作中观察到，早期发现肺结节可以提高肺癌患者的5年生存率。所以肺结节检测是肺癌早期诊断和适当治疗计划的重要阶段，但是，肺结节相对较小，有些连医生都难以发现，并且患者数量庞大。随着计
算机的高速发展，计算机辅助诊断(cad)系统可以在更短的时间内更准确的检测出肺结节的位置和大小。


技术实现要素：

10.本发明的目的在于为克服现有技术的不足，提供一种利用生成对抗网络来实现肺结节检测的方法。
11.本发明的技术方案是一种利用生成对抗网络来实现肺结节检测的方法，提出了一个端到端的结节检测框架，将结节候选物筛选和假阳性减少整合到一个模型中，共同训练，具体如下：
12.1)将生成器作为结节候选物筛选模型，做一个初级筛选；再用判别器做一个真假阳性的判别；
13.2)生成器改造为单输入单输出模型，输入为肺部ct图像，通过生成器g1输出为标记肺结节的模板图像，再通过生成器g2得到分割出来的肺结节图像；将判别器输出改造为输入肺结节为真结节的概率；设置合适的损失函数，通过共同训练，达到平衡。
14.本发明生成器g1优先考虑使用u
‑
net网络。
15.本发明判别器中采用vgg19作为骨干网络,从卷积层中删除了多数最大池化，只留下了第一层卷积层。
16.本发明减少到两个完全连接层fc6和fc7,输入是超分辨率图像，并且fc7的输出是输入为真结节的概率。
17.本发明中损失函数的设计,损失函数主要包括三种损失，分别是内容损失、对抗损失和分类损失；
18.内容损失是为了让生成器g1生成的模板与真实模板一致，定义为：
[0019][0020]
其中，i为输入生成器的图像，i
m
为ct图像经过标记的模板；
[0021]
对抗损失是为了将生成器生成的图像判别为假，将真实图像判别为真，定义为：
[0022][0023]
其中，i为输入生成器的图像，i
t
为标记的ct图像经过分割得到的真实的肺结节图像；分类损失是为了使生成器网络重构的图像更容易分类，定义为：
[0024][0025]
其中，当肺结节图像为真阳性，则y＝1；当肺结节图像为假阳性，则y＝0。
[0026]
本发明中具体步骤如下：
[0027]
a、预处理：选用luna16数据集，数据集中包含888张ct，共有36378个肺结节被标出，选出由三位专家标注的1186个结节作为最后要检测的区域；
[0028]
在此阶段，首先将数据集中的ct图像由dicom格式转换为png格式，图像为512
×
512像素；然后采用中值滤波器来增强输入的ct图像；
[0029]
b、肺部区域分割：采用阈值的分割方法，从经过预处理的图像中提取肺区域；
[0030]
c、训练肺结节检测模型；
[0031]
d、肺结节自动检测：得到检测模型后，将患者的ct文件经过预处理和肺部区域分割两个步骤后，输入到生成对抗网络的生成器中，生成器直接输出肺结节标记图像，将标记图像与原ct图像融合，得到最终带有肺结节标记的ct图像，标记信息包括肺结节的位置和大小信息，最终实现用检测模型对患者ct文件进行肺结节自动检测。
[0032]
有益效果
[0033]
利用生成对抗网络来实现肺结节检测的方法是一个端到端的肺结节检测框架，不仅减少了资源的开销，而且通过生成器和判别器相互对抗，进一步优化了检测模型，提高了整体算法的准确性。
附图说明
[0034]
图1为拟议的肺结节检测的生成对抗网络框架，图中展现了生成对抗网络训练和测试的过程。
[0035]
图2生成器网络架构。
[0036]
图3判别器网络架构。
具体实施方式
[0037]
以下结合附图来对本发明作进一步的说明。
[0038]
本发明按下述步骤完成，a、预处理：选用luna16数据集，数据集中包含888张ct，共有36378个肺结节被标出，选出由三位专家标注的1186个结节作为最后要检测的区域。在此阶段，我们首先将数据集中的ct图像由dicom格式转换为png格式，图像为512
×
512像素，然后采用中值滤波器来增强输入的ct图像，从ct图像中删除不需要的噪声像素。b、肺部区域分割：采用阈值的分割方法，从经过预处理的图像中提取肺区域。c、训练肺结节检测模型：由于我们采用端到端的肺结节检测框架，将肺结节检测和降低假阳性率合为一步完成。在该阶段，我们同时训练生成对抗网络中的生成模型和判别模型，使两者展开相互博弈，最后达到一个平衡点，使得生成器生成的标记图像可以直接剔除掉假阳性的肺结节，判别器输出的假阳性概率也可以进一步降低肺结节的假阳性率。d、肺结节自动检测：得到检测模型后，将患者的ct文件经过预处理和肺部区域分割两个步骤后，输入到生成对抗网络的生成器中，生成器直接输出肺结节标记图像，将标记图像与原ct图像融合，得到最终带有肺结节标记的ct图像，标记信息包括肺结节的位置和大小信息。最终实现用检测模型对患者ct文件进行肺结节自动检测。
[0039]
该肺结节检测方案主要是利用生成对抗网络来实现的。现有的大多数深度学习结节检测系统大部分由两个步骤构成：a)结节候选物筛选和b)假阳性减少，使用分别训练的两种不同模型。尽管通常采用两步法，但两步法不仅在训练两个独立的深度学习模型上增加了可观的资源开销，而且阻止了两者之间的串扰。在这项工作中，我们提出了一个端到端的结节检测框架，将结节候选物筛选和假阳性减少整合到一个模型中，共同训练。我们将生成器作为结节候选物筛选模型，做一个初级筛选；再用判别器做一个真假阳性的判别，实现假阳性减少，提高检测效率。为了实现目标，我们对原始的生成对抗网络进行了改进。如图1所示，生成器改造为单输入单输出模型，输入为肺部ct图像，通过生成器g1输出为标记肺结
节的模板图像，生成器g1优先考虑使用u
‑
net网络，保证良好的分割效果；再通过生成器g2得到分割出来的肺结节图像；将判别器输出改造为输入肺结节为真结节的概率。设置合适的损失函数，通过共同训练，达到平衡，提高整体算法的准确性。
[0040]
(一)网络架构的设计
[0041]
生成对抗网络架构可分为生成器和判别器
[0042]
a生成器
[0043]
我们在生成器中采用u
‑
net网络作为骨干网络，由于u
‑
net网络在分割领域的优秀表现。如图2所示。
[0044]
b判别器
[0045]
我们在判别器中采用vgg19作为骨干网络。由于肺结节非常小，为避免对肺结节进行过多的下采样操作，我们从卷积层中删除了多数最大池化，只留下了第一层卷积层。此外，我们减少到两个完全连接层fc6和fc7。输入是超分辨率图像，并且fc7的输出是输入为真结节的概率。如图3所示。
[0046]
(二)损失函数的设计
[0047]
我们的损失函数主要包括三种损失，分别是内容损失、对抗损失和分类损失。
[0048]
内容损失是为了让生成器g1生成的模板与真实模板一致。定义为：
[0049][0050]
其中i为输入生成器的图像，i
m
为ct图像经过标记的模板。
[0051]
对抗损失是为了将生成器生成的图像判别为假，将真实图像判别为真。定义为：
[0052][0053]
其中i为输入生成器的图像，i
t
为标记的ct图像经过分割得到的真实的肺结节图像。
[0054]
分类损失是为了使生成器网络重构的图像更容易分类。定义为：
[0055][0056]
其中当肺结节图像为真阳性，则y＝1；当肺结节图像为假阳性，则y＝0。