一种基于生成对抗网络的有限角CT重建去伪影的方法与流程

本发明涉及一种基于生成对抗网络的有限角ct重建去伪影的方法，属于医学图像处理
技术领域：
。
背景技术：
：计算机断层扫描(ct，computedtomography)在临床诊断中发挥着越来越重要的作用。然而在ct的实际应用中，物理采集的局限性导致某些数据区域无法采样。有限角度ct能够对患者进行快速扫描，虽然减小了x射线剂量，减轻了对身体的危害，但是成像效果没有完全角度的投影出众。为了减少对人体健康的危害，临床诊断中应严格控制x线剂量。目前，包括通用电气、东芝和飞利浦在内的主要制造商都在致力于临床上更低剂量的研究。一般情况下，减小管电流(或电压)和投影数可以满足低剂量ct的要求。采用有限角度的ct扫描轨迹对患者进行检查，可以减少投影数。然而，有限角度ct重建由于缺乏足够的投影而导致重建图像块伪影增加，导致图像质量下降。近来已经出现了很多用于有限角度ct重建的技术。candes等人提出的压缩感知(cs，compressedsensing)理论已经证明，可以使用远低于奈奎斯特采样速率的数据来精确地恢复原始信号。在cs理论的基础上，sidky等人提出了基于图像总变差(tv，totalvariation)的最小化约束的代数重建方法(art，algebrareconstructiontechnique，)，该约束被称为art-tv算法。实验表明，该算法在有限角ct重建中得到了令人满意的结果，但如果投影角度太小，重建图像依然会出现块伪影。实际上，图像的更为直接的先验信息来自于图像本身，所以chen等人提出了先验图像约束压缩感知算法(piccs，priorimageconstrainedcompressedsensing)。当图像与待重建图像相似时，piccs算法可以较好地重建图像，但当两幅图像存在明显差异时，先验图像的伪结构信息引入重建图像中，从而降低了图像质量。技术实现要素：本发明所要解决的技术问题是，提供一种处理效果更好的用于去除有限角ct图像中块状伪影的方法。为解决上述技术问题，本发明采用的技术方案为：一种基于生成对抗网络的有限角ct重建去伪影的方法，包括以下步骤：将完全角度ct图像在[45.5°，135.5°]角度范围内进行降采样、滤波反投影处理，得到有限角ct图像，将完全角度ct图像与所述有限角ct图像拼接，将若干拼接图像作为数据样本，分为训练集和测试集；基于wgan-gp网络模型，该模型包括生成器和判别器，分别构建所述生成器和所述判别器的深度神经网络结构；将训练集送入wgan-gp网络模型中训练，将测试集数据送入训练好的模型中进行测试；将待处理图像送入训练好的模型中以输出清晰的有限角ct重建图像。进一步的，所述生成器网络结构依次包括输入层、若干层由卷积层、实例标准化(instancenorm)和激励层构成的网络层、若干层由卷积层、实例标准化和激励层构成的残差块(resblock)、若干层由反卷积层、实例标准化和激励层构成的网络层、卷积层、激励层以及输出层，其中输入层与输出层之间还增加有直连(shortcut)连接。进一步的，所述判别器网络结构依次包括输入层、由卷积层、激励层构成的网络层、由卷积层、批归一化(bn)和激励层构成的网络层、若干层由卷积层、激励层和批归一化构成的网络层、全连接层、激励层、全连接层以及输出层。进一步的，所述生成器输入层与输出层之间的网络结构如下：第一层为卷积层、实例标准化和线性整流函数(relu)构成的网络层，卷积层由64个7*7*1的卷积核组成；第二层为卷积层、实例标准化和线性整流函数构成的网络层，卷积层由128个3*3*2的卷积核组成；第三层为卷积层、实例标准化和线性整流函数构成的网络层，卷积层由256个3*3*2的卷积核组成；第四层至第十二层均为残差块，每层依次包括大小为3*3*1*256的卷积块、实例标准化、线性整流函数、大小为3*3*1*256的卷积块以及实例标准化；第十三层为反卷积层(convtranspose)、实例标准化和线性整流函数构成的网络层，其中反卷积层的卷积核参数为3*3*2，深度为128；第十四层为反卷积层实例标准化和线性整流函数构成的网络层，其中反卷积层的卷积核参数为3*3*2，深度为64；第十五层为一个尺寸为7*7*1、深度为64的卷积层；第十六层为双曲正切(tanh)激励层。进一步的，所述判别器输入层与输出层之间的网络结构如下：第一层为卷积层和带泄露线性整流函数(leakyrelu)构成的网络层，卷积层由64个3*3*1的卷积核组成；第二层为卷积层、批归一化和带泄露线性整流函数构成的网络层，卷积层由64个3*3*2的卷积核组成；第三层为卷积层、带泄露线性整流函数和批归一化组成的网络层，卷积层由128个3*3*1的卷积核组成；第四层为卷积层、带泄露线性整流函数和批归一化组成的网络层，卷积层由128个3*3*2的卷积核组成；第五层为卷积层、带泄露线性整流函数和批归一化组成的网络层，卷积层由256个3*3*1的卷积核组成；第六层为卷积层、带泄露线性整流函数和批归一化组成的网络层，卷积层由256个3*3*2的卷积核组成；第七层为卷积层、带泄露线性整流函数和批归一化组成的网络层，卷积层由512个3*3*1的卷积核组成；第八层为卷积层、带泄露线性整流函数和批归一化组成的网络层，卷积层由512个3*3*2的卷积核组成；第九层为全连接层(dense)，维度为1024；第十层为带泄露线性整流函数激励层；第十一层为全连接层，维度为1，判断是来自于生成图像还是真实图像。进一步的，所述网络模型采用的损失函数由内容损失函数和对抗损失函数加权组成，所述内容损失函数为：所述对抗损失函数为：所述损失函数总和为：ltotal＝lcontent+λladv，其中，φi,j：经过激励函数但是还未经过第i-thmax-polling前的第j-thcnn特征图；wi,jhi,j：特征图的尺寸大小；ib：有限角度ct重建前的图像；is：有限角度ct重建后的图像；θg：生成器的网络参数；θd：判别器的网络参数；n：实验数据总数，λ为平衡系数。进一步的，所述wgan-gp网络模型采用adam优化算法。本发明所达到的有益效果：本发明基于wgan-gp构建的网络模型用于去除有限角ct图像中块状伪影的方法相比现有技术去除效果更好，同时能较好的保留细节以及边缘信息。附图说明图1是生成对抗网络结构示意图；图2是实施例中生成器网络结构示意图；图3是实施例中判别器网络结构示意图；图4是不同处理方法图像对比结果，上下行为分别为两张ct图像的对比效果组图，对比效果组图从左到右依次为：fbp重建后的图像，art算法重建后的图像，实施例网络模型重建后图像，完全角度ct图像(即原始清晰图像)。具体实施方式下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。一种基于生成对抗网络的有限角ct重建去伪影的方法，包括以下步骤：将完全角度ct图像在[45.5°，135.5°]角度范围内进行降采样、滤波反投影处理，得到有限角ct图像，将完全角度ct图像与所述有限角ct图像拼接，将若干拼接图像作为数据样本，分为训练集和测试集；基于wgan-gp网络模型，该模型包括生成器和判别器，分别构建所述生成器和所述判别器的深度神经网络结构；将训练集送入wgan-gp网络模型中训练，将测试集数据送入训练好的模型中进行测试；将待处理图像送入训练好的模型中以输出清晰的有限角ct重建图像。实施例(1)数据采集与处理实验的数据由某医学图像公司提供。实验的数据共有1500张，尺寸大小为512x512，如果不是这种尺寸，需将其缩放成此尺寸。其中1200张数据作为训练集，300张作为测试集，我们将这部分图像数据再拷贝一份，并将其在[45.5°，135.5°]角度范围内进行降采样，然后用matlab进行滤波反投影(fbp)，得到的图像数据称为有限角ct图像，这种做法的作用是模拟临床上低剂量x射线对人体的ct检测效果。有限角ct图像带有块状伪影，模糊不清，在临床上不利于医生的诊断。本发明方法是用于将这份图像数据重建为清晰数据(在人类视觉感官上感觉不到原始数据和重建数据有明显的差异，说明重建效果好)。我们将有限角ct图像和原始清晰数据一对一的拼接起来，即，拼接好的图像左边图像是有限角ct图像，右边是原始清晰图像，尺寸为1024x512。将拼接好的图像作为输入数据。(2)构建wgan-gp网络模型生成器和判别器采用深度神经网络结构，具体说明如下：gan的基本公式为：其中d，g分别为本方法网络架构中的判别器和生成器，pdata(x)表示真实数据的分布，pz(z)噪声分布。这是一个极大极小公式，最终目标使得上式达到纳什平衡，即使判别器判断不出输出的图像是来自真实图像还是生成图像，但是我们发现实验过程中存在训练困难，生成器和判别器的loss无法指示训练进程，生成的样本缺乏多样性等问题。为了解决上面提出的问题，我们使用了wasserstein距离，并将以上公式替换为：这样做的好处是可以用这个收敛且简约的度量公式来指示网络的训练过程，gp(gradientpenalty)是在目标损失函数中对每个样本独立地施加梯度惩罚，使得判别器的参数能够在参数的阈值范围内均匀分布，不会出现梯度消失和梯度爆炸的情况。生成器网络结构如图2所示：所述生成器输入层与输出层之间的网络结构如下：第一层为卷积层、实例标准化和线性整流函数(relu)构成的网络层，卷积层由64个7*7*1的卷积核组成，用来产生64个特征映射，7*7表示卷积核的大小，1表示步长，以下类似；第二层为卷积层、实例标准化和线性整流函数构成的网络层，卷积层由128个3*3*2的卷积核组成，用来产生128个特征映射；第三层为卷积层、实例标准化和线性整流函数构成的网络层，卷积层由256个3*3*2的卷积核组成，用来产生256个特征映射；第四层至第十二层均为残差块，每层依次包括大小为3*3*1*256的卷积块、实例标准化、线性整流函数、大小为3*3*1*256的卷积块以及实例标准化；第十三层为反卷积层(convtranspose)、实例标准化和线性整流函数构成的网络层，其中反卷积层的卷积核参数为3*3*2，深度为128；第十四层为反卷积层实例标准化和线性整流函数构成的网络层，其中反卷积层的卷积核参数为3*3*2，深度为64；第十五层为一个尺寸为7*7*1、深度为64的卷积层；第十六层为双曲正切(tanh)激励层。其中输入层与输出层之间还增加有直连(shortcut)连接，目的是实现一个端到端的映射，生成输出结果。该生成器网络结构中，我们将常用的batchnorm换成instanceborm，bn是作用于一个batch,而ib是作用于单个样本，这样也可以加速网络的训练速度，使用relu激活函数也可以有效防止梯度消失。判别器网络结构如图3所示：所述判别器输入层与输出层之间的网络结构如下：第一层为卷积层和带泄露线性整流函数(leakyrelu)构成的网络层，卷积层由64个3*3*1的卷积核组成，用来产生64个特征映射；第二层为卷积层、批归一化和带泄露线性整流函数构成的网络层，卷积层由64个3*3*2的卷积核组成；第三层为卷积层、带泄露线性整流函数和批归一化组成的网络层，卷积层由128个3*3*1的卷积核组成；第四层为卷积层、带泄露线性整流函数和批归一化组成的网络层，卷积层由128个3*3*2的卷积核组成；第五层为卷积层、带泄露线性整流函数和批归一化组成的网络层，卷积层由256个3*3*1的卷积核组成；第六层为卷积层、带泄露线性整流函数和批归一化组成的网络层，卷积层由256个3*3*2的卷积核组成；第七层为卷积层、带泄露线性整流函数和批归一化组成的网络层，卷积层由512个3*3*1的卷积核组成；第八层为卷积层、带泄露线性整流函数和批归一化组成的网络层，卷积层由512个3*3*2的卷积核组成；第九层为全连接层(dense)，维度为1024；第十层为带泄露线性整流函数激励层；第十一层为全连接层，维度为1，判断是来自于生成图像还是真实图像。该判别器网络结构中，使用了多个3*3的卷积核，可有效减少网络中的参数量。我们将上述样本数据作为输入数据送入构建的wgan-gp网络模型中进行训练，使用的优化器为adam优化算法，adam参数设置为β1为0.9，β2为0.999，初始学习率为0.0001，ε＝10∧-8，训练的epoch为300个，在前150个epoch中使用初始学习率，接下来的150个epoch学习率逐渐衰减为0，本方法在训练过程中运行环境为pycharm专业版，处理器为i7-6850k，内存为64gb，gpu显卡为geforcegtx1080ti，运行时间为32小时。其中，损失函数由对抗损失函数和内容损失函数加权组成，具体的：所述内容损失函数为：所述对抗损失函数为：所述损失函数总和为：ltotal＝lcontent+λladv(λ＝100)其中，φi,j：经过激励函数但是还未经过第i-thmax-polling前的第j-thcnn特征图；wi,jhi,j：特征图的尺寸大小；ib：有限角度ct重建前的图像；is：有限角度ct重建后的图像；θg：生成器的网络参数；θd：判别器的网络参数；n：实验数据总数，使用反向传播算法更新网络参数。训练时我们可以通过tenflowboard实时显示重建效果和损失函数曲线，当损失函数不再下降的时候停止训练。(3)模型测试与评价在300个epoch训练结束后，我们使用得到的latest_net_g.pth文件对300张有限角ct图像进行测试，测试结束后会显示测试重建结果以及评价结果。图像评价方法：在评价重建图像质量好坏主要有两个指标：psnr(peaksigaltonoiseratio，峰值信噪比)和ssim(structuralsimilarity，结构相似性)。psnr的计算如下：mse表示待重建图像x和通过神经网络学习重建后的图像y的均方误差(meansquareerror)，h、w分别为图像的高度和宽度；n为像素的位深，在ct图像中位深为12。ssim是一种全参考的图像质量评价指标，它分别从亮度、对比度、结构三方面度量图像相似性。ssim(x,y)＝[l(x,y)]α[c(x,y)]β[s(x,y)]γ；其中l(x，y)为亮度对比函数，c(x，y)为对比度对比函数，s(x，y)为结构对比度函数，x和y分别表示稀疏重建图像通过神经网络学习恢复的图像y，α＝β＝γ＝1是三个对比函数加权系数，一般设定α＝β＝γ＝1。本实例选取psnr和ssim作为评价标准，结果如表1所示，可见经过本方法处理后，本发明处理后的有限角ct图像的psnr、ssim有显著提高。表1评价标准对比表方法ssimpsnrfbp0.503516.3798art0.527317.1681实施例0.697823.9583图4分别表示了fbp、art算数迭代法以及本发明提出方法重建后的结果图。实验结果显示本发明能有效的去除有限角度采样带来的块状伪影，同时较好的保留细节以及边缘信息。以上所述仅是本发明的优选实施方式，应当指出，对于本
技术领域：
的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。当前第1页1 2 3