基于三维对抗性生成网络的低剂量CBCT图像重建方法与流程

本发明涉及医学图像处理技术领域，具体涉及到一种基于三维对抗性生成网络的低剂量cbct图像重建方法。

背景技术：

锥形束计算机断层扫描(cbct)是一种可以快速直接获得三维ct图像的医学成像技术。但是由相关研究表明：一次完全的cbct扫描通常伴随着较高程度的电离辐射，而高剂量电离辐射可诱发人体新陈代谢异常乃至癌症、白血病等疾病。因此，如何在降低x射线使用剂量的同时，保证重建图像质量满足临床诊断要求成为医学图像处理领域研究的重点。

临床上减少病患辐射量的重要方法之一就是减小cbct扫描范围，即将探测器的旋转角度范围限制在某个小于标准的区间内，从而在总体上大幅减少了患者所受x射线辐射量。虽然患者受到的辐射剂量大幅降低，但是重建图像出现大量星条状伪影和噪声，严重影响了对特征点的分辨，以至于无法满足临床诊断的需要。

为改善重建的ct图像，现有技术中常用的方法分为两大类：基于投影的方法和基于图像的方法。基于投影的方法是在重建ct图像之前估计缺失的投影，预测缺失的投影最直接的方法是定向插值，另一种基于投影的方法是图像矩方法，其建立图像矩与其投影矩之间的关系以估计来自已知投影的未知投影。其不足之处在于：无法处理三维投影数据，实验效果一般。

技术实现要素：

针对现有技术的不足，本发明的目的在于提供一种基于三维对抗性生成网络的低剂量cbct图像重建方法，解决现有技术中存在的重建ct图像质量差、无法满足临床诊断需要的技术问题。

为解决上述技术问题，本发明所采用的技术方案是：

一种基于三维对抗性生成网络的低剂量cbct图像重建方法，所述方法包括如下步骤：

构建三维对抗性生成网络模型；

通过正弦图像及其对应的投影数据训练三维对抗性生成网络模型；

将测试图像输入至已训练好的对抗性生成网络模型，对不完全投影数据的正弦图像缺失部分进行预测，获取完整投影的正弦图像；

根据所述完整投影数据的正弦图像重建ct图像。

进一步的，所述对抗性生成网络模型包括：编码器、生成器和判别器；所述编码器用于编码高阶特征；所述生成器用于解码高阶特征并获得生成的正弦图像；

所述判别器用于鉴别生成的正弦图像和完全投影数据的正弦图像的相似性。

进一步的，所述编码器采用从alexnet架构派生而来的三维卷积网络的上下文编码器。

进一步的，所述编码器、生成器和判别器包括三维卷积层、修正线性单元层、池化层、批归一化层和全连接层。

进一步的，所述对抗性生成网络模型的训练方法包括：

获取正弦图像及其对应的完全投影数据和不完全投影数据，将不完全投影数据的正弦图像分为训练图像和测试图像；

通过编码器提取所述训练图像的高阶特征；

通过生成器将高阶特征映射为生成的正弦图像

通过判别器衡量所述生成的正弦图像和完全投影数据的正弦图的相似性，并根据相似性进一步优化编码器、生成器和判别器；

重复上述步骤，直至超过预设模型训练次数。

进一步的，所述相似性通过联合损失函数来衡量；所述联合损失函数包括重建损失和对抗性损失。

进一步的，所述重建损失为：

所述对抗性损失a(i)定义为：

所述联合损失函数j(i)为:

j(i)＝λrr(i)+λaa(i)(4)，

其中，m是i的缺失区域的二元掩模，g(i)是输入数据i的生成器的输出，d是对抗性判别模型，e1为期望值，λa为对抗性损失，λr为重建损失。

进一步的，采用包含重建损失和对抗损失来优化编码器、生成器、判别器。

与现有技术相比，本发明所达到的有益效果是：

本发明在不完全投影数据条件下重建出符合临床诊断要求、高质量的ct图像，即在保证重建图像质量的前提下，有效地减少患者所受x射线辐射量，有效缩短锥形束投影数据的获取时间，提高临床诊断效率。

附图说明

图1是本发明方法的流程图；

图2是本发明中三维对抗性生成网络模型的结构示意图。

具体实施方式

本发明方法分为训练阶段和测试阶段，步骤包括：首先，利用完全投影数据的正弦图像和不完全投影数据的正弦图像来训练对抗性生成网络模型，获得可以生成高质量正弦图像的三维对抗性生成网络模型模型；其次，利用已训练的模型对不完全投影数据正弦图缺失部分进行预测，获取生成的完整投影的正弦图像；最后，使用fdk方法从生成的完整投影数据的正弦图像重建出ct图像。本发明能够预测缺失投影数据并进一步重建出符合临床诊断、高质量的ct图像。

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

如图1所示，是本发明方法的流程图，包括如下步骤：

步骤一：构建三维对抗性生成网络模型；

如图2所示，是本发明中三维对抗性生成网络模型的结构示意图，三维对抗性生成网络模型模型包括：编码器、生成器和判别器，编码器、生成器和判别器主要包含：三维卷积层、relu层(修正线性单元层)、池化层、batchnormalization层(批归一化层)和fullconnect层(全连接层)，卷积层步长优选：3*3*3，池化层采用最大池化。

步骤101：利用编码器编码高阶特征；

我们的编码器来源于alexnet架构。对于输入图像，我们使用前5个卷积图层和下面的池化图层来计算抽象的高维度特征表示。与alexnet相比，我们的模型没有经过imagenet分类的训练；相反，网络被训练用于从头开始的随机初始化权重的上下文预测。

步骤102：利用生成器来解码编码器得到的高阶特征。

“编码器特征”使用通道完全连接层连接到“解码器特征”。通道完全连接层之后是一系列带有学习滤波器的五个上卷积层，每个都带有整流线性单元(relu)激活功能。向上卷积只是一个产生更高分辨率的图像的卷积。它可以被理解为卷积后的采样，或者分数步幅的卷积，直到获得生成的正弦图像。

步骤103：利用判别器鉴别生成的正弦图像和完全投影数据的正弦图像的相似性；

将生成器的生成的正弦图像和完全投影数据的正弦图像作为判别器的输入；判别器能够通过训练，使得生成的正弦图像与完全投影数据的正弦图像的损失函数变大，尽可能的鉴别生成的正弦图像和完全投影数据的正弦图像。

步骤104：利用判别器得到的损失函数来反向优化生成器；

生成器根据判别器的的损失函数，通过训练，不断降低生成图像与真实图像的损失函数，使得生成的正弦图像尽可能的与完全投影数据的正弦图像相似。

步骤二：利用完全投影数据的正弦图像和不完全投影数据的正弦图像来训练对抗性生成网络模型；

训练对抗性生成网络模型的具体方法如下：

步骤201：获取三维cbct正弦图像的完全投影数据和不完全投影数据，将一部分不完全投影数据的正弦图像作为训练图像，完全投影数据的正弦图像作为标签图像，将另一部分不完全投影数据的正弦图像作为测试图像。

步骤202：利用基于卷积神经网络的上下文编码器提取训练图像的高阶特征；

卷积或上卷积层中滤波器的大小和数量取决于输入正弦图像的尺寸以及它们的缺失部分。例如，如果三维投影及其缺失部分的正弦图像的大小分别为4*360*256和4*90*256，则滤波器大小为4*4*4,4*4*4,4*4*4,4*4*4,4*4*4,滤波器的数量为64,64,128，256,512用于五个卷积层。最后得到4*4*4*512高阶特征，作为生成器的输入。

步骤203：将编码器提取高阶特征作为生成器的输入数据，将高阶特征特征映射为生成的正弦图像；

gan(生成对抗网络)的目标是寻找到一个可以最大可能的区分真实和生成数据的判别器，同时促进生成器网络的生成图像更加接近真实图像。gan的目标是最大化或者最小化二进制交叉熵：

lgan＝log(d(x))+log(1-d(g(z)))(1)，

式中：d(x)表示判别器网络对训练输入图像的判别；z表示多维隐变量特征，g(z)表示输入为多维隐变量特征时生成器网络生成图像，x表示输入图像。

步骤204：将完全投影数据的正弦图像和生成的正弦图像作为判别器的输入参数，使用联合损失函数衡量上述两图像的相似性并进一步优化编码器、生成器、判别器；

在训练中，我们使用联合损失函数，联合损失函数包括重建损失和对抗性损失。使用标记的l2距离，我们可以将重建损失r(i)定义为：

其中m是i的缺失区域的二元掩模；g(i)是输入数据i的生成器的输出。公式(1)中的重建损失的优点在于通过最小化平均像素方向误差来很好地近似目标轮廓。尽管如此，重建损失在捕捉高频细节方面存在缺陷，这会使预测结果看起来模糊。因此需要加入对抗性损失来捕捉高频细节，使得图像看起来更加清晰。

对抗性损失a(i)定义为：

d是对抗性判别模型。为了优化生成和判别模型，训练过程使用adam算法，公式(3)中的对抗性损失可以减少在训练中仅应用公式(2)中的重建损失时发生的模糊。

则联合损失函数j(i)定义为:

j(i)＝λrr(i)+λaa(i)(4)

其中，m是i的缺失区域的二元掩模，g(i)是输入数据i的生成器的输出，d是对抗性判别模型，e1为期望值，λa为对抗性损失，λr为重建损失。

其中和是重建损失和对抗性损失的相应权重。由于公式(4)中的联合损失函数结合了重建损失和对抗性损失的优点，因此可以进一步改善预测

步骤三：将不完全投影数据的正弦图像输入至已训练好的对抗性生成网络模型，对不完全投影数据的正弦图像缺失部分进行预测，获取生成的完整投影的正弦图像；

这些实验是在由400张ct图像组成的数据集上进行的,通过滤波投影获得完整的三维cbct投影数据的大小为360*256*256,这意味着平面探测器是256*256的尺寸和投影是从360度弧的360扫描视图取样的。我们输入的数据是不完全投影三维数据，在这里缺失0道89的扫描角度的三维cbct投影数据，故三维cbct投影数据尺寸为270*256*4，解码器输出的是对缺失投影数据的预测，预测出的投影数据尺寸为90*256*4。

步骤四：进一步获取上述生成的完整投影数据的正弦图像，通过fdk三维重建算法，根据生成的完整投影数据的正弦图像重建ct图像。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。