一种基于生成对抗网络的工业CT图像超分辨重建的方法

一种基于生成对抗网络的工业ct图像超分辨重建的方法
技术领域
1.本发明为计算机视觉技术领域，具体涉及一种基于生成对抗网络的工业ct图像超分辨重建的方法。


背景技术：

2.计算机断层成像(computed tomography，ct)技术能够无损、非接触地对成像对象的内部结构信息进行获取，在医学诊断、工业检测以及安全检查等领域发挥了重要作用。在ct成像中，图像重建理论是技术核心之一，其利用成像对象在不同角度下的x射线透射数据，通过算法还原被扫描对象的内部结构信息。ct技术同时也是基于医学成像的计算机辅助诊断的关键技术之一。高效地获得高质量的ct图像，对于发挥计算机辅助诊断技术临床应用的效能至关重要。
3.ct技术广泛用于医疗、工业、安全检查等领域。工业上可以用来对材料进行无损检测，随着被检测工件尺寸微小化和结构复杂化，对ct图像的重建质量提出了更高的要求。相比于低分辨率的ct图像，高分辨率的ct图像清晰度高，细节信息更加丰富，能更好地用于后续的检测任务。实际中，ct成像系统受到x射线焦点尺寸、探测器像元尺寸、图像重建等软、硬件因素的制约，成像分辨率往往低于达到实际检测标准所需的理想分辨率。针对此问题，深度学习是良好的解决途径，生成对抗网络(generative adversarial nets，gan)有强大的表达能力，可以在潜在空间(向量空间)中执行算数运算，并将其转换为对应特征空间内的运算。目前关于基于生成对抗网络的工业ct图像超分辨重建的研究特别少。因此，提出一种基于生成对抗网络的工业ct图像超分辨重建具有重大意义。
4.中国专利cn202011456115.3公开了一种基于深度学习的增强ct图像质量和分辨率的方法，该方法提出的深度学习模型通过使用生成对抗网络的框架，结合感知损失与像素级别的损失可以端到端的实现将不具备临床使用价值的低辐射低分辨率的医学图像优化为高质量、高分辨率的医学图像，同时使得低辐射ct图像去噪和低分辨率ct图像超分辨任务可以同时实现，使得生成的高质量图像具有真实的细节内容。同时该发明还公开了任意尺度超分辨图像实现方法，此方法通过引入任意尺度因子的上采样模块，实现对任意尺度因子的超分辨实现。然而，这种方法的判别器网络训练深度网络时会出现梯度反馈不精确，梯度消失的现象，导致网络训练效果不佳甚至训练失败。


技术实现要素：

5.本发明的目的在于提出一种基于生成对抗网络的工业ct图像超分辨重建的方法，以解决现有技术中所存在的一个或多个技术问题，生成对抗网络进行ct图像超分辨重建，可以提升图像质量和分辨率，但同时也存在以下两个问题：(1)训练网络时需要达到纳什均衡，否则会出现梯度消失、模式崩溃的问题。(2)判别器网路采用u-net结构会增加训练不稳定，并产生过于尖锐和不合适的伪信号，从而影响网络训练效果，导致图像重建质量提升不明显。
6.为实现上述技术目的，本发明技术方案如下：一种基于生成对抗网络的工业ct图像超分辨重建的方法，所述方法包括以下步骤：步骤1，构建工业ct图像数据集；步骤2，设计生成器网络结构；步骤3，设计判别器网络结构；步骤4，设计损失函数；步骤5，训练网络模型。
7.进一步地，步骤1中，构建工业ct图像数据集的子步骤为：获取高分辨率ct图像和低分辨率ct图像，低分辨率ct图像为短时间内接连获取的低辐射剂量、低分辨率的全局ct图像，高分辨率ct图像为正常辐射剂量、高分辨率的ct图像；所述低辐射剂量的x-ray输出的辐射剂量为正常辐射剂量的x-ray输出的辐射剂量的一半，同一个样品先获取低分辨率ct图像，然后获取高分辨率ct图像，同一个样品的低分辨率ct图像和高分辨率ct图像构成一个影像数据对，更换样品或者更换样品扫描位置重复上述步骤获得多个影像数据对。
8.进一步地，步骤2中，设计生成器网络结构的子步骤为：在生成器网络中，将步骤1的工业ct图像数据集中的低分辨率ct图像进行三次编码，其中图像尺寸依次变换为512
×
512
×
1、512
×
512
×
64，256
×
256
×
128，128
×
128
×
256，然后转换模块将从源域x提取的特征向量转换到目标域y，再进行三次解码得到所生成的图像，将用于后续判别器将其与所采集的高分辨图像进行判别；所述生成器网络结构包括编码器，解码器和转换模块，所述转换模块包含4个残差网络块，每个残差网络块包含两个卷积层，卷积核的数量均为256且padding的参数为1；所述编码器包含一个padding-7
×
7conv-relu层和两个3
×
3conv-relu层，所述解码器包含两个3
×
3deconv-relu 层和一个padding-7
×
7conv-tanh层。
9.进一步地，步骤3中，判别器网络除输入的第一层和最后一层以外的其他层均进行谱归一化（或称为普归一化），判别器使用谱归一化后，不再使用其他归一化操作。
10.进一步地，步骤4中，损失函数为加权的l1损失、知觉损失和gan损失，权值分别为1，1，0.1。
11.进一步地，步骤5中，网络训练模型包括生成器以及判别器构成，网络训练模型的批量大小为2，采用adam优化器对参数进行更新，训练过程共计200轮；其中，优化器的学习率在前100轮中为0.0002，后100轮中优化器的学习率从0.0002线性下降到0，优化器的两个指数衰减率分别设置为=0.5和=0.999。
12.一种基于生成对抗网络的工业ct图像超分辨重建的系统，所述系统包括：影像采集模块：用于获取样品的高分辨率ct图像和低分辨率ct图像，构成影像数据对；生成模型训练模块：用于对样品的影像数据对网络模型进行训练；影像输出模块：用于把获取的低分辨率ct图像输入到网络模型的生成器中，获得高分辨率图像。
13.第三方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明第一方面提供的所述方法的步骤。
14.第四方面，本发明提供一种电子设备，包括：存储器，其上存储有计算机程序；处理器，用于执行所述存储器中的所述计算机程序，以实现本发明提供的所述方法的步骤。
15.与现有技术相比，本发明具有以下有益的技术效果：本发明设计了带有编码器、解码器和转化模块的生成器，其中转化模块添加了4个残差网络块，设计了带谱归一化(spectral normalization，sn) u-net判别器，以此来解决判别器对复杂的训练输出鉴别能力不足的问题，产生更加精确的梯度反馈，同时谱归一化能够稳定训练动态缓解gan训练引入的过于尖锐和不合适的伪信号。
附图说明
16.图1为本发明提供的一种基于生成对抗网络的增强工业ct图像分辨率方法的主要步骤流程图；图2为本发明方法的生成器网络模型结构示意图；图3为本发明方法的生成器网络中转化模块的结构示意图；图4为本发明方法的判别器网络结构模型结构示意图；图5为本发明提供的一种基于生成对抗网络的增强工业ct图像分辨率系统的结构示意图。
具体实施方式
17.为了使本发明的目的、技术方案及优点更加清晰，以下结合附图及实施例，对本发明进行进一步详尽说明。此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
18.同样应理解，以下实施例只用于对本发明进行进一步说明，不能理解为对本发明保护范围的限制，本领域的技术人员根据本发明上述内容做出的一些非本质的改进和调整均属于本发明的保护范围。下述示例具体的工艺参数等也仅是合适范围内的一个示例，即本领域技术人员可以通过本文的说明做合适的范围内选择，而并非要限定于下文示例的具体数值。
19.以下示例性地说明本发明提供的一种基于生成对抗网络的工业ct图像超分辨重建的方法。
20.如图1所示为一种基于生成对抗网络的工业ct图像超分辨重建的方法的流程图，下面结合图1来阐述根据本发明的实施方式的一种基于生成对抗网络的工业ct图像超分辨重建的方法，所述方法包括以下步骤：步骤1，构建工业ct图像数据集；步骤2，设计生成器网络结构；步骤3，设计判别器网络结构；步骤4，设计损失函数；步骤5，训练网络模型。
21.步骤1，构建工业ct图像数据集，需要准备高分辨率ct图像和低分辨率ct图像对，
其中短时间内接连获取低辐射剂量、低分辨率的全局ct图像(简称为低分辨率ct图像)和正常辐射剂量、高分辨率ct图像(简称为高分辨率ct图像)，采集方法如下，在x-ray输出正常辐射剂量时，采集高分辨图像，随后降低x-ray输出的辐射剂量（降直正常剂量的一半），以此采集地分辨图像，此为一组数据，更换样品或者更换样品扫描位置重复此操作采集多组数组，通常应不少于1000组，足够多的样品特征数据才能让网络学习的足够充分。
22.请参阅图2，图2为本发明方法的生成器网络模型结构示意图。
23.第二步，设计生成器网络结构，所设计的网络参考传统u-net网络结构，不创新之处在于所提出的网络不仅包含编码器和解码器，还添加了一个转换模块，并且编码器和解码器的结构相对于传统u-net具有更轻量型结构，转换模块时基于resnet网络设计的，其中共包含4个残差网络块。在生成器网络中，将步骤1所的得到的低分辨率图像进行三次编码，其中图像尺寸依次变换为512
×
512
×
1、512
×
512
×
64，256
×
256
×
128，128
×
128
×
256，然后转换模块将从源域x提取的特征向量转换到目标域y，再进行三次解码得到所生成的图像，将用于后续判别器将其与所采集的高分辨图像进行判别，具体来说，编码器包含一个padding-7
×
7conv-relu层和两个3
×
3conv-relu层。在转换模块中，每一个残差网络块包含两个卷积层，卷积核的数量均为256且padding的参数为 1。解码器包含两个3
×
3deconv-relu 层和一个padding-7
×
7conv-tanh层。
24.请参阅图3，图3为本发明方法的生成器网络中转化模块的结构示意图。
25.第三步，设计判别器网络，采用带有跳跃连接的u-net设计，为适应生成器网络的强大性能和复杂的网络训练要求，添加了谱归一化来产生更加精确的梯度反馈，也起到稳定动态训练的作用，具体来说，需对除网络输入的第一层和最后一层以外的其他层均需进行谱归一化，需要注意的是判别器使用sn后，就不能再使用其他归一化操作，请参阅图4，图4为本发明方法的判别器网络结构模型结构示意图。
26.第四步，设计损失函数，所用损失函数结合l1损失、知觉损失和gan损失对网络进行训练，权值分别为{1,1,0.1}；第五步，训练网络模型，在网络训练中，批量大小设置为2，并且采用自适应矩估计(adaptive moment estimation, adam)优化器对参数进行更新，训练过程共计200轮，其中，优化器的学习率在前100轮中固定为0.0002；而在后100轮中，优化器的学习率从0.0002线性下降到0。此外，优化器的两个指数衰减率分别设置为=0.5和=0.999。
27.请参阅图5，图5为本发明提供的一种基于生成对抗网络的增强工业ct图像分辨率系统的结构示意图。
28.一种基于生成对抗网络的工业ct图像超分辨重建的系统，所述系统包括：影像采集模块：用于获取样品的高分辨率ct图像和低分辨率ct图像，构成影像数据对；生成模型训练模块：用于对样品的影像数据对网络模型进行训练；影像输出模块：用于把获取的低分辨率ct图像输入到网络模型的生成器中，获得高分辨率图像。
29.所述基于一种基于生成对抗网络的工业ct图像超分辨重建的系统可以运行于桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备中。所述一种基于生成对抗网络的
工业ct图像超分辨重建的系统，可运行的系统可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述例子仅仅是一种基于生成对抗网络的工业ct图像超分辨重建的系统的示例，并不构成对一种基于生成对抗网络的工业ct图像超分辨重建的系统的限定，可以包括比例子更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述一种基于生成对抗网络的工业ct图像超分辨重建的系统还可以包括输入输出设备、网络接入设备、总线等。
30.所称处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述一种基于生成对抗网络的工业ct图像超分辨重建的系统运行系统的控制中心，利用各种接口和线路连接整个一种基于生成对抗网络的工业ct图像超分辨重建的系统可运行系统的各个部分。
31.所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述一种基于生成对抗网络的工业ct图像超分辨重建的系统的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
32.尽管本发明的描述已经相当详尽且特别对几个所述实施例进行了描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，从而有效地涵盖本发明的预定范围。此外，上文以发明人可预见的实施例对本发明进行描述，其目的是为了提供有用的描述，而那些目前尚未预见的对本发明的非实质性改动仍可代表本发明的等效改动。
33.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
34.尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。