一种多尺度连接生成对抗网络医学图像超分辨率重建方法

本发明属于图像处理领域，涉及到图像超分辨率重建算法的改进，残差卷积神经网络以及生成对抗网络在高分辨率图像重建领域的实现与应用。具体涉及一种多尺度连接生成对抗网络医学图像超分辨率重建方法。

背景技术：

1、图像超分辨率是计算机视觉和图像处理中一类重要的图像处理技术，是指从低分辨率图像中恢复高分辨率图像的过程。在医学图像处理领域的实际应用中，往往希望获取高分辨率的原始图像，因为高分辨率的图像意味着更高的像素密度，可以提供更丰富的高频细节信息，从而为医学图像信息的准确提取与利用创设良好的基础。但在现实情况下，由于电子计算机断层扫描设备成像系统的采集图像时间、辐照剂量和硬件限制等因素，导致医学图像出现散斑噪声和低分辨率的问题。为了获得高信噪比和高分辨率的医学图像，实现超分辨率重建是非常有必要的。

2、超分辨率重建目前主要有基于插值、基于重建和基于学习三类方法。基于插值的方法是利用基函数逼近损失图像的高频信息重建hr图像，如：双线性插值、双三次插值。这类方法简单有效，但会出现模糊、混叠和锯齿等视觉假象。基于重建的方法是重建过程中加入约束条件，如：凸集投影法、迭代反投影法。这类方法依赖先验知识且重建图像缺乏细节特征。基于学习的方法是通过训练学习lr图像和hr图像之间的映射关系，来预测lr图像的高频信息。这类方法是目前的主流方向，其效果较前两者更好。

3、目前现有的基于医学图像的超分辨率方法存在以下局限性:一是数据集只采用单一插值方法无法完全满足现实医学图像退化的要求；二是伴随着噪声，去噪步骤会损失一些图像的高频内容。因此如何提升所获取图像的质量。得到符合应用需求的高分辨率医学图像就成为图像处理中的一个关键研究课题。

技术实现思路

1、针对现有技术中存在的问题，本发明提供了一种多尺度连接生成对抗网络医学图像超分辨率重建方法，本发明所采取的技术方案如下：

2、一种多尺度连接生成对抗网络医学图像超分辨率重建方法，包括如下步骤：

3、s1、建立医学图像超分辨率数据集：对原始的高分辨率医学图像进行图像退化处理，得到相对应的低分辨率图像，以此模拟真实情况下所获取的低分辨率图像，将这样一对图像对作为输入。

4、s2、设计医学图像超分辨率算法：以加强的生成器和判别器组成的超分辨率生成对抗网络为框架，主要包含两个部分，分别是生成器模型和判别器模型。生成器模型结合了多级残差网络和密集连接，增强生成器网络的表示能力，提高网络的性能；判别器使用以unet为基础结构的网络模型，它能够更加充分结合低层语义信息和高层语义信息，实现图像跨纬度特征的交互。

5、s3、训练医学图像超分辨率模型：基于s2所设计的算法搭建模型，并利用深度学习框架pytorch平台训练模型，训练过程分为两个阶段，第一阶段训练得到具有l1损失的峰值信噪比导向模型，每批次训练数量大小为12，epoch设置为100，迭代总次数为2.5×104，学习率初始化为2×10-4，经过6.25×103次迭代后学习率更新衰减一半。然后使用导向模型作为第二阶段生成器的预训练模型，每批次训练数量大小为6，epoch设置为100，迭代总次数为5×104，学习率初始化为1×10-4，经过1.25×104次迭代后学习率更新衰减一半，继续迭代直到损失收敛，得到最终模型。

6、s4、将测试集中的低分辨率医学图像输入到模型中，得到相应医学图像超分辨率的输出结果。

7、优选的，s1中图像退化处理过程的步骤如下：

8、s101、图像模糊：虽然高斯模糊核被广泛用于模拟模糊退化，但它不能很好地表征医学图像中的模糊过程。为了包含更多不同的模糊核尺寸，采用广义高斯模糊和一个平台形分布，概率密度函数分别为：和β为形状参数。

9、s102、图像下采样：将经典的下采样操作修改为随机采样操作，包括医学图像下采样、上采样以及保持操作，且算法也进行随机选取，包括双线性插值、双三次插值以及面积调整。其不同尺度与不同算法之间相互组合带来了不同的退化效果，为模拟现实医学图像的退化过程起到了一定的作用。

10、s103、图像噪声：由于ct机探测器长期工作温度过高、设备自身噪声以及各元器件相互影响，会使其生成的医学图像出现高斯噪声，再者探测器在有些时候可能无法接受所有的x射线，或者有时候接受到的x射线特别多，导致图像灰度值产生波动，出现泊松噪声。

11、s104、图像jpeg压缩：首先将输入图像由rgb三通道模型转化为ycbcr颜色空间模型，并分别对每一色度通道进行下采样操作，再将图像分割成8×8的小块，利用二维离散余弦变换(dct)处理每个小块，量化代表每个小块的三个浮点数矩阵，最后得到压缩的图像数据。

12、优选的，s2中所述的医学图像超分辨率算法流程主要包含以下步骤：

13、s201、生成器重建图像：将经过图像退化处理的低分辨率图像和相对应的高分辨率图像作为训练对输入到由23个残差密集模块组成的生成器网络中，用于sr重建。同时网络添加金字塔注意力机制，以此能够从多尺度特征金字塔中提取到更加丰富的细节信息，生成更精细的图像。重建后，利用最邻近插值的采样函数进行两次上采样操作，然后利用卷积层生成三通道输出图像。

14、s202、判别器判别真伪：将上述重建sr图像和其对应的hr图像组成图像对输入到全面融合多尺度特征的unet-plus判别器中，该判别器中的每个解码器层都融合了编码器中的小尺度、同尺度以及大尺度的特征映射，从而在全尺度上捕获细粒度的细节和粗粒度的语义，为每个像素输出真实感知，使其精确识别图像属于sr图像还是hr图像，同时提供详细的结果逐像素差异反馈给生成器学习。

15、s203、损失函数：在判别器中，结合之前的l1损失，并在感知特征上采用基于vgg网络模型的内容损失和基于生成对抗网络的对抗损失。经过实验验证，l1损失函数和内容损失函数的权重取1，以及对抗损失函数权重取0.1时，模型性能达到较好效果，因此损失函数的计算公式为：

16、

17、式中：lsr表示本发明算法的损失函数；是生成器的l1损失函数；是对抗损失函数。

18、s204、生成器和判别器以这样的方式不断对抗，直到判别器无法判断出sr图像和hr图像的差别为止，此刻生成器作为模型可以超分辨率重建lr图像。

19、本发明的特点及有益效果是：

20、本发明提出了一种改进的医学图像超分辨率重建网络模型。该模型将生成对抗网络作为基础结构，使用纯合成医学图像数据进行训练。引入退化建模过程，以更好地体现现实退化的复杂性。在该模型的生成器残差模块之间添加了金字塔注意力模块panet，使其更加注重捕捉图像高频信息，提升模型对图像边缘纹理的重建能力。此外，设计具有光谱归一化的改进u-net鉴别器，以提高鉴别器的鉴别能力和稳定训练动态。将所提模型在腹部盆腔和肺部两种医学图像数据集上进行实验，结果表明，相比之前算法，所提模型在鲁棒性和ct图像细节重建方面较经典模型有较大提升。