一种基于双重判别的SAR图像超分辨率重建方法

本发明涉及计算机视觉
技术领域：
，特别涉及一种基于双重判别的sar图像超分辨率重建方法。
背景技术：
：合成孔径雷达(sar)图像具有极强的抗干扰特性，在航空航天工程、地质勘探、测绘和军事侦察中发挥着关键作用。为了确保sar图像在图像分类和目标识别方面具有良好的性能，提高现有sar图像的分辨率是有益的。但是，许多高分辨率图像是从低分辨率图像中重建出来的，很难区分生成的哪一张高分辨率图像效果更好，这对图像超分辨率来说是一个挑战。在图像超分辨率重建领域已有大量的研究工作。最初，使用插值方法生成高分辨率图像，例如最近邻插值、双线性插值和双三次插值。尽管插值方法简单、方便、易于实现，但是它们容易产生模糊的纹理。后来提出了模型统计的方法，学习从低分辨率图像到高分辨率图像的映射，其典型方法包括基于示例的方法、自相似性方法、字典对方法和卷积稀疏编码方法。随着卷积神经网络(cnn)的出现，许多基于cnn的方法也已应用于图像超分辨率重建中。dong等人首先提出了srcnn，该方法将三层cnn应用于图像超分辨率重建中，并获得了良好的性能。为了加速网络训练，提出了fsrcnn和espcn。随后，通过去除批归一化层并加深网络，提出了增强的深度残差网络edsr，目的是提高超分辨率的重建性能。密集连接网络通过增加每个残差块的复杂度来提高超分辨率性能，并减少由于网络深度过深而导致的训练困难。尽管这些方法在图像超分辨率重建中有很好的表现，但却忽略了重建高分辨率图像的感知效果。生成对抗网络的提出是深度学习的另一项重大突破，其在图像生成和风格迁移等方面的出色表现备受关注。srgan是首次在单图像超分辨率重建中使用生成对抗网络的模型，并产生高频纹理细节，从而实现了非常好的视觉效果。srgan的生成器是残差神经网络(srresnet)，其视觉效果优于srresnet，但是srgan在客观评估指标(例如峰值信噪比(psnr)和结构相似性(ssim))方面表现不佳。可能的原因是，判别器根据图像中是否包含一些关键的高频纹理细节来确定图像的真实性。尽管高频纹理信息的内容不是真实的，判别器也无法对其进行区分。因此，srgan生成的高频伪像不能用于非常严格的情况下，例如医学诊断和军事目标侦察。后来，提出了增强型srgan(esrgan)，通过增加每个残差块的复杂度来生成更逼真的高频细节，并使用ragan来确定在超分辨图像和真实图像之间哪个更真实。同时，一些使用特征判别的算法也可以准确地重建高分辨率图像的纹理，例如enhancenet和srfeat。尽管这些判别算法增加了高分辨率图像中高频纹理细节在视觉上的感知效果，但无法保证重建的高分辨率图像可以准确地降采样到原始的低分辨率图像。技术实现要素：本发明为克服现有技术的不足之处，提出一种基于双重判别的sar图像超分辨率重建方法，以期能在对高分辨率图像进行判别的基础上增加对低分辨率图像的判别，从而保证重建的高分辨率图像能准确地降采样到原始的低分辨率图像，使得重建的高分辨率图像更加准确。本发明为达到上述发明目的，采用如下技术方案：本发明一种基于双重判别的sar图像超分辨率重建方法的特点包括如下步骤：步骤1、获取高分辨率sar图像并进行预处理：获取真实的高分辨率sar图像数据集，记为ihr，并通过双三次插值对真实的高分辨率sar图像集ihr进行降采样得到真实的低分辨率sar图像集，记为ilr；步骤2、利用生成器网络生成高分辨率sar图像：将真实的低分辨率图像集ilr输入到生成器网络中，从而利用式(1)得到重建的高分辨率图像集isr；isr＝g(ilr；θg)(1)式(1)中，g为生成器网络，θg为生成器网络的参数；步骤3、利用高分判别器dhr对重建的高分辨率图像集isr和真实的高分辨率图像集ihr进行判别，从而利用式(2)建立高分判别器的损失函数ldhr＝-[dhr(ihr)-dhr(isr)]2(2)步骤4、对重建的高分辨率图像集isr进行降采样得到伪造的低分辨率图像集ilr′，再利用低分判别器对伪造的低分辨率图像集ilr'和真实的低分辨率图像集ilr进行判别，从而利用式(3)构建低分判别器的损失函数步骤5、高分判别器指导低分判别器的训练：步骤5.1、利用式(4)将高分判别器的输出结果传给低分判别器，从而得到分类损失lcls：lcls＝[dhr(ihr)-dlr(ilr)]2+[dhr(isr)-dlr(ilr′)]2(4)式(4)中，dhr(ihr)和dhr(isr)分别为将真实的高分辨率图像集ihr和重建的高分辨率图像集isr输入到高分判别器中得到的结果，dlr(ilr)和dlr(ilr')分别为将真实的低分辨率图像集ilr和伪造的低分辨率图像集ilr′输入到低分判别器中得到的结果；步骤5.2、利用式(5)将高分判别器提取的特征传给低分判别器，从而得到特征分布损失lfea：lfea＝[fea(ihr)-fea(ilr)]2+[fea(isr)-fea(ilr')]2(5)式(5)中，fea(ihr)和fea(isr)分别为高分判别器提取的真实的高分辨率图像集ihr和重建的高分辨率图像集isr的特征分布，fea(ilr)和fea(ilr')分别为低分判别器提取的真实的低分辨率图像集ilr和伪造的低分辨率图像集ilr′的特征分布；步骤5.3、将特征分布损失lfea和分类损失lcls传给低分判别器，从而利用式(6)重新计算低分判别器的损失函数步骤5.4、利用式(7)构建生成器网络的损失函数lg；lg＝lcontent+αladver(7)式(7)中，lcontent为内容损失，ladver为对抗损失，α表示为对抗损失与内容损失的比例；步骤5.4.1、利用式(8)建立内容损失函数，表示为真实的高分辨率图像集ihr和重建的高分辨率图像集isr的均方误差损失，并有：式(8)中，w和h分别为低分辨率图像的宽和高，r为比例因子；x表示图像中像素点的横坐标，y表示图像中像素点的纵坐标；表示真实的高分辨率图像集ihr中第i幅图像在(x,y)处的像素值，表示重建的高分辨率图像集isr中第i幅图像在(x,y)处的像素值；n表示图像集中样本的总数；步骤5.4.2、利用式(9)建立对抗损失函数ladver：ladver＝[dhr(ihr)-dhr(isr)]2+[dlr(ilr)-dlr(ilr′)]2(9)步骤6、训练网络模型并重建高分辨率sar图像：步骤6.1、利用adam优化器对生成器网络和判别器网络交替进行训练；当生成器网络参数保持不变时，训练判别器网络；当判别器网络参数保持不变时，训练生成器网络；直到生成器和判别器网络的损失函数收敛；步骤6.2、利用训练好的生成器网络重建高分辨率sar图像。与已有技术相比，本发明具有如下优点：1.本发明在对高分辨率图像进行判别的基础上增加了对低分辨率图像的判别，排除了那些不能被准确降采样的高分辨率图像，保证了重建的高分辨率图像可以准确地降采样到原始的低分辨率图像，增加了重建的高分辨率图像中高频纹理细节的准确性。2.本发明中对高分辨率图像的判别直接增加了高分辨率图像中高频纹理信息的真实性，对低分辨率图像的判别也可以指导网络的训练以及高分辨率图像的生成，间接增加了高分辨率图像中高频纹理信息的真实性。3.本发明利用高分判别器指导低分判别器的训练，将高分判别器提取的特征分布和分类结果传给低分判别器，通过增强低分判别器的性能，使重建的高分辨率图像可以更准确地降采样到原始的低分辨率图像，进一步增强了生成器网络重建的高分辨率图像的真实性。4.本发明使用的生成器网络考虑了来自不同残差密集块提取特征的差异性，在叠加这些特征之前先进行一个卷积操作而不是被同等对待，确保了把最有用的信息送到网络末端用于高分辨率图像的重建，进一步提高了参数的利用率和生成器网络的表示能力。附图说明图1为本发明中生成器网络的结构图；图2为本发明判别器网络的结构图；图3为本发明实验结果图。具体实施方式本实施例中，一种基于双重判别的sar图像超分辨率重建方法，综合考虑了高分辨率图像和低分辨率图像的对应关系，利用高分判别器判别生成的高分辨率图像和真实的高分辨率图像，利用低分判别器判别重建高分辨率图像的降采样图像和真实的低分辨率图像，并且高分判别器指导低分判别器的训练，进一步增强低分判别器的性能，具体步骤如下：步骤1、获取高分辨率sar图像并进行预处理：获取真实的高分辨率sar图像数据集，记为ihr，高分辨率图像的大小为256×256，并通过双三次插值对真实的高分辨率sar图像集ihr进行降采样得到真实的低分辨率sar图像集，记为ilr，低分辨率图像的大小为64×64；步骤2、利用生成器网络生成高分辨率sar图像：将真实的低分辨率图像集ilr输入到生成器网络中，从而利用式(1)得到重建的高分辨率图像集isr；isr＝g(ilr；θg)(1)式(1)中，g为生成器网络，θg为生成器网络的参数；如图1所示为生成器网络结构图，生成器网络在残差密集网络的基础上进行改进，将每个残差块提取的特征先执行一个卷积操作，再进行通道维度上的叠加，充分考虑了每个残差块提取特征的差异性；步骤3、利用高分判别器dhr对重建的高分辨率图像集isr和真实的高分辨率图像集ihr进行判别，从而利用式(2)建立高分判别器的损失函数步骤4、对重建的高分辨率图像集isr进行降采样得到伪造的低分辨率图像集ilr′，伪造的低分辨率图像的大小为64×64，再利用低分判别器dlr对伪造的低分辨率图像集ilr'和真实的低分辨率图像集ilr进行判别，从而利用式(3)构建低分判别器的损失函数步骤5、高分判别器指导低分判别器的训练：步骤5.1、利用式(4)将高分判别器的输出结果传给低分判别器，从而得到分类损失lcls：lcls＝[dhr(ihr)-dlr(ilr)]2+[dhr(isr)-dlr(ilr′)]2(4)式(4)中，dhr(ihr)和dhr(isr)分别为将真实的高分辨率图像集ihr和重建的高分辨率图像集isr输入到高分判别器中得到的结果，dlr(ilr)和dlr(ilr')分别为将真实的低分辨率图像集ilr和伪造的低分辨率图像集ilr′输入到低分判别器中得到的结果；步骤5.2、利用式(5)将高分判别器提取的特征传给低分判别器，从而得到特征分布损失lfea：lfea＝[fea(ihr)-fea(ilr)]2+[fea(isr)-fea(ilr')]2(5)式(5)中，fea(ihr)和fea(isr)分别为高分判别器提取的真实的高分辨率图像集ihr和重建的高分辨率图像集isr的特征分布，fea(ilr)和fea(ilr')分别为低分判别器提取的真实的低分辨率图像集ilr和伪造的低分辨率图像集ilr′的特征分布，如图2所示，特征分布为高分判别器或低分判别器在最后一个全连接层之前提取的特征；步骤5.3、将特征分布损失lfea和分类损失lcls传给低分判别器，从而利用式(6)重新计算低分判别器的损失函数步骤5.4、利用式(7)构建生成器网络的损失函数lg；lg＝lcontent+αladver(7)式(7)中，lcontent为内容损失，ladver为对抗损失，α表示为对抗损失与内容损失的比例，α的值为0.00001；步骤5.4.1、利用式(8)建立内容损失函数，表示为真实的高分辨率图像集ihr和重建的高分辨率图像集isr的均方误差损失，并有：式(8)中，w和h分别为低分辨率图像的宽和高，r为比例因子；x表示图像中像素点的横坐标，y表示图像中像素点的纵坐标；表示真实的高分辨率图像集ihr中第i幅图像在(x,y)处的像素值，表示重建的高分辨率图像集isr中第i幅图像在(x,y)处的像素值；n表示图像集中样本的总数；步骤5.4.2、利用式(9)建立对抗损失函数ladver：ladver＝[dhr(ihr)-dhr(isr)]2+[dlr(ilr)-dlr(ilr′)]2(9)步骤6、训练网络模型并重建高分辨率sar图像：步骤6.1、利用adam优化器对生成器网络和判别器网络交替进行训练；当生成器网络参数保持不变时，训练判别器网络；当判别器网络参数保持不变时，训练生成器网络；直到生成器和判别器网络的损失函数收敛；步骤6.2、利用训练好的生成器网络重建高分辨率sar图像。实施例：为了验证本方法中的有效性，本文选用了哨兵1号数据集进行实验。本文采用峰值信噪比psnr和结构相似性ssim作为评价标准。本实施例中选用六种方法和本发明方法进行效果对比，所选方法分别是双三次插值、srcnn、srresnet、srgan、rdn和rfanet，双重判别为发明方法；根据实验结果可得出结果如表1所示，从表1的结果中可以看出，所提出的双重判别算法有最高的psnr和ssim。表1本发明方法与选用的六种对比方法在哨兵1号数据集上进行的实验结果bicubicsrcnnsrresnetsrganrdnrfanet双重判别psnr18.674817.707922.166422.084724.538624.609525.1389ssim0.78870.68510.90370.89830.94150.94170.9474在sentinel-1进行对比实验的主观效果如图3所示。前两排图像代表用不同方法重建的高分辨率图像，后两排图像代表重建的高分辨率图像中局部区域的放大效果。从图3可以看出，由双三次插值和srcnn重建的高分辨率图像整体上略显模糊。由srresnet和srgan重建的图像整体效果明显改善，但从局部区域的放大效果上看纹理细节有些失真。由rdn和rfanet重建的高分辨率图像有很好的精细纹理，但纹理的真实性不如双重判别。因此，本发明提出的方法在保证精细纹理的真实性和准确性上都能有很好的效果。当前第1页12