一种基于边缘锐化的红外图像超分辨方法与流程

本发明属于数字成像技术领域的红外图像超分辨算法，具体涉及一种基于边缘锐化的红外图像超分辨方法。

技术背景

随着红外探测技术的发展，采用红外成像技术进行目标识别，提高对目标的智能探测和检测识别能力，在对红外图像的探测过程中，受到目标的边缘轮廓特征干扰的影响，导致红外图像的输出质量不好，降低了目标单帧红外图像的识别和检测能力。

高分辨率图像可以提供比其对应的低分辨率图像更多的细节。这些细节在所有领域都应该是至关重要的。由于硬件设备的局限性，超分辨已广泛应用于许多成像设备。超分辨是在不改变镜头焦距的情况下，把图像进行了数字放大，因此导致了图像质量的下降：然而，图像处理算法(例如图像插值)除锯齿和模糊伪像外不会产生高质量图片。为解决这个问题，过去的几十年中已经提出了许多的改进算法。例如使用插值来增加输入图像的空间分辨率，基于内插的恢复方法旨在搜索相邻像素之间的连接并且逐个填充缺失像素函数或内插核等等。虽然它在低计算复杂度下具有快速处理时间，但是逐步运算的方法不能保证估计的准确性，尤其是在存在噪声的情况下。有些文献提出用神经网络的方法对红外图像进行超分辨，但由于红外图像噪声偏大导致输出图像质量并不高。

技术实现要素：

为了解决

背景技术：
中的问题，本发明提供了一种基于边缘锐化的红外图像超分辨方法，提升了红外图像超分辨的成像质量，针对不同放大倍率图像进行设计，在利用红外图像边缘和锐化进行修复的方式上提出了新的方法。

本发明基于神经网络，在网络中间进行图像的去噪和图像细节的恢复，通过对图像的边缘进行提取以加强图像的细节信息，并且对图像进行锐化处理使输出的图像细节更加丰富。

本发明采用的技术方案包括以下步骤：

步骤1：选取红外相机对场景或对象进行拍摄获得的红外图像和其对应的训练目标图像作为训练集；

步骤2：建立红外图像超分辨神经网络，红外图像超分辨神经网络结构包括图像处理子网络和图像边缘处理子网络；

步骤3：将训练集输入红外图像超分辨神经网络进行训练；

步骤4：将用红外相机对场景或对象进行拍摄获得的待修复红外图像输入步骤3训练后的红外图像超分辨神经网络，得到待修复红外图像的超分辨图像。

所述步骤2具体为：

2.1)图像处理子网络包括阶段一和阶段二两个阶段；

将红外图像输入阶段一进行多组卷积操作后提取的特征和输入的红外图像逐像素相加，获得通过高斯去噪后的模糊图像并恢复红外图像的低频信息；

将阶段一获得的高斯去噪后的图像输入阶段二继续进行多组卷积操作，恢复红外图像的高频信息；

2.2)将红外图像输入图像边缘处理子网络进行卷积操作，提取红外图像的边缘细节特征生成边缘图像；

2.3)将步骤2.2)生成的边缘图像和步骤2.1)阶段二的处理结果进行逐像素相加生成最终的输出图像，即得红外图像的超分辨图像。

所述步骤1中的训练目标图像为：

训练目标图像一：对红外图像进行模糊核为7、方差为3的高斯模糊处理以实现图像的去噪，作为步骤2.1)中图像处理子网络阶段一的训练目标图像；

训练目标图像二：对红外图像用sobel算子进行图像的边缘提取，作为步骤2.2)图像边缘处理子网络的训练目标图像；

训练目标图像三：对红外图像进行锐化处理，作为步骤2.3)的训练目标图像。

所述步骤2.3)获得的红外图像的超分辨图像为输入的红外图像尺寸的2倍或4倍，超分辨图像的分辨率高于输入的红外图像。

本发明的有益效果如下：

(1)本发明基于红外图像超分辨的要求，通过图像卷积网络的结构实现了数字图像任意倍率的超分辨。

(2)本发明第一次在红外图像超分辨的过程中对红外图像进行了去噪处理，并且利用锐化图像和增强图像边缘信息提高了图像的细节，相比于现有的技术，在图像的视觉效果上有明显的提升。

附图说明

图1是红外图像超分辨神经网络结构示意图；

图2是实施例1进行2倍超分辨的输入图；

图3是实施例1的输入图采用双三次插值、vdsr以及本发明方法的对比结果；

图4是实施例1的输入图采用双三次插值、vdsr以及本发明方法的细节对比结果图；

图5是示例性实施例2进行4倍超分辨的输入图；

图6是实施例2的输入图采用双三次插值、vdsr以及本发明方法的对比结果图；

图7是实施例2的输入图采用双三次插值、vdsr以及本发明方法的细节对比结果图。

具体实施方式

下面结合附图和实施例对本发明做近一步描述。

如图1所示，红外图像超分辨神经网络结构包括图像处理子网络和图像边缘处理子网络；

1)图像处理子网络包括阶段一和阶段二两个阶段；

在阶段一，输入的红外图像通过多层卷积层进行图像特征的提取，卷积可以由公式(1)表示：

fgi＝convi(i)(1)

其中，convi(i)表示步长为i的卷积，fgi表示阶段一第i个卷积提取出的特征，i表示输入图像或特征；

将输入的红外图像和阶段一卷积层提取的特征进行逐像素相加获得高斯去噪图像；将阶段一生成的高斯去噪图像输入到阶段二的多个卷积层当中对图形进行更进一步的特征提取。

2)红外图像输入图像边缘处理子网络，直接进行卷积层提取生成边缘图像。

3)最后将边缘图像与阶段二的处理结果进行逐像素相加，生成最终的输出图像。

在训练阶段将阶段一生成的高斯去噪图像与高斯模糊处理后红外图像的图像进行对比，将图像边缘处理子网络生成的边缘图像与sobel算子提取的图像边缘目标图像进行对比，分别通过计算l1范数作为损失函数。将最后生成的输出图像与锐化后的红外图像进行对比，计算l1范数作为损失函数。将三个损失函数进行加权求和作为整个网络的损失函数，使用adam优化器对网络参数进行优化

本发明的具体实施例如下：

本发明具体实施包括阶段一和阶段二两个阶段。在阶段一，将红外图片输入网络，用九个步长为1，尺寸为3*3*64的卷积核以及一个步长为1，尺寸为3*3*1的卷积核对图像进行卷积操作，然后与输入的红外图像进行逐像素相加生成高斯去噪图像；同时用五个步长为1，尺寸为3*3*64的卷积核以及一个步长为1，尺寸为3*3*1的卷积核对图像进行卷积操作生成边缘图像。然后用5个步长为1，尺寸为3*3*64的卷积核以及一个步长为1，尺寸为3*3*1的卷积核对阶段一生成的高斯去噪图像进行卷积，得到最后的输出图像。

针对不同缩放倍数的分辨率要求，可以对输入图像进行相应倍率的插值操作，从而得到不同倍率的超分辨图像。

本发明使用图1所示结构，分别对图2、图5所示的红外图像进行2倍分辨率和4倍分辨率成像，并与双三次插值以及vdsr算法对比，说明本发明的有益效果。

如图3～图4、图6～图7所示，对比本发明的方法与双三次插值和vdsr所产生的超分辨图像，不管是2倍分辨率还是4倍分辨率图像，都可以发现本发明的方法生成图像的纹理更加丰富，细节更加明显。

在红外图像超分辨系统中，为了重建高分辨率的红外图像，首次提出用边缘提取和图片锐化的损失函数结构的神经网络超分辨算法。同时，将结合了高斯去噪图像损失已达到图像去噪的目的，本发明显著改善了红外图像超分辨的成像质量。