基于多尺度自注意生成对抗网络的单幅图像去雾方法与流程

技术特征：

1.基于多尺度自注意生成对抗网络的单幅图像去雾方法，其特征在于，包括以下步骤：

步骤1、获取图像数据集，对图像数据集中的每个有雾图像的像素值归一化为[-1,1]，得到训练集；

步骤2、将输入的有雾图像进行两次下采样得到两个尺度的缩放图像，构建生成对抗网络模型，生成对抗网络模型由生成网络和判别网络组成；

步骤3、利用步骤1得到的训练集对步骤2构建的生成对抗网络模型进行训练，得到训练后的生成对抗网络模型，训练过程中对去雾结果采用损失函数进行优化；

步骤4、将有雾图像输入到步骤3训练后的生成对抗网络模型中，得到去雾图像。

2.根据权利要求1所述的单幅图像去雾方法，其特征在于，所述步骤2构建生成对抗网络模型的步骤为：将输入原始大小有雾图像的路径作为生成器的主干网络，下采样后两个尺度缩放图像的路径作为分支输入到主干网络中，每一个分支都采用自注意力机制；

对于生成器生成的去雾图像，和输入图像尺寸大小相同的输出作为最终的去雾结果，将得到的分支去雾结果作为监督学习的一部分，来约束生成器模型。

3.根据权利要求2所述的单幅图像去雾方法，其特征在于，所述构建生成对抗网络模型步骤中：

自注意力机制首先对输入的特征映射x进行线性映射，然后得到特征θ,g；

通过调整特征映射的维度，合并上述的三个特征除通道数外的维度，然后对θ和进行矩阵点乘操作并经过softmax函数处理得到注意力特征映射；将得到的注意力特征映射与特征g进行点乘，然后将点乘后的结果经过线性变换后与输入的特征进行相加得到自注意力特征z；

残差块主要包括卷积层和激活函数两个部分，输入特征首先经过卷积层得到特征映射，然后将得到的特征映射输入到激活函数中进行激活，将激活后的特征映射再次输入到卷积层中进行卷积，将卷积得到的特征映射与输入进行相加，并将相加的结果经过激活函数处理后输出最终的特征映射；

卷积残差块首先将输入的特征分为五个部分，每个部分根据卷积核的大小按不同的比例分配输入的特征映射，然后每个卷积层对分配的特征映射进行卷积得到对应卷积核的特征映射，最后将得到的5个部分的特征映射进行通道连接，得到与输入特征映射通道数相同的结果。

4.根据权利要求3所述的单幅图像去雾方法，其特征在于，所述构建生成对抗网络模型具体操作为：

a.将训练集中的图像ix使用双线性插值进行下采样得到图像尺度为ix的大小的和图像尺度为ix的的

b.对于输入为的分支，我们首先将输入的图像经过一个由卷积、实例归一化和激活函数组成的网络层进行特征提取得到处理后的特征映射o1；

c.将特征映射o1输入到自注意力模块attention中，得到具有全局注意力的特征映射o2；

d.将自注意力特征o2经过一个残差块进行特征矫正；

e.对于输入为的分支采用和输入为分支相同的操作得到o6；

f.对于主干分支，我们首先将输入的经过一个卷积核大小为3、步长为1的卷积层，输出特征映射o7；

g.将特征映射o7依次经过三个残差块来提取浅层特征；

h.使用卷积核大小为3，步长为2的卷积层对特征映射o10进行下采样得到特征映射o11；

i.将特征o11与输入为的分支的特征o3进行通道连接，并使用两个残差块来整合特征；

j.使用卷积核大小为3，步长为2的卷积层将特征o12进行下采样，进一步扩大网络的感受野；

k.将特征o13与输入为的分支的特征o6进行通道连接，并使用四个金字塔卷积残差块来充分利用深层特征；

l.将特征o17使用卷积核为3，步长为2的反卷积层进行上采样得到特征映射o18；

m.将特征o18与跳跃链接o12进行通道连接，并用两个残差块进行整合；

n.将深层特征o19输入卷积核为3、步长为2的反卷积层进行上采样，输出特征o20；

o.通过跳过连接将特征o20与浅层特征o10进行通道连接得到组合特征，并将组合特征输入三个残差块进行整合，输出特征o21；

p.将特征o21使用卷积核为3，步长为1的卷积操作来恢复通道数，并使用tanh激活函数激活，得到最终的去雾图像rx；

q.将特征o19与特征o3进行通道连接，并使用一个残差块进行整合得到输出特征o22；

r.将特征o22使用卷积核为3，步长为1的卷积操作来恢复通道数，并使用tanh激活函数激活，得到最终的去雾图像

s.将特征o17与特征o6进行通道连接，并使用一个残差块进行整合得到输出特征o23；

t.将特征o23使用卷积核为3，步长为1的卷积操作来恢复通道数，并使用tanh激活函数激活，得到最终的去雾图像

5.根据权利要求1所述的单幅图像去雾方法，其特征在于，所述的判别网络为patchgan的判别网络。

6.根据权利要求4所述的单幅图像去雾方法，其特征在于，所述的残差块采用金字塔卷积残差块。

7.根据权利要求1所述的单幅图像去雾方法，其特征在于，所述步骤3中的损失函数具体为：去雾结果和去雾结果采用l1损失和结构相似性损失，去雾结果rx采用对抗损失、感知损失、l1损失和结构相似性损失进行优化，网络的总损失函数为：

上式中，lossl1为l1损失，lossssim为结构相似性损失，lossvgg为感知损失。

8.根据权利要求6所述的单幅图像去雾方法，其特征在于，所述参数为λ1＝10，λ2＝0.00001，λ3＝10。

9.根据权利要求6所述的单幅图像去雾方法，其特征在于，所述结构相似性损失函数中，设x和y分别表示观察到的图像和输出图像，r(x)表示输入x的去雾结果，因此，r(x)和y之间的ssim如下所示：

ssim＝[l(r(x),y)]^α·[c(r(x),y)]^β·s(r(x),y)^γ；其中，l、c和分别表示亮度、对比度和结构，α，β和γ是系数，ssim损失可以定义为：lossssim＝1-ssim(r(x),y)；

所述的对抗性损失为在去雾结果中，采用的具有梯度惩罚的wgan(wgan-gp)，损失函数为：其中rx为去雾后的结果，j为清晰图像，定义为来自真实数据分布和生成器分布的点对之间沿直线的样本，λgp作为权重因子；

所述感知损失为引入了预先训练的vgg19网络的感知损失，函数为：其中φi()表示vgg19网络第i层的激活。w，h和c分别表示图像的宽度，高度和通道数；

所述l1损失为为了捕获图像中的低电平频率所使用的函数，函数为：

技术总结
本发明公开的基于多尺度自注意生成对抗网络的单幅图像去雾方法，通过将图像归化成的训练集对将图像进行两次下采样构建的生成对抗网络模型进行训练，得到训练后的生成对抗网络模型，训练过程中对去雾结果用损失函数进行优化，最后将有雾图像输入到生成对抗网络模型中，得到去雾图像。本发明提供的单幅图像去雾方法，解决了现有技术中去雾图像质量差的问题。

技术研发人员：石争浩;周昭润
受保护的技术使用者：西安理工大学
技术研发日：2020.09.17
技术公布日：2021.01.05