一种通用多天气退化图像恢复方法

本发明涉及天气退化图像恢复，具体的说是一种通用多天气退化图像恢复方法。

背景技术：

1、降雨天气会对相机的成像造成严重的干扰，导致图像中出现雨雾和雨纹等不利因素，而雨雾和雨纹的出现会显著降低后续高级视觉任务的性能。因此，图像去雨及图像去雾是图像处理及计算机视觉领域的重要任务。

2、针对图像去雨任务，现有方法可分为两个基本类别，传统方法和基于深度学习的方法。传统方法包括基于滤波器、先验和模型等方法，然而，传统方法对复杂背景的处理能力不足，且严重依赖手工设计，整体效率和通用性不足。基于深度学习的方法在性能上明显优于传统方法，其生成的模型具有优秀的图像背景建模能力，且人工参与的部分少，整体效率得到了大幅的提升。

3、针对多天气退化图像恢复问题，基于深度学习的方法当前大致可分为三个主要类别：专项型、整合型和通用型。专项型方法针对不同任务量身定制独特的网络结构，导致模型架构与参数各不相同，难以应道到多种不同的天气退化凸显的恢复中。整合型方法则为各种任务提供了一个统一的网络框架，尽管模型结构相似，但参数设置存在差异，因此恢复效果仍然不佳。通用型方法则依据各种天气恶化状况的共性，构建能够适应多种恶劣天气的图像恢复网络，与专项型和整合型相比，能够应用到多种不同天气退化图像的恢复中。

4、现有技术中，较为主流的通用型方法所使用的生成模型主要有生成对抗网络gan、变分自编码器、基于流的模型和去噪扩散概率模型ddpm。其中gan存在训练不稳定以及模式崩溃的缺陷；vae生成的样本质量较低，可能会出现模糊以及失真的现象；基于流的模型与扩散模型都是将数据分布映射至高斯噪声，然而基于流的模型通过学习一个可逆及可微的函数，以一种确定的方式进行映射，导致模型存在对网络结构的额外约束；ddpm由于具有可学习的正反向过程，相对训练更加稳定，并且可扩展性较好。

5、但是，现有的基于ddpm的通用型多天气退化图像恢复方法中，噪声估计网络多采用以cnn为核心的u-net架构，在实际应用时，发现仍存在许多不足，主要表现在泛化能力差，对于多种尺寸不同、退化形式不同的天气退化图像进行恢复时，性能非常有限。

技术实现思路

1、为了解决现有技术中的不足，本发明提供一种通用多天气退化图像恢复方法，泛化能力强，恢复出的图像的清晰度好。

2、为了实现上述目的，本发明采用的具体方案为：

3、一种通用多天气退化图像恢复方法，包括如下步骤：

4、对待处理的天气退化图像进行分割得到多个图像区块，且相邻的两个图像区块之间存在重叠区域；

5、通过多次向图像区块中添加噪声进行前向扩散，得到噪声区块；

6、将已有的天气退化图像作为条件，并且与反向时间步共同输入到噪声估计网络中，噪声估计网络包括交错堆叠的多个基本dit块和优化dit块，其中优化dit块以基本dit块为基础引入级联上下文融合注意力得到；

7、利用噪声估计网络生成与噪声区块对应的估计噪声，并且基于重叠区域的估计噪声计算平均估计噪声；

8、对平均估计噪声进行平滑处理，并且基于平滑处理后的平均估计噪声对噪声区块进行反向隐式采样；

9、将噪声区块经过多次反向隐式采样后得到的恢复区块重组，得到恢复后的天气退化图像。

10、作为上述一种通用多天气退化图像恢复方法的进一步优化：对待处理的天气退化图像进行分割得到多个图像区块的具体方法包括：

11、以待处理的天气退化图像的其中一个顶点为起点，确定尺寸为r×r的网格；

12、以r为动作步长逐步移动网格，直到将待处理的天气退化图像分解为多个网格；

13、基于网格对待处理的天气退化图像进行分割，形成多个图像区块，相邻的两个图像区块之间存在至少一个重叠的网格。

14、作为上述一种通用多天气退化图像恢复方法的进一步优化：多次向图像区块中添加噪声的方法为：

15、

16、其中，x0为图像区块，t为正向时间步，αt为一个预定义的噪声序列，ò是从标准正态分布中采样的噪声。

17、作为上述一种通用多天气退化图像恢复方法的进一步优化：利用噪声估计网络生成估计噪声的具体方法包括：

18、将作为条件的已有的天气退化图像转换为数量为t且维度为d的token向量，token向量的尺寸为n×t×d，其中n为批量大小，d为token向量的长度，t＝(h×w)/p2，p为超参数；将反向时间步长t'嵌入到所有的token中；

19、逐一利用基本dit块和优化dit块对token进行处理，生成估计噪声。

20、作为上述一种通用多天气退化图像恢复方法的进一步优化：优化dit块的生成方法包括：

21、将基本dit块中多头自注意力块的注意力头分为多组，并且多组注意力头依次分布；

22、在相邻的两组注意力头之间引入上下文注意力机制；

23、基于上下文注意力机制将多组注意力头级联，得到级联上下文融合注意力块；

24、利用级联上下文融合注意力块替换基本dit块中的多头自注意力块得到优化dit块。

25、作为上述一种通用多天气退化图像恢复方法的进一步优化：级联上下文融合注意力块的运算过程包括：

26、将张量形式的输入特征x在特征维度分割为h个特征头

27、feats_in＝split(x,h)∈rh×b×n×(d/h)，其中n为批量大小，t为序列长度，d为特征维度；

28、对每个特征头i进行cfa运算和级联运算

29、

30、feati＝cfa(feati)；

31、将运算后的特征头重新组合

32、x_out＝concat(feat0,feat1,...,feath-1)∈rn×t×d；

33、融合所有重新组合后的特征头

34、x-out＝fusion(x-out)∈rn×t×d。

35、作为上述一种通用多天气退化图像恢复方法的进一步优化：cfa运算的具体过程包括：

36、接收张量形式的输入数据其中b为批量大小，n为序列长度，c为特征维度；

37、计算query(q)、key矩阵k1、value(v)，且计算结果均为矩阵形式：

38、

39、

40、将k1与输入张量x在特征维度上进行拼接：

41、

42、将拼接后的矩阵y1融合至原始维度：

43、

44、计算注意力权重：

45、

46、计算新的key矩阵k2：

47、

48、计算输出矩阵：

49、

50、作为上述一种通用多天气退化图像恢复方法的进一步优化：基于重叠区域的估计噪声计算平均估计噪声的具体方法包括：

51、构建与待处理的天气退化图像尺寸相同的矩阵，将与重叠区域中的像素对应的估计噪声叠加后作为元素；

52、计算所有矩阵的累加和得到根据每个重叠区域中的像素对应的估计噪声的数量对进行归一化处理，得到平均估计噪声。

53、有益效果：本发明以去噪扩散概率模型为基础，使用已有的天气退化图像作为条件引导扩反向采样过程，以生成清晰的背景图像；通过分割图像区块的方式，使本发明能够满足任意尺寸天气退化图像的恢复需求，提升了泛化能力；通过以级联方式引入级联上下文融合注意力来计算不同头部的上下文融合注意机制，能够充分捕捉全局和局部特征信息，进一步提高了模型在各种天气退化图像上的泛化能力。