一种基于多尺度深度学习的图像去雾方法与流程

本发明涉及图像信息处理，更确切地说，它涉及一种基于多尺度深度学习的图像去雾方法。

背景技术：

1、图像去雾是一种旨在从雾化图像中恢复真实场景的技术。由于天气条件、照明条件、物体距离等因素的影响，摄像机在拍摄图像时可能会受到雾霾、烟雾、气溶胶等影响，导致图像质量下降。因此，图像去雾技术在计算机视觉、机器视觉等领域具有广泛的应用。

2、现有的基于物理模型的方法主要是通过对传输过程中的光线传播进行建模，对雾化图像进行去雾处理。这种方法的代表性算法有暗通道先验法、多尺度retinex算法、物理模型法等。这类算法需要对图像传输模型和场景中的光照、颜色等进行一定的假设和建模，因此在一定程度上受到这些假设和模型的限制。

技术实现思路

1、本发明的目的是针对现有技术的不足，提出了一种基于多尺度深度学习的图像去雾方法。

2、第一方面，提供了一种基于多尺度深度学习的图像去雾方法，包括：

3、步骤1、数据集预处理：构建包含有雾图像和清晰图像的数据集，以用于神经网络的训练和优化，并进行预处理；

4、步骤2、神经网络模型构建：采用多尺度深度学习的方法来构建神经网络模型，从粗到细逐层进行建模，用于实现对图像的全方位特征提取和处理；

5、步骤3、特征提取：利用卷积神经网络提取图像特征，将有雾图像输入深度卷积神经网络模型，提取出不同尺度的特征图，其中包含了图像的局部和全局信息；

6、步骤4、多尺度融合：将不同尺度的特征图融合起来；

7、步骤5、图像去雾：用融合后的特征图，生成去雾图像。

8、作为优选，步骤1中，所述预处理包括：色彩校正、图像去噪、对齐处理和数据增强。

9、作为优选，步骤2中，所述神经网络模型包括多尺度残差光照图估计模块和精细化去雾模块；所述多尺度残差光照图估计模块用于输出残差光照图，残差光照图与有雾图像相乘得到粗糙的无雾图像；所述精细化去雾模块用于对粗糙的无雾图像进行深度去雾，最终输出干净图像；所述精细化去雾模块的输入包括原始有雾图像的景深信息与粗糙的去雾图像。

10、作为优选，步骤2中，所述精细化去雾模块采用对称网络结构，分为编码分支和解码分支；编码分支中，使用4次降采样和卷积操作逐级提取粗糙去雾图像和深度图的金字塔特征；解码分支中，对已经提取的金字塔特征进行融合，并逐渐恢复被缩放的特征图；精细化去雾模块在相同层次的编解码层之间引入跳跃连接以完成残差学习；在解码分支仍然使用残差注意力模块作为特征提取单元。

11、作为优选，步骤2中，所述多尺度残差光照图估计模块包括4个分支，第一个分支由3个残差注意力模块组成，其余3个分支均由池化层、3个残差注意力模块和上采样层组成；第一个分支与输入图像保持相同的分辨率，其余3个分支分别将原始图像降采样至原来尺寸的1/2、1/4和1/8，得到多尺度特征图，然后将多尺度特征图分别送入相应的残差注意力模块学习多尺度特征；经过多尺度特征学习后，4个分支的特征图被上采样至相同的分辨率，并做通道间的合并操作，最后经过一个卷积层输出残差光照图。

12、作为优选，步骤3中，设置了非局部重构模块，对于有雾图像在卷积特征提取后再进行非局部操作，非局部操作表示为：

13、

14、其中，输出信号o和输入信号x尺寸是相同的，i代表输出位置索引，j是列出全图中所有可能位置的索引，函数f(xi,xj)用来计算位置i和j之间的相似性，其结果是一个权重标量，并且权重越大，位置i的输出受位置j的值影响越大；函数g用来计算j位置输入信号的一个表示；最后通过c(x)对响应值归一化。

15、作为优选，步骤4中，设置混合注意力模块，并通过通道和空间注意力机制自动调整通道和像素的注意力权重，使网络对每个通道和像素给予不同的重视；混合注意力模块的功能表示为：

16、woutput＝fs(fc(winput))

17、其中，woutput为输出，winput为输入，fc为通道注意力机制的输出，fs为空间注意力机制的输出。

18、作为优选，还包括：

19、步骤6、去雾图像后处理；具体包括：

20、步骤6.1、对图像进行增强；

21、步骤6.2、使用中值滤波对图像进行去噪。

22、第二方面，提供了一种基于多尺度深度学习的图像去雾系统，用于执行第一方面任一所述的基于多尺度深度学习的图像去雾方法，包括：

23、第一构建模块，用于构建包含有雾图像和清晰图像的数据集，以用于神经网络的训练和优化，并进行预处理；

24、第二构建模块，用于采用多尺度深度学习的方法来构建神经网络模型，从粗到细逐层进行建模，用于实现对图像的全方位特征提取和处理；

25、提取模块，用于利用卷积神经网络提取图像特征，将有雾图像输入深度卷积神经网络模型，提取出不同尺度的特征图，其中包含了图像的局部和全局信息；

26、融合模块，用于将不同尺度的特征图融合起来；

27、生成模块，用于用融合后的特征图，生成去雾图像。

28、第三方面，提供了一种计算机存储介质，所述计算机存储介质内存储有计算机程序；所述计算机程序在计算机上运行时，使得计算机执行第一方面任一所述的基于多尺度深度学习的图像去雾方法。

29、本发明的有益效果是：

30、1.本发明主要采用多尺度深度学习的方法来构建神经网络模型，从粗到细逐层进行建模，以实现对图像的全方位特征提取和处理。

31、2.本发明采用多尺度融合，提高图像去雾的鲁棒性。将不同尺度的特征图融合起来，得到更为丰富的特征表示，从而提高了图像去雾的效果。

32、3.本发明在进行图像去雾之后，还提出了一种后处理方法，以进一步提高去雾效果。

技术特征：

1.一种基于多尺度深度学习的图像去雾方法，其特征在于，包括：

2.根据权利要求1所述的基于多尺度深度学习的图像去雾方法，其特征在于，步骤1中，所述预处理包括：色彩校正、图像去噪、对齐处理和数据增强。

3.根据权利要求2所述的基于多尺度深度学习的图像去雾方法，其特征在于，步骤2中，所述神经网络模型包括多尺度残差光照图估计模块和精细化去雾模块；所述多尺度残差光照图估计模块用于输出残差光照图，残差光照图与有雾图像相乘得到粗糙的无雾图像；所述精细化去雾模块用于对粗糙的无雾图像进行深度去雾，最终输出干净图像；所述精细化去雾模块的输入包括原始有雾图像的景深信息与粗糙的去雾图像。

4.根据权利要求3所述的基于多尺度深度学习的图像去雾方法，其特征在于，步骤2中，所述精细化去雾模块采用对称网络结构，分为编码分支和解码分支；编码分支中，使用4次降采样和卷积操作逐级提取粗糙去雾图像和深度图的金字塔特征；解码分支中，对已经提取的金字塔特征进行融合，并逐渐恢复被缩放的特征图；精细化去雾模块在相同层次的编解码层之间引入跳跃连接以完成残差学习；在解码分支仍然使用残差注意力模块作为特征提取单元。

5.根据权利要求4所述的基于多尺度深度学习的图像去雾方法，其特征在于，步骤2中，所述多尺度残差光照图估计模块包括4个分支，第一个分支由3个残差注意力模块组成，其余3个分支均由池化层、3个残差注意力模块和上采样层组成；第一个分支与输入图像保持相同的分辨率，其余3个分支分别将原始图像降采样至原来尺寸的1/2、1/4和1/8，得到多尺度特征图，然后将多尺度特征图分别送入相应的残差注意力模块学习多尺度特征；经过多尺度特征学习后，4个分支的特征图被上采样至相同的分辨率，并做通道间的合并操作，最后经过一个卷积层输出残差光照图。

6.根据权利要求5所述的基于多尺度深度学习的图像去雾方法，其特征在于，步骤3中，设置了非局部重构模块，对于有雾图像在卷积特征提取后再进行非局部操作，非局部操作表示为：

7.根据权利要求6所述的基于多尺度深度学习的图像去雾方法，其特征在于，步骤4中，设置混合注意力模块，并通过通道和空间注意力机制自动调整通道和像素的注意力权重，使网络对每个通道和像素给予不同的重视；混合注意力模块的功能表示为：

8.根据权利要求7所述的基于多尺度深度学习的图像去雾方法，其特征在于，还包括：

9.一种基于多尺度深度学习的图像去雾系统，其特征在于，用于执行权利要求1至8任一所述的基于多尺度深度学习的图像去雾方法，包括：

10.一种计算机存储介质，其特征在于，所述计算机存储介质内存储有计算机程序；所述计算机程序在计算机上运行时，使得计算机执行权利要求1至8任一所述的基于多尺度深度学习的图像去雾方法。

技术总结
本发明涉及一种基于多尺度深度学习的图像去雾方法，包括构建包含有雾图像和清晰图像的数据集，并进行预处理；采用多尺度深度学习的方法来构建神经网络模型，从粗到细逐层进行建模；将有雾图像输入深度卷积神经网络模型，提取出不同尺度的特征图，其中包含了图像的局部和全局信息；将不同尺度的特征图融合起来；生成去雾图像。本发明的有益效果是：本发明采用多尺度融合，提高图像去雾的鲁棒性；将不同尺度的特征图融合起来，得到更为丰富的特征表示，从而提高了图像去雾的效果。

技术研发人员：陈舜波,尚鹏辉,刘珂,周轶凡,张津瑞,岳恒
受保护的技术使用者：杭州智元研究院有限公司
技术研发日：
技术公布日：2024/1/16