图像去雾方法及系统

本发明属于计算机视觉，具体涉及图像去雾方法及系统。

背景技术：

1、图像去雾，旨在恶劣天气情况下拍摄的图像的基础上，利用一系列手段来去除大气中所含的烟、雾等不同材质、大小、形状和浓度的颗粒物。这些颗粒物的去除，统一称为去雾。近年来自动驾驶汽车等技术不断创新与发展，在自动驾驶算法的实现过程中，对行驶路况上的交通标志图片进行识别便是其中很重要的一环。当出现雾霾天气时，道路上的指示标志和红绿灯可能会模糊不清，容易出现无法识别或识别错误等情况，可能产生非常严重的后果。因此，针对雾天交通信号标志等图像进行有效去雾十分必要。

2、目前已有很多种不同的图像去雾算法被提出，如颜色恢复法、基于退化模型的方法、基于光学模型的方法等。这些算法主要是基于先验知识、物理模型、深度学习等不同的方法进行设计和实现的。研究者们基于卷积神经网络、生成对抗网络等不同的深度学习模型，设计了许多高效和有效的图像去雾算法。除了传统的室内、室外场景下的图像去雾任务，越来越多的研究者开始探索更多的应用场景，这些任务对算法的鲁棒性和实时性提出了更高的要求，也为图像去雾领域的研究提供了更广阔的空间。尽管研究者们已提出了许多算法，然而这些算法在图像去雾实时性方面，都达不实际应用场景的高精度要求，特别是针对雾天交通信号标志的图像去雾在实时性等方面更为严格的要求。

技术实现思路

1、本发明是为了解决上述问题而进行的，目的在于提供图像去雾方法及系统，能够对雾天拍摄的图像，特别是对雾天交通信号标志图像进行实时、高精度去雾。

2、为了实现以上目的，本发明采用了以下方案：

3、<方法一>

4、本发明提供图像去雾方法，包括以下步骤：

5、步骤i，判断雾天图像是浓雾或薄雾情况下拍摄的图像；

6、步骤ii，根据判断结果采用相应的方法进行图像去雾：对于浓雾情况，采用基于暗通道先验算法的图像去雾改进方法a；对于薄雾情况采用aod-net图像去雾改进方法b；

7、其中，基于暗通道先验算法的图像去雾改进方法a包括如下步骤：

8、步骤a1，对于给定的单张雾天图像，利用最小滤波器(窗口半径为r＝15)对图像中三个颜色通道r，g，b分别进行处理来计算图像的暗通道值；

9、步骤a2，基于步骤a1计算的暗通道值，对于给定的单张雾天图像，仅选取图像中上1/4区域内暗通道值最大的前0.1％的像素，利用其映射到有雾图像相应位置像素的平均值计算大气光强；

10、步骤a3，对于给定的单张雾天图像，利用改进后的公式来粗略估算其透射率，得到粗略的透射率图：

11、

12、式中，修正系数ω＝0.9；表示最小滤波器；表示三个颜色通道中的最小值；ic(y)表示待处理的有雾图像；上标c代表三个颜色通道；ac表示通道对应的大气光强；

13、步骤a4，对于给定的单张雾天图像，将转化为灰度图的原图像作为引导图像，将步骤a3得出的粗略的透射率图作为输入图像，得到的输出图像为细化后的透射率图；

14、步骤a5，基于步骤a2和步骤a4求得的数据，对雾天图像进行去雾操作，恢复出无雾的图像；

15、aod-net图像去雾改进方法b包括如下步骤：

16、步骤b1，模型训练过程中利用改进后的k估计模块进行训练；

17、改进后的k估计模块中，含有五个卷积层，卷积核大小分别为1×1、3×3、5×5、7×7、3×3；将卷积层1和卷积层2的输出连接在一起，在使用空间随机失活操作后作为卷积层3的输入；将卷积层2和卷积层3的输出连接在一起，作为卷积层4的输入；将卷积层1、2、3和4的输出连接在一起，作为卷积层5的输入；

18、步骤b2，基于步骤b1的训练结果，对于雾天图像，利用改进后的k估计模块对其中特征进行提取，得到恢复出无雾图像所需的参数；

19、步骤b3，利用aod算法中的无雾图像生成模块和步骤b2得到的参数生成无雾图像。

20、优选地，本发明提供的图像去雾方法，在步骤i中，根据大气散射系数β进行判断：

21、当β≥2.7时，为浓雾情况，当β＜2.7时，为薄雾情况。

22、优选地，本发明提供的图像去雾方法，在步骤b1中，使用如下损失函数来代替aod算法原有损失函数：

23、

24、式中，xi为预测值，yi为目标值，n为预测值或目标值的总数，δ为超参数。

25、优选地，本发明提供的图像去雾方法，在步骤b1中，δ＝1.0。

26、<方法二>

27、本发明方法二提供了另一种图像去雾方法，包括以下步骤：

28、步骤a1，对于给定的单张雾天图像，利用一个窗口半径为r＝15的最小滤波器对图像中三个颜色通道r，g，b分别进行处理来计算图像的暗通道值；

29、步骤a2，基于步骤a1计算的暗通道值，对于给定的单张雾天图像，选取图像中上1/4区域内暗通道值最大的前0.1％的像素，利用其映射到有雾图像相应位置像素的平均值计算大气光强；

30、步骤a3，对于给定的单张雾天图像，利用改进后的公式来粗略估算其透射率，得到粗略的透射率图：

31、

32、式中，修正系数ω＝0.9；表示最小滤波器；表示三个颜色通道中的最小值；ic(y)表示待处理的有雾图像；上标c代表三个颜色通道；ac表示通道对应的大气光强；

33、步骤a4，对于给定的单张雾天图像，将转化为灰度图的原图像作为引导图像，将步骤a3得出的粗略的透射率图作为输入图像，得到的输出图像为细化后的透射率图；

34、步骤a5，基于步骤a2和步骤a4求得的数据，对雾天图像进行去雾操作，恢复出无雾的图像。

35、优选地，本发明方法二提供的图像去雾方法，采用该图像去雾方法对大气散射系数β≥2.7的浓雾情况下的雾天图像进行去雾。

36、<方法三>

37、本发明方法三提供了第三种图像去雾方法，包括以下步骤：

38、步骤b1，模型训练过程中利用改进后的k估计模块进行训练；

39、改进后的k估计模块中，含有五个卷积层，卷积核大小分别为1×1、3×3、5×5、7×7、3×3；将卷积层1和卷积层2的输出连接在一起，在使用空间随机失活操作后作为卷积层3的输入；将卷积层2和卷积层3的输出连接在一起，作为卷积层4的输入；将卷积层1、2、3和4的输出连接在一起，作为卷积层5的输入；

40、步骤b2，基于步骤b1的训练结果，对于雾天图像，利用改进后的k估计模块对其中特征进行提取，得到恢复出无雾图像所需的参数；

41、步骤b3，利用aod算法中的无雾图像生成模块和步骤b2得到的参数生成无雾图像。

42、优选地，本发明方法三提供的图像去雾方法，采用该图像去雾方法对大气散射系数β＜2.7的薄雾情况下的雾天图像进行去雾。

43、<系统>

44、进一步，本发明还提供能够自动实现上述<方法>的图像去雾系统，包括：

45、判断部，判断雾天图像是浓雾或薄雾情况下拍摄的图像；

46、去雾部，根据判断结果采用相应的单元进行图像去雾处理：对于浓雾情况，采用基于暗通道先验算法的图像去雾改进单元；对于薄雾情况采用aod-net图像去雾改进单元；

47、其中，图像去雾改进单元根据如下步骤a1～a5进行图像去雾处理：

48、步骤a1，对于给定的单张雾天图像，利用一个窗口半径为r＝15的最小滤波器对图像中三个颜色通道r，g，b分别进行处理来计算图像的暗通道值；

49、步骤a2，基于步骤a1计算的暗通道值，对于给定的单张雾天图像，选取图像中上1/4区域内暗通道值最大的前0.1％的像素，利用其映射到有雾图像相应位置像素的平均值计算大气光强；

50、步骤a3，对于给定的单张雾天图像，利用改进后的公式来粗略估算其透射率，得到粗略的透射率图：

51、

52、式中，修正系数ω＝0.9；表示最小滤波器；表示三个颜色通道中的最小值；ic(y)表示待处理的有雾图像；上标c代表三个颜色通道；ac表示通道对应的大气光强；

53、步骤a4，对于给定的单张雾天图像，将转化为灰度图的原图像作为引导图像，将步骤a3得出的粗略的透射率图作为输入图像，得到的输出图像为细化后的透射率图；

54、步骤a5，基于步骤a2和步骤a4求得的数据，对雾天图像进行去雾操作，恢复出无雾的图像；

55、aod-net图像去雾改进单元根据如下步骤b1～b3进行图像去雾处理：

56、步骤b1，模型训练过程中利用改进后的k估计模块进行训练；

57、改进后的k估计模块中，含有五个卷积层，卷积核大小分别为1×1、3×3、5×5、7×7、3×3；将卷积层1和卷积层2的输出连接在一起，在使用空间随机失活操作后作为卷积层3的输入；将卷积层2和卷积层3的输出连接在一起，作为卷积层4的输入；将卷积层1、2、3和4的输出连接在一起，作为卷积层5的输入；

58、步骤b2，基于步骤b1的训练结果，对于雾天图像，利用改进后的k估计模块对其中特征进行提取，得到恢复出无雾图像所需的参数；

59、步骤b3，利用aod算法中的无雾图像生成模块和步骤b2得到的参数生成无雾图像；

60、控制部，与判断部、去雾部均通信相连，控制它们的运行。

61、优选地，本发明方法三提供的图像去雾系统，还包括：输入显示部，与控制部通信相连，用于让用户输入操作指令，并进行相应显示。

62、发明的作用与效果

63、本发明涉及的图像去雾方法及系统中，方法一首先判断雾天图像是浓雾或薄雾情况下拍摄的图像，然后根据判断结果采用相应的方法二或方法三进行图像去雾，方法二为基于暗通道先验算法的图像去雾改进方法，是在原始暗通道先验算法的基础上对大气光强估算步骤、透射率估计步骤以及透射率图细化步骤均进行了改进，有效保证了雾天图像去雾过程之中大气散射模型各值计算的准确性，提升了去雾图像的视觉效果、峰值信噪比(psnr)指标和结构相似性指标(ssim)，并在很大程度上缩短了算法的运行时间，提升了实时性；经过该方法去雾的图像在提升去雾效果的前提下还能够使得天空部分色彩更自然、更符合视觉感官；并且仅需单张有雾图像便可以恢复出无雾图像，操作简单、去雾的效果良好稳定；特别是针对浓雾情况下雾天图像的效果最好。方法三为aod-net图像去雾改进方法，对k估计模块进行了改进，并采用了新的损失函数，能够在增强函数鲁棒性的同时保障稳定性；该方法在实时性方面领先于其他算法，运行时间最短，可较好地满足实际场景的需要，并且去雾图像的对比度、饱和度及各项指标相较于其他图像去雾方法有较大提升，处理雾天图像的综合表现最优，针对薄雾情况下雾天图像的效果最好。