基于生成对抗网络的无人机航拍图像去雾方法及装置

文档序号:34442337发布日期:2023-06-13 08:13阅读:83来源:国知局
基于生成对抗网络的无人机航拍图像去雾方法及装置

本技术涉及图像处理,尤其涉及一种基于生成对抗网络的无人机航拍图像去雾方法及装置。


背景技术:

1、近几年空气质量退化严重,雾霾等恶劣天气出现频繁,pm2.5值越来越引起人们的广泛关注。在有雾天气下拍摄的图像模糊不清,清晰度不够,细节不明显,色彩保真度下降,出现严重的颜色偏移和失真,达不到满意的视觉效果。由此限制和影响了室外目标识别和跟踪、智能导航、公路视觉监视、卫星遥感监测、军事航空侦查等系统效用的发挥,给生产与生活等各方面都造成了极大的影响。

2、无人机在空中飞行获取航拍视频图像过程中,由于雾的影响,会导致获取到的视频图像出现色彩泛白、对比度下降、色彩变淡等问题,不仅影响这些无人机航拍视频图像的视觉质量,而且会给后续的计算机视觉算法,如目标检测与识别算法和目标跟踪定位算法等带来很大的困难,故现在迫切需要对雾天图像进行有效的去雾处理。

3、图像去雾算法目前已取得较大的进展,主要可分为两大类:第一类是基于图像增强的图像去雾方法,第二类是基于物理模型的图像去雾方法。

4、第一类基于图像增强的图像去雾方法,如直方图均衡化算法,通过灰度直方图的形状,能判断该图像的清晰度和黑白对比度,即如果获得一幅图像的直方图效果不理想,可以通过直方图均衡化处理技术作适当修改,即把一幅已知灰度概率分布图像中的像素灰度作某种映射变换,使它变成一幅具有均匀灰度概率分布的新图像,实现使图像清晰的目的。

5、但是,这类基于图像增强的图像去雾方法,并不考虑图像退化模型及降质原因,仅从图像处理的角度提高图像对比度,因此容易造成图像的信息丢失,并不能从根本上去雾。

6、第二类基于物理模型的图像去雾方法,比如构建图像去雾模型,将低分辨率图像作为输入并产生高分辨率输出,得到去雾图像;具体为:通过构建图像去雾模型,获取有雾图像数据,再通过结合循环一致性和感知损失来增强cycle生成对抗网络模型,以便改善纹理信息恢复的质量并产生视觉上更好的清晰图像。

7、然而,这类基于物理模型的图像去雾方法,由于采用一些室内图像进行端到端的训练模型,导致室内数据场景较为单一,并且无法很好的类比到真实雾天图像,图像景深距离小,不符合真是雾天图像的特性,去雾模型泛化性不够,同时该技术方案中,往往对图像进行去雾处理后导致图像细节损失严重,无法实现良好的收敛性,而且去雾结果颜色对比度较低并且去雾力度不足,仍有少许残雾出现。

8、因此,提供一种去雾效果更好的去雾方法,是目前需要解决的主要问题。


技术实现思路

1、本技术提供了一种基于生成对抗网络的无人机航拍图像去雾方法及装置,以解决现有的基于图像增强的图像去雾方法和基于物理模型的图像去雾方法均去雾效果不佳的问题。

2、本技术采用的技术方案如下:

3、第一方面,本发明提供一种基于生成对抗网络的无人机航拍图像去雾方法,包括:

4、合成多对同一场景下的航拍雾天图像和清晰图像,所述雾天图像和清晰图像均为hsv格式;

5、将多对同一场景下的航拍雾天图像和清晰图像划分为训练集和测试集;

6、构建用于雾天图像去雾生成去雾图像的生成器,以及用于判别生成器生成的图像是真实图像还是生成图像的判别器,其中,所述生成器中具有约束函数,所述约束函数为根据雾天图像和清晰图像在h分量上的差异构建的,高频信息损失函数、低频信息损失函数和内容信息损失函数;

7、将训练集中成对的雾天图像和清晰图像与去雾图像交替训练生成器和判别器直至收敛到纳什平衡,得到并保存训练好的生成器和判别器;

8、将测试集中的航拍雾天图像输入训练好的生成器预测去雾后的图像。

9、在一种可实现的实施方式中,所述生成器包括编码器、残差结构和解码器;

10、构建用于雾天图像去雾形成去雾图像的生成器,包括:

11、编码器对雾天图像提取图像特征;

12、残差网络将提取图像特征的雾天图像转换为符合目标域数据分布的特征图;

13、转换器将所述特征图的特征向量进行扩张反演出低级特征,若步长为1,则输入输出特征图大小相等;

14、若步长为2,则经卷积后输出特征大小减半,经反卷积后输出特征大小加倍,得到原尺寸的去雾图像。

15、进一步地,所述编码器包括3个卷积、3个批规范化层和3个relu激活层,卷积核大小为3*3,步长为2;

16、残差结构包括6个残差块,每个残差块又包含了2个卷积层、2个批规范化层和1个relu激活层,卷积核大小为3*3,步长为1;

17、解码器包括2个反卷积层、2个批规范化层、2个relu激活层、1个卷积层和1个relu激活层。

18、在一种可实现的实施方式中,用于判别生成器生成的图像是真实图像还是生成图像的判别器,包括:

19、固定生成器的参数,先训练判别器,让判别器能够分辨生成对抗网络的输入数据是来自于真实数据还是生成数据;

20、当判别器训练完成后,固定判别器的参数,训练生成器网络,让生成器网络生成的去雾图像能够最小化真实数据和生成数据的差异;

21、经过多次迭代,直至生成器网络和判别器达到纳什均衡。

22、进一步地,所述判别器包括5个卷积模块,每个卷积层均使用leaky-relu激活函数,分别为conv layer1、conv layer2、conv layer3、conv layer4和conv layer;

23、所述conv layer1、conv layer2、conv layer3、conv layer4用于提取生成器的输出图像特征,每层卷积的卷积核大小为4*4,步长为2;

24、通过添加产生一维输出的卷积层conv layer,其卷积核大小为4*4,步长为1;

25、使用sigmoid激活函数,判断生成的去雾图像是否符合真实图像的数据分布,若真实图像则输出为1,则重建图像则输出为0。

26、在一种可实现的实施方式中,所述约束函数为haze loss损失函数,所述hazeloss损失函数的定义为:

27、haze loss=α*llow+β*lhigh+γ*lcontent                    (1)

28、

29、

30、ib(i,j)=∑m,ni(i+m,j+n).g(m,n)                            (4)

31、

32、

33、(1)式中α、β和γ分别是高频信息、低频信息和内容信息损失函数的权重,llow为低频信息损失函数,lhigh为高频信息损失函数,lconten,为内容信息损失函数;(2)式中(ix)b、(iy)b和f(g(ix))b、g(f(iy)))b分别表示进行高斯模糊处理后的原始图像和生成图像;(3)式中(ix)v、(iy)v和f(g(ix)))v、g(f(iy)))v分别表示雾天图像和清晰图像和它们的重建图像在hsv空间中v通道的灰度图像;(4)式中ib表示对图像i进行高斯模糊处理,ib(i,j)表示图像中的像素点(i,j),g(m,n)为高斯模糊算子,g(m,n)中的m,n决定模糊半径的大小;(5)式中α表示正态分布的标准偏差,此处α2=3,(6)式中ix、iy、f(g(ix)))和g(f(iy))分别表示雾天和无雾输入图像和它们的重建图像。

34、第二方面,本发明提供一种基于生成对抗网络的无人机航拍图像去雾装置,包括:

35、合成模块,用于合成多对同一场景下的无人机航拍雾天图像和清晰图像,所述雾天图像和清晰图像均为hsv格式;

36、划分模块,用于将多对同一场景下的无人机航拍雾天图像和清晰图像划分为训练集和测试集;

37、构建生成对抗网络模块,用于构建用于雾天图像去雾生成去雾图像的生成器,以及用于判别生成器生成的图像是真实图像还是生成图像的判别器,其中,所述生成器中具有约束函数,所述约束函数为根据雾天图像和清晰图像在h分量上的差异构建的,所述约束函数包括色彩饱和度、对比度和亮度约束信息;

38、训练模块,用于将训练集中成对的雾天图像和清晰图像与去雾图像交替训练生成器和判别器直至收敛到纳什平衡,得到并保存训练好的生成器和判别器;

39、测试模块,用于将测试集中的航拍雾天图像输入训练好的生成器预测去雾后的图像。

40、第三方面,本发明提供一种计算机设备,包括:

41、一个或多个处理器;

42、存储器,用于存储一个或多个程序,

43、当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或者多个处理器实现如上所述的基于生成对抗网络的去雾方法。

44、第四方面,本发明提供一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如上所述的基于生成对抗网络的去雾方法。

45、采用本技术的技术方案的有益效果如下:

46、本发明提出一种新的特征约束函数对cyclegan网络进行优化。雾天图像可以分为高频和低频分量两部分,在雾天图像中雾霾主要存在于低频分量并且低频分量主要由图像的颜色、对比度以及亮度等信息组成,高频分量主要是一些细节、边缘变化锐利的纹理信息,并且雾天图像的色彩饱和度、对比度严重下降,纹理细节信息损失严重。本技术选用低频信息作为约束函数评估图像之间的亮度、对比度和色彩饱和度之间的差异,同时消除纹理和内容信息。而选取高频信息作为约束条件是为了增强图像去雾后的细节纹理信息。并在此基础上加入内容损失,使得图像具有相似的特征,包括图像内容和感知质量等方面,从而获得更加符合人眼视觉特性的图像。基于上述分析,本技术的特征约束函数haze loss通过对雾天图像进行颜色、纹理和内容的约束,不仅能提升图像去雾性能,而且增强后图像的纹理细节信息得到了更好的恢复,更有利于后续的图像处理工作。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1