一种基于小波变换的多尺度Transformer-Unet低光图像的增强方法

本发明涉及图像处理，具体涉及一种基于小波变换的多尺度transformer-unet低光图像的增强方法。

背景技术：

1、近年来，科技发展迅速，人工智能技术在各行各业逐步普及，自动驾驶、安防等领域具有广阔的前景，但是在夜间或其他光照不足情况下，所拍摄到的图像往往遭受损害，具有亮度低、对比度差等问题，大大影响目标检测、目标追踪等高层视觉任务的执行性能，因此，需要对低光图像进行光照的矫正；

2、通常传统的低光图像增强是采用直方图均衡化来调整图像整体的对比度，但是这种方法所能获得提升较少，且由于均衡化后的灰度级减少，部分信息会消失，也会导致图像出现不自然的增强，而基于学习的低光图像增强方法，往往采用卷积神经网络，但是卷积神经网络注重局部特征的提取，对于全局特征的提取效果并不好；

3、鉴于此，是否能够保证图像细节的同时实现对低光图像的增强以适应高层视觉任务，是亟待解决的问题；

4、因此，发明一种基于小波变换的多尺度transformer-unet低光图像的增强方法来解决上述问题很有必要。

技术实现思路

1、本发明的目的是提供一种基于小波变换的多尺度transformer-unet低光图像的增强方法，通过充分利用transformer的全局建模能力和unet网络所构造的多尺度交互框架，并采用小波变换实现跨特征域的信息交互，克服了卷积神经网络计算的局限性，弥补了transformer块对低光图像中局部信息的忽视，最终得到正常曝光、细节完善的目标曝光图像，不仅保证了低光图像的细节信息，还实现了低光图像的光照增强，能够适应目标追踪等高层视觉任务的执行，以解决技术中的上述不足之处。

2、为了实现上述目的，本发明提供如下技术方案：一种基于小波变换的多尺度transformer-unet低光图像的增强方法，包括以下步骤：

3、步骤1、给定一个低光图像，使用卷积神经网络对其进行增强处理，提取出低光图像的光照特征flight、浅层特征f0、以及梯度特征fgradient；

4、步骤2、将浅层特征f0和梯度特征fgradient作为transformer-unet网络的输入，得到中级增强图像ipe；

5、步骤3、使用光照特征flight作为光照微调的指导，对中级增强图像ipe进行光照微调，得到目标曝光图像。

6、前述的基于小波变换的多尺度transformer-unet低光图像的增强方法，在步骤1中，给定一个低光图像，使用卷积神经网络对其进行增强处理，提取出低光图像的光照特征flight、浅层特征f0、以及梯度特征fgradient的具体步骤如下：

7、1.1、设il表示低光图像，利用边缘检测算子提取低光图像il的梯度特征fgradient；

8、1.2、将低光图像il和均值图像imean级联，利用卷积神经网络做增强处理，得到初级增强图像ipl；

9、1.3、从卷积神经网络中间层提取初级增强图像ipl的光照特征flight；

10、其中，il∈ih×w×3，h为图像i的高度，w为图像i的宽度，c为图像i的通道数；

11、且imean∈ih×w×1，为il三通道求均值获得；

12、1.4、采用3×3卷积层提取初级增强图像ipl的浅层特征f0。

13、前述的基于小波变换的多尺度transformer-unet低光图像的增强方法，在步骤2中，将浅层特征f0和梯度特征fgradient作为transformer-unet网络的输入，得到中级增强图像ipe的具体步骤如下：

14、2.1、对浅层特征f0使用transformer块进行rgb域的特征学习，得到中间层特征f1；

15、2.2、将中间层特征f1使用haar小波分解后转换到小波域，使用梯度特征fgradient作为指导并与梯度特征fgradient融合，采用堆叠的多个transformer块进行特征学习，得到中间层特征f2；

16、2.3、使用卷积进行2倍下采样，使用梯度特征fgradient作为指导与下采样结果进行融合，并采用堆叠的多个transformer块进行特征学习，得到中间层特征f3；

17、2.4、使用卷积进行2倍下采样，使用梯度特征fgradient作为指导与与下采样结果进行融合，并采用级联的多个transformer块进行特征学习，得到中间层特征f4，用作瓶颈层；

18、2.5、在跳跃连接部分，将中间层特征f1、中间层特征f2、中间层特征f3、中间层特征f4统一输入到cdsf模块中，获取不同尺度不同域下的特征权重并融合，与解码器阶段输出进行权重相加，得到中级增强图像ipe。

19、前述的基于小波变换的多尺度transformer-unet低光图像的增强方法，在步骤2.1中，对浅层特征f0使用transformer块进行rgb域的特征学习，得到中间层特征f1，具体公式为：

20、f′＝layernorm(f0)

21、fa＝wsa(f′)+absa(f′)

22、f0′＝f0+fa

23、f″＝layernorm(f′0)

24、f1＝dgfn(f″)+f0′

25、其中，layernorm(·)为层归一化处理，

26、wsa(·)为窗口注意力，

27、absa(·)为轴向注意力，

28、dgfn(·)为带有双门控机制的前馈网络。

29、前述的基于小波变换的多尺度transformer-unet低光图像的增强方法，在步骤2.2中，将中间层特征f1使用haar小波分解后转换到小波域，使用梯度特征fgradient作为指导并与梯度特征fgradient融合，采用堆叠的多个transformer块进行特征学习，得到中间层特征f2，具体公式为：

30、fll,flh,fhl,fhh＝dwt(f1)

31、f1′＝[fll,flh,fhl,fhh]

32、f1″＝dof(f1′,fgradient)

33、f2＝wat(f1″)

34、其中，dwt(·)为小波变换，

35、dof(·)为利用深度过参数卷积进行特征融合，

36、wat(·)为步骤2.1中的计算过程；

37、fll为低频分量，

38、flh为水平方向高频分量，

39、fhl为垂直方向高频分量，

40、fhh为对角线方向高频分量。

41、前述的基于小波变换的多尺度transformer-unet低光图像的增强方法，在步骤2.3中，使用卷积进行2倍下采样，使用梯度特征fgradient作为指导与下采样结果进行融合，并采用堆叠的多个transformer块进行特征学习，得到中间层特征f3，具体公式为：

42、f2′＝downsampling(f2)

43、f2″＝dof(f2′,fgradient)

44、f3＝wat(f2″)

45、其中，downsampling(·)为卷积进行2倍下采样。

46、前述的基于小波变换的多尺度transformer-unet低光图像的增强方法，在步骤2.4中，使用卷积进行2倍下采样，使用梯度特征fgradient作为指导与与下采样结果进行融合，并采用级联的多个transformer块进行特征学习，得到中间层特征f4，的具体公式为：

47、f3′＝downsampling(f3)

48、f3″＝dof(f3′,fgradient)

49、f4＝wat(f3″)。

50、前述的基于小波变换的多尺度transformer-unet低光图像的增强方法，在步骤3中，使用光照特征flight作为光照微调的指导，对中级增强图像ipe进行光照微调，得到目标曝光图像，具体过程下：

51、将光照特征flight和中级增强图像ipe一并输入到光照调整模块lam执行对光照的调整，即可得到目标曝光图像。

52、与现有技术相比，本发明的有益效果是：

53、本发明通过使用卷积神经网络提取出低光图像的浅层特征、以及梯度特征，进而输入到transformer-unet网络中，并以光照特征、作为指导，得到目标曝光图像，充分利用transformer的全局建模能力和unet网络所构造的多尺度交互框架，并采用小波变换实现跨特征域的信息交互，克服了卷积神经网络计算的局限性，弥补了transformer块对低光图像中局部信息的忽视，最终得到正常曝光、细节完善的目标曝光图像，不仅保证了低光图像的细节信息，还实现了低光图像的光照增强，能够适应目标追踪等高层视觉任务的执行。