基于RGB-T局部目标增强的恶劣环境目标检测方法

本发明属于计算机视觉和图像处理，涉及一种基于rgb-t局部目标增强的恶劣环境目标检测方法。

背景技术：

1、目标检测作为计算机视觉的重要任务之一，在自动驾驶、交通监测、遥感检测等领域有着广泛的应用。然而，实际的成像系统不可避免受到散射、不均匀光照的影响，导致目标的特征在成像图像中出现退化降质的现象，严重影响了目标检测精度。因此，能够从降质图像中恢复出清晰的目标信息，对目标检测系统的全天候运行具有重要价值。

2、为实现恶劣环境中目标检测任务，目前已有的方法可以分为三类：基于更强大特征提取网络，直接在恶劣环境中训练目标检测器。该类方法依赖于更加复杂的网络结构，对检测的实时性产生不利影响；基于图像增强方法，对增强后的图像执行目标检测。然而，大多图像增强方法均以提高人眼视觉为目标进行设计，无法显著提高计算机视觉任务的精度；基于增强器与检测器的联合方法，训练出针对目标检测任务的图像增强器。该类方法联合了增强任务与检测任务，能够有效提高在恶劣环境中的目标检测精度。

3、然而，现有的增强器均以全局增强方案进行设计。这种全局的增强方案本质上是将增强器作为“黑箱系统”，在增强目标特征的同时，不可避免地对背景噪声也进行了放大。因此，现有增强器并未从结构设计方面实现最适合检测任务的图像增强，严重限制了恶劣环境中目标检测的精度。

技术实现思路

1、针对上述方法不足，本发明的目的提供一种基于rgb-t目标局部增强的恶劣环境目标检测方法。该发明能够在恶劣环境中仅对图像的目标区域进行局部增强，提高目标检测的精度。脱离增强器的黑箱设计方案，通过红外图像生成目标的权重掩膜，并以掩膜对增强的目标与降质的背景进行融合，形成目标局部增强图像。在开源数据集与实际场景中进行大量实验，证明了发明的优越性。

2、本发明解决其技术问题所采用的技术方案是：基于rgb-t目标局部增强的恶劣环境目标检测方法，建立包括目标局部增强融合模型、图像增强模块与权重掩膜转换模块，并进行基于检测损失的联合优化方案训练一体化模型，用于在恶劣场景中实现目标检测任务，得到目标局部增强图像，包括以下步骤：

3、s1.构建目标局部增强融合模型，用于基于红外模态的目标权重掩膜实现对可见光模态下目标区域的局部增强；

4、s2.融合模型中进一步构建基于s型曲线函数的权重掩膜转换模块，实现从红外模态中得到目标的权重掩膜；

5、s3.融合模型中进一步构建基于改进大气散射模型与可学习伽马校正器的图像增强模块，实现对恶劣环境中可见光模态下降质图像的增强恢复；

6、s4.构建目标局部增强融合模型与检测器级联的一体化模型，采用检测损失联合优化一体化模型，实现对目标检测任务的图像增强，进而提高目标检测精度。

7、所述融合模型实现对输入的降质图像目标局部区域进行增强，而背景区域保持降质与模糊；所构建的目标局部区域增强图像用于提高在恶劣环境中目标检测的精度；

8、所述融合模型形式为：

9、y(x)＝m(x)×g(x)+(1-m(x))×u(x)，

10、其中，m(x)代表权重掩膜；g(x)代表增强后的图像；u(x)代表降质的原始图像。

11、步骤s2具体包括以下步骤：

12、s2a：构建s型曲线函数从红外模态中得到目标的权重掩膜；

13、可学习的s型曲线函数的形式为：

14、

15、其中，m(x)代表权重掩膜；α代表映射曲线的最大值，设置为常量1；μ代表映射曲线的中值点，设置为常量0；θ代表曲线的陡度，该参数是可学习的，由权重掩膜转换模块得到，不同的数值对应着对应不同的曲线，用于实现突出目标区域而抑制背景的噪声；

16、s2b：进一步构建权重掩膜转换模块，通过卷积神经网络实现从红外模态中估计θ参数，并根据映射函数得到目标的权重掩膜。

17、步骤s2b权重掩膜转换模块参数估计网络的具体结构包括：

18、(1)参数估计网络共包含若干组卷积结构组，各卷积结构组均包括n×n的卷积层与激活函数层，最后一组卷积结构组中为relu激活函数，其余各组均为rrelu激活函数；

19、(2)第一组卷积结构组的输入为单通道的红外模态图像，并保持输入输出空间尺寸不变；

20、(3)第n块卷积结构组的输入为前(n-1)块卷积结构组输出的特征图组，输入通道数为与前一层的输出相同，并保持输入输出空间尺寸不变；

21、(4)最后一层卷积结构组输出待估计的θ参数矩阵；根据映射函数对红外模态图像进行转换，得到目标的权重掩膜m(x)。

22、步骤s3具体包括以下步骤：

23、s31：根据改进的大气散射模型，实现对原始降质图像进行目标增强；

24、改进大气散射模型形式为：

25、

26、其中，j(x)代表输出的增强图像；i(x)代表输入的降质图像；td(x)代表去散射变换项，该项由图像增强模块估计得到；a(x)代表可变的大气光值；

27、s32：根据改进的可学习的伽马校正器，实现对降质图像进行再次目标增强；

28、改进的可学习的伽马校正器形式为：

29、

30、其中，g(x)代表输出的增强图像；ji(x)代表输入的待增强图像；γr，g，b(x)代表校正图矩阵，该项由图像增强模块估计得到；

31、s33：进一步构建图像增强模块，通过卷积神经网络实现从降质图像中估计散射变换项td(x)与校正图矩阵γr，g，b(x)，使得二者用于改进大气散射模型与伽马校正器依次进行图像目标增强。

32、步骤s33图像增强模块参数估计网络的具体结构包括：

33、(1)构建特征提取网络：特征提取网络包含若干组卷积结构组，各卷积结构组均包括n×n卷积层、实例归一化层、rrelu激活函数；第一组卷积结构组的输入为降质的rgb图像；第n块卷积结构组的输入为前(n-1)块卷积结构组输出的特征图组的拼接特征图组；将四块卷积结构组输出的特征图进行堆叠，得到特征图组；

34、(2)构建双分支结构的参数估计网络：将特征图组分别通过两个自适应权重分配模块，对特征图组自适应地赋予不同的权重，再通过一层卷积调整输出的通道数，分别经过brelu激活函数与relu激活函数得到估计散射变换项td(x)与校正图矩阵γr，g，b(x)。

35、步骤(2)中自适应权重分配模块的具体结构包括：

36、对输入进模块的特征图组fc进行一次全局平均池化与全局最大池化，得到两组大小为c×1×1的特征图组gc；将两组特征图组分别进行一次一维卷积操作，再将两组特征图组共同进行一次一维卷积；最后由sigmoid函数确定特征图组的权重α，根据权重α对特征图组自适应赋权。

37、所述目标检测器采用yolo网络，输出目标分类、置信度、定位框位置。

38、步骤s4具体包括以下步骤：

39、s4a：使用成对的清晰-降质图像数据集对步骤s3中所构建的图像增强模块进行训练，训练的损失函数为感知损失：

40、

41、其中，分别表示在三个通道中使用vggl6作为感知损失网络进行感知损失计算，dj，hj，wj表示输入图像的尺寸大小；

42、s4b：使用成对的红外图像对步骤s2中所构建的权重掩膜转换模块进行训练，训练的损失函数为一致性损失：

43、

44、其中，t(x)表示红外图像，代表由权重掩膜转换模块生成的权重掩膜；使用一致性损失进行训练，为后续一体化训练提供一个良好的初值；

45、s4c：使用目标检测损失将图像增强模块、权重掩膜转换模块与目标检测器进行一体化结合；其中目标检测损为：

46、lossdet＝λ1lossclass+λ2lossconf+λ3lossreg，

47、其中，lossclass表示目标的分类损失，lossconf代表目标的置信度损失，lossreg代表目标定位框的位置回归损失；

48、得到检测损失联合优化一体化模型，实现针对目标检测任务的图像增强，进而提高目标检测精度。

49、本发明具有以下有益效果及优点：

50、1.本发明所提出的增强方法基于局部增强融合物理模型，摆脱了传统增强器的黑箱设计方案。通过红外图像生成目标的权重掩膜，并以掩膜对增强的目标与降质的背景进行融合，形成更有利于目标检测的目标局部增强图像。

51、2.本发明所设计的网络结构轻量而高效。增强器采用双分支的网络结构，能够共享特征提取主干网络，使得两组参数的估计依赖于单组网络。轻量的增强网络结构保证了目标检测的实时性。

52、3.本发明所提出的联合优化方案使得增强器对降质图像执行针对目标检测任务的增强，而不是仅仅增强人眼的视觉效果。联合优化方案将增强器与检测器级联，以检测损失进行一体化优化，以一种简单的方式显著提高在恶劣环境中目标检测任务性能。

53、4.经过在开源数据集上的实验验证，本发明相比于其他先进方法在恶劣环境中检测精度明显提高；此外，本发明算法复杂度较小，能够在低算力的移动设备中进行部署并保持实时的检测性能。