一种基于数据增强的红外小目标检测方法及装置

本发明涉及计算机应用，特别涉及一种使用生成模型进行红外小目标图像数据扩增，以提高检测的方法及装置。

背景技术：

1、红外图像小目标检测技术一直是军事侦察和空间探索的研究热点之一。在实际应用中，由于目标本身尺寸较小或与检测器距离较远，图像中目标所占据的像素数量通常有限。同时，由于大气散射和吸收的影响，目标的亮度普遍较弱。这种典型目标通常称为红外小目标。其主要挑战在于缺乏足够的目标特征信息，包括目标的大小、形状、亮度和纹理等。此外，在现实场景中，虚警是一个难以解决的问题，主要由两个因素造成。一方面，复杂场景下不可避免地会出现森林、云层、建筑物等各种复杂的成像背景；它们的亮度可能超过真实目标，边缘杂波信息复杂，容易干扰检测。另一方面，红外图像相比可见光图像更难获取，使得传统目标检测模型难以在复杂场景下有效学习目标特征信息，这导致在新场景中出现假警报。

2、传统的红外小目标检测方法通常是模型驱动的方法，可分为基于滤波的方法、基于人类视觉的方法和基于图像稀疏性的方法。基于滤波器的方法算法设计简单，但只适用于单一和固定的场景，限制了其实用性。基于人类视觉的方法仅适用于目标与背景对比度明显的场景。当目标亮度接近周围背景时，目标容易被淹没，导致性能显著下降。基于图像稀疏性的方法对各种场景的适应性较强，但算法性能开销相对较大。近年来，随着深度学习技术的发展，数据驱动的红外小目标检测方法成为研究热点。通常使用cnn提取图像特征并迭代训练以定位和分割目标。使用数据驱动的深度学习方法获得良好检测结果的前提是拥有足够的训练数据。然而，由于技术和设备的限制、环境条件、隐私和安全问题以及数据共享的限制，红外图像的可用性极其有限。此外，收集大量的数据和人工标注样本需要大量的人力物力。

3、数据增强是提高红外小目标检测性能的重要手段之一。在计算机视觉领域，通过传统的仿射变换方法进行数据增强，如旋转、翻转、颜色转换和裁剪图像，是常用的方法。然而，传统的仿射变换在增强红外小目标图像时存在一定的局限性。它们可能导致信息丢失，无法模拟复杂的场景和条件，以及数据多样性不足。近年来，深度生成模型因其出色的数据拟合能力而受到广泛关注和研究。其中，gan和扩散模型是最经典、应用最广泛的深度生成模型。与传统的数据增强方法相比，基于深度生成模型的方法可以学习数据的复杂底层分布，从而生成与原始数据不同但仍然可信的样本。深度生成模型可以生成具有不同形状、角度和光照条件的背景图像，以增强样本的多样性，更有利于在不同场景下模拟复杂环境。

4、但由于目标像素相对于整个图像的比例极小，直接使用生成模型学习图像的整体分布时，很难有效地学习小目标的分布信息。因此，大多数生成的图像不包含目标信息。而且当同时生成图像和目标时，需要重新标注生成图像中的目标，这是非常困难和耗时的。这是因为当目标较小时，人眼很难观察到需要标注的目标信息，导致标准错误，引入噪声数据。

技术实现思路

1、为了解决现有的技术问题，本发明提出了一种基于扩散模型和gan混合数据增强的红外小目标检测方法和装置，以克服现有红外图像数据量少导致深度检测模型性能较差，以及没有有效且具有多样性的红外小目标图像扩增方法。本发明提出两阶段的红外小目标图像扩增方法，第一阶段先通过填充背景像素得到干净的背景图像(没有小目标)；然后，在干净背景图像的基础上，利用扩散模型生成新的背景图像；第二阶段提出一种基于gan的目标融合网络实现与新背景图像的目标融合，并设计了一种新的对比损失作为生成器的额外损失；旨在使目标与生成的背景相协调，使目标适应背景环境。通过两阶段的增强方案，将复杂的红外小目标图像增强分解为两个相对简单的问题，并使得生成高质量的红外小目标图像成为可能。

2、为了解决上述技术问题，本发明采用的技术方案如下：一种基于数据增强的红外小目标检测方法，包括如下步骤，

3、步骤s1，选取训练集中红外小目标图像作为原始图像，进行图像预处理操作，去除小目标获取干净的红外背景图像，选取训练集中目标掩膜图像作为小目标掩膜图像库；

4、步骤s2，使用步骤s1得到的红外背景图像来训练去噪扩散概率模型，之后使用训练好的去噪扩散概率模型生成新的红外背景图像；

5、步骤s3，对干净的红外背景图像和小目标图像进行粗略的初始融合，然后将初始融合后的图像输入目标融合网络进行更细致的融合；

6、步骤s4，构建基于gan的目标融合网络，包括一个生成器和一个鉴别器，生成器为u-net模型，输入为步骤s3中得到的预融合图像，输出微调后的融合后红外小目标图像；鉴别器采用patchgan结构，输入为融合后的红外小目标图像或者原始训练集中的红外小目标图像，鉴别器将生成的融合图像判别为假，将原始红外小目标图像判别为真；

7、步骤s5，对目标融合网络进行对抗训练完成后，将去噪扩散概率模型生成的背景图像与真实小目标的掩膜图像进行步骤s3的预融合，得到的预融合图像作为生成器的输入，输出为新的红外小目标图像；

8、步骤s6，构建基于u-net的红外小目标检测模型，包括具有跳跃连接的卷积编码器和解码器结构，输入为带有小目标的红外图像，包括原始训练集中的红外小目标图像和得到的新的红外小目标图像，输出为小目标掩膜。

9、进一步的，步骤s1中所述预处理为，采用基于快速行进方法的图像修复技术来进行背景填充，直接填充小目标区域对应的背景像素。

10、进一步的，步骤s2中去噪扩散模型训练过程分为前向加噪过程和逆向去噪过程，前向加噪过程将给定的初始红外背景图像，在每个时间步骤中，把预先确定的高斯噪声添加到数据中，从而转换为t个隐变量序列，其中t表示噪声添加时间步长的总数，转换过程如下：

11、

12、

13、其中，表示原始数据分布，表示扩散过程中某时刻图片的条件概率密度函数，给定初始状态，表示服从高斯分布，表示为单位矩阵的协方差矩阵，意味着多元变量每个变量都是独立的；和为中间变量，、，而为在去噪扩散模型训练之前选择的超参数，表示高斯噪音；

14、逆向去噪过程通过训练参数化高斯转移核来恢复受干扰的数据分布，通过构建一个具有参数化的神经网络u-net模型来近似每一步的转移核来实现，表示如下：

15、

16、和表示均值和方差，去噪扩散模型的训练目标函数如下：

17、

18、其中，表示期望，表示用于噪声预测的神经网络u-net，预测的噪声标签为；

19、对于训练好的去噪扩散模型，通过随机采样高斯噪声输入模型中，使其生成更多的红外图像：

20、首先，随机采样标准正太分布的噪声；

21、然后，根据逆向过程逐步循环，在已知的情况下推测，根据如下贝叶斯公式推导为：

22、

23、对于模型，输入为和时间步，取自标准正太分布，当为最后一步时，；

24、这样即能在已知随机噪声的情况下，逐步恢复成原始图像，即通过去噪扩散模型生成多张红外背景图像。

25、进一步的，步骤s3中粗略的初始融合的具体实现方式如下：

26、首先得到小目标所在区域的背景图像：

27、

28、其中为背景图像，为小目标掩膜图像，像素取值范围都为0~1，表示元素级别的相乘操作；然后获得目标对应的背景区域像素的平均值：

29、

30、其中表示背景图像中像素的和，表示非零像素的个数，根据获得的小目标区域对应的背景平均像素值，设置最终用于融合到背景中的小目标掩膜像素值：

31、

32、最后将小目标的像素强度取值与背景图像整合得到预融合的图像：

33、。

34、进一步的，目标融合网络中的生成器g的输入是初始融合后的图像，即预融合图像，输出是微调图像；鉴别器d的输入由包含小目标的原始图像和由g生成的图像组成，鉴别器学习的目的是使预融合目标学习到真实目标的像素值，为了训练生成器g和鉴别器d，使用最小二乘损失作为目标损失：

35、

36、

37、表示含有红外小目标的原始真实图像，表示预融合图像，表示原始真实红外小目标图像的数据分布，而则表示gan的输入预融合图像的数据分布，表示对应项的数据期望；、表示原始gan模型中生成器和判别器的损失；

38、在生成器中加入了两个额外的损失函数，即重建损失和对比度损失，重建损失是为了用l1距离来衡量生成图像与原始图像之间的差异，其表示如下：

39、

40、表示样本数量；

41、对比度损失相当于一个正则化项，目的是约束目标像素向对应的背景像素靠近，损失如下所示：

42、

43、其中表示背景图像，表示和对应的掩膜图像，表示小目标对应位置的背景区域像素，表示生成的红外图像中小目标区域像素；

44、基于以上，目标融合网络中生成器的整体损失如下：

45、

46、其中，和分别表示和的权重。

47、进一步的，u-net模型包括编码器、瓶颈层以及解码器，编码器的第一个卷积块由一个卷积和一个leakyrelu激活函数组成，而第二个到第五个卷积块由一个卷积、批量归一化和leakyrelu激活函数组成；瓶颈层连接编码器和解码器，由卷积和整流线性单元组成，用于对输入进行降采样；解码器的第一个到第五个卷积块由转置卷积、批量归一化和校正线性单元组成，而输出层由转置卷积和tanh函数组成；

48、鉴别器patchgan由4个卷积块组成，第一个卷积块的内核大小为4，并使用leakyrelu激活函数，第二个和第三个卷积块由4x4卷积、bn和斜率为0.2的leakyrelu组成，第四个卷积块是具有4x4卷积的输出层。

49、进一步的，目标检测模型中的编码器采用resnet-18网络，编码器包括输入部分和4个下采样卷积层来获取高级语义信息，其中，输入层包括一个步幅为2的7x7卷积，和步幅为2的卷积核为3的最大池化层；之后连接4个下采样卷积层，每个下采样卷积层通过堆叠2个3x3卷积块来实现信息的提取，每个卷积块实际为一个残差块，输入数据分成两条路，一条路经过两个3x3卷积，另一条路直接短接，二者相加经过relu输出；

50、解码器对编码的特征进行上采样，包括4个解码层，每个解码层通过最近邻插值将图片分辨率放大，与编码层编码特征进行连接操作，然后一起进行3x3的等尺度卷积；最后解码层将特征放大到与原始图片相同分辨率时，进入分割层，经过一个3x3的卷积和一个sigmoid层，对小目标进行分割。

51、进一步的，目标检测模型的训练损失函数为dice损失：

52、

53、

54、

55、其中，表示目标检测模型预测值，是经过sigmoid的值，取值在（0，1）之间，为小目标掩膜的真实值，取值为非0即1，表示像素的数量，表示真实值和预测值的逐元素乘积之和，表示预测值与真实值的总和；为一个极小的数。

56、进一步的，还包括步骤s7，将步骤s5中扩增得到的红外小目标图像构成的数据集与原始训练集合并构成扩增后的数据集，用来训练步骤s6中的目标检测模型，同时使用原始训练集训练步骤s6中的目标检测模型，二者进行对比，选择三个评估指标来量化评估检测效果，包括交并比、检测概率和虚警率。

57、本发明还提供一种基于数据增强的红外小目标检测装置，包括如下模块：

58、预处理模块，用于选取训练集中红外小目标图像作为原始图像，进行图像预处理操作，去除小目标获取干净的红外背景图像，选取训练集中目标掩膜图像作为小目标掩膜图像库；

59、背景图像生成模块，用于使用干净红外背景图像来训练去噪扩散概率模型，之后使用训练好的去噪扩散概率模型生成新的红外背景图像；

60、目标预融合模块，用于对干净的红外背景图像和小目标图像进行粗略的初始融合，然后将初始融合后的图像输入目标融合网络进行更细致的融合；

61、目标融合网络构建模块，用于构建基于gan的目标融合网络，包括一个生成器和一个鉴别器，生成器为u-net模型，输入为预融合的图像，输出为微调后的融合红外小目标图像；鉴别器采用patchgan结构，输入为融合后的红外小目标图像或者训练集中原始的红外小目标图像，鉴别器将生成的融合图像判别为假，将原始红外小目标图像判别为真；

62、目标融合模型训练生成模块，用于对目标融合网络进行对抗训练完成后，将去噪扩散概率模型生成的背景图像与真实小目标的掩膜图像进行预融合，将预融合后得到的图像作为生成器的输入，输出为新的红外小目标图像；

63、目标检测器模型构建模块，用于构建基于u-net的红外小目标检测模型，包括具有跳跃连接的卷积编码器和解码器结构，输入为带有小目标的红外图像，包括原始训练集中的红外小目标图像和得到的新的红外小目标图像，输出为小目标掩膜。

64、本发明提供的技术方案实施可带来的有益效益是：

65、1.本发明提出使用扩散模型和gan模型进行红外小目标检测的数据增强，不仅可以有效的生成更多逼真的且更多样性的红外小目标图像，还使得扩增数据集训练后的检测模型检测效果提升。解决了目前红外小目标的采集和标注具有挑战性，导致数量无法满足具有良好检测性能的基于cnn的深度学习检测模型的需求。

66、2.本发明提出一种两阶段的红外小目标图像增强方案。第一个阶段是使用生成模型生成红外背景，第二阶段是通过目标融合网络将小目标融合到红外背景图像中。将目前直接使用生成模型生成红外小目标图像的复杂问题简化，通过分解为两个相对简单的问题，使得生成的红外小目标图像具有更高的质量。

67、3.本发明第一阶段使用的背景生成模型是流行的扩散模型，可以生成更复杂和多样化的红外背景图像，第二阶段设计了一种基于生成对抗网络(gan)的目标自适应融合网络，实现更逼真的目标融合。