一种基于特征融合的红外弱小目标检测方法

本发明涉及一种基于特征融合的红外弱小目标检测方法，主要涉及红外场景下的弱小目标检测与识别问题，属于计算机视觉目标检测。

背景技术：

1、红外弱小目标检测是许多应用的基础组成部分，包括缺陷检测、器官分割、细胞计数、海洋监测和早期预警系统。红外成像系统由于其连续工作能力和较高的抗干扰性而被广泛应用。同时，由于红外传感器与物体之间的距离相当大，物体在红外图像中占据面积小，在某些极端情况下，只包含一个像素。此外，红外辐射能量随距离的增加而显著衰减，物体在图像中十分微弱。因此，红外弱小目标检测具有实际意义。在实际情况下，弱小目标缺乏如纹理和形状等结构信息。同时，红外图像背景伴随有严重的杂波和噪声点。这些因素严重影响了红外弱小目标检测方法的性能，使检测红外弱小目标成为一个艰巨挑战。

2、红外弱小目标检测算法主要分为基于传统和基于深度的红外弱小目标检测算法两类。传统的红外小目标检测方法通过测量目标区域和背景区域之间的特性来识别目标，常用的方法包括基于滤波方法、基于人类视觉系统方法以及基于稀疏低秩的方法。传统的方法过度依赖于手工制作的特征提取算法。手工设计的特征提取方法不够灵活，无法应对具有不同目标和复杂背景的场景。同时，传统方法缺乏在高语义水平上区分真实目标和类似干扰物的能力，因为它们只使用灰度值或低水平的手工特征，如中心差异和熵。这些建模问题导致传统方法在处理复杂场景时表现不佳，使得其在面对复杂的背景时，虚警和漏检率较高。

3、随着深度学习的快速发展，基于深度学习的方法具有较强的模型拟合能力，能够很好地解决基于传统方法的问题。基于深度学习的方法从训练数据中隐式学习，而不是显示特征提取。众多基于深度的目标检测方法在场景较为复杂的检测任务中性能欠佳,主要是由于红外图像中小目标的原始特征少,使得在复杂场景中仅仅依靠小目标的原始特征来检测目标变的极其困难。特征融合已被证明能够有效地解决目标可用特性少的问题。acm利用自上而下的全局注意力调制和自下而上的局部注意力来交换多尺度上下文；dnanet设计了一个密集嵌套交互模块来实现高级和低级特征之间的渐进式交互。上述方法并不强调原始特征的重要性，并且在不同层间融合特征时，忽略了从单层特征中获取多尺度信息的潜能。

技术实现思路

1、本发明提供了一种能够解决可用特征不足的基于特征融合的红外弱小目标检测方法。通过引入跨层补充特征方法来融合不同层特征，对本层特征进行信息补充，获取更多上下文信息；通过注意力空洞空间卷积池化金字塔方法对单层特征增加经过滤后的不同尺度感受野信息，提高网络对红外弱小目标的表征能力。最后经过ciou等损失函数的处理，对目标预测结果进行监督，提高预测精度。

2、具体而言，基于特征融合的红外弱小目标检测方法，包括以下步骤：

3、1)将原始样本数据划分为训练集、验证集以及测试集三部分，样本分为目标和背景两个类别；

4、2)根据跨层补充特征方法借助特征金字塔模型生成的多阶段不同分辨率特征，融合特征作为补充特征，为模型补充特征信息；

5、3)将跨层补充特征输入进注意力空洞空间卷积池化金字塔方法中，通过带注意力的不同感受野滤波器获取与任务更相关的多尺度信息；

6、4)根据新的红外弱小目标检测方法，在原始训练数据集上经过损失函数计算每个样本预测值的损失值，其中回归损失函数采用ciou函数，优化预测框与真实框之间的重合度，利用最小化损失值，调整该方法模型中各参数；

7、5)在验证集样本中得到泛化的训练结果；

8、6)在测试步骤中，将测试样本代入到该方法模型中进行识别，输出检测结果。

9、在一种可能的实现方式中，步骤1)将原始样本数据划练集、验证集以及测试集三部分，并且样本分为目标和背景两个类别。

10、在一种可能的实现方式中，步骤2)根据跨层补充特征方法借助特征金字塔模型生成的多阶段不同分辨率特征，融合特征作为补充特征，为模型补充特征信息。算法具体步骤如下：利用darknet-53金字塔网络生成的四个不同尺度特征作为原始特征，为了增强特征的丰富性，将除第i层特征外的其他三层特征动态融合生成第i层特征的补充特征首先，将采用调整函数t调整为和第i层特征尺度、通道数相同的特征可表示为：

11、

12、将调整的三层特征沿通道拼接，生成yi。其中，yi代表第i层特征的初等多尺度补充特征。对于第i层初等多尺度补充特征yi生成自适应权重。即对yi执行全局平均池化，再经过两个全连接层和激活函数，最后经过softmax对融合权重进行归一化缩放。自适应权重函数可以表示如下：

13、

14、其中，gap表示全局平均池化函数，fc表示一个全连接层，δ表示一个relu激活函数，σ为sigmoid激活函数，softmax为归一化指数函数。多尺度补充特征由初等多尺度补充特征yi经过自适应加权函数f生成，可表示如下：

15、

16、其中，表示乘法，σ表示加法，λ是一个补充特征与原始特征之间的平衡系数(在实验中取1)，h{n}为第n层特征的融合权重。沿通道将原始特征和补充特征进行交替连接，完成通道混洗；最后利用卷积核大小为1×1的卷积层完成对混洗后特征通道的调整，可表示如下：

17、

18、其中，cat表示拼接层，ch_shuffle为通道混洗，w1意味着1×1卷积层。

19、在一种可能的实现方式中，步骤3)中为了得到更多的多尺度信息，利用不同感受野的卷积进行特征提取，同时为了选出与任务更相关的特征，利用通道注意力机制进行通道特征的抑制与强调。算法具体步骤如下：将步骤2)中得到的特征作为输入特征xi，将特征xi输入三个并行的膨胀率分别是2、3和5的不同感受野的空洞卷积层中，进行多尺度特征提取，将空洞卷积的输出特征沿通道连接起来，可表示如下：

20、aspp(xi)＝cat(xi,w2(xi)，w3(xi)，w5(xi))        (5)

21、其中，w2、w3、w5是膨胀率分别为2、3、5的空洞卷积，cat为连接层，aspp(xi)代表并行空洞卷积层提取到的特征。将并行空洞卷积层提取特征aspp(xi)输入进通道注意力机制，通道注意力由全局平均池化层，两个全连接层和激活函数组成，表示如下：

22、

23、其中，ca表示通道注意力机制，x为通道注意力机制输入特征。注意力空洞空间卷积池化金字塔方法可表示如下：

24、

25、其中，表示注意力空洞空间卷积池化金字塔方法输出特征，w0为1×1卷积层。

26、在一种可能的实现方式中，步骤4)通过最小化损失函数值训练卷积神经网络，调整该方法模型中各参数。算法具体步骤如下：将样本预测值以及样本标签(xi,yi,wi,hi,ci))输入损失函数，分别对预测的置信度、分类、位置回归三方面进行损失计算，损失值可表示如下：

27、lobc＝lcls+lconf+lreg      (8)

28、其中，lcls、lconf、lreg分别为分类、置信度、回归损失。分类和置信度损失的计算方法如下：

29、

30、

31、其中，h/w为最终预测图的高度/宽度，m为锚框的数量，为真正/预测置信度(分数)，表示对象存在于第i个单元格中并且第i个单元格中的第j个边界框负责对该对象进行预测，lbce表示二元交叉熵损失。边界框回归损失可以表述如下：

32、

33、其中，是真实框/预测框位置值，(2-wi×hi)是一个平衡不同大小边界框对损失函数的不一致贡献的协调系，rciou为惩罚项表示。iou为预测框和真实框之间的交并集面积之比，可表示如下：

34、

35、rciou的表述如下：

36、

37、其中,c表示真实框和预测框的最小封闭范围的对角线长度，υ测量长宽比的一致性，α是一个权衡参数。

38、υ可表示如下：

39、

40、α可表示如下：

41、

42、利用最小化损失值，调整网络参数。

43、本发明的有益效果是：本发明为基于特征融合的红外弱小目标检测方法。现有的特征融合方法存在融合特征变化性小且原层的特征容易被其他融合特征淹没的问题。本发明跨层补充特征方法突出了原始层中的特性，并集成了其他多层特性，而不仅仅是相邻的层；同时，采用了通道混洗来更好地交互原始特征和补充特征。这样，原始层信息不会在网络中被淹没，并会自适应地学习对原始层有用的上下文信息。另外，本发明注意力空洞空间卷积池化金字塔方法关注神经网络同一层中单一感受野的问题，利用具有不同大小感受野的多个并行卷积层，获取多感受野信息，并利用通道注意力强调与任务更相关的特征。考虑到边界框的扰动对小目标影响大，本发明采用ciou损失函数作为边界框回归函数，对预测边界框与真实边界框间的iou进行更直接的监督。