一种基于密集双向金字塔网络的水上红外目标检测方法

本发明涉及红外目标检测，尤其涉及一种基于密集双向金字塔网络的水上红外目标检测方法。

背景技术：

1、随着全球化加剧，海上贸易快速发展，船舶交通事故数量增大，海上监测搜救技术急需提升。面向海上搜救的空海跨域自主协同系统是由无人艇和无人机组成的异质多自主体系统，可以有效提升海上监测搜救效率，降低搜救成本和人员风险。水上红外目标检测技术是低照度条件下快速监测搜寻水上等待救援目标的关键技术之一。

2、为实现快速监测救援的目的，需要在较远的距离就能发现目标，导致红外目标在监测视野中占据空间十分有限，多为红外小目标。由于小目标成像面积小，分辨率低，导致其携带特征信息少，增加了水上红外目标检测的难度。同时，红外目标本身缺少颜色和纹理信息，且对比度低，使得检测任务变得更加艰难。

3、针对上述的水上红外目标检测难点，传统的水上红外目标检测算法中通常是根据目标本身灰度值和邻域背景信息等相关图像信息来设计特征进行检测识别，这些特征不论采用局部特征还是全局特征，都是人工设计的特征模型。然而，水上红外小目标一旦超出预置的条件，现有根据不同场景预先设置特征策略的算法就难以适用，相应的检测能力也难有所提高。随着深度学习的快速发展，卷积神经网络模型突破了人工设计特征的局限，且表现出优秀的性能。通过数据集训练可以自主设计特征，卷积神经网络模型能更好地适应红外目标检测，提升目标检测的鲁棒性。常用的基于深度学习的红外目标检测方法采用简单的特征融合来增强红外特征，使得检测效果有所提升，但是，由于水上红外目标图像的特殊性，多为弱小目标且缺乏纹理信息，直接将基于深度学习的红外目标检测方法应用到水上红外目标检测时，检测的准确性和稳定性则无法保证。

技术实现思路

1、有鉴于此，本发明的目的在于提出一种基于密集双向金字塔网络的水上红外目标检测方法，以解决现有检测方法中存在的复杂水上环境中对红外小目标检测效果差的问题。

2、基于上述目的，本发明提供了一种基于密集双向金字塔网络的水上红外目标检测方法，包括以下步骤：

3、s1、将采集的水上红外图像按照统一尺寸自适应缩放；

4、s2、将图像输入到特征提取网络，提取得到多种不同层次的多尺度深度特征图；

5、s3、将得到的多种不同层次的多尺度特征图输入到密集双向金字塔网络，进行多尺度特征的融合，所述密集双向金字塔网络在多尺度融合特征输出前加入自适应双挤压激励通道注意力机制；

6、s4、将密集双向金字塔网络输出的多尺度融合特征分别输入到分类预测网络和预测框回归网络，得到水上红外图像中所有目标的位置及类别信息。

7、优选地，特征提取网络为改进的efficientnetv2网络，网络包括7个阶段，选取第三阶段、第四阶段、第五阶段、第六阶段输出的特征图、以及对第六阶段进行一次下采样的特征图，作为密集双向金字塔网络的输入。

8、优选地，改进的efficientnetv2网络包括fused-mbconv模块和mbconv模块，fused-mbconv模块是一个残差网络的结构，残差部分由一个3×3的普通卷积、一个3×3的深度可分离卷积、se通道注意力机制的残差结构、一个1×1的普通卷积和dropout层构成；

9、所述se通道注意力机制包含一个全局平均池化、两个全连接层和sigmoid激活函数。

10、优选地，改进的efficientnetv2网络包括7个阶段，第一阶段是一个3×3的普通卷积，步长为2，包含bn和silu，输出为p1层；

11、第二到第五阶段是在重复堆叠fused-mbconv模块，其中，第二阶段重复fused-mbconv模块2次，步长为1，第三阶段重复fused-mbconv模块4次，步长为2，输出为p2层，第四阶段重复fused-mbconv模块4次，步长为2，输出为p3层，第五阶段重复fused-mbconv模块6次，步长为2，输出为p4层；

12、第六阶段重复mbconv模块9次，步长为2，输出为p5层；

13、第七阶段为一个普通的1×1的卷积层、一个平均池化层和一个全连接层组成；

14、p6层为p5层进行一次下采样而得；

15、密集双向金字塔网络的输入为特征提取网络提取到的p2层、p3层、p4层、p5层和p6层特征信息。

16、优选地，步骤s3中，多尺度特征的融合采用采用自顶向下、自底向上和跳跃密集连接的多尺度特征融合方式，且密集双向特征金字塔网络对每个节点输入特征增加不同的归一化权重。

17、优选地，跳跃密集连接采用间隔跳跃的连接方式，第l节点接收来自与前面节点间隔深度为2n距离的特征信息之和，其中，l≥2，n≥0，2n＜l。

18、优选地，归一化权重方法描述如下：

19、

20、其中，ii是输入的特征，o是输出的融合特征，ωi和ωj是可学习的权重，权重限制在0和1之间，ε为学习率，取值0.001，i和j为网络层数。

21、优选地，步骤s3中，所述自适应双挤压激励通道注意力机制包括：

22、使用全局平均池化和全局标准偏差池化对特征信息进行通道的挤压，获取各个通道的统计信息；

23、使用一个全连接层和激活函数relu进行通道压缩，一个全连接层进行通道数量恢复，从而得到通道之间的相关信息；

24、使用h-sigmoid激活函数进行非线性归一化后得到各个通道的注意力权重；

25、将各个通道的注意力权重与特征图进行相乘，并添加自学习的权重因子来平衡注意力造成的信息损失，与原来特征图进行相加。

26、优选地，双挤压激励通道注意力机制的具体过程包括：

27、令为输入的特征，大小为c×h×w，对该特征分别进行全局平均池化和全局标准偏差池化，得

28、

29、

30、对上述特征进行通道拼接，获得特征tc＝cat([μc,σc])，其中，cat(·)表示对所有特征图进行通道拼接操作；

31、使用激励操作来降低计算量，获得通道注意力图，包括对特征t进行参数为w0的全连接得到维度为c/2×1×1的特征；

32、使用relu激活函数δ，并通过参数为w1的全连接层恢复到图像输入的原始的通道维度c×1×1；

33、使用h-sigmoid激活函数进行归一化后得到如下的各个通道的注意力权重s：

34、s＝σ(w1δ(w0t))

35、将各个通道的注意力权重s与特征图进行相乘，并在添加自学习的权重因子α之后与原来特征图进行相加，从而得到如下的输出特征

36、e＝α(sx)+x

37、其中，权重因子α是可学习参数。

38、优选地，步骤s4中，分类预测网络和预测框回归网络使用密集双向特征金字塔网络输出的融合特征分别预测水上红外目标的类别和边界框，且两个网络共享相同的特征网络权重；

39、对预测的目标结果进行得分排序与非极大值抑制，筛选出每一类得分大于置信度阈值的框和得分；

40、根据框的位置和得分进行非极大值抑制，得到水上红外图像中所有目标的位置及类别信息。

41、本发明的有益效果：本发明适用于空海跨域水上监测搜救场景下水上红外目标检测，通过本发明提供的水上红外目标检测方法，有效解决了在复杂水上环境中水上红外小目标检测效果差的问题。通过本发明提供的密集双向金字塔网络，增加更多的特征信息，从而丰富红外目标特征信息，减缓梯度消失的风险，提升网络训练效果；其中的自适应双挤压激励通道注意力机制，突显特征中重要的目标信息。本发明可以有效提升水上红外目标检测的准确性和稳定性。