一种面向无人机红外探测的地面弱小目标检测方法

本发明涉及目标检测，尤其涉及一种面向无人机红外探测的地面弱小目标检测方法。

背景技术：

1、随着航空技术的进步，近年来，无人机技术快速发展，在众多行业和场景得到广泛应用。利用无人机机载的摄像头等传感器在敏感区域，对地面目标进行检测，是一种扩大检测范围的方法。红外图像因为是通过传感器对物体向外辐射的红外波段辐射感光而获得的，故与可将光图像相比，存在分辨率差，对比度低和信噪比低等情况，尤其是检测弱小的红外目标，更是有很大挑战。而且由于无人机本身的运动速度快，目标尺寸相对小，背景复杂等因素的存在，传统算法对红外小目标的检测准确率不够高，近年来，基于深度学习的目标检测方法得到了广泛的关注和应用。

2、当前主要的深度学习目标检测方法分为两类。一种是两阶段的目标检测，主要代表为rcnn系列。这类算法主要流程是先根据输入图像产生候选框，然后对这些候选框进行分类和回归。这种方法能够获得不错的精度，但是缺点是处理速度比较慢。另外一种方法是单阶段方法，其中的代表是yolo、ssd系列。这类方法，不需要产生候选框，而是直接输出目标的位置和类别，因此，具有不错的速度优势。

3、为了解决在无人机等平台计算资源受限情况下，对地航拍红外图像中小尺寸目标进行远距离检测的问题，同时对其精度和速度进行很好的平衡，本发明提出了一种面向无人机红外探测的地面弱小目标检测方法，在精简网络的基础上，在检测精度和模型大小方面取得了不错的平衡，从而可以部署在无人机等资源受限设备上，实现对地面目标的实时检测。

技术实现思路

1、本发明要解决的技术问题是针对上述现有技术的不足，提供一种面向无人机红外探测的地面弱小目标检测方法，实现对地面弱小目标的实时检测

2、为解决上述技术问题，本发明所采取的技术方案是：一种面向无人机红外探测的地面弱小目标检测方法，包括以下步骤：

3、步骤1：获取目标图像数据集，并转换成适合yolo模型的格式；再将转换后的目标图像数据集按比例划分为训练集，验证集和测试集；

4、使用无人机携带红外摄像机，拍摄出各种场景下包含需要检测的目标的视频，然后挑选出其中的部分帧，对这些帧进行手工标注，获得目标图像数据集；最后将目标图像数据集转换成适合yolo模型的格式，格式为(classes,x,y,w,h)，并进行坐标归一化，其中，classes为目标类别数字，(x,y)为目标的中心点坐标，w为目标的宽度，h为目标的高度；将转换后的目标数据集按比例划分为训练集，验证集和测试集；

5、步骤2：构建d2gnet空对地目标检测网络；所述d2gnet空对地目标检测网络包括超分辨率rs模块，高效红外特征提取eife模块，红外深浅层特征融合iff模块和检测头；

6、所述超分辨率rs模块对输入的红外图像进行分辨率提升；所述高效红外特征提取eife模块对提升分辨率之后的红外图像进行低层次的特征提取，确保低层次特征可以被完整捕捉到；所述红外深浅层特征融合iff模块对高效红外特征提取eife模块得到的不同深浅的特征进行融合，确保底层细节和高层语义进行融合；所述检测头使用卷积核对红外深浅层特征融合iff模块得到的融合图像进行最终的卷积，获得用于检测的特征图；

7、所述超分辨率rs模块包含7层神经网络，前面6层只提取输入图片的细节纹理，不改变输入图像尺寸，最后一层使用大卷积核，进行反卷积，将输出图像尺寸放大为输入尺寸的4倍；

8、所述高效红外特征提取eife模块构建d2gnet空对地目标检测网络的主干网络，高效红外特征提取eife模块包括下采样和上采样模块，在这之间，还有全连接层使模块有更丰富的表达能力；假设输入的特征图为n，首先会经过一层卷积，然后通过maxpool下采样两倍，再经过两个全连接层，再经过卷积层卷积后，通过双线性插值，将特征图尺寸放大到原来输入特征图n的尺寸大小；特征图放大到原来尺寸后，和输入的原特征图n进行concat操作，最后经过一个卷积层，输出特征图noutput；

9、所述红外深浅层特征融合iff模块对高效红外特征提取eife模块获得的特征进行深浅层的特征融合；并应用空间注意力机制，用来加强对通道的权重分配；假设输入的特征图为w，首先经过卷积，然后经过空间注意力层后和原特征图w的另一分支经过卷积之后的图像，进行concat操作，最后经过一个卷积层之后输出图像woutput；

10、所述检测头将输入的特征图z，经过卷积，输出一个通道数为3×(目标检测类别数量+5)的用于检测的特征图；

11、所述d2gnet空对地目标检测网络进行目标检测的过程为：输入图像为x，经过超分辨率rs模块，输出特征图xrs；xrs经过一层卷积，输出特征图xconv1；xconv1经过一层卷积，输出特征图xconv2；xconv2经过第一个高效红外特征提取eife模块，输出特征图xeife1；xeife1经过一个卷积层，输出特征图xconv3；xconv3经过第二个高效红外特征提取eife模块，输出特征图xeife2；xeife2经过一个卷积层，输出特征图xconv4；xconv4经过第三个高效红外特征提取eife模块，输出特征图xeife3；xeife3经过一个卷积层，输出特征图xconv5；xconv5经过第四个高效红外特征提取eife模块，输出特征图xeife4；xeife4经过一个上卷积层，输出特征图xup1；对特征图xup1和xeife3进行concat操作，得到特征图xconcat1；xconcat1经过第一个红外深浅层特征融合iff模块，输出特征图xiff1；xiff1经过一个上卷积层，输出特征图xup2；对特征图xup2和xeife2进行concat操作，得到特征图xconcat2；xconcat2经过第二个红外深浅层特征融合iff模块，输出特征图xiff2；xiff2经过一个卷积层，输出用于检测的特征图y；

12、步骤3：采用训练集训练d2gnet空对地目标检测网络；优化器设置为随机梯度下降，学习率设置为0.001，训练次数epoch设置为300，批量大小batch_size设置为30，并使用ciou作为边界框损失函数；

13、步骤4：使用训练好的d2gnet空对地目标检测网络进行目标检测；将测试集图片输入到步骤3中已经训练好的目标检测网络中，最后通过nms方法去除重复的目标检测框，获得最终对地面目标检测的结果。

14、采用上述技术方案所产生的有益效果在于：本发明提供的一种面向无人机红外探测的地面弱小目标检测方法，使用超分辨率rs模块进行分辨率提升，使用高效红外特征提取eife模块充分提取地面目标关键的红外特征，使用结合通道注意力机制的红外深浅层特征融合iff模块等构建目标检测网络，能够对地面红外小目标进行高准确率、低虚警率的检测，充分发挥神经网络的拟合优势，提升对红外目标的检测效率。整体神经网络模型非常紧凑，网络复杂程度低，方便部署在嵌入式环境中。

技术特征：

1.一种面向无人机红外探测的地面弱小目标检测方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的一种面向无人机红外探测的地面弱小目标检测方法，其特征在于：所述步骤1使用无人机携带红外摄像机，拍摄出各种场景下包含需要检测的目标的视频，然后挑选出其中的部分帧，对这些帧进行手工标注，获得目标图像数据集；最后将目标图像数据集转换成适合yolo模型的格式，格式为(classes,x,y,w,h)，并进行坐标归一化，其中，classes为目标类别数字，(x,y)为目标的中心点坐标，w为目标的宽度，h为目标的高度；将转换后的目标数据集按比例划分为训练集，验证集和测试集。

3.根据权利要求2所述的一种面向无人机红外探测的地面弱小目标检测方法，其特征在于：所述超分辨率rs模块包含7层神经网络，前面6层只提取输入图片的细节纹理，不改变输入图像尺寸，最后一层使用大卷积核，进行反卷积，将输出图像尺寸放大为输入尺寸的4倍。

4.根据权利要求2所述的一种面向无人机红外探测的地面弱小目标检测方法，其特征在于：所述高效红外特征提取eife模块构建d2gnet空对地目标检测网络的主干网络，高效红外特征提取eife模块包括下采样和上采样模块，在这之间，还有全连接层使模块有更丰富的表达能力；假设输入的特征图为n，首先会经过一层卷积，然后通过maxpool下采样两倍，再经过两个全连接层，再经过卷积层卷积后，通过双线性插值，将特征图尺寸放大到原来输入特征图n的尺寸大小；特征图放大到原来尺寸后，和输入的原特征图n进行concat操作，最后经过一个卷积层，输出特征图noutput。

5.根据权利要求2所述的一种面向无人机红外探测的地面弱小目标检测方法，其特征在于：所述红外深浅层特征融合iff模块对高效红外特征提取eife模块获得的特征进行深浅层的特征融合；并应用空间注意力机制，用来加强对通道的权重分配；假设输入的特征图为w，首先经过卷积，然后经过空间注意力层后和原特征图w的另一分支经过卷积之后的图像，进行concat操作，最后经过一个卷积层之后输出图像woutput。

6.根据权利要求2所述的一种面向无人机红外探测的地面弱小目标检测方法，其特征在于：所述检测头将输入的特征图z，经过卷积，输出一个通道数为3×(目标检测类别数量+5)的用于检测的特征图。

7.根据权利要求2所述的一种面向无人机红外探测的地面弱小目标检测方法，其特征在于：所述d2gnet空对地目标检测网络进行目标检测的过程为：输入图像为x，经过超分辨率rs模块，输出特征图xrs；xrs经过一层卷积，输出特征图xconv1；xconv1经过一层卷积，输出特征图xconv2；xconv2经过第一个高效红外特征提取eife模块，输出特征图xeife1；xeife1经过一个卷积层，输出特征图xconv3；xconv3经过第二个高效红外特征提取eife模块，输出特征图xeife2；xeife2经过一个卷积层，输出特征图xconv4；xconv4经过第三个高效红外特征提取eife模块，输出特征图xeife3；xeife3经过一个卷积层，输出特征图xconv5；xconv5经过第四个高效红外特征提取eife模块，输出特征图xeife4；xeife4经过一个上卷积层，输出特征图xup1；对特征图xup1和xeife3进行concat操作，得到特征图xconcat1；xconcat1经过第一个红外深浅层特征融合iff模块，输出特征图xiff1；xiff1经过一个上卷积层，输出特征图xup2；对特征图xup2和xeife2进行concat操作，得到特征图xconcat2；xconcat2经过第二个红外深浅层特征融合iff模块，输出特征图xiff2；xiff2经过一个卷积层，输出用于检测的特征图y。

8.根据权利要求1所述的一种面向无人机红外探测的地面弱小目标检测方法，其特征在于：所述步骤3训练d2gnet空对地目标检测网络时，优化器设置为随机梯度下降，学习率设置为0.001，训练次数epoch设置为300，批量大小batch_size设置为30，并使用ciou作为边界框损失函数。

技术总结
本发明提供一种面向无人机红外探测的地面弱小目标检测方法，涉及目标检测技术领域。该方法构建D2GNet空对地目标检测网络进行目标检测；D2GNet空对地目标检测网络包括RS模块，EIFE模块，IFF模块和检测头；RS模块对输入的红外图像进行分辨率提升；EIFE模块对提升分辨率之后的红外图像进行低层次的特征提取；IFF模块对高效红外特征提取EIFE模块得到的不同深浅的特征进行融合；检测头对IFF模块得到的融合图像进行最终的卷积，获得用于检测的特征图。该方法能够对地面红外小目标进行高准确率、低虚警率的检测，充分发挥神经网络的拟合优势，提升对红外目标的检测效率。

技术研发人员：王传云,李振飞,高骞,张亚娟,王田,孟光磊,王琳霖,王竹筠
受保护的技术使用者：沈阳航空航天大学
技术研发日：
技术公布日：2024/4/17