一种面向无人机航拍密集小目标的检测方法

：本发明涉及图像处理技术，具体来讲，涉及一种面向无人机航拍密集小目标的检测方法，该方法结合多尺度特征融合和基于wasserstein距离的度量方式，引入多头注意力机制mhsa，构建鲁棒的小目标检测网络。

背景技术：

0、技术背景：

1、无人机具有运行成本低、机动性高、便于携带、多视角、体积小等优点，它可以弥补遥感卫星信息获取的不足，随着低空领域的逐步开放以及无人机研发技术的不断发展，无人机目标检测技术也日益成为国内外专家学者的研究热点。

2、目标检测技术是指在得到的图片和视频中，将感兴趣的目标与背景区分开，识别需要的目标种类和目标所在的位置。早期的目标检测方法是利用人工设计特征无法很好地捕捉到抽象的语义特征，只能识别单一的指定类别，导致识别效率不高且检测性能低下。由于航拍图像具有比日常图像更为复杂的场景和目标，这对于传统的目标检测方法来说更加不利，并不能满足航拍图像目标检测的需求。同时，航拍图像往往伴随着庞大的数据量，且检测通常需要实时性，这对于检测方法的要求更加严格。近年来，随着深度学习的快速发展，利于卷积神经网络进行图像处理相比于传统方法，检测性能得到了巨大的提升，其算法主要分为两种类别，分别为单阶段与两阶段算法，两阶段算法主要基于区域检测的基本思想，将检测过程分为两个步骤，首先通过选择性搜索、边缘检测、区域提取网络等方法生成可能包含目标的候选区域做特征提取；然后，利用卷积神经网络对候选框位置进行分类与位置回归。目前的两阶段算法普遍误检率和漏检率都比较低，检测效果比较好，但是需要进行多重检测和分类，检测速度比较慢，两阶段算法包括r-cnn、fast r-cnn、faster r-cnn、mask r-cnn、spp-net。而单阶段检测器与两阶段不同，不需要提前生成多个候选区域，可以直接得到检验框，因此单阶段算法通常检测速度很快，但是检测效果较低，如ssd、yolo列等。

3、目前的目标检测算法在针对无人机航拍图像的目标检测还存在以下难题：1)目标尺度变化大，对算法的特征融合要求高；2)目标尺寸小，分布密集，背景复杂，小目标的特征提取与下采样之间存在矛盾，增加检测难度；3)基于yolo的算法模型参数量大，计算复杂。

技术实现思路

0、
技术实现要素：

1、本发明的目的在于解决由于无人机航拍图像中目标数量多且小目标占比大造成的目标检测准确率低和漏检率高的问题，提供不同时间、不同天气条件、不同光照条件下的航拍图像，设计算法网络模型，通过深度神经网络训练得到模型进行目标检测，由此解决无人机航拍情况下小目标检测问题，提高小目标检测的准确率，降低小目标检测的漏检率。

2、为了实现上述目的，本发明提供了一种基于yolov7网络的无人机航拍目标检测模型，该方法以yolov7为主干网络，降低了下采样倍率，并引入了多头注意力机制(mhsa)，使模型更关注于目标特征信息，在计算回归损失时引入normalized wasserstein distance(简称nwd)损失函数，弥补了对小目标检测的不足，其包括三个部分：第一部分是对数据集进行预处理，第二部分是构建改进yolov7网络，第三部分是网络训练与测试，输出最佳航拍数据集检测结果。

3、第一部分包括三个步骤：

4、步骤1：采用无人机航拍公开数据集visdrone，划分训练集、验证集和测试集；

5、步骤2：将得到的数据集图片调整为640×640像素，通过mosaic数据增强对每张训练图片进行随机翻转、缩放、色域变换等操作进行数据增强，并通过图片拼接的方式将四张图片拼接，得到最终的数据集；

6、步骤3：针对步骤2得到的数据集，对其边框进行k-means++聚类，得到新的锚框大小，并将结果与原始设定锚框进行对比，计算匹配的准确率，选取最佳的锚框大小设定；

7、第二部分包括三个步骤：

8、步骤4：建立轻量化主干特征提取网络cspdarknet-tiny。在原始yolov7的主干网络上减少了下采样倍率，由32倍下采样减少为16倍下采样，输出的特征图包括160×160×256的特征图map1、80×80×512特征图map2和40×40×512特征图map3；

9、步骤5：将步骤4得到的特征图map3使用sppcspc处理，得到40×40×256的特征图p1；

10、步骤6：建立特征融合网络。在颈部的特征提取网络中，保留了yolov7的路径融合网络，将不同的特征层和检测层进行融合，fpn上采样传达语义特征，pan下采样传达定位特征，具体实施如下：

11、(1)将步骤5得到的p1，传入深层特征提取模块c3ms，c3ms是在c3的基础上引入多头注意力机制mhsa，能有效地加强网络的特征提取能力，得到特征图p2；

12、(2)将步骤4得到的map1、map2、p2通过自顶向下和自下而上路径进行融合，输出最终特征图p3、p4、p5；

13、第三部分包括四个步骤：

14、步骤7：经过步骤6输出的特征图p3、p4、p5，经过repconv调整通道数，并且使用三层1×1卷积去预测objectness、class和bbox三部分，最终使用的检测头为40×40×512的head0、80×80×256的head1和160×160×128的head2；

15、步骤8：调整网络结构超参数，设置网络模型参数，其中，训练批次大小epoch设置为200，动量momentum＝0.937，学习率初始设定为ir＝0.01；

16、步骤9：利用训练集训练航拍目标检测模型，得到每个样本中目标的预测结果，包括目标预测边界框和预测边界框的中心点位置；

17、步骤10：根据步骤9得到的样本预测结果和标签差异，计算总损失，基于总损失更新网络模型参数，得到最终的训练模型；

18、在计算总损失中的回归损失时，引入了nwd loss，将iou loss和nwd loss通过一定权重比例进行结合，其回归损失函数如下：

19、lossbox＝λ1×(1.0-iou)+λ2×(1.0-nwd(na,nb))

20、其中取λ1和λ2都为0.5，引入的nwd loss充分弥补了iou对小目标检测的不足，在保留了原始模型对大中目标的检测精度，显著地提升了模型对小目标地检测能力；

21、步骤11：将步骤2中测试集输入步骤10中的训练模型中，得到无人机小目标检测的测试结果。

22、本发明在yolov7网络模型中的改进之处主要有：

23、(1)构建轻量化主干网络cspdarknet-tiny，减少了下采样倍率，由原始的32倍下采样倍率下降为16倍，保留了更多的的语义信息和细节特征，输出的特征图由原始的80×80×512、40×40×1024和20×20×1024变为160×160×256、80×80×512和40×40×1024，不仅显著地减少了模型的参数量，也有效地缓解了无人机航拍图像中的目标在下采样过程中由于倍数过大引发的信息丢失，提高了小目标的检测精度；

24、(2)由于航拍图像的背景复杂，而待检测目标小，不利于网络对目标特征的提取，在主干网络对特征信息提取时，存在大量无关信息的干扰，对检测结果影响极大，因此本发明引入了多头注意力机制mhsa，mhsa具有捕获大范围图像目标信息的能力，并且将c3与多头注意力相结合设计出深层特征提取模块c3ms，有效地缓解了航拍图像中无关信息对特征提取的干扰，增强了模型对小目标特征信息的提取能力；

25、(3)航拍图像中的目标有尺度差异大，小目标多的特点，而初始yolov7模型的损失函数使用的是ciou，但观察到iou对于不同尺度目标的位置差异十分敏感，所以模型在航拍图像数据集的应用并不理想。本发明引入了nwd loss来弥补iou loss的不足，nwd对于目标尺度变化不敏感，利于小目标之间的相似性比较，但只使用nwd loss不利于大中尺度目标的检测，所以本发明将nwd loss和iou loss进行了特定权重的结合，不仅对iou不利于微小目标检测进行了补偿，也保留了iou对大中尺度目标检测的优越性。