一种基于深度学习的无人机低空视角目标检测方法及装置与流程

本发明涉及计算机视觉，更具体地说，涉及一种基于深度学习的无人机低空视角目标检测方法及装置。

背景技术：

1、随着无人机技术的快速发展与广泛应用，无人机低空视角下的目标检测已经成为重要的行业应用。然而，低空背景下的目标检测面临诸多挑战，特别是在少样本和旋转目标检测方面。传统的目标检测方法在复杂多变的低空环境中，难以有效提取目标的特征信息，尤其是在目标数量少且存在旋转变化的情况下。

2、传统的目标检测方法依赖于大量的样本数据来提取目标特征，但在实际应用中，考虑到飞行成本和环境影响，获取足够的低空目标样本数据是一项艰巨的任务，这给目标检测模型的训练和优化带来了很大的困难。因此，如何增强数据量进而提高模型效果，成为了一个亟待解决的问题。现有技术中，针对少样本问题，传统方法是通过无人机采样继续扩增原始数据。近年来，流行通过旋转、翻转图片等方式增加训练样本量。但是，传统增加无人机采样方法的方法人工成本高，而旋转、翻转等图像变换虽然有一定成效但仍停留在图片本身的内容，并且高空视角下有目标的图片占比少，导致提升效果有限。

3、无人机在低空飞行时，目标往往存在旋转变化。传统的目标检测方法通常采用与图片长宽轴对齐的矩形包围框来框定物体，目标框无法随着目标的旋转进行改变，进而无法准确反应出目标的实际形状和方向。现有技术中，针对旋转目标检测的问题，近年来提出了yolov7-obb的旋转目标框检测方法，该方法通过在yolov7网络模型中增加旋转角度参数，实现了旋转框的预测。但是yolov7-obb在低空视角下待检测目标量多的情况下，容易出现漏检的问题。

4、经检索，中国专利申请，申请号202310136199.x，公开日2023年5月23日，公开了一种超低空无人机视角下的多行人检测与姿态估计方法。该方法包括：利用无人机采集图像数据，对数据集进行数据预处理；对数据集进行增强；利用yolov5算法使用增强后的数据进行训练目标检测网络；利用训练好的目标检测网络进行多行人检测，利用单人姿态估计算法进行姿态估计。该方法可以解决数据集的冗余和标注不准确的问题，但是该方法并未考虑到无人机在采集图像时，存在目标会发生旋转变化的情况，因此不具有广泛的适用性。

技术实现思路

1、1.要解决的技术问题

2、针对现有技术中存在的传统目标检测方法在复杂低空环境中因目标数量少且存在旋转变化情况导致无法有效提取目标特征信息的问题，本发明提供了一种基于深度学习的无人机低空视角目标检测方法及装置，它可以增强目标数据集并且提高旋转目标的检测精度和鲁棒性。

3、2.技术方案

4、本发明的目的通过以下技术方案实现。

5、一种基于深度学习的无人机低空视角目标检测方法，包括以下步骤：

6、利用无人机采集目标检测物图像数据集；

7、对目标检测物图像数据集进行数据增强，将增强后的目标检测物图像数据集划分为训练集、验证集和测试集；

8、改进yolov7-obb模型；其中，在yolov7-obb模型的主干网络中增加注意力机制模块；

9、基于训练集对yolov7-obb模型进行训练，基于验证集对训练过程中的yolov7-obb模型进行评估，得到训练好的yolov7-obb模型；

10、将测试集输入到训练好的yolov7-obb模型中进行目标检测，得到目标检测结果。

11、作为本发明更进一步地改进，所述yolov7-obb模型的主干网络包括cbs模块和elan模块；在所述cbs模块和elan模块后连接注意力机制模块。

12、作为本发明更进一步地改进，所述注意力机制模块包括坐标信息嵌入模块和坐标注意力生成模块。

13、作为本发明更进一步地改进，在所述坐标信息嵌入模块中，

14、注意力机制模块接收前一层卷积层输出的特征图作为输入；

15、注意力机制模块对特征图分别进行水平方向和垂直方向的全局池化操作；

16、将水平方向的池化结果和垂直方向的池化结果沿通道维度拼接，得到坐标信息张量。

17、作为本发明更进一步地改进，在所述坐标注意力生成模块中，

18、注意力机制模块对坐标信息张量进行压缩和激活处理，得到关键特征表示；

19、注意力机制模块通过拆分和独立卷积操作恢复特征图的原始通道数，并在水平方向上生成第一注意力权重图，在垂直方向上生成第二注意力权重图；

20、将第一注意力权重图和第二注意力权重图分别通过sigmoid激活函数进行归一化处理得到第一输出值和第二输出值；

21、将第一输出值作为水平方向上的注意力系数，将第二输出值作为垂直方向上的注意力系数。

22、作为本发明更进一步地改进，将特征图分别与水平方向上的注意力系数和垂直方向上的注意力系数进行矩阵乘法运算，得到增加注意力机制的特征图。

23、作为本发明更进一步地改进，所述对目标检测物图像数据集进行数据增强包括过采样操作和随机粘贴操作。

24、作为本发明更进一步地改进，所述过采样操作的具体步骤为：设定目标检测物图像作为复制样本；设定目标检测物图像数据集作为总样本；将复制样本进行若干次复制；设置采样率，通过采样率控制复制样本的复制频率以及复制样本占总样本的比例。

25、作为本发明更进一步地改进，所述随机粘贴操作的具体步骤为：

26、将目标检测物图像中的目标检测物随机复制到该图像中的任意位置，生成新的目标检测物图像和标注信息；

27、根据标注信息裁剪出目标检测物图像中的目标检测物；

28、将裁剪出的目标检测物处理后粘贴到新的目标检测物图像中，生成标签。

29、一种基于深度学习的无人机低空视角目标检测装置，包括：

30、数据采集模块，利用无人机采集目标检测物图像数据集；

31、数据处理模块，对目标检测物图像数据集进行数据增强，将增强后的目标检测物图像数据集划分为训练集、验证集和测试集；

32、模型改进模块，改进yolov7-obb模型；其中，在yolov7-obb模型的主干网络中增加注意力机制模块；

33、模型训练模块，基于训练集对yolov7-obb模型进行训练，基于验证集对训练过程中的yolov7-obb模型进行评估，得到训练好的yolov7-obb模型；

34、目标检测模块，将测试集输入到训练好的yolov7-obb模型中进行目标检测，得到目标检测结果。

35、3.有益效果

36、相比于现有技术，本发明的优点在于：

37、（1）本发明的一种基于深度学习的无人机低空视角目标检测方法及装置，对无人机低空视角采集的目标检测物图像数据集进行数据增强，不仅可以提升图像数据集的数量，还可以通过图片多角度变换、过采样操作和随机粘贴操作等方法，有效增加小目标的出现频率及其在目标检测物图像中的相对大小，从而确保yolov7-obb模型在训练过程中能够充分学习到小目标的特征信息，显著增强特征提取的全面性和准确性。

38、（2）本发明的一种基于深度学习的无人机低空视角目标检测方法及装置，在yolov7-obb模型的基础上，对主干网络结构进行了优化，在主干网络中增加注意力机制模块，通过注意力机制模块动态地调整yolov7-obb模型对输入的目标检测物图像不同区域的关注度，使得yolov7-obb模型在检测过程中能够更聚焦于关键特征，有效抑制无关信息的干扰，有效提高目标检测的精度和鲁棒性。

39、（3）本发明的一种基于深度学习的无人机低空视角目标检测方法及装置，通过构建yolov7-obb模型，对于无人机低空视角目标检测仅需使用轻量的检测器便可获得较好的效果，在无人机低空视角目标检测过程中使用结构更简单的检测器可以极大地减少计算所需资源，提升yolov7-obb模型的检测速度并降低检测过程中所需的显存占用，避免不必要的浪费，有效利用有限的计算资源，进而实现yolov7-obb模型在无人机低空视角目标检测上的实际应用，具有较强的实用性和适用广泛性。