一种基于深度学习的四旋翼无人机目标跟踪方法及系统

本发明属于无人机目标跟踪领域，具体涉及一种基于深度学习的四旋翼无人机目标跟踪方法及系统。

背景技术：

1、随着近几年四旋翼无人机技术的日趋成熟以及边缘计算设备发展的突飞猛进，在边缘计算设备中搭载目标跟踪技术，被广泛应用于四旋翼无人机在实际应用中的开发，并且结合四旋翼无人机具有体积相对小巧、操作简单、灵活性强等特点。基于四旋翼无人机平台的目标跟踪技术得到广泛应用，四旋翼无人机也因此在逐渐走进了农业、工业、媒体、军事等领域，具有极高的实际应用价值和广阔的发展前景。

2、目前，在无人机目标跟踪领域使用判别式模型的跟踪算法相对普遍，但是现有的判别式模型算法对跟踪目标非线性运动条件下的鲁棒性和跟踪效果相对较差，并且受限于机载边缘计算设备的算力，目标跟踪中目标检测的精度相对较低，速度相对较慢，无法做到实时的目标检测与跟踪。

技术实现思路

1、鉴于以上问题，本发明提供了一种基于深度学习的四旋翼无人机目标跟踪方法及系统，通过对yolov7-tiny目标检测算法与deepsort目标跟踪算法进行优化，同时具有较高检测精度，较快运算速度，较小计算量和较好鲁棒性的特点。

2、具体来说，本发明的目的在于提供一种基于深度学习的四旋翼无人机目标跟踪方法及系统，该方法包括如下步骤：

3、s1：获取视频流信息中包含的若干连续帧图像，所述视频流信息为安装在四旋翼无人机上的深度摄像头实时获取的彩色和深度图像；

4、s2：利用优化后的yolov7-tiny轻量型目标检测算法对所述连续帧图像中的行人和车辆进行目标检测，获得目标检测框与目标中心位置坐标；

5、s3：利用优化后的deepsort目标跟踪算法对s2中检测到的行人和车辆进行目标跟踪，获得目标对象的id值；

6、s4：手动框选需要跟踪的目标对象，并且计算手动选取框与目标检测框的iou值，确定需要跟踪对象的id值；

7、s5：根据所述确定需要跟踪对象的id值，获得需要跟踪对象的中心位置坐标与深度值，构建目标对象相对于四旋翼无人机的相对坐标系；

8、s6：根据所述相对坐标系调整四旋翼无人机的运动控制分量，实现控制四旋翼无人机跟踪所述目标对象飞行。

9、进一步地，s2所述的优化后的yolov7-tiny轻量型目标检测算法，具体包括：

10、s21：在yolov7-tiny的主干网络backbone部分，将elan结构替换为fasternet结构，即使用基于部分卷积pconv操作来进行特征提取；

11、s22：将s21处理后的特征图输入到快速分组卷积空间金字塔池化模块sppfcspc中，获得多尺度的特征图；

12、s23：将s22处理后的多尺度特征图输入到yolov7-tiny的颈部neck部分，在主干网络backbone和颈部neck的连接处加入ca注意力机制，获得不同尺度的张量数据；

13、s24：将s23得到的不同尺度的张量数据输入到yolov7-tiny的预测prediction部分，获得行人和车辆的目标检测框与目标中心位置坐标。

14、进一步地，s3所述的优化后的deepsort目标跟踪算法，具体包括：

15、s31：将前一帧s2处理后的目标检测框与目标中心位置坐标等信息输入到扩展卡尔曼滤波算法，对目标在视频中当前帧的位置和状态进行预测；

16、s32：在deepsort目标跟踪算法的reid网络部分，将ghost net v2应用于特征提取网络，获得目标检测框中的外观特征向量；

17、s33：使用匈牙利算法计算当前帧中的目标外观特征向量与之前帧中存储的目标外观特征向量之间的代价矩阵，若已匹配距离小于设定阈值，则认为id相同，匹配成功；

18、s34：对unconfirmed和age＝1的未匹配轨迹进行基于iou的匹配，若匹配成功，使用卡尔曼滤波更新目标状态，对未匹配成功的进行轨迹帧数寿命判断。

19、本发明的有益效果包括：

20、1、本发明所述的一种基于深度学习的四旋翼无人机目标跟踪方法及系统，使用轻量型目标检测网络yolov7-tiny，在原有yolov7-tiny的基础上，将主干网络backbone中的elan结构替换为fasternet结构；在空间金字塔池化sppcspc的基础上，构建快速分组卷积空间金字塔池化sppfcspc结构；在主干网络backbone和颈部neck的连接处加入ca注意力机制模块，有效提升网络的运算速度和精度。

21、2、本发明所述的一种基于深度学习的四旋翼无人机目标跟踪方法及系统，构建一种基于ghost net v2外观特征匹配和扩展卡尔曼融合的deepsort目标跟踪算法，将原reid网络中的主干网络替换为ghost net v2，使用扩展卡尔曼滤波替换原始算法中使用的卡尔曼滤波，在减少网络参数量的同时增强了系统在非线性情况下的鲁棒性。

22、3、本发明所述的一种基于深度学习的四旋翼无人机目标跟踪方法及系统，针对深度摄像头进行深度值转换的过程中出现转换失效导致深度值为零的情况。使用在目标中心点附近取随机点，采取冒泡排序和中值滤波的方法，避免深度值为零的情况发生，提升系统的可靠性和安全性。

技术特征：

1.一种基于深度学习的四旋翼无人机目标跟踪方法及系统，其特征在于，具体包括以下步骤：

2.根据权利要求1所述的一种基于深度学习的四旋翼无人机目标跟踪方法及系统，其特征在于，s2中所述的优化后的yolov7-tiny轻量型目标检测算法，具体包括：

3.根据权利要求1所述的一种基于深度学习的四旋翼无人机目标跟踪方法及系统，其特征在于，s3所述的优化后的deepsort目标跟踪算法，具体包括：

4.根据权利要求1所述的一种基于深度学习的四旋翼无人机目标跟踪方法及系统，其特征在于，s4中所述的计算手动选取框与目标检测框的iou值，确定需要跟踪对象的id值，具体包括：

5.根据权利要求1所述的一种基于深度学习的四旋翼无人机目标跟踪方法及系统，其特征在于，s5中所述的深度值，具体包括：

6.根据权利要求2所述一种基于深度学习的四旋翼无人机目标跟踪方法及系统，其特征在于，s22中所述的快速分组卷积空间金字塔池化模块sppfcspc，通过固定尺度下的特征输出、稀疏线性约束、公共池化和分组卷积等技术手段，实现在网络精度不变的情况下，模型参数量减少和运算速度提升。

技术总结
本发明公开一种基于深度学习的四旋翼无人机目标跟踪方法及系统。包括将深度摄像头采集到的彩色和深度图像信息输入到YOLOv7‑tiny目标检测网络，获得行人和车辆的目标检测框与中心点坐标；根据目标检测的结果使用DeepSORT目标跟踪算法对目标进行追踪；通过手动框选需要跟踪的目标对象，确定目标对象ID值；从而准确的控制四旋翼无人机对目标对象进行跟踪。本发明通过对YOLOv7‑tiny目标检测算法与DeepSORT目标跟踪算法进行优化，不仅提高了对行人和车辆的检测精度，而且大大提升了系统的运算速度和目标进行非线性运动情况下跟踪的鲁棒性。

技术研发人员：徐军,马云飞,李宇航,王孟
受保护的技术使用者：哈尔滨理工大学
技术研发日：
技术公布日：2024/1/15