一种基于光流引导的实时目标检测流式感知方法

本发明涉及目标检测，特别是涉及一种基于光流引导的实时目标检测流式感知方法。

背景技术：

1、在uav视频中进行实时目标检测是一个重要且具有挑战性的任务。传统的目标检测方法在处理快速移动的物体和动态场景时往往存在延迟问题,难以满足实时性要求。为解决这一问题,研究人员提出了流式感知的概念,旨在通过分析历史数据来预测物体的未来位置,从而实现对象状态的实时更新。

2、现有的流式感知方法,如streamer、streamyolo、longshortnet和damo-streamnet等,在减少延迟和提高检测精度方面取得了一定进展。然而,这些方法在处理uav视频中快速移动的物体时仍然面临挑战,特别是在捕捉连续帧之间的细粒度运动信息方面存在不足。例如：

3、streamyolo直接将两个连续帧输入网络,但缺乏专门的机制来提取和处理运动信息。

4、damo-streamnet虽然采用了双分支结构来提取语义和时间特征,但在捕捉关键运动线索方面仍有不足,尤其是在面对复杂轨迹时表现欠佳。

5、这些方法难以准确表示帧之间的连续运动,导致在uav场景中出现检测不准确或物体丢失的问题。在uav监控应用中,由于相机视野广阔和飞行路径快速变化,物体的外观和位置可能会发生微妙但显著的变化,进一步加剧了这一挑战。

技术实现思路

1、本发明的目的是提出一种基于光流引导的实时目标检测流式感知方法，以解决上述现有技术存在的：难以准确捕捉连续帧之间的细粒度运动信息、在处理快速移动物体和复杂轨迹时性能不佳、难以适应uav场景中物体外观和位置的微妙但显著变化的问题，通过整合光流信息来增强实时目标检测能力,提高了对uav视频中物体位置的预测精度。

2、为实现上述目的，本发明提供了如下方案：

3、一种基于光流引导的实时目标检测流式感知方法，包括：

4、提取连续两帧图像的多尺度特征；

5、计算连续两帧图像的光流场；

6、根据当前帧的目标检测结果，选择所述光流场中的目标周围邻域的光流信息；

7、利用所述多尺度特征和选择的光流信息进行位置预测；

8、对预测的位置进行优化，获取最终的目标检测结果。

9、可选地，提取连续两帧图像的多尺度特征包括：

10、通过yolox-l骨干网络提取连续两帧图像的基础特征；

11、基于所述基础特征，使用fpn融合不同层级的特征，生成多尺度特征。

12、可选地，计算连续两帧图像的光流场包括：

13、通过fastflownet计算连续两帧图像的光流场；

14、对光流场进行归一化处理。

15、可选地，利用所述多尺度特征和选择的光流信息进行位置预测包括：

16、基于卷积神经网络构建动态运动预测器；

17、将所述多尺度特征和选择的光流信息输入动态运动预测器，获取目标的预测位移向量；

18、利用所述预测位移向量更新目标位置；

19、将更新后的位置与yolox-l骨干网络的目标定位信息结合，获取最终的预测边界框坐标。

20、可选地，对预测的位置进行优化包括：

21、对所述预测位移向量，计算对应的权重；

22、基于所述权重，获取加权的位移预测误差；

23、利用所述位移预测误差和预设的目标检测损失函数，对预测的位置进行优化。

24、可选地，对应的所述权重为：

25、

26、其中，wj为权重，为x方向预测位移的平方，x为水平方向坐标，j为目标索引，∈为稳定项。

27、可选地，加权的所述位移预测误差为：

28、

29、其中，gj是真实的位移向量,dj是预测的位移向量，为加权的位移预测误差，m为目标数量。

30、可选地，利用所述预测位移向量更新目标位置的方法为：

31、

32、其中，为更新后的目标位置，为当前帧的目标位置，dj是预测的位移向量。

33、本发明的有益效果为：

34、本发明通过利用所述多尺度特征和选择的光流信息进行位置预测；对预测的位置进行优化，获取最终的目标检测结果；实现了可靠的光流信息提取和利用,增强了视频帧间的特征一致性；提高了对uav视频中快速移动物体的检测精度和实时性能；在多个具有挑战性的uav视频数据集上的实验证明,streamflow在流式感知任务中的性能优于现有方法。

技术特征：

1.一种基于光流引导的实时目标检测流式感知方法，其特征在于，包括：

2.根据权利要求1所述的基于光流引导的实时目标检测流式感知方法，其特征在于，提取连续两帧图像的多尺度特征包括：

3.根据权利要求1所述的基于光流引导的实时目标检测流式感知方法，其特征在于，计算连续两帧图像的光流场包括：

4.根据权利要求1所述的基于光流引导的实时目标检测流式感知方法，其特征在于，利用所述多尺度特征和选择的光流信息进行位置预测包括：

5.根据权利要求4所述的基于光流引导的实时目标检测流式感知方法，其特征在于，对预测的位置进行优化包括：

6.根据权利要求5所述的基于光流引导的实时目标检测流式感知方法，其特征在于，对应的所述权重为：

7.根据权利要求5所述的基于光流引导的实时目标检测流式感知方法，其特征在于，加权的所述位移预测误差为：

8.根据权利要求4所述的基于光流引导的实时目标检测流式感知方法，其特征在于，利用所述预测位移向量更新目标位置的方法为：

技术总结
本发明涉及一种基于光流引导的实时目标检测流式感知方法，包括：提取连续两帧图像的多尺度特征；计算连续两帧图像的光流场；根据当前帧的目标检测结果，选择所述光流场中的目标周围邻域的光流信息；利用所述多尺度特征和选择的光流信息进行位置预测；对预测的位置进行优化，获取最终的目标检测结果。本发明提高了对UAV视频中快速移动物体的检测精度和实时性能。

技术研发人员：黄华,王同博
受保护的技术使用者：北京理工大学
技术研发日：
技术公布日：2024/12/30