目标跟踪方法、装置、设备及存储介质与流程

本发明涉及视频处理，尤其涉及一种目标跟踪方法、装置、设备及存储介质。

背景技术：

1、视频多目标跟踪是通过跟踪算法检测出目标的位置，并将视频里面不同帧中的同一个目标关联起来，并赋予同一个id，从而完成目标的跟踪任务。目前传统的跟踪算法通过提取视频帧中目标的中心点对应特征图位置的特征向量作为reid（person re-identification，行人重识别，也称行人再识别），然后根据reid信息进行目标的跟踪。由于reid信息中仅包括了目标的中心点的相关信息，缺失了目标的其他特征信息，则基于reid信息无法准确的对目标进行跟踪。

技术实现思路

1、本发明实施例通过提供一种目标跟踪方法、装置、设备及存储介质，旨在解决传统的跟踪算法通过提取视频帧中目标的中心点对应特征图位置的特征向量作为reid信息，但基于reid信息无法准确的对目标进行跟踪的技术问题。

2、本发明实施例提供了一种目标跟踪方法，所述目标跟踪方法包括：

3、获取待处理视频对应的每一视频帧的融合特征，所述融合特征由视频帧的图像特征和光流特征拼接得到；

4、根据所述融合特征，确定所述视频帧中的可见特征点；

5、将各个所述视频帧中的目标物体的可见特征点进行特征匹配，得到目标物体的目标检测结果；

6、根据所述目标检测结果，确定所述待处理视频的目标跟踪结果。

7、可选地，所述将各个所述视频帧中的目标物体的可见特征点进行特征匹配，得到目标物体的目标检测结果的步骤包括：

8、获取待处理视频帧对应的历史特征向量，并基于所述历史特征向量，构建每一目标物体的历史特征空间；

9、获取当前视频帧中检测到的每一目标物体的可见特征点的可见特征向量，基于所述可见特征向量，构建当前视频帧中每一目标物体的特征空间；

10、根据当前视频帧中每一目标物体所述特征空间和对应的所述历史特征空间，将当前视频帧中每一目标物体与历史特征空间的目标物体进行匹配关联，得到一级匹配结果，所述一级匹配结果包括匹配成功的目标物体，以及匹配失败的目标物体；

11、根据每一帧视频帧的所述一级匹配结果确定所述目标检测结果。

12、可选地，所述获取待处理视频帧对应的历史特征向量，并基于所述历史特征向量，构建每一目标物体的历史特征空间的步骤包括：

13、若当前视频帧不为第一帧视频帧或第二帧视频帧，则获取当前视频帧的前一帧视频帧中的每一目标物体的可见特征点的可见特征向量；

14、基于所述可见特征向量和当前视频帧之前的第二帧视频帧对应的历史特征向量，构建当前视频帧的每一目标物体的历史特征空间；

15、若当前视频帧为第二帧视频帧，则根据第一帧视频帧的每一目标物体的可见特征点的可见特征向量；

16、基于所述可见特征向量，构建当前视频帧的每一目标物体的历史特征空间。

17、可选地，所述根据当前视频帧中每一目标物体所述特征空间和对应的所述历史特征空间，将当前视频帧中每一目标物体与历史特征空间的目标物体进行匹配关联，得到一级匹配结果的步骤之后，还包括：

18、获取待处理视频对应的所述一级匹配结果中匹配失败的目标物体；

19、获取待处理视频中每一视频帧的未匹配到的目标物体的特征点的位置信息，并将同一目标物体的特征点的位置信息存储在队列中；

20、若所述队列存储满，则将所述队列中的每一帧对应的目标物体进行匹配关联，得到二级匹配结果；

21、根据每一视频帧对应的所述一级匹配结果和所述二级匹配结果，确定所述目标检测结果。

22、可选地，所述根据待处理视频中每一视频帧的目标物体的特征点的位置信息，并将同一目标物体的特征点的位置信息存储在队列中的步骤之后，还包括：

23、若所述队列未存储满，则获取当前视频帧中目标物体的各个可见特征点，根据所述光流特征和所述可见特征点在前一视频帧的位置信息，确定各个所述可见特征点在所述视频帧中的预测位置信息；

24、获取当前视频帧中目标物体的各个不可见特征点，根据卡尔曼滤波算法确定所述不可见特征点在所述视频帧中的预测位置信息；

25、根据当前视频帧中每一目标物体的特征点的实际位置信息与所述预测位置信息，将当前视频帧的目标物体与前一视频帧中的目标物体进行匹配关联，得到二级匹配结果。

26、可选地，所述得到二级匹配结果的步骤之后，还包括：

27、获取待处理视频对应的一级匹配结果和二级匹配结果匹配失败的目标物体；

28、确定未匹配到的目标物体对应的检测框；

29、当所述检测框的中心特征点为可见特征点时，根据所述光流特征和前一视频帧中所述检测框的位置信息，确定所述检测框在当前视频帧中的预测框体位置信息；

30、当所述检测框的中心特征点为不可见特征点时，根据卡尔曼滤波算法确定所述检测框在当前视频帧中的预测框体位置信息；

31、根据当前帧中未匹配到的目标物体的框体位置信息与所述预测框体位置信息，对当前视频帧中的目标物体和上一视频帧中的目标物体进行匹配关联，得到三级匹配结果；

32、根据每一视频帧对应的所述一级匹配结果、所述二级匹配结果和所述三级匹配结果，确定所述目标检测结果。

33、可选地，所述根据所述融合特征，确定所述视频帧中的可见特征点的步骤包括：

34、基于预先训练的解码器对所述融合特征进行解码还原，得到光流图；

35、基于所述光流图，提取所述视频帧中的可见特征点和不可见特征点。

36、此外，为实现上述目的，本发明还提供了一种目标跟踪装置，所述目标跟踪装置包括：

37、特征提取模块，用于获取待处理视频对应的每一视频帧的融合特征，所述融合特征由视频帧的图像特征和光流特征拼接得到；

38、特征确定模块，用于根据所述融合特征，确定所述视频帧中的可见特征点；

39、结果检测模块，用于将各个所述视频帧中的目标物体的可见特征点进行特征匹配，得到目标物体的目标检测结果；

40、结果确定模块，用于根据所述目标检测结果，确定所述待处理视频的目标跟踪结果。

41、此外，为实现上述目的，本发明还提供了一种终端设备，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的目标跟踪程序，所述目标跟踪程序被所述处理器执行时实现上述的目标跟踪方法的步骤。

42、此外，为实现上述目的，本发明还提供了一种存储介质，其上存储有目标跟踪程序，所述目标跟踪程序被处理器执行时实现上述的目标跟踪方法的步骤。

43、本发明实施例中提供的一种目标跟踪方法、装置、设备及存储介质的技术方案，至少具有如下技术效果或优点：

44、本发明通过获取待处理视频对应的每一视频帧的融合特征，融合特征由视频帧的图像特征和光流特征拼接得到；根据融合特征，确定视频帧中的可见特征点；将各个视频帧中的目标物体的可见特征点进行特征匹配，得到目标物体的目标检测结果；根据目标检测结果，确定待处理视频的目标跟踪结果，解决了传统的跟踪算法通过提取视频帧中目标的中心点对应特征图位置的特征向量作为reid信息，但基于reid信息无法准确的对目标进行跟踪的技术问题。本发明在对进行视频中的多个目标跟踪时，通过融合的图像特征和光流特征可以提取到充分的目标特征信息，有利于全面准确的实现视频中多目标的跟踪。