单目标追踪方法、装置、电子设备和计算机可读存储介质

本技术的实施例涉及目标追踪领域，尤其涉及单目标追踪方法、装置、电子设备和计算机可读存储介质。

背景技术：

1、对于任意单个物体的实时追踪是很多实际应用的基本需求，例如自动驾驶、监控、增强现实、机器人和自动追踪导弹。准确且快速的追踪对自动驾驶和自动瞄准导弹等众多民用或军用领域的实际应用有非常大的意义。然而，在实际应用场景中，由于目标在运动过程中，其形状、尺寸、颜色、纹理等外观特征都可能发生变化；目标可能被其他物体遮挡或者在视频序列中消失一段时间，这会导致跟踪器无法正确地定位目标位置，从而使得跟踪失败；视频序列中的光照条件可能随着时间和场景的变化而发生变化，这会影响目标的外观特征，从而使得跟踪器难以准确跟踪目标；摄像机在移动过程中，会导致目标在图像中的位置和尺度发生变化，从而使得跟踪器难以定位目标位置；视频序列中通常会存在大量的背景干扰，例如树、汽车、行人等，这些干扰会使得跟踪器容易混淆目标和背景，从而导致跟踪失败；因此在不同时间点和不同场景下准确跟踪目标是非常具有挑战性的。

2、除了上述问题，单目标追踪需要在实时性的条件下完成，这意味着跟踪器需要在较短的时间内对目标进行准确的定位和跟踪，同时还要满足计算资源和带宽等方面的限制，所以模型的参数量太大也限制了单目标追踪的实际应用。

3、综上，单目标追踪存在因图像质量问题和和目标尺寸不均导致模型获取图像细节信息困难，也存在因相似物干扰、目标密集运动、相机抖动导致目标关联难度大，造成跟踪失败的问题。

技术实现思路

1、在本技术的第一方面，提供了一种单目标追踪方法。该方法包括：

2、基于待处理视频获得静态模板图像、动态模板图像以及搜索区域图像，所述待处理视频包含待追踪目标；

3、其中，所述静态模板图像是所述待处理视频中包含待追踪目标的第一帧图像中待追踪目标的最小外接矩形经第一预设扩展系数扩展后得到的矩形区域图像；动态模板图像是所述待处理视频中包含待追踪目标且在当前帧之前的预设数量的图像中待追踪目标的最小外接矩形经第二预设扩展系数扩展后得到的矩形区域图像；搜索区域图像是所述待处理视频中包含待追踪目标的当前帧的图像中待追踪目标的最小外接矩形经第三预设扩展系数扩展后得到的矩形区域图像；

4、计算搜索区域图像中待追踪目标的最小外接矩形区域图像和动态模板图像中每一帧图像的相似度得分；

5、如果搜索区域图像中待追踪目标的最小外接矩形区域图像和动态模板图像中某一帧图像的相似度得分大于0，则采用搜索区域图像中待追踪目标的最小外接矩形区域图像替换动态模板图像中该帧图像，以更新动态模板图像；

6、基于静态模板图像、更新后的动态模板图像以及搜索区域图像，追踪待追踪目标。在一种可能的实现方式中，所述计算搜索区域图像中待追踪目标的最小外接矩形区域图像和动态模板图像中每一帧图像的相似度得分，包括：

7、获取搜索区域图像中待追踪目标的最小外接矩形区域图像的三通道的第一rgb图像和动态模板图像中每一帧图像的三通道的第二rgb图像；

8、将所述第一rgb图像和每帧所述第二rgb图像沿通道方向叠加，得到预设数量的六通道矩阵；

9、基于每个六通道矩阵，通过训练完的resnet18模型，得到预设数量的向量展开特征图；

10、基于每个向量展开特征图，通过训练完成的相似度对比网络得到搜索区域图像中待追踪目标的最小外接矩形区域图像和动态模板图像中每一帧图像的相似度得分。

11、在一种可能的实现方式中，如果搜索区域图像中待追踪目标的最小外接矩形区域图像和动态模板图像中每一帧图像的相似度得分都小于0，则保留最后一次替换的动态模板图像中该帧图像的搜索区域图像中待追踪目标的最小外接矩形区域图像；

12、根据所述替换的动态模板图像中该帧图像的搜索区域图像中待追踪目标的最小外接矩形区域图像的大小，将相似度得分小于0的搜索区域图像划分为多个矩形区域；

13、计算每个所述矩形区域和替换的动态模板图像中该帧图像的搜索区域图像中待追踪目标的最小外接矩形区域图像的相似度得分；

14、如果某一个矩形区域和替换的动态模板图像中该帧图像的搜索区域图像中待追踪目标的最小外接矩形区域图像的相似度得分大于0，则以该所述矩形区域作为搜索区域图像中待追踪目标的最小外接矩形区域图像替换动态模板图像中该帧图像，以更新动态模板图像。

15、在一种可能的实现方式中，所述基于静态模板图像、更新后的动态模板图像以及搜索区域图像，追踪待追踪目标，包括:

16、将所述静态模板图像、更新后的动态模板图像以及搜索区域图像，通过训练完成的repvgg-a0模型，得到静态模板图像深度特征、动态模板图像深度特征以及搜索区域图像深度特征，其中，图像深度特征是经过多层神经网络后得到的特征图；

17、根据静态模板图像深度特征、动态模板图像深度特征以及搜索区域图像深度特征，通过训练完成的注意力机制，得到图像深度交互式特征，所述图像深度交互式特征是静态模板图像深度特征、动态模板图像深度特征分别与搜索区域图像深度特征进行交叉注意后得到的关联特征图；

18、基于图像深度交互式特征，通过训练完成的预测头网络模型，得到待追踪目标的最小外接矩形在搜索区域图像中的坐标信息。

19、在一种可能的实现方式中，基于图像深度交互式特征，通过训练完成的预测头网络模型，得到待追踪目标的最小外接矩形在搜索区域图像中的坐标信息，包括：

20、基于图像深度交互式特征，通过训练完成的预测头网络模型，得到一个两通道特征图；

21、基于两通道特征图，通过级联的方式，得到待追踪目标的最小外接矩形的左上角坐标和右下角坐标，作为所述坐标信息。

22、在本技术的第二方面，提供了一种单目标追踪装置。该装置包括：

23、图像获取模块，用于基于待处理视频获得静态模板图像、动态模板图像以及搜索区域图像，所述待处理视频包含待追踪目标；

24、其中，所述静态模板图像是所述待处理视频中包含待追踪目标的第一帧图像中待追踪目标的最小外接矩形经第一预设扩展系数扩展后得到的矩形区域图像；动态模板图像是所述待处理视频中包含待追踪目标且在当前帧之前的预设数量的图像中待追踪目标的最小外接矩形经第二预设扩展系数扩展后得到的矩形区域图像；搜索区域图像是所述待处理视频中包含待追踪目标的当前帧的图像中待追踪目标的最小外接矩形经第三预设扩展系数扩展后得到的矩形区域图像；

25、图像分析模块，用于计算搜索区域图像中待追踪目标的最小外接矩形区域图像和动态模板图像中每一帧图像的相似度得分；

26、模板更新模块，用于如果搜索区域图像中待追踪目标的最小外接矩形区域图像和动态模板图像中某一帧图像的相似度得分大于0，则采用搜索区域图像中待追踪目标的最小外接矩形区域图像替换动态模板图像中该帧图像，以更新动态模板图像；

27、目标追踪模块，基于静态模板图像、更新后的动态模板图像以及搜索区域图像，追踪待追踪目标。在一种可能的实现方式中，图像分析模块具体用于：

28、获取搜索区域图像中待追踪目标的最小外接矩形区域图像的三通道的第一rgb图像和动态模板图像中每一帧图像的三通道的第二rgb图像；

29、将所述第一rgb图像和每帧所述第二rgb图像沿通道方向叠加，得到预设数量的六通道矩阵；

30、基于每个六通道矩阵，通过训练完的resnet18模型，得到预设数量的向量展开特征图；

31、基于每个向量展开特征图，通过训练完成的相似度对比网络得到搜索区域图像中待追踪目标的最小外接矩形区域图像和动态模板图像中每一帧图像的相似度得分。

32、在一种可能的实现方式中，模板更新模块还用于：

33、如果搜索区域图像中待追踪目标的最小外接矩形区域图像和动态模板图像中每一帧图像的相似度得分都小于0，则保留最后一次替换的动态模板图像中该帧图像的搜索区域图像中待追踪目标的最小外接矩形区域图像；

34、根据所述替换的动态模板图像中该帧图像的搜索区域图像中待追踪目标的最小外接矩形区域图像的大小，将相似度得分小于0的搜索区域图像划分为多个矩形区域；

35、计算每个所述矩形区域和替换的动态模板图像中该帧图像的搜索区域图像中待追踪目标的最小外接矩形区域图像的相似度得分；

36、如果某一个矩形区域和替换的动态模板图像中该帧图像的搜索区域图像中待追踪目标的最小外接矩形区域图像的相似度得分大于0，则以该所述矩形区域作为搜索区域图像中待追踪目标的最小外接矩形区域图像替换动态模板图像中该帧图像，以更新动态模板图像。

37、在本技术的第三方面，提供了一种电子设备。该电子设备包括：存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如以上所述的方法。

38、在本技术的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上所述的方法。

39、应当理解，
技术实现要素：
部分中所描述的内容并非旨在限定本技术的实施例的关键或重要特征，亦非用于限制本技术的范围。本技术的其它特征将通过以下的描述变得容易理解。