枪球联动的目标跟踪方法、装置、电子装置和存储介质与流程

1.本技术涉及监控技术领域，特别是涉及枪球联动的目标跟踪方法、装置、电子装置和存储介质。


背景技术：

2.在一些高架桥、重要干道等需要大范围监控的场景时，会选用一些多目拼接(全景)相机或枪机，同时为兼顾细节观察而搭配球机，如枪球一体机设备。这类设备安装高度比较高、监控范围广，所以枪端算法无法做一些细致分析，如车牌检测，而擅长做一些行为分析、类型检测以及统计分析等。因此，需要采用枪球联动方案。枪球联动方案通常包括一个枪机和至少一个球机。其中，枪机负责进行运动目标捕捉，然后根据枪机获取的视频中运动目标的坐标位置，控制对球机进行全方位移动及镜头变倍、变焦控制(pan/tilt/zoom，ptz)，使球机转动到枪机跟踪的运动目标图像，然后球机对运动目标进行进一步地细节跟踪。因而，球机联动方案的核心在于运动目标的检测以及跟踪。
3.目前，枪球联动的目标跟踪方案是在枪机识别并跟踪目标，将枪机目标坐标转换为球机坐标，转动球机观察同一目标，通过比较枪机与球机目标图像的相似度来判断是否是同一目标，再继续根据枪机跟踪的目标坐标来控制球机进行跟踪。这种方案的缺点在于球机跟踪是被动式跟踪，即实时根据枪机的跟踪结果控制球机云台进行跟踪。但是由于枪机无法识别目标细节，这导致无法先发现具有特定细节的目标，再对该目标进行跟踪，容易遗漏特定目标的跟踪。
4.针对相关技术中存在无法先发现具有特定细节的目标，再对该目标进行跟踪，容易遗漏特定目标的跟踪的问题，目前还没有提出有效的解决方案。


技术实现要素：

5.在本实施例中提供了一种枪球联动的目标跟踪方法、装置、电子装置和存储介质，以解决相关技术中存在无法先发现具有特定细节的目标，再对该目标进行跟踪，容易遗漏特定目标的跟踪的问题。
6.第一个方面，在本实施例中提供了一种枪球联动的目标跟踪方法，包括：
7.利用球机在预设监控区域识别目标，并对所述目标进行跟踪；
8.基于球机坐标和全景坐标之间的坐标映射关系，将所述球机对所述目标进行跟踪得到的球机跟踪信息，由球机坐标转换到全景坐标，得到所述目标的全景跟踪信息；
9.控制枪机基于所述全景跟踪信息，利用目标匹配算法，在所述全景坐标下对所述目标进行识别并跟踪。
10.在其中一些实施例中，所述利用球机在预设监控区域识别目标，并对所述目标进行跟踪，包括：
11.控制球机获取预设监控区域的区域监控视频帧；
12.将所述区域监控视频帧中的目标图像与预设的目标数据库中的目标图像进行匹
配，以识别所述目标；
13.利用跟踪算法，控制所述球机对所述目标进行跟踪。
14.在其中一些实施例中，所述目标图像为车牌图像；所述目标数据库为车牌数据库。
15.在其中一些实施例中，所述利用跟踪算法，控制所述球机对所述目标进行跟踪，包括：
16.利用所述跟踪算法，控制所述球机的云台对目标进行主动跟踪，并预测目标速度。
17.在其中一些实施例中，本实施例提供的所述的枪球联动的目标跟踪方法，还包括：
18.在利用球机在预设监控区域识别目标，对所述目标进行跟踪之后，基于多倍倍率的球机坐标和一倍倍率的球机坐标之间的坐标换算关系，将所述球机在当前倍率下目标中心点的球机坐标转换到一倍倍率下目标中心点的球机坐标。
19.在其中一些实施例中，所述在所述全景坐标下对所述目标进行跟踪，包括：
20.在枪机的全景监控视频帧中，基于所述全景跟踪信息，对所述目标的图像进行叠加标记；
21.利用预设多重算法策略，基于所述叠加标记，在所述全景坐标下对所述目标进行跟踪。
22.在其中一些实施例中，本实施例提供的所述的枪球联动的目标跟踪方法，还包括：
23.利用全景智能算法，控制枪机独立识别每帧全景监控视频帧中的全景对象，并对所述全景对象进行跟踪，以缓存多帧所述全景智能算法得到的全景对象信息。
24.在其中一些实施例中，所述控制枪机基于所述全景跟踪信息，利用目标匹配算法，在所述全景坐标下对所述目标进行识别，包括：
25.控制枪机基于所述全景跟踪信息，筛选出与所述球机当前的区域监控视频帧在所述枪机获取时间上最接近的全景监控视频帧，并确定与所述全景监控视频帧对应的所述全景对象信息；
26.将所述全景跟踪信息中的全景坐标与筛选的所述全景监控视频帧中的各全景对象进行位置匹配，以确定所述全景监控视频帧中所述目标及对应的身份信息。
27.在其中一些实施例中，在所述目标为车辆时，所述控制枪机基于所述全景跟踪信息，筛选出与所述球机当前的区域监控视频帧在所述枪机获取时间上最接近的全景监控视频帧，并确定与所述全景监控视频帧对应的所述全景对象信息，包括：
28.将所述全景跟踪信息中的目标车速与预设车速阈值进行比较；
29.若所述目标车速小于所述预设车速阈值，则判定为低速场景，基于所述全景跟踪信息中的时间戳，筛选出与所述球机当前的区域监控视频帧在所述枪机获取时间上最接近的全景监控视频帧，并确定与所述全景监控视频帧对应的所述全景对象信息；
30.若所述目标车速大于或等于所述预设车速阈值，则判定为高速场景，基于预设延迟时间值和所述全景跟踪信息中的时间戳，筛选出与所述球机当前的区域监控视频帧在所述枪机获取时间上最接近的全景监控视频帧，并确定与所述全景监控视频帧对应的所述全景对象信息。
31.在其中一些实施例中，所述将所述全景跟踪信息中的全景坐标与筛选的所述全景监控视频帧中的各全景对象进行位置匹配，以确定所述全景监控视频帧中所述目标及对应的身份信息，包括：
32.将全景跟踪信息中的全景坐标与筛选的所述全景监控视频帧中的各全景对象的中心点坐标进行距离统计，得到各所述全景对象的距离信息及对应的身份信息；
33.将每个所述距离信息之间进行两两比较，筛选出具有最小所述距离信息的全景对象和对应的身份信息，以确定所述目标及对应的身份信息。
34.在其中一些实施例中，本实施例提供的所述的枪球联动的目标跟踪方法，还包括：
35.在确定所述全景监控视频帧中所述目标及对应的身份信息之后，在连续帧内进行多次位置匹配，以确定最终的目标及对应的身份信息。
36.在其中一些实施例中，本实施例提供的所述的枪球联动的目标跟踪方法，还包括：
37.在确定所述目标及对应的身份信息之后，控制所述枪机，基于所述身份信息，利用预设多重算法策略，在所述全景坐标下对所述目标进行跟踪。
38.在其中一些实施例中，本实施例提供的所述的枪球联动的目标跟踪方法，还包括：
39.在基于所述身份信息，在所述全景坐标下对所述目标进行跟踪之后，在枪机的全景监控视频帧中，基于所述全景跟踪信息，对所述目标的图像进行叠加标记并展示。
40.第二个方面，在本实施例中提供了一种枪球联动的目标跟踪装置，包括：第一识别跟踪模块、转换模块以及第二识别跟踪模块；
41.所述第一识别跟踪模块，用于利用球机在预设监控区域识别目标，并对所述目标进行跟踪；
42.所述转换模块，用于基于球机坐标和全景坐标之间的坐标映射关系，将所述球机对所述目标进行跟踪得到的球机跟踪信息，由球机坐标转换到全景坐标，得到所述目标的全景跟踪信息；
43.所述第二识别跟踪模块，用于控制枪机基于所述全景跟踪信息，利用目标匹配算法，在所述全景坐标下对所述目标进行识别并跟踪。
44.第三个方面，在本实施例中提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一个方面所述的枪球联动的目标跟踪方法。
45.第四个方面，在本实施例中提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一个方面所述的枪球联动的目标跟踪方法。
46.与相关技术相比，在本实施例中提供的枪球联动的目标跟踪方法、装置、电子装置和存储介质，通过利用球机在预设监控区域识别目标，并对目标进行跟踪；基于球机坐标和全景坐标之间的坐标映射关系，将球机对目标进行跟踪得到的球机跟踪信息，由球机坐标转换到全景坐标，得到目标的全景跟踪信息；控制枪机基于全景跟踪信息，利用目标匹配算法，在全景坐标下对目标进行识别并跟踪，解决了相关技术中存在无法先发现具有特定细节的目标，再对该目标进行跟踪，容易遗漏特定目标的跟踪的问题，先利用球机发现特定目标，将其球机坐标转换为全景坐标，控制枪机进行目标的识别和跟踪，实现了在枪机无法识别特定细节的情况下对具有特定细节的目标进行跟踪，降低对目标跟踪的遗漏。
47.本技术的一个或多个实施例的细节在以下附图和描述中提出，以使本技术的其他特征、目的和优点更加简明易懂。
附图说明
48.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
49.图1是本技术一实施例提供的枪球联动的目标跟踪方法的终端设备的硬件结构框图；
50.图2是本技术一实施例提供的枪球联动的目标跟踪方法的流程图；
51.图3是图2中步骤s210的流程图；
52.图4是本技术一实施例提供的球机相机和枪机相机获取监控视频帧时间戳的对比示意图；
53.图5是本技术一实施例提供的球机相机和枪机相机帧间时差进入相对稳定状态的示意图；
54.图6是本技术另一实施例提供的球机相机和枪机相机帧间时差进入相对稳定状态的示意图；
55.图7是本技术一实施例提供的枪球联动的目标跟踪方法的流程示意图；
56.图8是本技术一实施例提供的枪球联动的目标跟踪装置的结构框图。
57.图中：210、第一识别跟踪模块；220、转换模块；230、第二识别跟踪模块。
具体实施方式
58.为更清楚地理解本技术的目的、技术方案和优点，下面结合附图和实施例，对本技术进行了描述和说明。
59.除另作定义外，本技术所涉及的技术术语或者科学术语应具有本技术所属技术领域具备一般技能的人所理解的一般含义。在本技术中“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制，它们可以是单数或者复数。在本技术中所涉及的术语“包括”、“包含”、“具有”及其任何变体，其目的是涵盖不排他的包含；例如，包含一系列步骤或模块(单元)的过程、方法和系统、产品或设备并未限定于列出的步骤或模块(单元)，而可包括未列出的步骤或模块(单元)，或者可包括这些过程、方法、产品或设备固有的其他步骤或模块(单元)。在本技术中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理的或机械连接，而可以包括电气连接，无论是直接连接还是间接连接。在本技术中所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。通常情况下，字符“/”表示前后关联的对象是一种“或”的关系。在本技术中所涉及的术语“第一”、“第二”、“第三”等，只是对相似对象进行区分，并不代表针对对象的特定排序。
60.在本实施例中提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。比如在终端上运行，图1是本实施例的枪球联动的目标跟踪方法的终端的硬件结构框图。如图1所示，终端可以包括一个或多个(图1中仅示出一个)处理器102和用于存储数据的存储器104，其中，处理器102可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置。上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限制。例如，终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示出的不同配置。
61.存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如在本实施例中枪球联动的目标跟踪方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
62.传输设备106用于经由一个网络接收或者发送数据。上述的网络包括终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(network interface controller，简称为nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(radio frequency，简称为rf)模块，其用于通过无线方式与互联网进行通讯。
63.在本实施例中提供了一种枪球联动的目标跟踪方法，图2是本实施例的枪球联动的目标跟踪方法的流程图，如图2所示，该流程包括如下步骤：
64.步骤s210，利用球机在预设监控区域识别目标，并对目标进行跟踪；
65.步骤s220，基于球机坐标和全景坐标之间的坐标映射关系，将球机对目标进行跟踪得到的球机跟踪信息，由球机坐标转换到全景坐标，得到目标的全景跟踪信息；
66.步骤s230，控制枪机基于全景跟踪信息，利用目标匹配算法，在全景坐标下对目标进行识别并跟踪。
67.需要说明的是，球机和枪机可以是一体式设备，如枪球一体机设备。枪球一体机设备可以设置在预置点，比如：设置在高架桥上、主要道路干道上方以及隧道中等需要大范围监控的场景。球机在预置点执行球机智能算法对监控区域进行监控，以识别监控区域中具有特定细节的目标，再执行跟踪算法对运动的目标进行进一步地细节跟踪，会得到球机跟踪信息。其中，对于不同的目标，其特定细节也不同。比如：对于目标是机动车、非机动车的，其特定细节可以是车牌，可以设置相应的车牌库便于识别；对于目标是人的，其特定细节可以是人脸特征，可以设置相应的人脸特征库便于识别。在此对于目标和对应的特定细节不一一举例说明。
68.球机坐标和全景坐标之间的坐标映射关系可以利用坐标换算算法标定。其中，标定过程为：控制球机获取区域监控视频帧，控制枪机获取全景监控视频帧，选定区域监控视频帧和全景监控视频帧中相同的目标的过程，比如：选定某个固定建筑体、静止的机动车或静止的人的目标的过程。基于坐标映射关系可以实现坐标等相关的跟踪信息在球机和枪机之间转换，也就是说可以将球机跟踪信息转换为全景跟踪信息。其中，球机跟踪信息包括不限于目标坐标、目标速度、目标方向、特定细节以及时间戳等。时间戳，可以是在获取区域监控视频帧时打上，或者是在获取区域监控视频后，对区域监控视频进行编码时打上。
69.在枪机中执行目标匹配算法，基于全景跟踪信息，在全景坐标下对目标进行识别并跟踪。利用上述目标匹配算法，基于全景跟踪信息使枪机完成对目标的匹配跟踪，从而能够对特定细节的目标进行跟踪，降低对目标跟踪的遗漏。球机和枪机只在目标发现和跟踪初期有个同步，后面各自独立跟踪，是否跟丢互不影响。在其他实施例中，球机和枪机可以是独立的装置，可以采用和枪球一体机设备的设置方式实现。
70.通过上述步骤，先利用球机发现特定目标，将其球机坐标转换为全景坐标，控制枪机进行目标的识别和跟踪，实现了在枪机无法识别特定细节的情况下对具有特定细节的目标进行跟踪，降低对目标跟踪的遗漏。解决了相关技术中存在无法先发现具有特定细节的目标，再对该目标进行跟踪，容易遗漏特定目标的跟踪的问题。
71.下面对各步骤进行详细说明：
72.在其中一些实施例中，如图3所示，步骤s210，包括以下步骤：
73.步骤s211，控制球机获取预设监控区域的区域监控视频帧；
74.步骤s212，将区域监控视频帧中的目标图像与预设的目标数据库中的目标图像进行匹配，以识别目标；
75.步骤s213，利用跟踪算法，控制球机对目标进行跟踪。
76.具体的，球机可以先获取预设监控区域的区域监控视频，利用编码技术从区域监控视频中提取区域监控视频帧时打上时间戳。球机在预置点执行球机智能算法对监控区域进行监控，将区域监控视频帧中的目标图像与预设的目标数据库中的目标图像进行匹配，以识别具有特定细节的目标。最后利用跟踪算法，控制球机对目标进行跟踪。其中，目标图像为车牌图像；目标数据库为车牌数据库。那么将区域监控视频帧中的车牌图像与预设的车牌数据库中的车牌图像进行匹配，在区域监控视频帧中的车牌图像与车牌数据库中的车牌图像匹配时，以识别目标。当然，目标图像也可以为人脸，目标数据库为人脸数据库等，对此并不进行限制。
77.其中，球机智能算法可以为基于cnn的视频结构化检测算法，其可以同时检测机动车、非机动车、人及其特征，也能够满足一定像素大小的机动车的车牌检测。在其中一个实施例中，基于cnn的视频结构化检测算法，是通过先训练cnn的视频结构化检测模型来实现对目标的识别。
78.其中，跟踪算法可以自动选择待跟踪的目标，并实现长时间的变倍放大跟踪，广泛应用于车站、地铁、小区以及学校等众多监控场所。跟踪算法一般包括下述几种：
79.第一种算法：基于模型匹配的跟踪算法，如粒子滤波法、均值偏移(mean-shift)法等。具体为：首先提取目标的特征作为模板，然后根据该特征模板，在下一帧中确定出最接近该特征的位置信息，再次将该确定出的位置信息作为目标的所在的位置信息，并更新特征模板。
80.第二种算法：卢卡斯奏托马西特征跟踪算法。其具体处理流程为：首先提取出目标上的特征像素点，然后跟踪每一个特征像素点(也可以称之为特征像素点)。可选的，可以采用卢卡斯(lk，lucas-kanade)光流法计算特征像素点的速度。
81.第三种算法：跟踪学习检测跟踪算法，该算法是一个以检测来改进目标跟踪的策略。具体为：首先需要设置一个短时跟踪器，以设置的短时跟踪器持续跟踪目标，并且生成一个在线检测器，该在线检测器以短时跟踪器的跟踪结果作为训练器的输出生成，并根据输出生成的结果更新短时跟踪器的跟踪目标。当短时跟踪器跟丢目标后，可以通过在线检测器重新找回目标，从而实现延长跟踪时间和抗遮挡的目的。
82.具体的，在对目标进行跟踪时，是利用跟踪算法，控制球机的云台对目标进行主动跟踪，并预测目标速度。如果目标是机动车或非机动车，目标速度为车辆速度；如果目标是人，目标速度为人移动速度。
83.在其中一些实施例中，为了提高识别跟踪的速率，在利用球机在预设监控区域识别目标，对目标进行跟踪之后，还包括以下步骤：
84.基于多倍倍率的球机坐标和一倍倍率的球机坐标之间的坐标换算关系，将球机在当前倍率下目标中心点的球机坐标转换到一倍倍率下目标中心点的球机坐标。
85.多倍倍率的球机坐标和一倍倍率的球机坐标之间的坐标换算关系可以预先标定。选定某个固定建筑体、静止的机动车或静止的人；换算在不同倍率下球机坐标之间的关系，得到坐标换算关系。也就是说，可以实现任意倍数的球机坐标与一倍倍率的球机坐标之间转换。从而可以将球机在当前倍率下目标中心点的球机坐标转换到一倍倍率下目标中心点的球机坐标。
86.在其中一些实施例中，步骤s230中的在全景坐标下对目标进行跟踪，包括以下步骤：
87.在枪机的全景监控视频帧中，基于全景跟踪信息，对目标的图像进行叠加标记；
88.利用预设多重算法策略，基于叠加标记，在全景坐标下对目标进行跟踪。
89.具体的，多重算法策略指的是球机中的球机智能算法、跟踪算法；枪机中的全景智能算法、坐标换算算法等。通过这些算法策略的配合，实现球机先发现特定细节的目标并对其进行跟踪，再联动枪机将叠加标记叠加在枪机监控视频的目标上，以对该目标进行跟踪，降低对目标跟踪的遗漏。其中，叠加标记指的是警示颜色、全景跟踪信息(车速、大小、方向、车牌等)。利用叠加标记可以是在监控视频中显示轨迹框时用警示颜色与普通轨迹框颜色加以区别，从而在全景监控视频上直观得到球机捕捉目标的跟踪详情。
90.在其中一些实施例中，本实施例提供的枪球联动的目标跟踪方法，还包括以下步骤：
91.利用全景智能算法，控制枪机独立识别每帧全景监控视频帧中的全景对象，并对全景对象进行跟踪，以缓存多帧全景智能算法得到的全景对象信息。
92.其中，全景智能算法是基于cnn的视频结构化检测算法，其可以独立识别每帧全景监控视频帧中的待跟踪的全景对象，并实现长时间跟踪。全景对象指的是在全景监控视频帧中的不做特定细节识别而得到的目标。比如，球机中的目标指的是特定车牌的车辆。那么全景对象为全景监控视频帧的车辆。由于枪机和球机都是实时进行监控，获取监控视频。而且枪机的监控范围比球机广，那么在球机中发现具有特定细节的目标后，枪机中肯定也就有该目标，只是枪机不能识别具体细节，因此不知道该特定细节的目标是全景对象中的哪个。因此，在枪机中对全景对象进行跟踪，以缓存多帧全景智能算法得到的全景对象信息，以备后续对特定细节目标做目标匹配，让枪机也能识别出特定细节目标。
93.在其中一些实施例中，步骤s230，包括以下步骤：
94.步骤s231，控制枪机基于全景跟踪信息，筛选出与球机当前的区域监控视频帧在枪机获取时间上最接近的全景监控视频帧，并确定与全景监控视频帧对应的全景对象信息。
95.具体的，由于球机和枪机是两个相对独立的装置，因此球机的相机和枪机的相机在获取同一图像的时刻存在时间差(记δtr)；另外，从相机获取图像到编码成yuv格式的监控视频帧存在处理耗时，且不同相机型号、图像大小、isp处理流程不同，其耗时也不同(球机记δtb，枪机记δtg)。即yuv格式的监控视频帧中的时间戳滞后于现实获取图像时间，且
球机和枪机的延迟时间不同。所以需要筛选出与球机当前的区域监控视频帧在枪机获取时间上最接近的全景监控视频帧，再确定与全景监控视频帧对应的全景对象信息。其中，全景对象信息包括不限于各全景对象的中心坐标、对应的身份信息以及当前全景监控视频帧中的时间戳。
96.如图4所示，球机t2时刻的裸帧对应t5时刻的区域监控视频帧，即球机第n帧区域监控视频帧的时间戳为t5；枪机t1时刻的裸帧对应t9时刻的全景监控视频帧，即枪机第m帧全景监控视频帧的时间戳为t9。t1、t2时刻的两裸帧是实际时间上最接近的，即球机t5时刻的区域监控视频帧和全景t9时刻的全景监控视频帧在时间上最接近；如果不考虑上述延迟问题，会误认为球机t8时刻的区域监控视频帧和全景t9时刻的全景监控视频帧在获取时间上最接近。
97.对于低速场景，上述时间差及处理延迟对球机的目标和枪机的目标匹配影响不大，可以忽略。但是在高速场景，且目标较多时，不能忽略；否则可能匹配出错，从而导致跟踪出错。例如：车速90km/h(25m/s)，算法帧率为10，球机延迟与全景延迟差为1帧(0.1s)，则距离误差为2.5米。目标速度越高、延迟越大，距离误差越大。因此，保证球机、枪机相机视频格式相同(pal或ntsc，帧率相同)；保证球机智能算法帧率、全景智能算法的帧率相同；从而可以保证球机、枪机相机帧间时差进入相对稳定状态(如图5所示，δt≈δti(i＝1,2,3...)),δt为相对稳定的时差；δti为第i个相邻两帧时差；若视频帧率、算法帧率不同，则球机、枪机相机帧间时差进入相对稳定状态的处理难度增加(如图6所示，虚线为帧过期，被新帧取代)、匹配耗时增加。
98.具体的，在目标为车辆时，步骤s231包括以下步骤：
99.将全景跟踪信息中的目标车速与预设车速阈值进行比较；
100.若目标车速小于预设车速阈值，则判定为低速场景，基于全景跟踪信息中的时间戳，筛选出与球机当前的区域监控视频帧在枪机获取时间上最接近的全景监控视频帧，并确定与全景监控视频帧对应的全景对象信息；在低速场景时：由于时间差造成距离误差可忽略，直接使用yuv格式监控视频帧的时间戳最近的(min(tg
i-tbn))两帧比较。tgi为时间戳为ti的全景监控视频帧；tbn为时间戳为tn的区域监控视频帧。
101.若目标车速大于或等于预设车速阈值，则判定为高速场景，基于预设延迟时间值和全景跟踪信息中的时间戳，筛选出与球机当前的区域监控视频帧在枪机获取时间上最接近的全景监控视频帧，并确定与全景监控视频帧对应的全景对象信息。在高速场景时：由于枪机球机的硬件型号是确定的，且运行中图像分辨率、图像处理配置通常是固定的，通过装置性能测试可获取从图像获取到yuv格式监控视频帧编码的延迟时间值(即δtb、δtg)；根据球机传递到全景的当前全景监控视频帧fbn的时间戳tbn，减去球机延迟时间值δtb，得到近似获取时刻tbn'；对多帧全景智能算法的处理结果进行缓存，对其缓存的各帧yuv格式监控视频帧的时间戳(记第i帧fgi的时间戳tgi)减去全景延迟时间值δtg，得到近似获取时刻tgi'，将tbn'与tgi'比较，得到时间差最小的一帧全景监控视频帧(记第m帧，误差记δt)，从而筛选出与球机当前的区域监控视频帧获取时刻上最接近的(min(tg
i-tb
n-δtb+δtg))枪机获取时刻的全景监控视频帧。
102.步骤s232，将全景跟踪信息中的全景坐标与筛选的全景监控视频帧中的各全景对象进行位置匹配，以确定全景监控视频帧中目标及对应的身份信息。
103.具体的，位置匹配为全景坐标和各全景对象中心点坐标的距离比对过程。将全景跟踪信息中的全景坐标与筛选的全景监控视频帧中的各全景对象的中心点坐标进行距离统计，得到各全景对象的距离信息及对应的身份信息；将每个距离信息之间进行两两比较，筛选出具有最小距离信息的全景对象和对应的身份信息，以确定目标及对应的身份信息。
104.全景跟踪信息中的全景坐标记为：a0；各全景对象的中心点坐标记为：bi，其中，i为目标id值。计算全景跟踪信息中的全景坐标与筛选的全景监控视频帧中的各全景对象中心点目标的距离记为di，其中，最小值(min(di)＝min(|a0 bi|))认为是相同目标，并记录该目标的身份信息id，并计数，计数记为ci。
105.由于一次位置匹配确定的目标及对应的身份信息可能存在误差，为了提高目标匹配的准确性，在确定全景监控视频帧中目标及对应的身份信息之后，在连续帧内进行多次位置匹配，以确定最终的目标及对应的身份信息。
106.具体的，连续进行n次(帧)比较，即重复n次位置匹配，找出身份信息id计算最大的一个(max(ci))，或连续k次(k《n)比较身份信息id都相同的一个，作为最终确定的与球机相同的目标。其中，n可以为3-40次，比如n为30次，算法帧率为10。以时间单位作为限制，比较3秒。对于比较次数，过短匹配不一定准确，过长目标可能消失等偶然风险因素增加，且影响用户体验。
107.在其中一些实施例中，对于目标是车辆的，在确定目标及对应的身份信息之后，还包括以下步骤：控制枪机基于身份信息，利用预设多重算法策略，在全景坐标下对目标进行跟踪。
108.由于枪机因安装高度、监控距离及视角、拼接畸变、光线亮度、局部遮挡等因素，全景智能算法不仅对目标细节进行分析(如车牌、人脸等)时效果差，而且会存在跟丢情况(体现在目标身份信息id连续性，即身份信息id变化)，尤其在画面边缘(远距离)目标像素大小(宽高)在算法最小识别能力边界，其身份信息id变化概率更高。导致当全景智能算法选中算法信息id后，在界面标出提示时，由于身份信息id变化后会可能标错目标或丢失目标。因此，将将目标的身份信息id配置给多重算法策略中的全景智能算法在全景坐标下对目标进行跟踪，保证该单个目标在跟踪期间身份信息id不变，或跟丢该身份信息id一段时间内不再复用。多重算法策略指的是球机中的球机智能算法、跟踪算法；枪机中的全景智能算法、坐标换算算法等。通过这些算法策略的配合，实现球机先发现特定细节的目标并对其进行跟踪，再联动枪机基于身份信息对具有特定细节的目标进行联动跟踪。
109.在其中一些实施例中，在基于身份信息，在全景坐标下对目标进行跟踪之后，在枪机的全景监控视频帧中，基于全景跟踪信息，对目标的图像进行叠加标记并展示。
110.具体的，将叠加标记叠加在枪机监控视频的目标上，以对该目标进行跟踪，降低对目标跟踪的遗漏。其中，叠加标记指的是警示颜色、全景跟踪信息(车速、大小、方向、车牌等)。利用叠加标记可以是在监控视频中显示轨迹框时用警示颜色与普通轨迹框颜色加以区别，从而在全景监控视频上直观得到球机捕捉目标的跟踪详情。
111.如图7所示，举例对具有特定车牌的目标车辆的识别追踪过程进行说明：
112.步骤s71，同步球机、枪机的时间，分别在球机和枪机的视频编码阶段打上系统时间戳；
113.在该步骤下也可以标定球机一倍倍率下的球机坐标与全景坐标的坐标映射关系；
标定球机任意倍率下的球机坐标到一倍倍率下的球机坐标的坐标换算关系；球机执行球机智能算法分析经过车辆的车牌，并与车牌数据库中的车牌进行比较，比中后启用跟踪算法；枪机运行全景智能算法分析全景监控视频帧中所有的全景对象。
114.步骤s72，配置车牌名的车牌数据库，配置车速阈值(记vc)，配置球机编码延迟时间值(δtb)，配置枪机编码的延迟时间值(δtg)，配置视频帧率f，配置全景智能算法的帧率fa，配置球机预置点及关联的球机的球机智能算法。
115.步骤s73，跟踪算法计算车辆速度(记v)，控制球机的云台ptz进行跟踪(跟踪过程中球机智能算法仍在执行)；将球机在当前倍率下目标的中心点坐标(a)换算到1倍率下目标的中心点坐标(a1)，及得到球机坐标(a1)，确定球机跟踪信息；球机跟踪信息包括球机坐标(a1)、车辆速度(v)、方向、车牌、时间戳tbn等。
116.步骤s74，将球机的球机跟踪信息传递给枪机，枪机基于坐标映射关系将球机跟踪信息中的球机坐标(a1)换算到全景坐标(a0)。枪机缓存多帧全景智能算法处理结果的全景对象信息；全景对象信息包括车辆坐标、身份信息id以及对应帧的时间戳(tgi)。
117.步骤s75，比较车辆车速(v)与预设车速阈值(vc)。
118.步骤s76，若车辆车速小于车速阈值，寻找缓存中与球机时间戳最接近的(min(tg
i-tbn))一帧中的处理结果进行比较。
119.步骤s77，若车辆车速大于或等于车速阈值，考虑编码时差影响，与球机时间戳最近的(min(tg
i-tb
n-δtb+δtg))一帧中的处理结果比较。
120.步骤s78，选出筛选出与球机当前的区域监控视频帧在枪机获取时间上最接近的全景监控视频帧后，计算该帧的处理结果中各全景对象中心点坐标(bi，i为目标的身份信息id)与换算的全景坐标的距离(di)，其中值最小的(min(di)＝min(|a
0 bi|))认为疑似同一目标，累计匹配次数(ci)。
121.步骤s79，重复步骤s74-s78步骤n次，其中目标的身份信息id出现次数最多的(max(ci)，记该身份信息id的次数k，则认为是相同目标；将匹配中的身份信息id，配置给全景智能算法。
122.步骤s80，全景智能算法针对该单个目标启用多重算法策略进行跟踪，最大限度防止目标的身份信息id变化；若跟踪失败，将该身份信息id放入延迟回收复用缓存，延迟一段较长时间后再重复利用。
123.步骤s81，在监控视频的全景监控视频帧中，对该身份信息id对应的轨迹框用特殊颜色标记以区别其他普通目标，并叠加车牌信息，从而达到在全景监控视频上对车牌数据库中设定的目标进行跟踪。
124.需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
125.在本实施例中还提供了一种枪球联动的目标跟踪装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。以下所使用的术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管在以下实施例中所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
126.图8是本实施例的枪球联动的目标跟踪装置的结构框图，如图8所示，该装置包括：
第一识别跟踪模块210、转换模块220以及第二识别跟踪模块230；
127.第一识别跟踪模块210，用于利用球机在预设监控区域识别目标，并对目标进行跟踪；
128.转换模块220，用于基于球机坐标和全景坐标之间的坐标映射关系，将球机对目标进行跟踪得到的球机跟踪信息，由球机坐标转换到全景坐标，得到目标的全景跟踪信息；
129.第二识别跟踪模块230，用于控制枪机基于全景跟踪信息，利用目标匹配算法，在全景坐标下对目标进行识别并跟踪。
130.通过上述装置，先利用球机发现特定目标，将其球机坐标转换为全景坐标，控制枪机进行目标的识别和跟踪，实现了在枪机无法识别特定细节的情况下对具有特定细节的目标进行跟踪，降低对目标跟踪的遗漏。解决了相关技术中存在无法先发现具有特定细节的目标，再对该目标进行跟踪，容易遗漏特定目标的跟踪的问题。
131.在其中一些实施例中，第一识别跟踪模块210包括获取单元、第一识别单元以及第一跟踪单元；
132.获取单元，用于控制球机获取预设监控区域的区域监控视频帧；
133.第一识别单元，用于将区域监控视频帧中的目标图像与预设的目标数据库中的目标图像进行匹配，以识别目标；
134.第一跟踪单元，用于利用跟踪算法，控制球机对目标进行跟踪。
135.在其中一些实施例中，目标图像为车牌图像；目标数据库为车牌数据库。
136.在其中一些实施例中，第一跟踪单元，还用于利用跟踪算法，控制球机的云台对目标进行主动跟踪，并预测目标速度。
137.在其中一些实施例中，本实施例提供的枪球联动的目标跟踪装置，在图8的基础上，还包括坐标换算模块；
138.坐标换算模块，用于在利用球机在预设监控区域识别目标，对目标进行跟踪之后，基于多倍倍率的球机坐标和一倍倍率的球机坐标之间的坐标换算关系，将球机在当前倍率下目标中心点的球机坐标转换到一倍倍率下目标中心点的球机坐标。
139.在其中一些实施例中，第二识别跟踪模块230，还用于在枪机的全景监控视频帧中，基于全景跟踪信息，对目标的图像进行叠加标记；
140.利用预设多重算法策略，基于叠加标记，在全景坐标下对目标进行跟踪。
141.在其中一些实施例中，本实施例提供的枪球联动的目标跟踪装置，在图8的基础上，还包括缓存模块；
142.缓存模块，用于利用全景智能算法，控制枪机独立识别每帧全景监控视频帧中的全景对象，并对全景对象进行跟踪，以缓存多帧全景智能算法得到的全景对象信息。
143.在其中一些实施例中，在具有缓存模块的实施例的基础上的第二识别跟踪模块230包括筛选单元和第二识别单元；
144.筛选单元，用于控制枪机基于全景跟踪信息，筛选出与球机当前的区域监控视频帧在枪机获取时间上最接近的全景监控视频帧，并确定与全景监控视频帧对应的全景对象信息；
145.第二识别单元，用于将全景跟踪信息中的全景坐标与筛选的全景监控视频帧中的各全景对象进行位置匹配，以确定全景监控视频帧中目标及对应的身份信息。
146.在其中一些实施例中，在目标为车辆时，筛选单元，还用于将全景跟踪信息中的目标车速与预设车速阈值进行比较；
147.若目标车速小于预设车速阈值，则判定为低速场景，基于全景跟踪信息中的时间戳，筛选出与球机当前的区域监控视频帧在枪机获取时间上最接近的全景监控视频帧，并确定与全景监控视频帧对应的全景对象信息；
148.若目标车速大于或等于预设车速阈值，则判定为高速场景，基于预设延迟时间值和全景跟踪信息中的时间戳，筛选出与球机当前的区域监控视频帧在枪机获取时间上最接近的全景监控视频帧，并确定与全景监控视频帧对应的全景对象信息。
149.在其中一些实施例中，第二识别单元，还用于将全景跟踪信息中的全景坐标与筛选的全景监控视频帧中的各全景对象的中心点坐标进行距离统计，得到各全景对象的距离信息及对应的身份信息；
150.将每个距离信息之间进行两两比较，筛选出具有最小距离信息的全景对象和对应的身份信息，以确定目标及对应的身份信息。
151.在其中一些实施例中，本实施例枪球联动的目标跟踪装置，还包括位置匹配单元；
152.位置匹配单元，用于在确定当前的全景监控视频帧中目标及对应的身份信息之后，在连续帧内进行多次位置匹配，以确定最终的目标及对应的身份信息。
153.在其中一些实施例中，本实施例枪球联动的目标跟踪装置，还包括第二跟踪单元；
154.第二跟踪单元，用于在确定目标及对应的身份信息之后，控制枪机基于身份信息，利用预设多重算法策略，在全景坐标下对目标进行跟踪。
155.在其中一些实施例中，本实施例枪球联动的目标跟踪装置，还包括叠加单元；
156.叠加单元，用于在基于身份信息，在全景坐标下对目标进行跟踪之后，在枪机的全景监控视频帧中，基于全景跟踪信息，对目标的图像进行叠加标记并展示。
157.需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
158.在本实施例中还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中步骤。
159.可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
160.可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
161.s1，利用球机在预设监控区域识别目标，并对目标进行跟踪；
162.s2，基于球机坐标和全景坐标之间的坐标映射关系，将球机对目标进行跟踪得到的球机跟踪信息，由球机坐标转换到全景坐标，得到目标的全景跟踪信息；
163.s3，控制枪机基于全景跟踪信息，利用目标匹配算法，在全景坐标下对目标进行识别并跟踪。
164.需要说明的是，在本实施例中具体示例可以参考上述实施例及可选实施方式中所描述的示例，在本实施例中不再赘述。
165.此外，结合上述实施例中提供的枪球联动的目标跟踪方法，在本实施例中还可以
提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中任意一种枪球联动的目标跟踪方法。
166.应该明白的是，这里描述的具体实施例只是用来解释这个应用，而不是用来对它进行限定。根据本技术提供的实施例，本领域普通技术人员在不进行创造性劳动的情况下得到的所有其它实施例，均属本技术保护范围。
167.显然，附图只是本技术的一些例子或实施例，对本领域的普通技术人员来说，也可以根据这些附图将本技术适用于其他类似情况，但无需付出创造性劳动。另外，可以理解的是，尽管在此开发过程中所做的工作可能是复杂和漫长的，但是，对于本领域的普通技术人员来说，根据本技术披露的技术内容进行的某些设计、制造或生产等更改仅是常规的技术手段，不应被视为本技术公开的内容不足。
[0168]“实施例”一词在本技术中指的是结合实施例描述的具体特征、结构或特性可以包括在本技术的至少一个实施例中。该短语出现在说明书中各个位置并不一定意味着相同的实施例，也不意味着与其它实施例相互排斥而具有独立性或可供选择。本领域的普通技术人员能够清楚或隐含地理解的是，本技术中描述的实施例在没有冲突的情况下，可以与其它实施例结合。
[0169]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对专利保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。