一种目标物体抓拍方法及系统的制作方法

一种目标物体抓拍方法及系统的制作方法
【专利摘要】本申请提供了一种目标物体抓拍方法及系统，包括：从广角相机所拍摄的视频数据中获取当前帧的视频图像；根据所述当前帧的视频图像检测目标物体以及所述目标物体在当前帧中的位置；根据预先记录的目标状态映射表，确定上一帧中的目标物体在所述当前帧中的位置；所述目标状态映射表记录有上一帧确定检测到的目标物体的信息；根据当前帧的目标物体的位置以及上一帧中的目标物体在当前帧中的位置，更新所述目标状态映射表；根据所述目标状态映射表，调度长焦相机拍摄目标物体。本申请可以根据帧与帧之间的关系确定出广角相机所拍摄的画面中每一帧的目标物体所在区域，最终再调度长焦相机获取目标物体的高清画面，无需人的参与即可自动实现联动监控。
【专利说明】
一种目标物体抓拍方法及系统
技术领域
[0001] 本申请涉及计算机视觉技术领域，尤其涉及一种目标物体抓拍方法及系统。
【背景技术】
[0002] 联动相机组，一般可以由两个或两个以上的相机组成，通过机械及视觉校准，可以 精确计算任意两个相机之间的位置和朝向的相对关系。使用时，通过将相机固定在由电机 控制的云台上，可以实现在某一相机画面上选定某一区域，旋转其他相机，使得它们朝向该 选定区域的功能，此功能可以称为联动。由于相机之间的几何关系已经预先校准，所以该联 动过程可以自动实现。
[0003] 在视频监控领域，基于此技术，一种常见的应用是枪球联动监控相机，这种设备由 两种监控相机组成:枪机和球机。枪机的特点是相机视角一般较广，因此画面内的物体清晰 度一般较低(单位物体所占像素数量少），安装后朝向固定。球机的特点是相机视角一般较 窄，因此画面内的物体清晰度较高（单位物体所占像素数量多），可通过控制电机来控制相 机朝向。通过联动相机组技术，可以取长补短，解决枪机看的广却看不清和球机看的清却看 的窄的问题。一种常见的使用情景是：由用户选定枪机画面的某一区域，通过联动技术，使 得球机朝向所选区域，获取所选区域的高清画面。
[0004] 目前，联动相机监控系统大多需要人来监视枪机所拍摄画面并承担目标检测工 作，当人发现在画面中出现目标物体时，由人在枪机所拍摄的画面内选定目标物体所在区 域，然后调度球机朝向该选定区域，进而获取目标物体的高清画面。
[0005] 现有技术不足在于：
[0006] 现有的联动相机监控系统无法脱离人的操作自动监控目标物体。

【发明内容】

[0007] 本申请实施例提出了一种目标物体抓拍方法及系统，以解决现有技术中联动相机 监控系统无法脱离人的操作自动监控目标物体的技术问题。
[0008] 第一个方面，本申请实施例提供了一种目标物体抓拍方法，可以包括如下步骤：
[0009] 从广角相机所拍摄的视频数据中获取当前帧的视频图像；
[0010] 根据所述当前帧的视频图像检测目标物体以及所述目标物体在当前帧中的位置， 得到t时刻的检测结果集DS所述0^{(^|1 = 1 - 1^}，所述(^为切寸刻集合0冲第1个目标 物体的位置，所述dit= (XiSyiSwiSO，其中，1八7八'\￥八1^1:分别为1:时刻检测到的第;[个 目标物体的左上角X坐标、左上角y坐标、目标物体在当前帧中的宽度和高度；
[0011] 根据预先记录的目标状态映射表，确定上一帧中的目标物体在所述当前帧中的位 置;所述目标状态映射表记录有上一帧确定检测到的目标物体的信息；
[0012] 根据当前帧的目标物体的位置以及上一帧中的目标物体在当前帧中的位置，更新 所述目标状态映射表；
[0013] 根据所述目标状态映射表，调度长焦相机拍摄所述目标物体。
[0014] 第二个方面，本申请实施例提供了一种目标物体抓拍系统，可以包括：
[0015] 获取模块，用于从广角相机所拍摄的视频数据中获取当前帧的视频图像；
[0016] 检测模块，用于根据所述当前帧的视频图像检测目标物体以及所述目标物体在当 前帧中的位置，得至l」t时刻的检测结果集DS所述^二丨^^…以:^所述心为赠刻集合 Dt中第i个目标物体的位置，所述(^=(以，71^，，〇，其中，以、71^、1^分别为七时刻 检测到的第i个目标物体的左上角X坐标、左上角y坐标、目标物体在当前帧中的宽度和高 度；
[0017]跟踪模块，用于根据预先记录的目标状态映射表，确定上一帧中的目标物体在所 述当前帧中的位置;所述目标状态映射表记录有上一帧确定检测到的目标物体的信息；
[0018] 更新模块，用于根据当前帧的目标物体的位置以及上一帧中的目标物体在当前帧 中的位置，更新所述目标状态映射表；
[0019] 调度模块，用于根据所述目标状态映射表，调度长焦相机拍摄所述目标物体。
[0020] 有益效果如下：
[0021] 本申请实施例所提供的目标物体抓拍方法及系统，从广角相机中获取当前帧，检 测当前帧中目标物体的位置，根据预先记录的目标状态映射表确定上一帧中的目标物体在 当前帧中的位置，根据当前帧的目标物体的位置以及上一帧中的目标物体在当前帧中的位 置，更新所述目标状态映射表，最终，根据所述目标状态映射表，调度长焦相机拍摄所述目 标物体。由于本申请实施例可以根据目标状态映射表确定上一帧中目标物体在当前帧中的 位置，并根据当前帧的目标物体的位置以及上一帧中的目标物体在当前帧中的位置更新所 述目标状态映射表，即可确定出广角相机所拍摄的画面中每一帧的目标物体所在区域，最 终再调度长焦相机获取目标物体的高清画面，无需人的参与即可自动实现联动监控、抓拍。
【附图说明】
[0022] 下面将参照附图描述本申请的具体实施例，其中：
[0023] 图1示出了本申请实施例一中目标物体抓拍方法实施的流程示意图；
[0024] 图2示出了本申请实施例一中集合合并的过程示意图；
[0025] 图3示出了本申请实施例一中目标状态映射表更新过程示意图；
[0026] 图4示出了本申请实施例二中目标物体抓拍系统的结构示意图；
[0027] 图5示出了本申请实施例三中联动相机抓拍目标物体的过程示意图。
【具体实施方式】
[0028] 为了使本申请的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性 实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是 所有实施例的穷举。并且在不冲突的情况下，本说明中的实施例及实施例中的特征可以互 相结合。
[0029]发明人在发明过程中注意到：
[0030]现有的联动相机监控系统包括以下两类：
[0031 ] (1) -类是较为常见的，在使用时，需要人来监视枪机所拍摄的画面并承担目标检 测工作。当在在画面中发现目标物体时，由人在枪机所拍摄的画面内选定目标物体所在区 域，联动相机组自动调度球机朝向该选定区域，进而获取目标物体高清画面。
[0032] 这种方式无法脱离人自动工作，自动化程度较低。
[0033] (2)仅有少数系统集成了一定程度的检测功能，但这种检测仅是检测基于先验信 息得到的目标物体可能在画面中出现的位置，例如，在CN201510128597.2中利用背景削减 和形态学方法得到画面中运动的区域并将该区域作为目标，基于此检测，系统将此区域直 接作为目标作为后续跟踪、调度球机的依据。
[0034] 这种方式检测的结果仅可以作为目标位置的提示，无法作为调度球机抓拍高清图 像的依据，导致使用中仍需要人的频繁参与。例如:假设需要检测的目标物体为车辆，虽然 一般情况下车辆时运动的，但显然不能确定画面中运动的物体便是车辆，人或者被风吹动 的树枝都可能在画面中运动。除此之外，也不能确定画面中不运动的位置便一定不是车辆。 因此，这种检测功能仅可以作为辅助信息、提示可疑区域，无法作为可靠的依据。
[0035] 针对上述不足，本申请提出了一种目标物体抓拍方法及系统，结合了计算机视觉、 机器学习的高精度的目标检测和识别技术，准确、快速地自动检测联动相机组中某个相机 画面中的待检测目标，使用智能调度算法控制其他相机拍摄所述检测到的目标，从而可以 尽可能的使出现的目标有一张或多张被其他相机拍摄到的画面。
[0036] 为了便于本申请的实施，下面结合具体实施例对本申请提出的目标物体抓拍方法 及系统进行说明。
[0037] 实施例一、
[0038] 图1示出了本申请实施例一中目标物体抓拍方法实施的流程示意图，如图所示，所 述目标物体抓拍方法可以包括如下步骤：
[0039] 步骤101、从广角相机所拍摄的视频数据中获取当前帧的视频图像；
[0040] 步骤102、根据所述当前帧的视频图像检测目标物体以及所述目标物体在当前帧 中的位置，得至I」t时刻的检测结果集DS所述^={(1 1卞=1-以}，所述(^为七时刻集合0冲 第i个目标物体的位置，所述(^^(^^，，《，，^，其中^^^^分别为切寸刻检测 到的第i个目标物体的左上角X坐标、左上角y坐标、目标物体在当前帧中的宽度和高度；
[0041] 步骤103、根据预先记录的目标状态映射表，确定上一帧中的目标物体在所述当前 帧中的位置;所述目标状态映射表记录有上一帧确定检测到的目标物体的信息；
[0042] 步骤104、根据当前帧的目标物体的位置以及上一帧中的目标物体在当前帧中的 位置，更新所述目标状态映射表；
[0043] 步骤105、根据所述目标状态映射表，调度长焦相机拍摄所述目标物体。
[0044] 具体实施时，可以利用广角相机拍摄监控场景的视频数据，所述广角相机可以是 包括广角镜头的相机，所述广角镜头可以为现有技术中的广角镜头，所述相机可以为数码 相机。
[0045] 本申请实施例中从所述广角相机所拍摄的视频数据中获取当前帧的视频图像，根 据所述当前帧的视频图像可以检测出所述视频图像内的目标物体以及所述目标物体所在 的位置。其中，所述目标物体可以为人、车辆等。具体检测方法可以采用现有的目标检测方 法，本申请在此不作赘述。
[0046] 通过目标检测后可以得到t时刻的检测结果集DS所述Dt= {61 =卜士/}，所述 d，为t时刻集合Dt中第i个目标物体的位置，所述(^=(以，71\以，〇，其中，以、7入以、 1^分别为t时刻检测到的第i个目标物体的左上角x坐标、左上角y坐标、目标物体在当前帧 中的宽度和高度。例如:假设t时刻检测到所述当前帧的视频图像中存在3个目标物体A、B、 C，A的位置为（112,231，45,34)，8的位置为(412,325,23，19)，(：的位置为（514,842,44,26)， 那么所述检测结果集 〇*={(112,231，45,34)、（412,325,23，19)、（514,842,44,26)}。
[0047] 目标状态映射表中可以记录有所有被检测到的目标物体的信息，所述目标状态映 射表中可以仅保存最近的目标物体的信息，即上一帧确定的被检测到的目标物体的信息。 本申请实施例可以根据预先记录的目标状态映射表，确定上一帧中的目标物体在当前帧中 的位置。具体实施时，可以采用现有的目标跟踪技术实现帧与帧之间的目标物体跟踪，从而 可以根据上一帧中目标物体的位置确定当前帧中所述目标物体的位置，进而更新所述目标 状态映射表，以确保所述目标状态映射表中的目标物体的信息是最新的。
[0048] 值得说明的是，本申请实施例中对步骤102与步骤103之间的实施顺序不做限制， 既可以先执行步骤102、再执行步骤103,也可以先执行步骤103、再执行步骤102,还可以步 骤102与步骤103同时进行。
[0049] 根据所述更新后的目标状态映射表，可以调度长焦相机对准所述目标物体进行远 距离高清拍摄，实现抓拍的目的。
[0050] 本申请实施例所提供的目标物体抓拍方法，从广角相机中获取当前帧，检测当前 帧中目标物体的位置，根据预先记录的目标状态映射表确定上一帧中的目标物体在当前帧 中的位置，根据当前帧的目标物体的位置以及上一帧中的目标物体在当前帧中的位置，更 新所述目标状态映射表，最终，根据所述目标状态映射表，调度长焦相机拍摄所述目标物 体。
[0051] 由于本申请实施例可以根据目标状态映射表确定上一帧中目标物体在当前帧中 的位置，并根据当前帧的目标物体的位置以及上一帧中的目标物体在当前帧中的位置更新 所述目标状态映射表，因此，采用本申请实施例所提供的方法，利用帧与帧之间的关系可以 确定出广角相机所拍摄的画面中每一帧的目标物体所在区域，最终再调度长焦相机获取目 标物体的高清画面，从而实现自动检测目标物体并进行高清图像抓拍的功能，无需人的参 与即可自动实现联动监控，减少了人的工作量的同时，提高了工作效率。
[0052] 实施中，所述目标状态映射表具体可以包括：目标物体的标识ID、目标物体的当前 位置以及目标物体被抓拍的次数。
[0053] 具体实施时，所述目标状态映射表可以记录当前所有被检测到的目标物体的信 息，这些信息可以包括：目标物体的标识ID、目标物体的当前位置、目标物体被抓拍的次数 等。其中J
[0054] 目标物体的ID，可以是一个整数，根据这个数字的同异来区别是否为同一目标物 体；
[0055] 目标物体的当前位置，可以为所述目标物体的最小包围方框在所述视频图像上的 二维坐标，用四个整数可以表示该方框:方框左上角的X坐标、方框左上角的y坐标、方框的 宽度和高度；
[0056]目标抓拍次数，可以是一个整数，表示目标已被长焦相机抓拍的次数。
[0057]下表示出了本申请实施例中目标状态映射表在某一时刻的状态：
[0058]
[0059] 实施中，所述根据预先记录的目标状态映射表，确定上一帧中的目标物体在所述 当前帧中的位置，具体可以为：
[0060] 根据上一帧的目标物体的信息集SM，确定当前帧的目标物体跟踪结果集St;
[0061 ]其中，所述St-LlV-卞=卜·!^-i}，所述Sit-1为t-ι时刻集合St- 1中第i个目标物 体的信息，所述Si*-1 = (IDi*-h Xi*-1，yi*-1，Wi*-1，hi*-1)，其中，IDi*- 1、Xi*-1、yi*-1、Wi*-1、11广1 分别 为第i个检测到的目标物体的ID、目标物体的左上角x坐标、目标物体的左上角y坐标、目标 物体的宽度和高度；
[0062] 所述，所述V为t时刻集合St中第i个目标物体的信息，所述 以=(10^，以，7^，以，〇，其中，10八以、7八以、1^分别为第1个检测到的目标物体的 ID、目标物体的左上角X坐标、目标物体的左上角y坐标、目标物体的宽度和高度。
[0063] 具体实施时，所述预先记录的目标状态映射表可以记录有上一帧的目标物体的信 息，得到上一帧的目标物体的信息集SM，然后根据上一帧的目标物体的信息集SM，可以利 用现有的目标跟踪技术确定上一帧中的目标物体在所述当前帧中的位置，得到跟踪结果集 S*。
[0064] 其中，信息集St1和跟踪结果集St分别为t-Ι时刻和t时刻的目标物体的信息，每个 集合中都可以包括多个检测到的目标物体的ID、左上角X和y坐标、目标物体的宽度和高度 等。
[0065] 在具体实施时，由第t-Ι帧到t帧的过程中，一些目标物体可能离开了广角相机的 拍摄画面，所以可能并不是所有的t-i帧中的目标均可以在t帧中找到对应的目标物体，因 此，通常来说，集合f的大小C可能会小于SM集合中的大小k， 1。
[0066] 实施中，所述根据上一帧的目标物体的信息集SM，确定当前帧的目标物体跟踪结 果集SS具体可以为：
[0067] 对于跟踪到的目标物体，将所述上一帧的目标物体的信息集SM中的所述目标物 体的ID赋值给所述当前帧的目标物体跟踪结果集f中所述目标物体的ID，例如:假设s， 1匹 配到SnS 则IDntzIDmt-、
[0068] 具体实施时，在确定当前帧的目标物体跟踪结果集St时，如果在当前帧中跟踪到 上一帧的目标物体，对于跟踪到的目标物体，将所述上一帧的目标物体的信息集St 1中的所 述目标物体的ID赋值给所述当前帧的目标物体跟踪结果集St中所述目标物体的ID，以标识 二者为同一目标物体。
[0069] 实施中，所述根据当前帧的目标物体的位置以及上一帧中的目标物体在当前帧中 的位置，更新所述目标状态映射表，具体可以为：
[0070]将所述检测结果集Dt与所述跟踪结果集St合并为并集Ft，其中，所述Ft = {I i = I·，];所述纪为t时刻集合Ft中第i个目标物体的信息；
[0071 ]根据所述并集产更新所述目标状态映射表。
[0072] 具体实施时，可以检测所述检测结果集Μ与所述跟踪结果集f中元素的对应关系， 将两个集合合并，产生并集产，并更新目标状态映射表。
[0073] 实施中，所述将所述检测结果集Dt与所述跟踪结果集St合并为并集FS具体可以 为：
[0074]计算所述Dt与f中目标物体位置的交并比r小得到最大的所述阳=((1^与s/ 相交部分的面积)/(d/与s/相并部分的面积）；所述目标物体位置为所述目标物体的左上 角坐标X、左上角坐标y、目标物体的宽度和高度所形成的检测方框；
[0075]如果所述最大的rij大于预设的交并比阈值，将所述最大的rij对应的从所述Dt 中删除，将所述最大的阳对应的s/加入所述产中；
[0076]如果所述最大的rij小于预设的交并比阈值，为所述最大的rij对应的di13生成ID，将 所述最大的rij对应的d/加入所述Ft中；
[0077] 重复上述三个步骤，直至所述Dt与St至少一个为空；
[0078]如果所述Dt为空，将所述St中剩余元素加入所述Ft中；
[0079]如果所述f为空，为所述Μ中剩余元素生成ID并加入所述产中。
[0080] 图2示出了本申请实施例一中集合合并的过程示意图，如图所示，所述集合合并过 程可以包括如下步骤：
[0081] 步骤201、计算所述Dt与St中目标物体位置(即，（x，y，w，h)这一检测方框所在区域） 的交并比rij，得到最大的rij;
[0082] 步骤202、判断所述最大的rij是否大于预设交并比阈值：
[0083]如果所述最大的大于预设交并比阈值，执行步骤203;
[0084]如果所述最大的不大于预设交并比阈值，执行步骤204;
[0085]步骤203、将所述最大的rij对应的&从所述Dt中删除，将所述最大的rij对应的 S/ 加入所述产中，执行步骤205;
[0086]步骤204、为所述最大的rij对应的&生成ID，将所述最大的rij对应的&加入所述 Ft中，执行步骤205;
[0087] 步骤205、判断所述D*是否为空：
[0088]如果所述D*为空，执行步骤206;
[0089]如果所述Dt不为空，执行步骤207;
[0090] 步骤206、将所述S*中剩余元素加入所述Ft中；
[0091]步骤207、判断所述St是否为空；
[0092]如果所述S*为空，执行步骤208;
[0093]如果所述St不为空，执行步骤201。
[0094]其中，所述交并比的合理范围一般可以为0~1之间，所述交并比的值越大说明两 个元素越相关。所述交并比阈值可以根据实际需要进行设置，具体可以为0.5等数值。
[0095] 实施中，所述根据所述并集产更新所述目标状态映射表，具体可以为：
[0096] 检测所述Ft中的元素的ID是否存在于所述目标状态映射表中；
[0097]如果所述Ft中的元素的ID存在于所述目标状态映射表中，更新所述ID对应的目标 物体位置为所述元素的目标物体位置，将所述ID对应项记为已更新；
[0098]如果所述目标状态映射表中不存在所述产中的元素的ID，将所述ID插入所述目标 状态映射表中，将所述插入的ID的目标位置设置为所述元素的目标物体位置，将所述ID对 应项记为已更新，所述目标抓拍次数设置为0;
[0099]重复上述三个步骤，直至所述产为空，删除所述目标状态映射表中未被更新的项。
[0100]图3示出了本申请实施例一中目标状态映射表更新过程示意图，如图所示，所述目 标状态映射表的更新过程可以包括如下步骤：
[0101]步骤301、判断所述产中的元素的ID是否存在于所述目标状态映射表中；
[0102]如果所述Ft中的元素的ID存在于所述目标状态映射表中，则执行步骤302;
[0103]如果所述产中的元素的ID不存在于所述目标状态映射表中，则执行步骤303;
[0104] 步骤302、更新所述ID对应的目标物体位置为所述元素的目标物体位置，将所述ID 对应项记为已更新；
[0105] 步骤303、将所述ID插入所述目标状态映射表中，将所述插入的ID的目标位置设置 为所述元素的目标物体位置，将所述ID对应项记为已更新，所述目标抓拍次数设置为0;
[0106] 步骤304、判断所述Ft是否为空；
[0107]如果所述Ft为空，执行步骤305;
[0108]如果所述Ft不为空，执行步骤301;
[0109] 步骤305、删除所述目标状态映射表中未被更新的项。
[0110] 实施中，所述根据所述目标状态映射表，调度长焦相机拍摄所述目标物体，具体可 以为：
[0111] 将所述目标状态映射表中的项按照目标物体被抓拍的次数排序；
[0112] 根据所述排序后的目标状态映射表，计算目标物体位置的中心坐标；
[0113] 将所述中心坐标依次作为控制信号，调度所述长焦相机转动；
[0114] 所述长焦相机在每次转动后拍摄目标物体的图像。
[0115] 具体实施时，可以根据所述目标状态映射表调度长焦相机对目标物体进行抓拍。 对于目标状态映射表中的所有项，可以根据目标被抓拍的次数由小到大排序，对于排序后 的目标状态映射表，计算目标物体所在位置的方框的中心坐标，依次将这些中心坐标作为 联动系统的控制信号，调度长焦相机转动。待转动完毕后，拍摄并保存长焦相机拍摄的图 像。
[0116] 实施例二、
[0117] 基于同一发明构思，本申请实施例中还提供了一种目标物体抓拍系统，由于这些 设备解决问题的原理与一种目标物体抓拍方法相似，因此这些设备的实施可以参见方法的 实施，重复之处不再赘述。
[0118] 图4示出了本申请实施例二中目标物体抓拍系统的结构示意图，如图所示，所述目 标抓拍系统可以包括：
[0119] 获取模块401，用于从广角相机所拍摄的视频数据中获取当前帧的视频图像；
[0120] 检测模块402，用于根据所述当前帧的视频图像检测目标物体以及所述目标物体 在当前帧中的位置，得至l」t时刻的检测结果集DS所述- 集合Dt中第i个目标物体的位置，所述 时刻检测到的第i个目标物体的左上角X坐标、左上角y坐标、目标物体在当前帧中的宽度和 高度；
[0121 ]跟踪模块403，用于根据预先记录的目标状态映射表，确定上一帧中的目标物体在 所述当前帧中的位置;所述目标状态映射表记录有所有被检测到的目标物体的信息；
[0122] 更新模块404,用于根据当前帧的目标物体的位置以及上一帧中的目标物体在当 前帧中的位置，更新所述目标状态映射表；
[0123] 调度模块405，用于根据所述目标状态映射表，调度长焦相机拍摄所述目标物体。
[0124] 本申请实施例所提供的目标物体抓拍系统，从广角相机中获取当前帧，检测当前 帧中目标物体的位置，根据预先记录的目标状态映射表确定上一帧中的目标物体在当前帧 中的位置，根据当前帧的目标物体的位置以及上一帧中的目标物体在当前帧中的位置，更 新所述目标状态映射表，最终，根据所述目标状态映射表，调度长焦相机拍摄所述目标物 体。
[0125] 由于本申请实施例可以根据目标状态映射表确定上一帧中目标物体在当前帧中 的位置，并根据当前帧的目标物体的位置以及上一帧中的目标物体在当前帧中的位置更新 所述目标状态映射表，因此，采用本申请实施例所提供的系统，利用帧与帧之间的关系可以 确定出广角相机所拍摄的画面中每一帧的目标物体所在区域，最终再调度长焦相机获取目 标物体的高清画面，从而实现自动检测目标物体并进行高清图像抓拍的功能，无需人的参 与即可自动实现联动监控，减少了人的工作量的同时，提高了工作效率。
[0126] 实施中，所述目标状态映射表具体可以包括：目标物体的标识ID、目标物体的当前 位置以及目标物体被抓拍的次数。
[0127] 实施中，所述跟踪模块具体可以用于根据上一帧的目标物体的信息集St1，确定当 前帧的目标物体跟踪结果集f;其中，
[0128] 所述SM={S广1 |i = h_k广M，所述s，1为t-Ι时刻集合SM中第i个目标物体的信 息，所述s，-1 = (ID，-1，X，-1，y，-1，1，h，- 1)，其中，ID，-1、X，-1、y，-1、1、hjt- 1 分别为第i 个检测到的目标物体的ID、目标物体的左上角x坐标、目标物体的左上角y坐标、目标物体的 宽度和高度；
[0129] 所述= ，所述V为t时刻集合St中第i个目标物体的信息，所述 。=(101\以，5^，以，〇，其中，10八以、 5^、《1^分别为第1个检测到的目标物体的 ID、目标物体的左上角X坐标、目标物体的左上角y坐标、目标物体的宽度和高度。
[0130] 实施中，所述跟踪模块具体可以用于对于跟踪到的目标物体，将所述上一帧的目 标物体的信息集SM中的所述目标物体的ID赋值给所述当前帧的目标物体跟踪结果集St* 所述目标物体的ID。
[0131] 实施中，所述更新模块具体可以包括：
[0132] 合并单元，用于将所述检测结果集Dt与所述跟踪结果集St合并为并集产，其中，所 述产={f，| i = l··_kft};所述f，为t时刻集合产中第i个目标物体的信息；
[0133] 更新单元，根据所述并集产更新所述目标状态映射表。
[0134] 实施中，所述合并单元具体可以包括：
[0135] 计算子单元，用于计算所述Μ与f中目标物体位置的交并比r小得到最大的阳;所 述与s/相交部分的面积与s/相并部分的面积）；所述目标物体位置为所述 目标物体的左上角坐标X、左上角坐标y、目标物体的宽度和高度所形成的检测方框；
[0136] 第一处理子单元，用于如果所述最大的rij大于预设的交并比阈值，将所述最大的 rij对应的d，从所述Dt中删除，将所述最大的rij对应的s/加入所述Ft中；
[0137] 第二处理子单元，用于如果所述最大的rij小于预设的交并比阈值，为所述最大的 rij对应的d，生成ID，将所述最大的rij对应的心加入所述Ft中；
[0138] 第一循环子单元，用于循环执行所述计算子单元、所述第一处理子单元和所述第 二处理子单元，直至所述Dt与St至少一个为空；
[0139] 第三处理子单元，用于如果所述Μ为空，将所述f中剩余元素加入所述产中；
[0140]第四处理子单元，用于如果所述St为空，为所述Μ中剩余元素生成ID并加入所述产 中。
[0141 ]实施中，所述更新单元具体可以包括：
[0142] 检测子单元，用于检测所述产中的元素的ID是否存在于所述目标状态映射表中；
[0143] 第一更新子单元，用于如果所述Ft中的元素的ID存在于所述目标状态映射表中， 更新所述ID对应的目标物体位置为所述元素的目标物体位置，将所述ID对应项记为已更 新；
[0144] 第二更新子单元，用于如果所述目标状态映射表中不存在所述产中的元素的ID， 将所述ID插入所述目标状态映射表中，将所述插入的ID的目标位置设置为所述元素的目标 物体位置，将所述ID对应项记为已更新，所述目标抓拍次数设置为0;
[0145] 第二循环子单元，用于循环执行所述检测子单元、所述第一更新子单元和所述第 二更新子单元，直至所述产为空；
[0146] 删除子单元，用于删除所述目标状态映射表中未被更新的项。
[0147] 实施中，所述调度模块具体可以包括：
[0148] 排序单元，用于将所述目标状态映射表中的项按照目标物体被抓拍的次数排序；
[0149] 计算单元，用于根据所述排序后的目标状态映射表，计算目标物体位置的中心坐 标；
[0150] 调度单元，用于将所述中心坐标依次作为控制信号，调度所述长焦相机转动；
[0151 ]拍摄单元，用于所述长焦相机在每次转动后拍摄目标物体的图像。
[0152] 实施例三、
[0153] 本申请实施例以枪球联动相机监控银行门口为例，使用一个广角相机用于目标检 测，使用一个或多个长焦相机用于目标高清抓拍。
[0154] 图5示出了本申请实施例三中联动相机抓拍目标物体的过程示意图，如图所示，所 述联动相机进行目标物体抓拍的过程可以包括如下步骤：
[0155] 步骤501、从广角相机所拍摄的视频数据中获取当前帧的视频图像，得到t时刻的 检测结果集D%
[0156] 利用装有广角镜头的数码相机拍摄银行门口场景的视频数据，所述视频数据可以 由多个视频帧组成，每个视频帧对应一张当前帧的视频图像。
[0157] 根据所述视频图像可以检测到当前帧的目标物体及其所在位置。假设当前帧中银 行门口存在A、B、C、D这4个人，本申请实施例可以利用现有的计算机视觉和机器学习领域中 的目标物体检测和识别方法来检测出当前帧中出现的所有人和每个人的位置。
[0158] 本申请实施例中可以用方框将每个人圈出来标示在监控屏幕上，所述检测结果集 Dt可以包括A、B、C、D这4个人的位置，即，方框的左上角X、y坐标，以及方框的宽度和高度。
[0159] 步骤502、根据上一帧的目标物体的信息集SH，确定当前帧的目标物体跟踪结果 集S%
[0160]假设在上一帧中，银行门口存在A、B、C、E四个人，每个人的位置已记录于所述目标 状态映射表中，在当前帧中，可以利用现有的视频跟踪技术根据上一帧的检测结果跟踪到 当前帧的图像中目标物体的变化位置情况，得到跟踪结果集f。
[0161] 对于跟踪到的A、B、C三个人，可以直接将上一帧的A、B、C的ID直接赋值给当前帧的 A、B、C的ID。
[0162] 步骤503、将所述检测结果集Dt与所述跟踪结果集f合并为并集少，更新所述目标 状态映射表；
[0163] 根据当前帧的检测到的目标物体的结果集以及根据上一帧确定的当前帧的目 标物体的结果集SS进行集合合并操作。具体合并可以根据集合中元素的相关性进行，对于 相关性高的元素保留St中的元素(例如:保留了 A、B、C三个人的信息）、对于相关性低的元素 仅保留Dt中的元素(例如:删除了 St中的E的信息），对于没有相关性的元素全部保留（例如： 保留了 D的信息），得到合并后的集合产。
[0164] 对于集合Ft中的每个元素的ID，检测是否在所述目标状态映射表中：
[0165] 如果存在(例如:A、B、C的ID)，则更新该ID对应的目标物体位置为该元素的目标物 体位置(更新A、B、C的位置），将所述目标状态映射表中该ID的对应项标记为已更新；
[0166] 如果不存在(例如：不存在D的ID)，则将该ID插入表中，将该ID对应的目标物体位 置设置为该元素的目标物体位置(将当前帧中D的位置保存到表中），目标物体抓拍次数设 置为〇,将所述目标状态映射表中该ID的对应项标记为已更新。
[0167] 根据所述产更新完所述目标状态映射表之后，删除所述目标状态映射表中未被更 新的项(例如:E的相关信息）。
[0168] 步骤504、根据所述目标状态映射表，调度长焦相机抓拍目标物体。
[0169] 由于所述更新后的目标状态映射表中包括A、B、C、D四个人的最新信息，可以根据 抓拍次数的多少依次调度长焦相机进行抓拍，所述长焦相机抓拍到目标物体之后，所述目 标状态映射表中的目标物体抓拍次数可以自动加1。
[0170]为了描述的方便，以上所述装置的各部分以功能分为各种模块或单元分别描述。 当然，在实施本申请时可以把各模块或单元的功能在同一个或多个软件或硬件中实现。 [0171]本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序 产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实 施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机 可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产 品的形式。
[0172]本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程 图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流 程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序 指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产 生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实 现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0173] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特 定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指 令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或 多个方框中指定的功能。
[0174] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计 算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或 其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一 个方框或多个方框中指定的功能的步骤。
[0175] 尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造 性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优 选实施例以及落入本申请范围的所有变更和修改。
【主权项】
1. 一种目标物体抓拍方法，其特征在于，包括如下步骤： 从广角相机所拍摄的视频数据中获取当前帧的视频图像； 根据所述当前帧的视频图像检测目标物体以及所述目标物体在当前帧中的位置，得到 t时刻的检测结果集Dt,所述Dt= {cut I ? = 1···1^}，所述CUt为t时刻集合Dt中第i个目标物体 的位置，所述CU t=U1S，其中，xAyAW At分别为t时刻检测到的第i个目标 物体的左上角X坐标、左上角y坐标、目标物体在当前帧中的宽度和高度； 根据预先记录的目标状态映射表，确定上一帧中的目标物体在所述当前帧中的位置； 所述目标状态映射表记录有上一帧确定检测到的目标物体的信息； 根据当前帧的目标物体的位置以及上一帧中的目标物体在当前帧中的位置，更新所述 目标状态映射表； 根据所述目标状态映射表，调度长焦相机拍摄所述目标物体。2. 如权利要求1所述的方法，其特征在于，所述目标状态映射表具体包括：目标物体的 标识ID、目标物体的当前位置以及目标物体被抓拍的次数。3. 如权利要求1所述的方法，其特征在于，所述根据预先记录的目标状态映射表，确定 上一帧中的目标物体在所述当前帧中的位置，具体为： 根据上一帧的目标物体的信息集St-1,确定当前帧的目标物体跟踪结果集St; 其中，所述St^1= {s广1 = ，所述s广1为t-Ι时刻集合St-1中第i个目标物体的 信息，所述8广1 = (ID，-1，X，-1，y，-1，Wit- 1，h，-1)，其中，ID，-1、X，-1、y，- 1、Wit-1、h，-1 分别为第 i个检测到的目标物体的ID、目标物体的左上角x坐标、目标物体的左上角y坐标、目标物体 的宽度和高度； 所述3^{81^ = 1 - 1^}，所述5^为七时刻集合5冲第1个目标物体的信息，所述5^ = (101\以，5^，《1\〇，其中，101^、5^、《 1^分别为第1个检测到的目标物体的10、目标 物体的左上角X坐标、目标物体的左上角y坐标、目标物体的宽度和高度。4. 如权利要求3所述的方法，其特征在于，所述根据上一帧的目标物体的信息集St^1，确 定当前帧的目标物体跟踪结果集S t,具体为:对于跟踪到的目标物体，将所述上一帧的目标 物体的信息集St^1中的所述目标物体的ID赋值给所述当前帧的目标物体跟踪结果集S t中所 述目标物体的ID。5. 如权利要求3所述的方法，其特征在于，所述根据当前帧的目标物体的位置以及上一 帧中的目标物体在当前帧中的位置，更新所述目标状态映射表，具体为： 将所述检测结果集Dt与所述跟踪结果集St合并为并集Ft,其中，所述F t= Uit |i = 1··· kP};所述^为t时刻集合Ft中第i个目标物体的信息； 根据所述并集Ft更新所述目标状态映射表。6. 如权利要求5所述的方法，其特征在于，所述将所述检测结果集Dt与所述跟踪结果集 St合并为并集Ft,具体为： 计算所述Dt与St中目标物体位置的交并比r小得到最大的所述阳=(心与s/相交 部分的面积与s/相并部分的面积）；所述目标物体位置为所述目标物体的左上角坐 标X、左上角坐标y、目标物体的宽度和高度所形成的检测方框； 如果所述最大的大于预设的交并比阈值，将所述最大的rij对应的CUt从所述Dt中删 除，将所述最大的rij对应的Sjt加入所述Ft中； 如果所述最大的小于预设的交并比阈值，为所述最大的对应的CUt生成ID，将所述 最大的rij对应的CUt加入所述Ft中； 重复上述三个步骤，直至所述Dt与St至少一个为空； 如果所述Dt为空，将所述St中剩余元素加入所述Ft中； 如果所述St为空，为所述Dt中剩余元素生成ID并加入所述Ft中。7. 如权利要求5所述的方法，其特征在于，所述根据所述并集Ft更新所述目标状态映射 表，具体为： 检测所述Ft中的元素的ID是否存在于所述目标状态映射表中； 如果所述Ft中的元素的ID存在于所述目标状态映射表中，更新所述ID对应的目标物体 位置为所述元素的目标物体位置，将所述ID对应项记为已更新； 如果所述目标状态映射表中不存在所述Ft中的元素的ID，将所述ID插入所述目标状态 映射表中，将所述插入的ID的目标位置设置为所述元素的目标物体位置，将所述ID对应项 记为已更新，所述目标抓拍次数设置为O; 重复上述三个步骤，直至所述Ft为空，删除所述目标状态映射表中未被更新的项。8. 如权利要求1所述的方法，其特征在于，所述根据所述目标状态映射表，调度长焦相 机拍摄所述目标物体，具体为： 将所述目标状态映射表中的项按照目标物体被抓拍的次数排序； 根据所述排序后的目标状态映射表，计算目标物体位置的中心坐标； 将所述中心坐标依次作为控制信号，调度所述长焦相机转动； 所述长焦相机在每次转动后拍摄目标物体的图像。9. 一种目标物体抓拍系统，其特征在于，包括： 获取模块，用于从广角相机所拍摄的视频数据中获取当前帧的视频图像； 检测模块，用于根据所述当前帧的视频图像检测目标物体以及所述目标物体在当前帧 中的位置，得至l」t时刻的检测结果集Dt,所述Dt= M1tI ? = 1···1^}，所述CUt为t时刻集合Dt中 第i个目标物体的位置，所述CU t= (X1Sy1SW1tAt)，其中，以，5^，以，1^分别为切寸刻检测 到的第i个目标物体的左上角X坐标、左上角y坐标、目标物体在当前帧中的宽度和高度； 跟踪模块，用于根据预先记录的目标状态映射表，确定上一帧中的目标物体在所述当 前帧中的位置;所述目标状态映射表记录有上一帧确定检测到的目标物体的信息； 更新模块，用于根据当前帧的目标物体的位置以及上一帧中的目标物体在当前帧中的 位置，更新所述目标状态映射表； 调度模块，用于根据所述目标状态映射表，调度长焦相机拍摄所述目标物体。10. 如权利要求9所述的系统，其特征在于，所述目标状态映射表具体包括：目标物体的 标识ID、目标物体的当前位置以及目标物体被抓拍的次数。11. 如权利要求9所述的系统，其特征在于，所述跟踪模块具体用于根据上一帧的目标 物体的信息集St^1,确定当前帧的目标物体跟踪结果集S t;其中，所述St-1= {s广11 i = l···!^ -M，所述V-1为t-1时刻集合St-1中第i个目标物体的信息，所述V- 1= (ID，-、广1，。-S w广1A广其中，ID广广\y广1J 1t^h广1分别为第i个检测到的目标物体的ID、目标物 体的左上角X坐标、目标物体的左上角y坐标、目标物体的宽度和高度;所述S t= Ut I i = l··· 1^}，所述。为七时刻集合5冲第1个目标物体的信息，所述5^=(101\以， 71、以，〇，其 中，IDAx，At分别为第i个检测到的目标物体的ID、目标物体的左上角X坐标、目 标物体的左上角y坐标、目标物体的宽度和高度。12. 如权利要求11所述的系统，其特征在于，所述跟踪模块具体用于对于跟踪到的目标 物体，将所述上一帧的目标物体的信息集St^ 1中的所述目标物体的ID赋值给所述当前帧的 目标物体跟踪结果集St中所述目标物体的ID。13. 如权利要求11所述的系统，其特征在于，所述更新模块具体包括： 合并单元，用于将所述检测结果集Dt与所述跟踪结果集St合并为并集Ft,其中，所述F t = {f^ I i =卜·!^丨；所述fit为赠刻集合产中第i个目标物体的信息； 更新单元，根据所述并集Ft更新所述目标状态映射表。14. 如权利要求13所述的系统，其特征在于，所述合并单元具体包括： 计算子单元，用于计算所述Dt与所述St中目标物体位置的交并比rij，得到最大的所 述与s/相交部分的面积与s/相并部分的面积）；所述目标物体位置为所述 目标物体的左上角坐标X、左上角坐标y、目标物体的宽度和高度所形成的检测方框； 第一处理子单元，用于如果所述最大的rij大于预设的交并比阈值，将所述最大的rij对 应的CUt从所述Dt中删除，将所述最大的^树应的s/加入所述Ft中； 第二处理子单元，用于如果所述最大的小于预设的交并比阈值，为所述最大的riJ对 应的CUt生成ID，将所述最大的rij对应的Clit加入所述Ft中； 第一循环子单元，用于循环执行所述计算子单元、所述第一处理子单元和所述第二处 理子单元，直至所述Dt与St至少一个为空； 第三处理子单元，用于如果所述Dt为空，将所述St中剩余元素加入所述Ft中； 第四处理子单元，用于如果所述St为空，为所述Dt中剩余元素生成ID并加入所述Ft中。15. 如权利要求13所述的系统，其特征在于，所述更新单元具体包括： 检测子单元，用于检测所述Ft中的元素的ID是否存在于所述目标状态映射表中； 第一更新子单元，用于如果所述Ft中的元素的ID存在于所述目标状态映射表中，更新所 述ID对应的目标物体位置为所述元素的目标物体位置，将所述ID对应项记为已更新； 第二更新子单元，用于如果所述目标状态映射表中不存在所述Ft中的元素的ID，将所述 ID插入所述目标状态映射表中，将所述插入的ID的目标位置设置为所述元素的目标物体位 置，将所述ID对应项记为已更新，所述目标抓拍次数设置为O; 第二循环子单元，用于循环执行所述检测子单元、所述第一更新子单元和所述第二更 新子单元，直至所述Ft为空； 删除子单元，用于删除所述目标状态映射表中未被更新的项。16. 如权利要求9所述的系统，其特征在于，所述调度模块具体包括： 排序单元，用于将所述目标状态映射表中的项按照目标物体被抓拍的次数排序； 计算单元，用于根据所述排序后的目标状态映射表，计算目标物体位置的中心坐标； 调度单元，用于将所述中心坐标依次作为控制信号，调度所述长焦相机转动； 拍摄单元，用于所述长焦相机在每次转动后拍摄目标物体的图像。
【文档编号】H04N5/14GK105898107SQ201610251470
【公开日】2016年8月24日
【申请日】2016年4月21日
【发明人】蔡炀
【申请人】北京格灵深瞳信息技术有限公司