一种高空相机与穿戴相机视频内容联合分析方法

1.本发明属于计算机视觉领域，涉及一种基于高空相机顶部视角和穿戴相机第一视角之间的跨视角相机内容联合分析新型技术，可用于在无人机和移动相机同时拍摄同一场景的情况下，对不同视角之间的内容进行关联与联合分析的问题中。


背景技术：

2.本发明中涉及到的背景技术有：
3.(1)行人目标检测器(参见文献[1])：行人目标检测器作为数据预处理的一个重要组成部分，已经广泛的应用到目标跟踪、行人重定位以及动作识别等各个领域中。目前常用的行人检测器可以分为基于背景建模和基于统计学习的方法两大类。前者必须适应环境的变化，同时受限于相机抖动引起的画面抖动等情况。后者是目前常用的行人检测的方法，通过构建大量的样本来构建行人检测分类器。目前，深度学习在行人检测中的作用不容忽视。其中yolo检测器被用于本发明来提供对应的目标检测框。
[0004]
(2)高空相机和穿戴相机：移动相机技术的进步为视频监控提供了新的解决方案。无人机可以提供地面上一个场景的高空俯视图像。穿戴摄像机例如手机可以提供同一场景的第一视角视图。本发明中提出了一种新的高空相机与穿戴相机内容联合分析方法，其中空中有一个高空俯视相机，而地面上有一个第一视角相机。由于两种相机可以很好地进行信息互补，因此它可以为户外监视提供更广阔的覆盖范围和灵活性。通过上述两种相机的联合分析可以有效应用于人的跟踪、活动识别等任务。


技术实现要素：

[0005]
本发明的目的是针对跨视角视频提出一种有效的相机联合分析技术，利用高空视角和第一视角(同时)拍摄的(相同场景)的图像，完成具有大视角差异的图像内容联合分析，具体包括三个子任务：
①
确定第一视角相机在高空相机中的位置，
②
估计第一视角相机在高空相机视图中的观察方向，
③
完成高空视角和第一视角视图的的多行人目标匹配。
[0006]
为此，本发明采用的技术方案为：
[0007]
一种高空相机与穿戴相机视频内容联合分析方法，包括如下步骤：
[0008]
s1、利用目标检测器获取高空视角和俯视视角中所有行人目标；
[0009]
s2、计算高空视角目标空间位置关系的特征向量集合a1＝(x1,y1)；
[0010]
s3、计算获得表征侧视视角目标空间位置分布的特征向量集合a2＝(x2,y2)；
[0011]
s4、通过建立维度距离矩阵e
ij
比较a1和a2特征向量集合实现两个视角的目标的匹配；
[0012][0013]
其中：e
ij
表示向量和之间的距离,即高空视角中第i个目标与侧视视角中第j个目标代表的向量的距离,λ表示一个预设参数。基于上述距离度量，我们
利用动态规划方法建立两个视角的目标的一对一匹配关系，得到的匹配向量集合分别记为
[0014]
s5、根据匹配结果按照如下公式选择最优的相机位置和视角观察方向；
[0015][0016]
其中：k表示两个视角中目标个数的较大值，n是最终匹配的对数，ρ是预设的参数，||
·
||1表示向量1-范数。a1、a2分别表示图像中所有目标特征向量a1、a2的集合。
[0017]
s6、输出最优的每帧对应的相机位置、视角方向、两个视角多目标的匹配的结果。
[0018]
2、根据权利要求1所述的一种高空相机与穿戴相机视频内容联合分析方法，其特征在于：所述步骤s2中高空视角目标空间位置关系的特征向量集合a1计算过程：
[0019]
201、已知第一视角相机在俯视视图的位置a和视角观察方向θ，由此计算高空视角视野范围和所有行人目标相对于相机的位置，具体计算如下：
[0020]
给定a和θ得到侧视视角相机视野范围的左右边界和对于视角中的某个目标d：其相对位置的向量表示为：
[0021][0022]
其中：f为相机的内置参数，为相机的右方向(表示与相机观察方向θ垂直向右的方向向量)；
[0023]
202、通过相机视角的左右边界估计x的范围为：
[0024][0025]
其中：α表示第一视角相机的观察范围，通常为90度，和分别表示第一视角相机左右视野边界的方向向量；
[0026]
203、归一化处理获得每个目标对应的坐标值为：
[0027][0028]
204、根据x1的值从小到大排序获得高空视角所有目标对应的空间特征向量集合：
[0029][0030]
其中：|s|表示目标的数量,分别表示所有目标对应的x1,y1的集合,相应地，a1表示所有目标特征向量a1的集合。
[0031]
3、根据权利要求1所述的一种高空相机与穿戴相机视频内容联合分析方法，其特征在于：所述步骤s3中表征侧视视角目标空间位置分布的特征向量集合a2计算过程：
[0032]
301、对于第一视角的图像通过图像左上角的位置作为坐标原点，b代表图片的宽度对于视野中的某个目标，表示该目标的位置，h表示该目标的高度；
[0033]
302、通过水平维度的归一化，则每个目标对应的坐标为：
[0034][0035]
303、根据x2的值从小到大排序可以得到侧视视角所有目标对应的空间特征向量集合：
[0036][0037]
其中：m为目标的数量；分别表示所有目标对应的x2,y2的集合，相应地，a2表示所有目标特征向量a2的集合。
[0038]
有益效果
[0039]
1、本发明通过高空相机顶部视角和穿戴相机第一视角之间的跨视角相机内容联合分析新型技术，可用于在无人机和移动相机同时拍摄同一场景的情况下，对不同视角之间的内容进行关联与联合分析的问题中。
[0040]
2、本发明对不同视角的数据进行协作分析，从而应用于目标跟踪、行人匹配、动作识别等任务中；本发明包含两个部分，第一部分是在侧视视角下对目标的空间位置关系进行估计，检测所有目标，利用检测到的目标的尺寸和位置来估计目标的深度和空间位置关系，并建立特征向量；第二部分是在对应的高空视角中进行空间位置关系的估计。在相应的高空视角图像上，通过遍历每个检测到的对象和可能的方向，以定位侧视视角相机的位置及其观察角度；对于每个遍历到的位置和方向，估计所有可见对象的空间位置关系情况，并建立特征向量；通过定义目标之间空间位置关系的匹配函数来对两个视角中的目标进行匹配，进而得到水平相机的位置和角度。
[0041]
3、通过对高空视角和第一视角图像进行目标关联和相机位姿估计的联合分析的实验结果验证了本发明的有效性。
[0042]
4、本发明在现有计算机视觉问题研究的基础上，选取目标跟踪、行人匹配等问题的基础进行研究，自主设计了一种基于空间位置关系的跨视角多目标匹配方法，有效解决了高空视角和侧视视角之间的联合分析问题，取得了较好的结果。具体来说，有如下优点：
[0043]
a.较高的应用性。本发明首次研究了近似垂直向下的高空视角的图片和侧视视角图片之间的关联问题，能够有效的应用于多视角相机系统的体系中，为目标跟踪、行人匹配、动作识别等工作提供基础。
[0044]
b.较好的匹配效果。本发明通过将目标的空间分部向量化，较好的解决了视角差异很大导致的外观特征和运动特征不明显的情况下的跨视角关联问题，并取得了较好的匹配效果。
[0045]
c.较高的运行效率。本发明涉及的算法均为简单的低维向量表征，对运行环境要求较低，只需要普通的cpu环境即可运行，算法速度快，可以达到实时(》30fps)的运行速度。
附图说明
[0046]
图1本发明中涉及的高空相机与穿戴相机内容联合分析操作流程图；
[0047]
图2本发明中大视角差异下跨视角目标匹配示意图。
具体实施方式
[0048]
本发明研究的跨视角匹配问题是针对高空视角和侧视视角视频进行的研究，其具体的操作流程如图1所示。其过程包含了五个部分。
[0049]
步骤s1：目标检测。本专利采用现阶段应用非常广泛的深度学习的方法完成这一操作。具体的使用yolov3目标检测器检测得到同一时刻两个视角下的所有行人目标。
[0050]
步骤s2：计算得到表征高空视角目标空间位置分布的特征向量集合。
[0051]
步骤s3：计算得到表征侧视视角目标空间位置分布的特征向量集合。
[0052]
步骤s4：通过比较两个特征向量集合对两个视角的目标进行匹配。
[0053]
步骤s5：选择最优的相机位置和视角观察方向。
[0054]
最终得到最优的每帧对应的相机位置、视角方向、两个视角多目标的匹配的结果。
[0055]
本发明具体包含两个方面的内容，一是问题的定义，二是基于上述定义的目标匹配方法。
[0056]
(1)问题定义：给定由无人机和穿戴相机同时拍摄的高空视角(顶部视角)图片和第一视角(侧视视角)图片，如图2所示，首先利用行人检测器检测图中的所有人物目标。本专利的目标旨在对两个视角中的目标进行匹配，同时完成对第一视角相机位置和观察方向的估计。由于两个视角差异很大，导致无法很好地外观特征、运动特征等信息进行匹配，因此本发明采用目标的空间位置关系来提取特征，进行目标匹配。简单来说，根据对于每个检测目标的空间位置，构造基于多目标相互空间关系的特征向量，通过向量之间的比对进行目标的匹配。
[0057]
(2)目标重识别方法：本发明的目标匹配方法通过探索目标的空间位置关系来匹配两个视角下相同身份的目标。基于空间位置分布的跨视角匹配方法流程图如图2。其操作步骤如下：
[0058]
步骤s1：目标检测。本专利采用现阶段应用非常广泛的深度学习的方法完成这一操作。具体的使用yolo v3目标检测器分别检测两个视角下的所有行人目标。分别表示为和前者代表高空视角图片中的n个目标的集合，后者代表侧视视角图片中的m个目标的集合。
[0059]
步骤s2：计算高空视角目标空间位置关系的特征向量集合a1。首先假设第一视角相机在俯视视图的位置a和视角观察方向θ已知。由此计算高空视角视野范围和所有行人目标相对于相机的位置，具体计算如下。
[0060]
给定a和θ可以很容易的得到侧视视角相机视野范围的左右边界和对于视角中的某个目标d(取目标检测矩形框的中心点)，其相对位置的向量表示为：
[0061][0062]
其中f为相机的内置参数，为相机的右方向(表示与相机观察方向θ垂直向右的方向向量)。通过相机视角的左右边界可以估计x的范围为：
[0063][0064]
其中α表示第一视角相机的观察范围，通常为90度，和分别表示第一视角相机左右视野边界的方向向量。为了更好的进行比较，首先对进行归一化处理，处理后每个目标对应的坐标值为：
[0065][0066]
根据x1的值从小到大排序可以得到高空视角所有目标对应的空间特征向量集合：
[0067][0068]
其中|s|表示目标的数量,分别表示所有目标对应的x1,y1的集合。
[0069]
步骤s3：计算得到表征侧视视角目标空间位置分布的特征向量集合a2。针对第一视角的一张图像，本方法采用图像左上角的位置作为坐标原点，b代表图片的宽度。对于视野中的某个目标，表示该目标的位置，h表示该目标的高度。同时考虑水平维度的归一化，则每个目标对应的坐标为：
[0070][0071]
根据x2的值从小到大排序可以得到侧视视角所有目标对应的空间特征向量集合：
[0072][0073]
其中，m为目标的数量。分别表示所有目标对应的x2,y2的集合。
[0074]
步骤s4：通过比较a1和a2特征向量集合对两个视角的目标进行匹配。首先建立维度为|s|
×
m的距离度量e。
[0075][0076]eij
表示向量和之间的距离。通过计算某个高空视角或第一视角的目标对应的向量匹配到另一视角中的多个向量，则选择距离最小的作为匹配项。为了解决该匹配问题，本专利采用动态规划来得到所有目标的特征向量和之间的最优匹配。通过该方法保证匹配的结果是一对一。
[0077]
步骤s5：前面假设第一视角相机在高空视图的位置a和视角观察方向θ已知。假设两个视角匹配上的目标数目为n，利用步骤s4得到的两个视角目标匹配的一对一结果(共n对)，分别为定义综合匹配函数：
[0078]
[0079]
其中λ》1是预设参数。通过该能量函数来得到最优的相机位置a和视角范围θ。采取策略为循环遍历所有可能的位置和方向，并根据能量函数的取值选择最优的相机位置a和视角范围θ。
[0080]
本发明在现有计算机视觉问题研究的基础上，选取目标跟踪、行人匹配等问题的基础进行研究，自主设计了一种基于空间位置关系的跨视角多目标匹配方法，有效解决了高空视角和侧视视角之间的联合分析问题，取得了较好的结果。具体来说，有如下优点：
[0081]
a.较高的应用性。本发明首次研究了近似垂直向下的高空视角的图片和侧视视角图片之间的关联问题，能够有效的应用于多视角相机系统的体系中，为目标跟踪、行人匹配、动作识别等工作提供基础。
[0082]
b.较好的匹配效果。本发明通过将目标的空间分部向量化，较好的解决了视角差异很大导致的外观特征和运动特征不明显的情况下的跨视角关联问题，并取得了较好的匹配效果。
[0083]
c.较高的运行效率。本发明涉及的算法均为简单的低维向量表征，对运行环境要求较低，只需要普通的cpu环境即可运行，算法速度快，可以达到实时(》30fps)的运行速度。