多型视觉传感协同目标跟踪方法与流程

本发明属于视频图像跟踪技术领域，涉及一种多型视觉传感协同目标跟踪方法。

背景技术：

随着科技的发展和社会的进步，人们对安全的要求也不断提高，在国防军事，交通管理，行为分析等方面各式各样的视觉传感监控系统有着巨大的应用前景，在这些应用中需要观测的场景的范围非常大，单个视觉传感器已经无法覆盖，这时就需要多个视觉传感来实现大范围的观测工作。

对于多摄像机的目标跟踪来说，目标匹配是其中的关键技术，目标匹配的依据分为以下两种：(1)自身特征的一致性，主要是根据目标的颜色、形状等信息进行目标匹配，但由于不同的摄像机的视角不同、场景光照的不同，观测到的这类特征存在着较大的差异，虽然学者们提出亮度转移函数能够在一定程度上减小亮度带来的影响，但是可靠性较低；(2)摄像机几何约束，通过对单个摄像机的标定或多个摄像机间关系的确定，来定位目标的空间位置，它的匹配度比其他目标匹配方法在有重叠区域的情况下要高。

几何约束中常用的方法有单应性和对极几何，单应性描述的是同一个平面上的点，在两幅视图上的像点之间存在一一对应的映射关系，单应性可以准确的定位到目标在图像中的坐标位置，但必须满足目标运动在同一个平面的这一假设条件，此外常会遇到计算量大，无法有效解决遮挡等问题。对极几何描述的是两幅视图之间的几何映射关系，本质上就是对极平面与两图像平面相交的几何对应关系，对极几何能够表示不同视角下的相机图像的对应关系，由于这种关系是普遍存在的，通过对极几何我们将一幅图像上的点在另一张图像上投影出来一条直线，能够将搜索范围降低至一维搜索。

上述协同跟踪方法都是建立在传统摄像机基础上的，由于单个传统摄像机视野范围的限制，多个传统摄像机间的重叠区域有限，有效协同区域狭小；目前还存在多个全景摄像机协同跟踪，但同样难解决协同跟踪有效区域狭小，而且成本过高。

技术实现要素：

本发明的目的是提供一种多型视觉传感协同目标跟踪方法，解决了多摄像机之间协同跟踪有效区域狭小的问题，实现了对运动目标的持续协同跟踪。

本发明所采用的技术方案是，多型视觉传感协同目标跟踪方法，具体包括以下步骤：

步骤1，利用传统摄像机c1和全景摄像机c2跟踪相同的目标，在c1和c2中分别采用粒子滤波方法预估计下一时刻的目标状态。

步骤2，建立c1和c2之间的对极几何关系；

步骤3，建立协同开关模型，根据目标在c1和c2的视野中的位置，判断是否启动协同跟踪模式；

步骤4，在协同跟踪模式中，启动协同机制，根据对极几何关系对被遮挡目标的状态进行校正与更新；

步骤5，将步骤4处理后的目标状态作为目标当前时刻状态，返回步骤2，实现c1和c2之间运动目标的持续协同跟踪。

步骤1的具体步骤为：

选取同一时刻c1和c2对目标拍摄出的两个画面，记为图像a和图像b；

在c1中，假设粒子在t时刻的状态满足：其中，为重要性密度函数；

粒子局部观测似然权重初始化为：其中，为局部观测似然概率；

预估计图像a中下一时刻的目标状态为：

同理，中c2，预估计图像b中下一时刻的目标状态为：

其中，i为目标编号，i>1；n为目标i中采样粒子编号；np是图像a中所有粒子数；x表示目标的状态；z表示目标的观测信息；表示图像a中目标i在t时刻的状态；表示图像a中目标i到t-1时刻所有的状态；表示图像a中目标i在t时刻的观测信息；表示图像a中目标i到t时刻所有的观测信息；表示图像b中目标i在t时刻的状态；表示图像b中目标i到t时刻所有的观测信息；表示图像b中目标i到t-1时刻所有的状态。

步骤2的具体过程为：

在c2中存在双曲面镜坐标系cm和全景摄像机坐标系co，c1和c2构成多型视觉对极几何系统，其中增加了传统摄像机坐标系cp；

双曲面镜的方程为：

式中，a、b和c为双曲面的参数，满足a²+b²＝c²；

设全景摄像机坐标系co内一点xo的坐标为[xo,yo,zo]^t,若在双曲面镜坐标系cm中表示，则需要一个平移变化：

式中，[xm,ym,zm]^t为xo在双曲面镜坐标系cm中的坐标；

设[qu,qv]^t为xo在图像b中的坐标，则：

式中，q＝[qu,qv，1]^t表示[qu,qv]^t的齐次坐标，ko为c2的内部参数，通过标定得到；

连接c1的投影中心op和c2的投影中心om得到基线，基线与图像a交于极点ep，基线与双曲面镜交于em，em在图像b中投影为极点eo，mp为目标x在图像a中的投影，mo为目标x在图像b中的投影，由x、op和om确定外极平面，mp、mm、op、om位于外极平面上；

设r和t分别为cp和cm之间的旋转矩阵和平移矩阵，在多型视觉对极几何系统中存在本质矩阵e＝sr，其中：

s为t中平移向量的斜对称矩阵，平移向量为[tx,ty,tz]^t；

目标x在传统摄像机坐标系cp和双曲面镜坐标系cm下的坐标分别为xp和xm，则：

设[up,vp]^t为目标x在图像a上投影点的坐标，那么：

kp为c1的内部参数矩阵，[up,vp,1]^t为[up,vp]^t的齐次坐标；

定义外极平面的法向量n＝[p,q,s]^t，在多型视觉对极几何系统中有：

.n＝e×xp(9)

设pm＝[xm,ym,zm]^t为外极平面和双曲面镜的交线l上一点xl的坐标，可得：

pxm+qym+szm＝0(10)

联立式(3)和式(10)，得到交线l的方程：

交线l用矩阵乘法表示为：

将pm从双曲面镜坐标系cm变换至全景摄像机坐标系co上：

将点xl投影到图像b上：

联立(12)～(14)式，得到目标在图像b上的极线方程lo：

其中，

由x，mp，mm三点共面，点mp落在直线lp上，联立式(7)和式(8)，得到目标在图像a上的极线为lp：

步骤3中，建立协同开关模型的具体过程为：

c1和c2的跟踪区域能够分为三个部分：区域1、区域2和区域3；

目标位于区域2时，只有c1的观测信息有效，c1单独跟踪目标，目标的后验概率为：

t时刻，采样粒子的一致性权重表示为：

将采样粒子的一致性权重带入式(1)，对图像a中目标下一时刻的状态进行更新；

同理，目标位于区域3时，只有c2的观测信息有效，使c2单独跟踪目标，t时刻，采样粒子的一致性权重表示为：

将采样粒子的一致性权重带入式(2)，对图像b中目标下一时刻的状态进行更新；

目标位于区域1时，c1和c2的观测信息同时有效，目标的后验概率为：

其中，表示局部观测似然概率，表示状态转移概率，表示协同似然概率；kt表示常数，表示图像a中目标i到t时刻所有的状态；表示图像a中目标i到t-1时刻所有的观测信息；表示图像b中目标i到t-1时刻所有的观测信息。

步骤3中，判断是否启动协同跟踪模式的具体过程为：

若直接启动协同跟踪模式；若按下式判断：

其中，υ是局部似然阈值，t是协同似然阈值；

对应c1，选择采样的粒子满足重要性密度函数则采样粒子的一致性权重表示为：

将采样粒子的一致性权重带入式(1)，对图像a中目标下一时刻的状态进行更新；

同理，对于c2，采样粒子的一致性权重表示为：

将采样粒子的一致性权重带入式(2)，对图像b中目标下一时刻的状态进行更新。

步骤4的具体步骤为：

步骤4.1，设跟踪的目标中包含目标i和目标j，目标i和目标j在c1中的观测信息分别为目标i和目标j在c2中的观测信息分别为和

在c1的视野中，当目标j遮挡目标i时，根据目标i在图像b中的对极曲线校正图像a中目标i下一时刻的位置：

计算图像a中目标i下一时刻的协同权重：

式中，np是图像a中的粒子数；为图像a中目标i的每个粒子与其对应的图像b中的对极曲线的最短距离，δ(·)是狄拉克函数：

为目标i在c2中的观测信息；为图像a中的目标i在c2中的对极曲线；是宽带的方差；∑φb是宽带的标准差；

将图像a中目标i下一时刻的协同权重带入式(23)，对图像a中目标下一时刻的状态进行更新；

在图像b中，当目标j遮挡目标i时，根据目标i在图像a中的对极曲线校正图像b中目标i下一时刻的位置：

计算图像b中目标i下一时刻的协同权重：

式中，np'是图像b中的粒子数；为图像b中目标i的每个粒子与其对应的图像a中的对极曲线的最短距离，δ(·)是狄拉克函数：

为在目标i在c1中的观测信息；为图像b中目标i在c1中的对极曲线；是宽带的方差；∑φa是宽带的标准方差；

将图像b中目标i下一时刻的协同权重带入式(24)，对图像b中目标下一时刻的状态进行更新。

本发明的有益效果是：

1)采用传统摄像机和中心折反射全景摄像机构成多型视觉系统，一方面能够扩大摄像机视野范围，克服了普通摄像机视野狭小的缺点，另一方面可以减少均采用全景摄像机所需要的成本；

2)采用粒子滤波方法预估目标的状态，用粒子分布状态表示目标可能的分布，提高目标在面对非线性问题情况下的鲁棒性；定义了一种新颖的后验概率计算，增加了粒子后验概率包含的信息内容，使后验概率更加可信；

3)在贝叶斯理论框架下，构建协同跟踪机制，在每个摄像机视野中，如果目标相互分离，不需要启动协同即可有效的跟踪目标；当目标相挨很近或存在遮挡时，判断是否启动协同跟踪，减少了计算量；

4)建立多型视觉对极几何系统，采用对极几何的方法建立目标一致性判断方法进行目标匹配，克服了目标在不同摄像机下颜色、亮度、形状变化而无法匹配的缺点，减少目标匹配时的搜索范围。

附图说明

图1是本发明的系统框图；

图2是全景摄像机的成像示意图；

图3是多型视觉对极几何系统的示意图；

图4是多型视觉系统对极线验证图；

图5是协同跟踪区域示意图；

图6是协同权重计算示意图，(a)是c1视野中粒子权重计算示意图,(b)是c2视野中粒子权重计算示意图；

图7，图8是协同跟踪结果。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明：

如图1所示，多型视觉传感协同目标跟踪方法，具体包括以下步骤：

步骤1，利用传统摄像机c1和全景摄像机c2跟踪相同的目标，在c1和c2中分别采用粒子滤波方法预估计下一时刻的目标状态。

步骤2，建立c1和c2之间的对极几何关系；

步骤3，建立协同开关模型，根据目标在c1和c2的视野中的位置，判断是否启动协同跟踪模式；

步骤4，在协同跟踪模式中，启动协同机制，根据对极几何关系对被遮挡目标的状态进行校正与更新；

步骤5，将步骤4处理后的目标状态作为目标当前时刻状态，返回步骤2，实现c1和c2之间运动目标的持续协同跟踪。

步骤1的具体步骤为：

选取同一时刻c1和c2对目标拍摄出的两个画面，记为图像a和图像b；

在c1中，假设粒子在t时刻的状态满足：其中，为重要性密度函数；

粒子局部观测似然权重初始化为：其中，为局部观测似然概率；

预估计图像a中下一时刻的目标状态为：

同理，中c2，预估计图像b中下一时刻的目标状态为：

其中，i为目标编号，i>1；n为目标i中采样粒子编号；np是图像a中所有粒子数；x表示目标的状态；z表示目标的观测信息；表示图像a中目标i在t时刻的状态；表示图像a中目标i到t-1时刻所有的状态；表示图像a中目标i在t时刻的观测信息；表示图像a中目标i到t时刻所有的观测信息；表示图像b中目标i在t时刻的状态；表示图像b中目标i到t时刻所有的观测信息；表示图像b中目标i到t-1时刻所有的状态。

步骤3的具体过程为：

如图2所示，在c2中存在双曲面镜坐标系cm和全景摄像机坐标系co，om是双曲面镜的上焦点，oo是双曲面镜的下焦点，根据双曲面的光学特性，空间中射向om的光线讲过双曲面镜反射后必将汇聚到oo，并在摄像机图像平面上成像，摄像机可以采360°×θ的场景图像，其中360°为水平方向视场角，θ为垂直方向视场角，它有反射镜和摄像机的几何尺寸和参数决定。c1为普通ccd摄像机，c2为双曲面反射镜和普通ccd摄像机组合而成，如图3所示，c1和c2构成多型视觉对极几何系统，多型视觉对极几何系统中增加了传统摄像机坐标系cp；

双曲面镜的方程为：

式中，a、b和c为双曲面的参数，满足a²+b²＝c²；

设全景摄像机坐标系co内一点xo的坐标为[xo,yo,zo]^t,若在双曲面镜坐标系cm中表示，则需要一个平移变化：

式中，[xm,ym,zm]^t为xo在双曲面镜坐标系cm中的坐标；

设[qu,qv]^t为xo在图像b中的坐标，则：

式中，q＝[qu,qv，1]^t表示[qu,qv]^t的齐次坐标，ko为c2的内部参数，通过标定得到；

连接c1的投影中心op和c2的投影中心om得到基线，基线与图像a交于极点ep，基线与双曲面镜交于em，em在图像b中投影为极点eo，mp为目标x在图像a中的投影，mo为目标x在图像b中的投影，由x、op和om确定外极平面，mp、mm、op、om位于外极平面上；

设r和t分别为cp和cm之间的旋转矩阵和平移矩阵，在多型视觉对极几何系统中存在本质矩阵e＝sr，其中：

s为t中平移向量的斜对称矩阵，平移向量为[tx,ty,tz]^t；

目标x在传统摄像机坐标系cp和双曲面镜坐标系cm下的坐标分别为xp和xm，则：

设[up,vp]^t为目标x在图像a上投影点的坐标，那么：

kp为c1的内部参数矩阵，[up,vp,1]^t为[up,vp]^t的齐次坐标；

定义外极平面的法向量n＝[p,q,s]^t，在多型视觉对极几何系统中有：

.n＝e×xp(9)

设pm＝[xm,ym,zm]^t为外极平面和双曲面镜的交线l上一点xl的坐标，可得：

pxm+qym+szm＝0(10)

联立式(3)和式(10)，得到交线l的方程：

交线l用矩阵乘法表示为：

将pm从双曲面镜坐标系cm变换至全景摄像机坐标系co上：

将点xl投影到图像b上：

联立(12)～(14)式，得到目标在图像b上的极线方程lo：

其中，

由x，mp，mm三点共面，点mp落在直线lp上，联立式(7)和式(8)，得到目标在图像a上的极线为lp：

如图4所示，使用多型视觉系统采集视频进行测试，在传统图像上选择不同的点a、c、e，能够找到在全景图像中对应的极线，在全景图像上选择不同的点b、d、f，找到在传统图像中的对应极线，证明了本发明的有效性。

步骤4的具体过程为：

如图5所示，c1和c2的跟踪区域能够分为区域1、区域2和区域3；

目标位于区域2时，只有c1的观测信息有效，c1单独跟踪目标，目标的后验概率为：

t时刻，采样粒子的一致性权重表示为：

将采样粒子的一致性权重代替粒子局部观测似然权重，带入式(1)，对图像a中目标下一时刻的状态进行更新；

同理，目标位于区域3时，只有c2的观测信息有效，使c2单独跟踪目标，t时刻，采样粒子的一致性权重表示为：

将采样粒子的一致性权重代理粒子局部观测似然权重，带入式(2)，对图像b中目标下一时刻的状态进行更新；

目标位于区域1时，c1和c2的观测信息同时有效，目标的后验概率为：

其中，表示局部观测似然概率，表示状态转移概率，表示协同似然概率；kt表示常数，表示图像a中目标i到t时刻所有的状态；表示图像a中目标i到t-1时刻所有的观测信息；表示图像b中目标i到t-1时刻所有的观测信息。

步骤3中，判断是否启动协同跟踪模式的具体过程为：

若直接启动协同跟踪模式；若按下式判断：

其中，υ是局部似然阈值，t是协同似然阈值；

对应c1，选择采样的粒子满足重要性密度函数则采样粒子的一致性权重表示为：

将采样粒子的一致性权重带入式(1)，对图像a中目标下一时刻的状态进行更新；

同理，对于c2，采样粒子的一致性权重表示为：

将采样粒子的一致性权重带入式(2)，对图像b中目标下一时刻的状态进行更新；

步骤4的具体步骤为：

如图6所示，步骤4.1，设跟踪的目标中包含目标i和目标j，目标i和目标j在c1中的观测信息分别为目标i和目标j在c2中的观测信息分别为和

在c1的视野中，当目标j遮挡目标i时，根据目标i在图像b中的对极曲线校正图像a中目标i下一时刻的位置：

计算图像a中目标i下一时刻的协同权重：

式中，np是图像a中的粒子数；为图像a中目标i的每个粒子与其对应的图像b中的对极曲线的最短距离，δ(·)是狄拉克函数：

为目标i在c2中的观测信息；为图像a中的目标i在c2中的对极曲线；是宽带的方差；∑φb是宽带的标准差；

将图像a中目标i下一时刻的协同权重带入式(23)，对图像a中目标下一时刻的状态进行更新；

在图像b中，当目标j遮挡目标i时，根据目标i在图像a中的对极曲线校正图像b中目标i下一时刻的位置：

计算图像b中目标i下一时刻的协同权重：

式中，np'是图像b中的粒子数；为图像b中目标i的每个粒子与其对应的图像a中的对极曲线的最短距离，δ(·)是狄拉克函数：

为在目标i在c1中的观测信息；为图像b中目标i在c1中的对极曲线；是宽带的方差；∑φa是宽带的标准方差；

将图像b中目标i下一时刻的协同权重带入式(24)，对图像b中目标下一时刻的状态进行更新。

为了验证本发明的正确性和有效性，采用不同的视频场景进行测试，测试视频选用自行拍摄的、分辨率为1920*1080的视频图像。

如图7所示，实验一的场景简单，在第591、604、615帧中，矩形框为目标跟踪框，图7中的直线为全景图像中的目标在传统图像中的对极线，圆弧为传统图像中的目标在全景视图中的对极线，我们看到目标都经过对极线，c1和c2均能够准确跟踪目标。

如图8所示，实验二中存在目标遮挡，在610帧之前，c1和c2都能够准确跟踪，在625帧时，c1中因为遮挡丢失目标，在631帧时，目标出现，经过校正和更新，能够重新定位到目标并进行准确跟踪。

通过上述方式，本发明在贝叶斯理论框架下，构建协同跟踪机制，建立多型视觉对极几何系统，采用对极几何的方法建立目标一致性判断方法；定义了一种新颖的后验概率计算，增加了粒子后验概率包含的信息内容，使后验概率更加可信，本发明解决了协同跟踪有效区域狭小，成本过高等问题，能够很好地实现对运动目标的持续协同跟踪。