一种结合时空拓扑估计的跨摄像机目标匹配与跟踪方法与流程

本发明涉及图像跟踪领域，更具体地，涉及一种结合时空拓扑估计的跨摄像机目标匹配与跟踪方法。
背景技术：
：随着人们对公共安全问题的日益关注，以及国家对建设平安城市、智慧城市的规划部署，视频监控作为一种有效的安防策略，已经在社会各个方面得到了广泛的应用。其中目标跟踪作为关键技术成为了计算机视觉领域的研究热点。传统的视频监控方法需要由人工对采集的视频图像序列进行处理和分析，而人工监控处理方式需要耗费大量时间以及精力，同时由于监控范围和规模的扩大，人工监控处理的方式很难做到全天候的实时操作。因此人们希望能借助计算机视觉技术，实现对监控录像数据智能化地分析以及实时处理，完成预先设定的任务，比如自动进行目标检测、识别和跟踪，并在此基础上对目标行为进行分析。当场景中出现某些异常情况时可以及时反馈到监控中心，以便工作人员进一步的处理工作，从而实现利用目标跟踪技术代替视频监控人员，自动对目标的行为进行分析和理解。因此，视频跟踪方面的研究具有重要的现实意义。目标跟踪技术可分为单摄像机内的目标跟踪和跨摄像机的目标跟踪。单摄像机内的目标跟踪技术研究相对较为成熟，但仅基于单摄像机的监控视域覆盖范围有限，很难实现对感兴趣目标持续地跟踪。在目前的视频监控环境下，监控范围随着摄像机数量的增加不断扩大，有效的智能视频监控必须解决多摄像机的协同跟踪问题，以实现目标跟踪的持续性并克服单摄像跟踪存在的盲点问题。跨摄像机的目标匹配的方法一般可以分为两类，一是研究目标的特征表示方法，提取更具鲁棒性、视角不变性的鉴别特征对行人进行表示，例如提取颜色直方图特征、人体对称性特征等等。二是利用距离度量学习方法，通过学习一个有判别性的距离度量函数，将行人图像特征转化到新的度量空间上，使得匹配行人图像之间的距离小于不匹配图像之间的距离，例如Mahalanobis距离度量等等。然而，由于在监控网络中各个摄像机的视角变化、光照影响等，使得不同摄像机下的行人特征匹配难度非常大。现有方法大多只考虑了行人目标的外观表示，并没有很好地利用摄像机网络之间的拓扑信息。摄像机网络的拓扑结构信息往往体现了目标运动和转移的规律，若能建立起摄像机网络的时间、空间拓扑关系，利用目标运动的拓扑约束就可以极大地提高目标跟踪与匹配算法的性能和效率。技术实现要素：本发明为解决以上现有技术的难题，提供了一种结合时空拓扑估计的跨摄像机目标匹配与跟踪方法，该方法能够在匹配与跟踪的过程中自动建立监控网络的时空拓扑关系，同时利用时空拓扑约束极大地提高了匹配与跟踪的准确度。为实现以上发明目的，采用的技术方案是：一种结合时空拓扑估计的跨摄像机目标匹配与跟踪方法，包括以下步骤：S1.将两两摄像机之间的转移概率初始化为M为监控网络中摄像机的数量；时间窗口设置为TW＝τ，τ为预设值，两两摄像机间的转移计数器初始化为0；S2.设当前摄像机为Ci，摄像机Ci内的行人目标表示为Oi,a；在设定的时间窗口内搜索其他摄像机中出现的行人目标；S3.设在摄像机Cj中搜索得到的行人目标为Oj,b，i≠j,1≤j≤M，计算行人目标Oi,a、Oj,b之间的匹配概率：为表示Oi,a、Oj,b之间转移关系的变量，当Oi,a、Oj,b之间存在转移关系时，取1，否则取0；表示目标Oi,a、Oj,b存在转移关系的后验概率，对应了目标Oi,a、Oj,b的匹配概率；表示在转移关系的条件下目标Oi,a、Oj,b的表观特征分布似然函数，定义为与目标表观相似度函数L(Oi,a,Oj,b)成正比，表示两个目标存在转移关系的先验概率，通过计算摄像机Ci到摄像机Cj的目标转移概率得到；Pi,j(Oi,a,Oj,b)表示目标Oi,a,Oj,b的联合概率分布，是后验概率的归一化因子；S4.对监控网络中除摄像机Ci外的所有摄像机执行步骤S2、S3，然后对得到的各个摄像机的行人目标与摄像机Ci的行人目标的匹配概率进行排序，将匹配概率最高的前m个行人目标作为候选匹配目标，对应的摄像机作为候选匹配摄像机，m的取值为1或2：其中，s1为最高的匹配概率，s2为次高的匹配概率，sτ为设定的阈值；S5.计算摄像机之间的转移次数wp：sp表示最高的匹配概率或次高的匹配概率，1≤p≤m；当m＝1时，将摄像机Ci到摄像机Cg之间的转移计数Nig增加w1；当m＝2时，将摄像机Ci到摄像机Cg之间的转移计数Nig增加w1，然后将摄像机Ci到摄像机Ck之间的转移计数Nik增加w2；其中摄像机Cg、摄像机Ck分别为与Ci匹配概率最高、次高的摄像机；S6.将各个摄像机作为当前摄像机然后执行步骤S2～S5；S7.计算摄像机Ci到摄像机Cj之间的转移概率：S8.根据步骤S7计算两两摄像机之间的转移概率；S9.记录摄像机Ci到摄像机Cj所有匹配的行人目标之间的时间间隔，构成时间序列Tij，然后利用自适应的Parzen窗算法估计出摄像机Ci与摄像机Cj之间的转移时间分布的概率密度曲线，取与曲线峰值对应的时间差值作为时间窗口大小T(Cj|Ci)的估计值；S10.根据步骤S9估算出两两摄像机之间的时间窗口大小；S11.更新摄像机Ci、摄像机Cj之间的转移概率：Pij(k)＝(1-α)Pij(k-1)+αP(Cj|Ci)Pij(k)表示第k次迭代得到的摄像机Ci到摄像机Cj的转移概率，α是更新因子，0≤α≤1，Pij(k-1)表示第k-1次迭代得到的摄像机Ci到摄像机Cj的转移概率，当k＝1时，S12.根据步骤S11对两两摄像机之间的转移概率进行更新；S13.更新摄像机Ci与摄像机Cj之间的时间窗口：Tij(k)＝(1-η)Tij(k-1)+ηT(Cj|Ci)其中Tij(k)表示第k次迭代得到的摄像机Ci与摄像机Cj之间的时间窗口，Tij(k-1)表示第k-1次迭代得到的摄像机Ci与摄像机Cj之间的时间窗口，当k＝1时，Tij(k-1)＝τ，η表示更新因子；S14.判断是否达到了设定的迭代次数，若是则输出转移概率以及时间窗口估计值，完成拓扑结构估计，结束迭代，否则令k＝k+1然后执行步骤S6～S14。优选地，步骤S3通过求取目标Oi,a、Oj,b所有图像对的平均表观相似度来表示目标Oi,a、Oj,b最终的表观相似度，即E[g]为期望函数。其中目标Oi,a、Oj,b每对图像对的表观相似度的求取过程如下：S101.设d＝mn是目标Oi,a的图像IA中以像素x为中心的一个局部小块所展开的像素向量；设V1,V2,...,VK是一系列Walsh-Hardmard变换基，其中d＝mn表示一个由大小为m×n的Walsh-Hardmard变换矩阵所展开的向量；令表示X在第i个变换基上的投影值，则X的概率密度函数可由下式计算：则像素点x的显著值由下式计算：S102.通过对图像IA中的每个像素执行步骤S101可得到目标Oi,a的图像IA的显著图，然后对显著图进行阈值化处理，将显著值低于阈值的像素的显著值置为0，最后计算该阈值下的HSV颜色直方图特征：其中，k＝1,2,...,K，K表示直方图的bin数，m表示颜色通道，Cm(z)表示像素z对应的第m个通道像素值在直方图中的量化值，S(z)为像素z经过阈值化处理后的显著值,δ(g)为指示函数，S103.利用不同的阈值依次对图像IA的显著图进行步骤S102的阈值化处理，然后计算不同阈值下的HSV颜色直方图特征，将不同阈值下的HSV颜色直方图特征串联起来后得到图像IA的加权全局颜色直方图特征HA；S104.对与图像IA形成图像对的Oj,b的图像IB执行步骤S101～S103，得到图像IB的加权全局颜色直方图特征HB；S105.通过Bhattacharyya距离来度量图像IA、图像IB之间的相似程度：其中HA(i)、HB(i)分别表示直方图向量HA、HB的第i维特征值；S106.将图像IA划分为有重叠的局部子块，然后对每个局部子块分别提取颜色直方图特征以及SIFT特征作为局部子块的码字，这些码字的集合则作为图像IA的码本；S107.对图像IB执行步骤S106；S108.以图像IA的码本作为字典对图像IB的码字进行稀疏编码，字典表示为其中n为特征维度，k为子块个数，di表示图像IA第i个局部子块的颜色直方图特征；图像IB的码本表示为yi表示图像IB第i个局部子块的颜色直方图特征；通过求解l1范数最小化问题得到图像IB第i个局部子块对应的稀疏编码系数向量bi：根据图像IB第i个局部子块在图像IB中的位置选择图像IA中对应位置的编码系数作为归并值，从而获得颜色归并特征fLCH：fLCH＝[fLCH(b1),fLCH(b2),...,fLCH(bk)]其中，bi(i)表示图像IB第i个局部子块在图像IA第i个局部子块上的编码系数；S109.对图像IA、图像IB的SIFT特征执行步骤S108得到基于SIFT的纹理归并特征fSIFT，将颜色归并特征fLCH、基于SIFT的纹理归并特征fSIFT进行融合得到基于稀疏编码的结构性局部特征向量为F＝fLCH+fSIFTS110.基于F计算图像IA、图像IB的局部稀疏编码距离：其中，Fi表示结构性局部特征向量F的第i个分量；S111.通过以上求解，定义目标Oi,a、Oj,b的图像对IA与IB之间的综合距离为：d(IA,IB)＝dWH(IA,IB)+β·dSC(IA,IB)；其中dWH(IA,IB)＝dBh(HA,HB)。最终定义目标Oi,a、Oj,b的图像对IA与IB之间的综合表观相似度为：其中γ为衰减因子。与现有技术相比，本发明的有益效果是：本发明提供的方法主要有两个发明点，一是研究基于特征匹配的目标匹配跟踪算法，采用多种具有互补性质的表观特征建立匹配模型，并将多种特征的匹配结果进行决策级的融合；二是提出一种无监督的拓扑估计算法，使系统能够在匹配与跟踪的过程中自动建立监控网络的时空拓扑关系，同时利用时空拓扑约束极大地提高了匹配与跟踪的准确度。本发明对跨摄像机目标匹配中由于遮挡、环境、光照等变化带来的干扰具有较强的鲁棒性，有利于实现多摄像机视频监控系统对目标的鲁棒协同跟踪。附图说明图1为方法的流程图。图2为表观特征相似度的求解示意图。图3为有、无结合拓扑估计的两种情况下目标重识别的CMC曲线图。具体实施方式附图仅用于示例性说明，不能理解为对本专利的限制；以下结合附图和实施例对本发明做进一步的阐述。实施例1单纯的表观特征匹配并没有考虑多摄像机网络所具有的空间拓扑关系与时间关联约束,如果将时空约束纳入到目标跟踪的框架中，那多摄像机间的目标匹配就能够获得时空线索，从而可以极大地提高匹配与跟踪的准确度。因此本发明提出了一种目标跟踪匹配与拓扑估计相结合的方法，首先利用当前的目标匹配结果无监督地建立起当前的拓扑关系，然后在贝叶斯框架中将表观模型与时空约束结合起来，反过来又利用拓扑关系为目标匹配提供时空线索，不断迭代使得系统稳定，从而实现更好的多摄像机协同跟踪。拓扑估计主要包括两方面：空间拓扑和时间拓扑。其中，空间拓扑是要获得摄像机之间的连接关系，主要是建立具有直接转移关系的两个摄像机之间的拓扑连接。时间拓扑是要获得目标在各摄像机之间运动的转移时间分布，即目标离开上一个摄像机进入下一个摄像机的时间延迟。拓扑关系的建立可以为多摄像机的目标跟踪提供时空约束，进而能够减小匹配的范围，有利于增加跟踪匹配的准确度。综上所述，如图1所示，本发明提供的方法主要包括以下步骤：S1.将两两摄像机之间的转移概率初始化为M为监控网络中摄像机的数量；时间窗口设置为TW＝τ，τ为预设值，两两摄像机间的转移计数器初始化为0；S2.设当前摄像机为Ci，摄像机Ci内的行人目标表示为Oi,a；在设定的时间窗口内搜索其他摄像机中出现的行人目标；S3.设在摄像机Cj中搜索得到的行人目标为Oj,b，i≠j,1≤j≤M，计算行人目标Oi,a、Oj,b之间的匹配概率：为表示Oi,a、Oj,b之间转移关系的变量，当Oi,a、Oj,b之间存在转移关系时，取1，否则取0；表示目标Oi,a、Oj,b存在转移关系的后验概率，对应了目标Oi,a、Oj,b的匹配概率；表示在转移关系的条件下目标Oi,a、Oj,b的表观特征分布似然函数，定义为与目标表观相似度函数L(Oi,a,Oj,b)成正比，可通过对目标表观相似度进行归一化操作得到。表示两个目标存在转移关系的先验概率，通过计算摄像机Ci到摄像机Cj的目标转移概率得到；Pi,j(Oi,a,Oj,b)表示目标Oi,a,Oj,b的联合概率分布，是后验概率的归一化因子；S4.对监控网络中除摄像机Ci外的所有摄像机执行步骤S2、S3，然后对得到的各个摄像机的行人目标与摄像机Ci的行人目标的匹配概率进行排序，将匹配概率最高的前m个行人目标作为候选匹配目标，对应的摄像机作为候选匹配摄像机，m的取值为1或2：其中，s1为最高的匹配概率，s2为次高的匹配概率，sτ为设定的阈值；S5.计算摄像机之间的转移次数wp：sp表示最高的匹配概率或次高的匹配概率，1≤p≤m；当m＝1时，将摄像机Ci到摄像机Cg之间的转移计数Nig增加w1；当m＝2时，将摄像机Ci到摄像机Cg之间的转移计数Nig增加w1，然后将摄像机Ci到摄像机Ck之间的转移计数Nik增加w2；其中摄像机Cg、摄像机Ck分别为与Ci匹配概率最高、次高的摄像机；S6.将各个摄像机作为当前摄像机然后执行步骤S2～S5；S7.计算摄像机Ci到摄像机Cj之间的转移概率：S8.根据步骤S7计算两两摄像机之间的转移概率；S9.记录摄像机Ci到摄像机Cj所有匹配的行人目标之间的时间间隔，构成时间序列Tij，然后利用自适应的Parzen窗算法估计出摄像机Ci与摄像机Cj之间的转移时间分布的概率密度曲线，取与曲线峰值对应的时间差值作为时间窗口大小T(Cj|Ci)的估计值；S10.根据步骤S9估算出两两摄像机之间的时间窗口大小；S11.更新摄像机Ci、摄像机Cj之间的转移概率：Pij(k)＝(1-α)Pij(k-1)+αP(Cj|Ci)Pij(k)表示第k次迭代得到的摄像机Ci到摄像机Cj的转移概率，α是更新因子，0≤α≤1，Pij(k-1)表示第k-1次迭代得到的摄像机Ci到摄像机Cj的转移概率，当k＝1时，S12.根据步骤S11对两两摄像机之间的转移概率进行更新；S13.更新摄像机Ci与摄像机Cj之间的时间窗口：Tij(k)＝(1-η)Tij(k-1)+ηT(Cj|Ci)其中Tij(k)表示第k次迭代得到的摄像机Ci与摄像机Cj之间的时间窗口，Tij(k-1)表示第k-1次迭代得到的摄像机Ci与摄像机Cj之间的时间窗口，当k＝1时，Tij(k-1)＝τ，η表示更新因子；S14.判断是否达到了设定的迭代次数，若是则输出转移概率以及时间窗口估计值，完成拓扑结构估计，结束迭代，否则令k＝k+1然后执行步骤S6～S14。在具体的实施过程中，步骤S3通过求取目标Oi,a、Oj,b所有图像对的平均表观相似度来表示目标Oi,a、Oj,b最终的表观相似度，即E[g]为期望函数。如图2所示，其中目标Oi,a、Oj,b每对图像对的表观相似度的求取过程如下：S101.设d＝mn是目标Oi,a的图像IA中以像素x为中心的一个局部小块所展开的像素向量；设V1,V2,...,VK是一系列Walsh-Hardmard变换基，其中d＝mn表示一个由大小为m×n的Walsh-Hardmard变换矩阵所展开的向量；令表示X在第i个变换基上的投影值，则X的概率密度函数可由下式计算：则像素点x的显著值由下式计算：S102.通过对图像IA中的每个像素执行步骤S101可得到目标Oi,a的图像IA的显著图，然后对显著图进行阈值化处理，将显著值低于阈值的像素的显著值置为0，最后计算该阈值下的HSV颜色直方图特征：其中，k＝1,2,...,K，K表示直方图的bin数，m表示颜色通道，Cm(z)表示像素z对应的第m个通道像素值在直方图中的量化值，S(z)为像素z经过阈值化处理后的显著值,δ(g)为指示函数，S103.利用不同的阈值依次对图像IA的显著图进行步骤S102的阈值化处理，然后计算不同阈值下的HSV颜色直方图特征，将不同阈值下的HSV颜色直方图特征串联起来后得到图像IA的加权全局颜色直方图特征HA；S104.对与图像IA形成图像对的Oj,b的图像IB执行步骤S101～S103，得到图像IB的加权全局颜色直方图特征HB；S105.通过Bhattacharyya距离来度量图像IA、图像IB之间的相似程度：其中HA(i)、HB(i)分别表示直方图向量HA、HB的第i维特征值；S106.将图像IA划分为有重叠的局部子块，然后对每个局部子块分别提取颜色直方图特征以及SIFT特征作为局部子块的码字，这些码字的集合则作为图像IA的码本；S107.对图像IB执行步骤S106；S108.以图像IA的码本作为字典对图像IB的码字进行稀疏编码，字典表示为其中n为特征维度，k为子块个数，di表示图像IA第i个局部子块的颜色直方图特征；图像IB的码本表示为yi表示图像IB第i个局部子块的颜色直方图特征；通过求解l1范数最小化问题得到图像IB第i个局部子块对应的稀疏编码系数向量bi：根据图像IB第i个局部子块在图像IB中的位置选择图像IA中对应位置的编码系数作为归并值，从而获得颜色归并特征fLCH：fLCH＝[fLCH(b1),fLCH(b2),...,fLCH(bk)]其中，bi(i)表示图像IB第i个局部子块在图像IA第i个局部子块上的编码系数；S109.对图像IA、图像IB的SIFT特征执行步骤S108得到基于SIFT的纹理归并特征fSIFT，将颜色归并特征fLCH、基于SIFT的纹理归并特征fSIFT进行融合得到基于稀疏编码的结构性局部特征向量为F＝fLCH+fSIFTS110.基于F计算图像IA、图像IB的局部稀疏编码距离：其中，Fi表示结构性局部特征向量F的第i个分量；S111.通过以上求解，定义目标Oi,a、Oj,b的图像对IA与IB之间的综合距离为：d(IA,IB)＝dWH(IA,IB)+β·dSC(IA,IB)；其中dWH(IA,IB)＝dBh(HA,HB)。最终定义目标Oi,a、Oj,b的图像对IA与IB之间的综合表观相似度为：其中γ为衰减因子。实施例2为了验证该算法的有效性，本实施例收集了实验室所在大楼内一个由五台摄像机组成的监控网络的视频数据作为实验对象，，并将实验结果与人工标注的真实结果进行了对比，然后利用查准率(Precision)与查全率(Recall)两个指标来表征迭代算法的优化效果。其中，表1给出了算法迭代过程中查准率与查全率的变化情况，可以看到，第1次迭代即初始状态下由于没有利用拓扑信息因而效果较差，随着算法不断迭代，监控网络的拓扑信息得到有效利用，效果有了明显的提高，之后拓扑结构趋于稳定，因而效果也趋于稳定。同时，图3给出了在有、无结合拓扑估计的两种情况下目标重识别的CMC曲线比较，可以看到加入拓扑估计后，算法识别率得到了明显提升。从而证实了结合拓扑估计与目标匹配的跨摄像机跟踪算法的有效性。表1算法迭代过程中查准率与查全率的变化情况迭代次数查准率查全率163.20％66.70％284.20％88.90％388.30％93.10％489.40％95.10％589.40％95.10％显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。当前第1页1 2 3