专利名称：跨摄像头的多运动目标跟踪方法
技术领域：
本发明涉及图像处理、运动分析等，具体讲涉及跨摄像头的多运动目标跟踪方法。
背景技术：
随着国际社会对安防问题的日益重视以及基于IP网络的监控系统的广泛应用， 多摄像头监控成为当前的主流模式，其中尤以摄像头视野之间有交叠区域的情形为研究热点。在多摄像头监控中，需要在传统的单摄像头目标检测基础上将在多个视角中出现的同一目标关联起来.因此跨摄像头的运动目标跟踪成为多摄像头监控系统的关键技术，是后续进行目标行为分析和目标识别等操作的基础。目标跟踪问题主要面临着两个难题一个是遮挡，这是监控中的经典难题，遮挡会导致检测变得极为困难；另一个是目标的关联，有重叠区域的监控视频中通常可以记录同一目标在不同视角下的运动信息，因此如何关联两个运动轨迹形成对目标的全方位监控是另一难点。现有目标跟踪方法的研究，多局限于单摄像头下目标运动轨迹的跟踪，具体方法包括两大类一类是对连续图像序列各帧进行目标检测，然后通过目标区域位置特性进行简单的关联；另一类是对连续图像前若干帧进行目标检测，将检测的目标作为初始信息，然后设计特定滤波器进行目标运动区域的预测。尽管两类方法对特定跟踪问题都有一定优势，但是现有方法并不能实现跨摄像头下目标运动轨迹的关联。本发明的创新点在于充分利用跨摄像头运动轨迹的时空关联特性进行运动轨迹的关联，为实现全网络的目标跟踪提供技术基础。
发明内容
为克服现有技术的不足，提供一种跨摄像头的运动目标跟踪方法，能够实现跨摄像头的运动目标跟踪，为达上述目的，本发明采取的技术方案是，跨摄像头的多运动目标跟踪方法，包括以下步骤1.面向单摄像头的运动滤波将人体复杂运动分解为有限个相对简单运动滤波模型的组合，其中每个单一运动滤波模型用线性运动状态转移模型和高斯噪声的组合表示，运动滤波方法包括如下两个核心部分运动模型A=FiUvL1, ig{\,...,M}观测模型 = Hsk+wk运动模型表示M个不同运动类型下两个相邻时刻的运动状态转换关系的多个并行的状态转移模型；在此基础上，通过观测模型来表示当前状态下运动状态与观测的关联关系，sk表示k时刻的状态矢量，zk表示k时刻的观测矢量#表示运动状态转移矩阵，Hi 表示当前运动状态和观测的关联矩阵,和Wlrl分别表示模型噪声和观测噪声，采用高斯噪声模拟，构造并融合表示不同运动轨迹的多个卡尔曼滤波器来进行运动滤波1)对于多运动滤波器的构造，将目标的复杂运动分解为若干简单的运动形式，将目标运动分解为勻速运动、勻加速运动和勻速旋转三类运动的组合，根据各运动形式构造对应的运动状态转移矩阵Fi和运动状态和观测的关联矩阵Hi ；2)对于多模型的融合，采用自适应的多运动模型融合和动态更新方法；2.面向跨摄像头的运动关联(1)全景图的构建利用摄像机空间设置的位置先验，并结合基于视觉不变量特征 SIFT (Scale-invariant Feature Transformation)的图像配准方法实现全景图构建；(2)目标相似性度量针对跨摄像头时多视角条件下的人体表形的变化以及人体运动时自身形变的多样性，采用融合表形约束、形状约束和运动约束的方法进行目标相似性度量，融合目标区域特征(fregi。n)，形状特征(fshalJ和运动特性(fm。ti。n)三个因素构造特征函数f= Ifregion, f Shape' fm。ti。J，在此基础上跨摄像头跟踪问题中的原始目标区域与候选区域的相似度 (Similarity)可以通过下式计算SiffiilciTityobje(:t candidate(J) Sifnilcirity仪咖打‘了仪对渊,fregion )’Similarity
_6] Similarity-。人f=,f=，)}上式表示，目标(。bje。t)与第i个候选关联区域(。andidate(i))的相似度由二者区域 (fregiJ、形状(fshaIJ和运动(fm。ti。n)三类相似度的线性组合而成，其中各特征重要性可以通过参数α和β进行调节首先，通过计算图像中各像素点属于各候选区域的联合后验概率进行目标区域特征的表示；其次，通过人体拓扑结构特性建立形状约束从而构建形状特征；再次，利用运动滤波模块预测结果对目标运动特性进行约束；采用自适应的权重参数 α和β动态更新算法以实现相似度的计算；(3)运动轨迹关联将跨摄像头多运动轨迹关联问题转化为二分图匹配问题，通过如下约束条件下的整数规划进行求解首先，构建二分图，找到两个摄像头共同覆盖的区域，假设拟关联的两个摄像头中的运动目标应该出现在该重叠区域，并初步确定所要关联的运动目标区域，将跨摄像头运动轨迹关联问题转化为两个摄像头中运动目标构成的二分图匹配问题，该二分图第一个顶点集合U由第一个摄像头中运动轨迹的终点目标区域构成，第二个顶点集合V由第二个摄像头中运动轨迹的初始对象区域构成，根据二分图特性，该图的边连接集合U与集合V中的一对定点，并实现了跨摄像头运动轨迹的关联；其次，构建关联假设并计算其相似度，在所构建二分图基础上，利用先验知识判断可能存在的关联假设，然后，利用第步骤⑵节中的相似度计算方法计算该关联的相似度， 从而构建相似度矩阵P，P为MX 1向量，M为存在的假设个数，并将各假设用标识矩阵C表示，C为MXN矩阵，N为所有运动目标的个数；最后，构建和求解目标函数和约束集，针对二分图匹配问题，构建如下目标函数和约束集
权利要求
1. 一种跨摄像头的多运动目标跟踪方法，其特征是，包括以下步骤1)面向单摄像头的运动滤波将人体复杂运动分解为有限个相对简单运动滤波模型的组合，其中每个单一运动滤波模型用线性运动状态转移模型和高斯噪声的组合表示，运动滤波方法包括如下两个核心部分运动模型Sk = Fi1 + V^1, / e {1,...,M}观测模型zk = Hsk+wk运动模型表示M个不同运动类型下两个相邻时刻的运动状态转换关系的多个并行的状态转移模型；在此基础上，通过观测模型来表示当前状态下运动状态与观测的关联关系， Sk表示k时刻的状态矢量，Zk表示k时刻的观测矢量；Fi表示运动状态转移矩阵，Hi表示当前运动状态和观测的关联矩阵；ν丨—,和Wlrl分别表示模型噪声和观测噪声，采用高斯噪声模拟，构造并融合表示不同运动轨迹的多个卡尔曼滤波器来进行运动滤波2)面向跨摄像头的运动关联(1)全景图的构建利用摄像机空间设置的位置先验，并结合基于视觉不变量特征SIFT (Scale-invariant Feature Transformation)的图像配准方法实现全景图构建；(2)目标相似性度量针对跨摄像头时多视角条件下的人体表形的变化以及人体运动时自身形变的多样性，采用融合表形约束、形状约束和运动约束的方法进行目标相似性度量，融合目标区域特征(fregi。n)，形状特征(fshalJ和运动特性(fm。ti。n)三个因素构造特征函数f= Ifregion, f Shape' fm。ti。J，在此基础上跨摄像头跟踪问题中的原始目标区域与候选区域的相似度 (Similarity)可以通过下式计算Similarity h. t t r= Similarity .^ object,Canaiaate(I)^ region region , J region，,Similarity-。人f=,f=at1上式表示，目标(。bje。t)与第i个候选关联区域(。—ω)的相似度由二者区域 (fregiJ、形状(fshalJ和运动(fm。ti。n)三类相似度的线性组合而成，其中各特征重要性可以通过参数α和β进行调节首先，通过计算图像中各像素点属于各候选区域的联合后验概率进行目标区域特征的表示；其次，通过人体拓扑结构特性建立形状约束从而构建形状特征；再次，利用运动滤波模块预测结果对目标运动特性进行约束；采用自适应的权重参数 α和β动态更新算法以实现相似度的计算；(3)运动轨迹关联将跨摄像头多运动轨迹关联问题转化为二分图匹配问题，通过如下约束条件下的整数规划进行求解首先，构建二分图，找到两个摄像头共同覆盖的区域，假设拟关联的两个摄像头中的运动目标应该出现在该重叠区域，并初步确定所要关联的运动目标区域，将跨摄像头运动轨迹关联问题转化为两个摄像头中运动目标构成的二分图匹配问题，该二分图第一个顶点集合U由第一个摄像头中运动轨迹的终点目标区域构成，第二个顶点集合V由第二个摄像头中运动轨迹的初始对象区域构成，根据二分图特性，该图的边连接集合U与集合V中的一对定点，并实现了跨摄像头运动轨迹的关联；其次，构建关联假设并计算其相似度，在所构建二分图基础上，利用先验知识判断可能存在的关联假设，然后，利用第步骤⑵节中的相似度计算方法计算该关联的相似度，从而构建相似度矩阵P，P为MX 1向量，M为存在的假设个数，并将各假设用标识矩阵C表示，C 为MXN矩阵，N为所有运动目标的个数；最后，构建和求解目标函数和约束集，针对二分图匹配问题，构建如下目标函数和约束集
全文摘要
本发明涉及图像处理、运动分析等。为能够实现跨摄像头的运动目标跟踪，本发明采取的技术方案是，跨摄像头的多运动目标跟踪方法，包括以下步骤1.面向单摄像头的运动滤波将人体复杂运动分解为有限个相对简单运动滤波模型的组合，其中每个单一运动滤波模型用线性运动状态转移模型和高斯噪声的组合表示，运动滤波方法包括如下两个核心部分运动模型观测模型zk＝Hsk+wk2.面向跨摄像头的运动关联(1)全景图的构建；(2)目标相似性度量；(3)运动轨迹关联；将跨摄像头多运动轨迹关联问题转化为二分图匹配问题，通过如下约束条件下的整数规划进行求解。本发明主要应用于图像处理、运动分析等。
文档编号G06T7/20GK102156863SQ20111012647
公开日2011年8月17日 申请日期2011年5月16日 优先权日2011年5月16日
发明者刘安安, 苏育挺 申请人:天津大学