融合显著特征和分块模板的多目标跟踪方法
【专利摘要】本发明提供一种融合显著特征和分块模板的多目标跟踪方法，采用RGB分量背景差分和迭代阈值检测目标运动区域，提高了运动检测算法的场景光照变化自适应能力；基于目标区域分块、运动像素色彩显著度加权的块质心模型、块质心转移融合和尺度更新方法，计算效率高、抗部分遮挡和相似色彩场景干扰能力强；采用两级数据关联解决多目标测量-跟踪间分配问题，能准确定位发生遮挡的局部区域，从而利用遮挡矩阵指导模板自适应更新、利用块有效色彩和运动信息获得可靠的全局质心转移向量，最终实现复杂场景中多目标持续、稳定和快速跟踪，应用于智能视频监控、空中多目标跟踪与攻击、多任务跟踪智能机器人等领域。
【专利说明】融合显著特征和分块模板的多目标跟踪方法 【技术领域】
[〇〇〇1] 本发明涉及一种融合显著特征和分块模板的多目标跟踪方法，属于智能视频信息 处理和计算机视觉领域，主要用于智能视频监控系统中。 【背景技术】
[0002] 基于视觉的多目标跟踪是计算机视觉领域的一个重要研究课题，在地面交通管 制、工业机器人手眼系统、空中超视距多目标跟踪与攻击、港口监视等多方面都具有广泛应 用。近年来，针对测量-跟踪间分配问题，基于外观模型的多目标跟踪研究逐渐成为热点。
[0003] 多目标跟踪方法自报道以来，国内外均不断有改进跟踪方法的专利报道，但由于 复杂场景中遮挡、相似特征目标（或场景）干扰、目标外观变化等影响，多目标跟踪的鲁棒、 准确和实时性问题仍未得到完善解决。
[0004] 遮挡目标跟踪和目标外观模型鲁棒更新是多目标跟踪的难点之一。从模型构建上 看，对目标区域分块，建立合理的块特征目标外观模型，可使部分遮挡判断精确到块级，其 目标描述力高于全局特征描述方法。W.M.Hu等在IEEETrans onPatternAnalysisandMach inelntelligence (2012, 34(12) :2420-2440)发表的文章 "SingleandMultipleObjectTrack ingUsingLog-EuclideanRiemannianSubspac e andBlock-DivisionAppearanceModel，' 中， 在Log-euclidean块分割外观模型中融入全局和局部外观空间分布信息建立目标观测模 型，具有抗部分遮挡性能和光照鲁棒性。由于该算法基于贝叶斯推理的粒子滤波器定位目 标，大量粒子的使用影响了跟踪实时性；遮挡判别依赖块自身特征的协方差计算，没有发挥 多目标间相互作用。
[0005] 在仅基于色彩特征的目标描述中，融入色彩空间分布信息相比经典色彩直方图方 法能够提高目标描述力。S. H. Lee等在IETComputerVision (2010, 4(2) :73-84)发表的文 章 "MotionTrackingBasedonAeaandLevelSet WeightedCentroidShifting，' 中针对单目标 跟踪提出面积加权的色彩质心描述和目标一步质心定位概念，利用目标区域中各色彩覆盖 面积计算该色彩质心在目标定位中的权值。由于色彩质心对像素数目变化不敏感，在目标 定位方面具有稳定性。但当目标与所处背景色彩大面积相似或有其它相似特征目标影响 时，将产生跟踪漂移。一步质心定位克服了经典迭代搜索和大量样本训练方法的计算量问 题，但目前仅局限于单目标跟踪应用，若合理拓展到多目标跟踪框架中，可提高跟踪效率。
[0006] 基于运动检测的多目标跟踪能自动起始跟踪，快速关联独立运动目标，若辅以鲁 棒的目标外观模型匹配跟踪，则有利于实现互遮挡目标合并区域中测量-跟踪间准确分 配。C. Beyan 等在 IETComputerVision (2012, 6 (1) : 1-12)发表的文章"AdaptiveMean-shif tforAutomatedMultiObjectTracking"中，利用目标运动检测框间重叠与否判断遮挡，并将 互遮挡目标作为一个整体进行Mean-shift跟踪。由于遮挡目标全局模板在整个遮挡过程 中不更新，因此在长期部分遮挡并发生目标外观渐变时，难以持续准确跟踪。若互遮挡目标 外观相似，则将会因缺乏合并过程中目标个体的确切位置信息，引起目标分离时单个目标 定位错乱。
【发明内容】
[0007] 本发明目的在于克服现有技术的不足，提供一种复杂视频场景中更有效平衡多目 标跟踪系统鲁棒、准确和实时性间关系的自动检测和跟踪方法。
[0008] 本发明的技术解决方案是：
[0009] -种融合显著特征和分块模板的多目标跟踪方法，
[〇〇1〇] 步骤一、利用阈值迭代算法计算当前帧与参考背景间RGB分量差分图像的分割阈 值，融合分量运动目标二值区域计算运动检测区域的尺度和中心坐标；
[〇〇11] 步骤二、将目标区域均匀分块，获取各块中心坐标、尺度和运动像素占空比等参 数，并根据各运动像素处背景差分值计算该像素色彩显著度，以作为色彩质心统计的权值， 建立基于块的运动、色彩显著质心模型；
[0012] 步骤三、建立上一帧跟踪目标和当前运动检测区域间基于目标全局的一级关联， 对满足一对一关联的目标建立测量-跟踪对应；对新出现目标初始化；对消失目标暂存模 板；对互遮挡目标，建立其在当前帧映射区域间全局二级关联以判断哪些目标间发生了遮 挡，并进一步利用块间二级关联定位发生遮挡的块；对断裂目标只需获得其当前帧映射区 域；
[0013] 步骤四、建立块遮挡标志矩阵，并融入模板更新过程，对发生遮挡的块采用遮挡前 的模板计算色彩质心转移量，对未发生遮挡的块以上一帧跟踪结果为模板计算当前色彩质 心转移量；
[0014] 步骤五、在当前帧映射扩展区域中选择有效色彩质心，并根据块区域中有效色彩 占空比和运动像素占空比计算块融合权值，获得目标全局质心转移向量和最优位置；
[0015] 步骤六、在目标最优位置处的新映射扩展区域中，分别沿水平和垂直方向顺序统 计未发生遮挡的块间有效色彩质心距离，经邻块有效色彩显著度加权获得目标尺度缩放参 数。
[0016] 进一步地，步骤一具体为：
[〇〇17] 采用式（1)的阈值迭代算法获取当前帧与参考背景间RGB分量绝对差分图像
【权利要求】
1. 一种融合显著特征和分块模板的多目标跟踪方法，其特征在于： 步骤一、利用阈值迭代算法计算当前帧与参考背景间RGB分量差分图像的分割阈值， 融合分量运动目标二值区域计算运动检测区域的尺度和中心坐标； 步骤二、将目标区域均匀分块，获取各块中心坐标、尺度和运动像素占空比等参数，并 根据各运动像素处背景差分值计算该像素色彩显著度，以作为色彩质心统计的权值，建立 基于块的运动、色彩显著质心模型； 步骤三、建立上一帧跟踪目标和当前运动检测区域间基于目标全局的一级关联，对满 足一对一关联的目标建立测量-跟踪对应；对新出现目标初始化；对消失目标暂存模板；对 互遮挡目标，建立其在当前帧映射区域间全局二级关联以判断哪些目标间发生了遮挡，并 进一步利用块间二级关联定位发生遮挡的块；对断裂目标只需获得其当前帧映射区域； 步骤四、建立块遮挡标志矩阵，并融入模板更新过程，对发生遮挡的块采用遮挡前的模 板计算色彩质心转移量，对未发生遮挡的块以上一帧跟踪结果为模板计算当前色彩质心转 移量； 步骤五、在当前帧映射扩展区域中选择有效色彩质心，并根据块区域中有效色彩占空 比和运动像素占空比计算块融合权值，获得目标全局质心转移向量和最优位置； 步骤六、在目标最优位置处的新映射扩展区域中，分别沿水平和垂直方向顺序统计未 发生遮挡的块间有效色彩质心距离，经邻块有效色彩显著度加权获得目标尺度缩放参数。
2. 如权利要求1所述的融合显著特征和分块模板的多目标跟踪方法，其特征在于，步 骤一具体为： 采用式（1)的阈值迭代算法获取当前帧与参考背景间RGB分量绝对差分图像
的分割阈值，经对二值运动检测图像Bt形态学滤波等处理， 获得多个运动检测区域（联通域）外接矩形框尺度和中心坐标，为多目标跟踪限定搜索区 域；
(1)
其中，X为像素坐标，
和〇分别对应运动前景和背景，1为迭代次数，当 </ =<,时，迭代结束，得到R分量背景差分阈值
3. 如权利要求1所述的融合显著特征和分块模板的多目标跟踪方法，其特征在于，步 骤二具体为： 各运动像素背景绝对差分值进行归一化，获得各运动像素Xi处目标相对背景的色彩u
显著度W(U, Xi); 将目标区域均匀分为U e [2, 10])块，根据式（3)计算第η个块的运动像素 色彩显著度wn(u，Xi)，色彩质心统计时通过式（4)进行坐标显著度加权；同时通过式（5)计 算质心显著度P:，以赋予强鉴别力色彩更高的质心决定权，建立基于运动、色彩显著特征的 目标块质心模型；
其中，9T为第η个块二值区域中"1"的个数，I(Xi)为原图的
降 维图像，X为色彩u的质心，δ为狄拉克函数。
4.如权利要求1所述的融合显著特征和分块模板的多目标跟踪方法，其特征在于，步 骤三具体为： 基于中心和尺度关联通过式（6)建立一级全局关联，对满足一对一关联的上一帧跟踪 目标和当前运动检测区域建立测量-跟踪对应； 对新出现目标即不存在与k对应的si且第t帧映射区域ff与检测区域p间交集为 空集，进行初始化； 对消失目标即不存在与si对应的k且映射区域ff中无运动像素，进行暂存模板，若后 续连续10?15帧ff中均未检测到运动像素存在，则退出跟踪； 对互遮挡目标即多个si对应同一个k，在其上一帧跟踪矩形的当前帧映射区域间通过 式（7)建立二级全局关联，以判断哪些目标间发生了互遮挡；并利用式（8)所示的二级块级 关联定位发生遮挡的块；对断裂目标即多个
满足
★空集，只需获得目标 si的映射区域:ff;
一级全局关联： 二级全局关联： 二级块级关联： 其中，穹和f分别表示第k个运动检测矩形框中心坐标和尺度；、和^纪,分别表示 第si个目标跟踪矩形框中心坐标和尺度；#、分别表示目标映射矩形框中心 坐标、第nl个块中心坐标和尺度；P为
确定的检测区域；ff为
确定的映 射区域；比例因子
和
5. 如权利要求4所述的融合显著特征和分块模板的多目标跟踪方法，其特征在于，步 骤四具体为： 对满足式（8)中二级块级关联的块赋予遮挡标志"1"，否则置为"0"，即未发生遮挡，通 过式（9)建立^乂"遮挡标志矩阵；并将该矩阵融入模板更新过程，以使目标模板更新具有 遮挡自适应能力； 式（10)、式（11)给出目标si的第nl个块模板更新算法，当目标满足一对一全局关联、 为新出现或断裂目标时，块遮挡标志为"〇"，使得该更新算法具有普遍适用性；
(9)
(10) (11) 其中，X^1和p：^1分别为块色彩U质心和显著度模板，
和
分别为目标跟踪 结果框对应块色彩质心和显著度。
6. 如权利要求1-5任一项所述的融合显著特征和分块模板的多目标跟踪方法，其特征 在于，步骤五具体为： 根据
确定的映射扩展矩形区域ff +Δ的块色彩质心模型文^1与模板 Xf1间共有质心显著度C1/1通过式（12)选择有效色彩质心，质心显著度重新归一化后利 用式（13)计算块质心转移向量"'\其中，Λ取2?8个像素。
(12)
(13)； 通过式（14)、式（15)、式（16)，利用块区域中有效色彩占空比
.运动像素占空
比 ·的Sigmoid函数值计算块融合权值以提高包含重要质心转移信息块在目标全 局质心转移向量计算中的表决权，最终获得目标最优中心位置运动像素占空比为 零时，有效色彩占空比为零，从而有
；其中，^1·"为第nl个块的面积。
(14)
7.如权利要求1-5任一项所述的融合显著特征和分块模板的多目标跟踪方法，其特征 在于，步骤六具体为： 对沪为中心的目标新映射扩展区域
分块，根据上述过程获得块有效色彩 质心义和显著度q=sl，分别沿水平和垂直方向顺序计算未发生遮挡的相邻块间有效色 彩质心距离，并利用相邻块有效色彩显著度乘积的归一化值对块质心距离加权，获得目标 平均质心距离:df ; 通过式（17)、式（18)、式（19)，利用邻帧质心距离比值计算水平和垂直方向目标尺度 缩放参数Zf ,以自适应更新目标尺度
其中，遗忘因子
【文档编号】G06T7/20GK104091348SQ201410211866
【公开日】2014年10月8日 申请日期:2014年5月19日 优先权日:2014年5月19日
【发明者】路红, 李宏胜, 吴刚, 程勇, 樊华, 杨萍 申请人:南京工程学院