一种在线目标跟踪方法及装置的制造方法

一种在线目标跟踪方法及装置的制造方法
【专利摘要】本发明公开了一种在线目标跟踪方法，包括：对当前视频帧进行目标检测，以得到观测对象；获取观测对象的集合与预测目标的集合之间的模糊隶属度矩阵，其中预测目标的集合为至少利用前一视频帧的目标状态的集合进行预测而得到的预测目标状态的集合；根据模糊隶属度矩阵对观测对象和预测目标进行关联，以获取有效目标轨迹；对未被关联的观测对象和未被关联的预测目标进行轨迹管理，以建立临时目标轨迹并删除无效目标；对所有有效目标轨迹和临时目标轨迹进行滤波以得到当前视频帧的目标状态的集合，并利用当前视频帧的目标状态的集合进行预测。本发明还公开了一种在线目标跟踪装置。通过上述方式，本发明能够解决预测目标与观测对象数目不相等时复杂关联问题。
【专利说明】
一种在线目标跟踪方法及装置
技术领域
[0001] 本发明涉及目标跟踪领域，特别是涉及一种在线目标跟踪方法及装置。
【背景技术】
[0002] 在线目标跟踪是计算机视觉中的一个热点研究课题，其对于动作识别、行为分析、 场景理解等高层次的视觉研究具有重要意义，并且在视频监控、智能机器人、人机交互等领 域有着广泛的应用前景。
[0003] 在复杂的环境中，目标与背景静物间、目标与目标间的高频率遮挡，以及存在大量 虚假观测对象，仍是多目标在线跟踪的难点问题。

【发明内容】

[0004] 本发明主要解决的技术问题是提供一种在线目标跟踪方法及装置，能够解决现有 技术中难以处理高频率遮挡及存在大量虚假观测对象的问题。
[0005] 为了解决上述技术问题，本发明采用的一个技术方案是:提供一种在线目标跟踪 方法，包括:对当前视频帧进行目标检测，以得到观测对象;获取观测对象的集合与预测目 标的集合之间的模糊隶属度矩阵，其中预测目标的集合为至少利用前一视频帧的目标状态 的集合进行预测而得到的预测目标状态的集合;根据模糊隶属度矩阵对观测对象和预测目 标进彳丁关联，以获取有效目标轨迹;对未被关联的观测对象和未被关联的预测目标进彳丁轨 迹管理，以建立临时目标轨迹并删除无效目标;对所有有效目标轨迹和临时目标轨迹进行 滤波以得到当前视频帧的目标状态的集合，并利用当前视频帧的目标状态的集合进行预 测 。
[0006] 其中，获取观测对象的集合与预测目标的集合之间的模糊隶属度矩阵包括：以预 测目标的集合为聚类中心，获取预测目标的集合中的每个预测目标与观测对象的集合中的 每个观测对象之间的第一隶属度；以观测对象的集合为聚类中心，获取观测对象的集合中 的每个观测对象与预测目标的集合中的每个预测目标之间的第二隶属度;利用第一隶属度 和第二隶属度获取模糊隶属度矩阵。
[0007] 其中，预测目标的集合为0={〇1，. . .，〇1}，观测对象的集合为Z={Z1，. . .，zr};以 预测目标的集合为聚类中心，获取预测目标的集合中的每个预测目标与观测对象的集合中 的每个观测对象之间的第一隶属度包括:获取第一隶属度
(1)
[0009] 其中m = 2，g(〇i，Zk)表示预测目标〇i与观测对象Zk间的特征距离；
[0010] 以观测对象的集合为聚类中心，获取观测对象的集合中的每个观测对象与预测目 标的集合中的每个预测目标之间的第二隶属度包括:获取第二隶属度
[0012] 其中m = 2，g(0l，Zk)为预测目标〇1与观测对象Zk间的特征距离；
[0013] 利用第一隶属度和第二隶属度获取模糊隶属度矩阵包括:利用第一隶属度和第二 隶属度，获取观测对象的集合中的每个观测对象与预测目标的集合中的每个预测目标之间 的综合隶属度Sik
[0014] Sik = aXuik+(l-a) Xu'ki (3)
[0015]其中，a为正常系数且ae[0，l];利用综合隶属度Sik获取模糊隶属度矩阵S =
[Sik] lXr 〇
[0016] 其中，预测目标〇1与观测对象Zk间的特征距离
[0017] g(Oi，Zk) = l-fl(Oi，Zk) Xf2(Oi，Zk) Xf3(Oi，Zk) Xf4(Oi，Zk) Xf5(Oi，Zk) (4)
[0018] 其中fi( ?)为空间距离特征相似性度量函数，f2( ?)为几何尺寸特征相似性度量 函数，f3( ?)为运动方向特征相似性度量函数，f4( ?)为颜色特征相似性度量函数，f5( ?) 为梯度方向特征相似性度量函数，其定义如下：
[0024] 其中，（x〇，y。)为目标〇i的中心坐标，（xz，yz)为观测对象zk的中心坐标，h。为目标〇i 的图像高度，为空间距离方差常量，h z为观测对象zk的图像高度，〇丨为几何尺寸方差常 量，（X'〇，y'。)为上一时刻目标 〇1的中心坐标，为上一时刻目标〇1的速度在图像坐标 轴上的投影，为运动方向方差常量，g( ?)为相似度系数函数，P( ?)表示求巴氏系数， H>)表示上半部分子块的颜色直方图，Hf(〇表示下半部分子块的颜色直方图，Hg( ?)表示 分块梯度方向直方图特征，为梯度方向方差常量。
[0025] 其中，目标图像由共计n个像素点构成，目标图像可以对应预测目标〇1 或观测对象zk，点^坐标为，将目标图像拆分为上半部分子块TjP下半部分子块T2， 上半部分子块Td: 7； = &_[，下半部分子块h为:其中ST为目标图像 的分割线，将目标图像的灰度离散为m级；
[0026] 上半部分子块的颜色直方图, x.czT,
[0027] //丨（乂卜乏^丨" = 1，…，/",(.、?,.，"）= ' (6) 丨丨 i=l [w X； € 1!
[0028] 其中，b(Xl)为Xl&像素的量化值，若^处像素的量化值b(Xl)对应于像素级u，则S [b(xi)-u]取1，否则 5[b(xi)-u]取0;
[0029] 下半部分子块T2的颜色直方图//〗(x,.) = [f/2"(.T,.；i=1...m^*: ? , | <^'[/)(,\' )-.Z/J .V- CZ J-,
[0030] II, ) = y\m,(.v.,u), u = 1,*? ?,m < ' ~ (7) ~ ~ [0 x,. g r2 '
[0031] 将预测目标0l拆分成上下两个子块并利用公式(6) (7)分别计算其上半部分子块 的颜色直方图戌(〇,)和下半部分子块的颜色直方图民2(〃,\将观测对象別拆分成上下两个 子块并利用公式(6) (7)分别计算其上半部分子块的颜色直方图戌.(&)和下半部分子块的 颜色直方图);并利用各子块的颜色直方图计算预测目标 〇1和观测对象zk之间的颜色 特征相似性度量函数：
[0032] ./；(〇/,zJ,.) = <KAH,i 0V)'H! (zi, ))> AH! (zi, ))+^<MHrfe)^H：(^ ))> Aff ))
[lx1 x < 0.5
[0033]其中g( ?)为相似度系数函数，机v) = I, , , 1 n,P( ?)表示求巴氏 卜-2(.\'-l)2 +l ..v：>=0.5 系数。
[0034]其中，根据模糊隶属度矩阵对观测对象和预测目标进行关联，以获取有效目标轨 迹包括:查找模糊隶属度矩阵S中未被标记的所有元素中的最大值sPq;标记模糊隶属度矩阵 S中的第p行所有元素以及第q列所有元素;判断预测目标 〇P与观测对象Zq的空间距离特征相 似性度量函数fKo^Zq)是否大于阈值常量比若以〇 1)，2(1)>0，则判断预测目标〇1)与观测对 象z q正确关联，为有效目标轨迹;循环执行上述步骤直至模糊隶属度矩阵S中的所有行或所 有列均被标记。
[0035] 其中，对未被关联的观测对象和未被关联的预测目标进行轨迹管理，以建立临时 目标轨迹、删除无效目标包括:对未被关联的观测对象，利用未被关联的观测对象与预测目 标之间的遮挡度，获取未被关联的观测对象的判别函数，根据判别函数判断是否为未被关 联的观测对象建立临时目标轨迹，对未被关联的预测目标，若未被关联的预测目标对应的 目标连续心帧未被关联，则判断目标无效并删除无效目标，心为大于1的整数。
[0036] 其中，未被关联的观测对象的集合为〇={21，...，~}，预测目标的集合为0 = {〇1，...，〇i};利用未被关联的观测对象与预测目标之间的遮挡度，获取未被关联的观测对 象的判别函数包括:获取未被关联的观测对象zen与预测目标 Oe〇之间的遮挡度
[0038]其中r( ?)表示求面积；
[0039]获取每个未被关联的观测对象ze Q的判别函数 fl 如果6>(Z,0) <，,▽?€ 0 _] ^) = i)其他 (9)
[0041 ] 其中y为常量参数，且0〈 y〈1;
[0042]根据判别函数判断是否为未被关联的观测对象建立临时目标轨迹包括:对每个未 被关联的观测对象，若其判别函数为1，则为未被关联的观测对象建立临时目标轨迹，若其 判别函数为〇则不建立。
[0043] 其中，对所有有效目标轨迹和临时目标轨迹进行滤波以得到当前视频帧的目标状 态的集合，并利用当前视频帧的目标状态的集合进行预测包括:使用卡尔曼滤波器对有效 目标轨迹和临时目标轨迹进行滤波和预测。
[0044] 其中，对当前视频帧进行目标检测包括:使用混合高斯背景模型对当前视频帧进 行目标检测。
[0045]为了解决上述技术问题，本发明采用的另一个技术方案是:提供一种在线目标跟 踪装置，包括:检测模块，用于对当前视频帧进行目标检测，以得到观测对象；矩阵获取模 块，用于获取观测对象的集合与预测目标的集合之间的模糊隶属度矩阵，其中预测目标的 集合为至少利用前一视频帧的目标状态的集合进行预测而得到的预测目标状态的集合;关 联模块，用于根据模糊隶属度矩阵对观测对象和预测目标进行关联，以获取有效目标轨迹； 轨迹管理模块，用于对未被关联的观测对象和未被关联的预测目标进行轨迹管理，以建立 临时目标轨迹并删除无效目标;滤波预测模块，用于对所有有效目标轨迹和临时目标轨迹 进行滤波以得到当前视频帧的目标状态的集合，并利用当前视频帧的目标状态的集合进行 预测。
[0046] 本发明的有益效果是:构建模糊隶属度矩阵并根据其对观测对象和预测目标进行 关联，解决了当存在漏检或者出现新目标等情况下预测目标数目与观测对象数目不相等时 的复杂关联问题，对未被关联的观测对象和未被关联的预测目标进行轨迹管理，判断其是 否为新的目标，并为新目标建立临时目标轨迹，减少了错误的目标轨迹起始，实现高鲁棒性 的在线目标跟踪。
【附图说明】
[0047] 图1是本发明在线目标跟踪方法第一实施例的流程图；
[0048] 图2是本发明在线目标跟踪方法第二实施例的流程图；
[0049] 图3是本发明在线目标跟踪方法第三实施例中建立临时目标轨迹的流程图；
[0050] 图4是本发明在线目标跟踪装置第一实施例的结构示意图；
[0051] 图5是本发明在线目标跟踪装置第二实施例的结构示意图。
【具体实施方式】
[0052]如图1所示，本发明在线目标跟踪方法第一实施例包括：
[0053] S1:对当前视频帧进行目标检测，以得到观测对象。
[0054]使用帧差法、光流法、背景减除法等运动目标检测算法对当前视频帧的图像进行 目标检测，以从图像中找出运动的像素，辅以中值滤波和简单的形态学处理，最终得到图像 中运动的目标作为观测对象。一般而言，观测对象是图像中的一个矩形或者其他形状的区 域。
[0055] 在本发明在线目标跟踪方法一个实施例中，采用基于混合高斯背景模型的背景减 除法对当前视频帧的图像进行目标检测。
[0056] S2:获取观测对象的集合与预测目标的集合之间的模糊隶属度矩阵。
[0057]使用模糊C均值聚类(Fuzzy C-Means)算法获取观测对象的集合与预测目标的集 合之间的模糊隶属度矩阵。其中预测目标的集合为至少利用前一视频帧的目标状态的集合 进行预测而得到的当前视频帧的预测目标状态的集合。
[0058]可以以预测目标的集合为聚类中心计算预测目标与观测对象之间的模糊隶属度 以获取模糊隶属度矩阵;也可以以观测对象的集合为聚类中心计算观测对象与预测目标之 间的模糊隶属度以获取模糊隶属度矩阵;也可以结合目标与观测对象之间的模糊隶属度以 及观测对象与预测目标之间的模糊隶属度以获取模糊隶属度矩阵。
[0059] S3:根据模糊隶属度矩阵对观测对象和预测目标进行关联，以获取有效目标轨迹。
[0060] 基于最大隶属度准则，根据模糊隶属度矩阵对观测对象和预测目标进行关联，正 确关联上的一对预测目标与观测对象为有效目标轨迹。
[0061] S4:对未被关联的观测对象和未被关联的预测目标进行轨迹管理，以建立临时目 标轨迹并删除无效目标。
[0062] 复杂环境下，由于背景干扰、目标自身形变等多种因素的影响，可能出现虚假观测 对象，例如对同一个目标检测出多个观测对象，将多个目标或者目标与背景作为观测对象 等。未被关联的观测对象可能是新出现的目标，也可能是虚假观测对象，因此需要判断未被 关联的观测对象是否为虚假观测对象，不是虚假观测对象的未被关联的观测对象被判定为 新的目标，为其建立临时轨迹。
[0063] 当目标移动出摄像机的拍摄范围、被背景或者其他目标遮挡时，可能会出现未被 关联的预测目标。对未被关联的预测目标，采用预测值作为当前视频帧的目标状态，若该目 标连续多帧未被关联，则判断该目标无效并删除无效目标。
[0064] S5:对所有有效目标轨迹和临时目标轨迹进行滤波以得到当前视频帧的目标状态 的集合，并利用当前视频帧的目标状态的集合进行预测。
[0065] 当前视频帧的目标状态的集合中包括了当前视频帧中所有目标的状态。利用当前 视频帧的目标状态的集合进行预测的结果作为下一视频帧的预测目标的集合以供下一视 频帧目标跟踪使用。
[0066] 在本发明在线目标跟踪方法的一个实施例中，使用卡尔曼滤波器对有效目标轨迹 和临时目标轨迹进行滤波和预测。
[0067]按照上述步骤对摄像机输出的视频逐帧进行处理，以实现目标在线跟踪。
[0068]通过上述实施例的实施，构建模糊隶属度矩阵并根据其对观测对象和预测目标进 行关联，解决了当存在漏检或者出现新目标等情况下预测目标数目与观测对象数目不相等 时的复杂关联问题，对未被关联的观测对象和未被关联的预测目标进行轨迹管理，判断其 是否为新的目标，并为新目标建立临时目标轨迹，减少了错误的目标轨迹起始，实现高鲁棒 性的在线目标跟踪。
[0069]如图2所示，本发明在线目标跟踪方法第二实施例，是在本发明在线目标跟踪方法 第一实施例的基础上，进一步限定步骤S2和S3包括：
[0070] S21:以预测目标的集合为聚类中心，获取预测目标的集合中的每个预测目标与观 测对象的集合中的每个观测对象之间的第一隶属度。
[0071 ]预测目标的集合为0= {〇1，. . .，〇1}，观测对象的集合为Z= {Z1，. . .，zr}。以预测目 标的集合为聚类中心，构建第一目标函数：
(10)
[0073]其中m = 2，ulk为第一隶属度，即预测目标与观测对象之间的模糊隶属度，g(〇1，zk) 表示预测目标〇1与观测对象Zk间的特征距离。
[0074]在本发明在线目标跟踪方法的一个实施例中，基于空时线索，利用包括空间距离 特征、几何尺寸特征、颜色特征、梯度方向特征以及运动方向特征在内的空时多属性特征对 预测目标与观测对象间的距离进行度量，定义预测目标 〇1与观测对象Zk间的特征距离
[0075] g(Oi，Zk) = l-fl(Oi，Zk) Xf2(Oi，Zk) Xf3(Oi，Zk) Xf4(Oi，Zk) Xf5(Oi，Zk) (4)
[0076] 其中fi( ?)为空间距离特征相似性度量函数，f2( ?)为几何尺寸特征相似性度量 函数，f3( ?)为运动方向特征相似性度量函数，f4( ?)为颜色特征相似性度量函数，f5( ?) 为梯度方向特征相似性度量函数，其定义如下：
[0082] 其中，fi( ?)中的(Xci，y。)为目标〇i的中心坐标，（xz，yz)为观测对象zk的中心坐标， 卜I |2为二范数。f2( ?)中的h。为目标〇1的图像高度，#为空间距离方差常量，hz为观测对 象zk的图像高度，％ 2为几何尺寸方差常量。f3( ?)中的（x '。，y '。)为上一时刻目标〇i的中心 坐标，(V】,允)为上一时刻目标oi的速度在图像坐标轴上的投影，巧2为运动方向方差常量。
[0083] 对于f4( ?)颜色特征相似性度量函数，目标跟踪的对象是行人，一般情况下，行人 的着装可以分为两个相对独立的部分，行人上半部分的颜色特征与行人下半部分的颜色特 征相对独立。为此，对于行人类目标，将其拆分为上下两个部分子块，分别描述两个子块的 颜色特征，利用子块目标颜色直方图来计算预测目标和观测对象间的颜色特征相似度。
[0084] 目标图像由共计n个像素点构成，目标图像可以对应预测目标〇1或观测 对象zk，点^坐标为('，')，将目标图像拆分为上半部分子块TdP下半部分子块T2，上半部 分子块Ti为：$=['.' 下半部分子块T2为：其中，St为目标图像的分 割线。
[0085] 将目标图像的灰度离散为m级，上半部分子块1\的颜色直方图(a;) = {/八.,(a-,.)L...w， 其中： fdt6(.r. ) -w] .v, e 7"： 斤、
[0086] II. (a-,) = u = m " (6) !=1 Xl^ h
[0087] 式中，b(Xl)为Xl&像素的量化值，若Xl&像素的量化值b( Xl)对应于像素级u，则S [13(叉1)-11]取1，否则5[13(叉1)-11]取0。
[0088] 同理，下半部分子块!^的颜色直方图化(.v,.) = (a-, I,..，其中： 士 f ￡)[/>(-v,.)-?] X,^T\ "
[0089] /12 (.v,.) = V //;:(x,,//), it = ],??,in - . '； (7) u i^i [0 xi ^ T2
[0090] 为了计算预测目标〇1和观测对象&之间的颜色特征相似性，将预测目标〇1拆分成 上下两个子块并利用公式(6) (7)分别计算其上半部分子块的颜色直方图H!.(o;)和下半部 分子块的颜色直方图将观测对象zk拆分成上下两个子块并利用公式(6) (7)分别计 算其上半部分子块的颜色直方图H! (^ )和下半部分子块的颜色直方图>并利用各子 块的颜色直方图计算预测目标〇1和观测对象zk之间的颜色特征相似性度量函数：
[0091 ] fM-zk) =^ifi H1 ),H； (zA })> /XH； },H' (zt ))+^AXH；(a ),H；(zA. ))>/X H； (o； ),H2(zA.)) (lx2 x<0.5
[0092] 其中g( ?)为相似度系数函数卜 ，P( ?)表示求巴氏
[-2(.r-l)2+l -v >= 0.5 系数。
[0093] f5( ?)中的Hg( ?)表示分块梯度方向直方图特征，O丨为梯度方向方差常量。
[0094] 在本发明在线目标跟踪方法的其他实施例中，可以采用其他形式来利用空时多属 性特征定义预测目标Oi与观测对象Zk间的特征距离，例如g'（Oi，zk) =exp(-fi(〇i，zk) Xf2 (Oi，Zk) Xf3(Oi，Zk) Xf4(Oi，Zk) \€5(01，21〇)。当然，也可以使用更少或者更多特征相似性度 量函数来定义预测目标〇1与观测对象Zk间的特征距离。
[0095] 利用拉格朗日乘子法，可得第一隶属度：
⑴
[0097] S22:以观测对象的集合为聚类中心，获取观测对象的集合中的每个观测对象与预 测目标的集合中的每个预测目标之间的第二隶属度。
[0098]以观测对象的集合为聚类中心，构建第二目标函数： I r 0，r々 e Zy
[0099] ' !=":丨 (11) Ewiv=^ Vz' kH
[0100] 其中m=2，u'kl为第二隶属度，即观测对象与预测目标之间的模糊隶属度，g(〇1， z k)表示预测目标〇1与观测对象zk间的特征距离。
[0101] 利用拉格朗日乘子法，可得第二隶属度：
(2)
[0103] S23:利用第一隶属度和第二隶属度获取模糊隶属度矩阵。
[0104] 根据式（1)计算出的第一隶属度ulk和式(2)计算出的第二隶属度m'k，计算预测目 标 〇1与观测对象zk之间的综合隶属度
[0105] Sik = aXuik+(l-a) Xu'ki (3)
[0106] 其中，a为正常系数且ae[0，l]。利用综合隶属度Sik获取模糊隶属度矩阵S =
[Sik] lXr 〇
[0107] S24:查找模糊隶属度矩阵S中未被标记的所有元素中的最大值spq。
[0108] 基于最大隶属度准则对预测目标与观测对象进行关联。
[0109] S25:标记模糊隶属度矩阵S中的第p行所有元素以及第q列所有元素。
[0110] S26:判断预测目标〇P与观测对象zq的空间距离特征相似性度量函数fKc^Zq)是否 大于阈值常量0。
[0111]其中〇〈Kl，e越大，对预测目标〇P与观测对象Zq的空间距离特征相似性要求越高。 Sf Kop，zq) >0，则跳转到步骤S27;否则跳转到步骤S28。
[0112] S27:预测目标〇1)与观测对象Z(〇H确关联，为有效目标轨迹。
[0113] 接步骤 S28。
[0114] S28:判断模糊隶属度矩阵S中是否不存在未被标记的行或列。
[0115] 若模糊隶属度矩阵S中不存在未被标记的行或列，即模糊隶属度矩阵S中的所有行 或者所有列均已被标记，则结束流程;否则跳转到步骤S24。
[0116] 当出现新目标、目标由于被遮挡、离开监控范围等情况导致漏检时，预测目标的数 目与观测对象的数目可能不相等。
[0117] 如果只以预测目标的集合作为模糊聚类中心计算模糊隶属度，当视频帧中出现新 目标时，新目标对应的观测对象将作为野值存在，其对于所有预测目标的模糊隶属度均应 很小。但是在式（10)中约束条件的作用下，可能计算得出该观测对象对于几个预测目标有 较大的模糊隶属度，从而与真实情况不符。另外当预测目标数为1时，在式（10)中约束条件 的作用下，将会计算得出所有观测对象对于预测目标的隶属度均为1，与实际情况不符。
[0118] 如果以观测对象作为模糊聚类中心，当视频帧中的目标由于遮挡等因素被漏检 时，该目标对应的预测目标对于当前所有观测对象的模糊隶属度均应很小，但是在式（11) 中约束条件的作用下，可能计算得出该预测目标对于存在于该预测目标附近的几个观测对 象具有较大的模糊隶属度，从而与真实情况不符。另外当观测对象数为1时，在式（11)中约 束条件的作用下，将会计算得出所有预测目标对于观测对象的隶属度均为1，与实际情况不 符。
[0119] 通过上述实施例的实施，考虑了复杂环境下预测目标与观测对象之间关联的模糊 性，通过第一隶属度和第二隶属度计算综合隶属度，解决了当存在漏检或者新目标出现等 预测目标数目与观测对象数目不相等时的复杂关联问题，从而有利于解决存在高频率遮挡 以及大量虚假观测环境下的目标在线跟踪问题。
[0120] 本发明在线目标跟踪方法第三实施例，是在本发明在线目标跟踪方法第一实施例 的基础上，进一步限定步骤S4包括：
[0121] 对未被关联的观测对象，利用未被关联的观测对象与预测目标之间的遮挡度，获 取未被关联的观测对象的判别函数，根据判别函数判断是否为未被关联的观测对象建立临 时目标轨迹。进一步的，若临时目标轨迹连续、帧都被关联上，则将其转化为有效目标轨 迹，否则删除该临时目标轨迹，其中h为大于1的整数。
[0122] 对未被关联的预测目标，若未被关联的预测目标对应的目标连续h帧未被关联， 则判断目标无效并删除无效目标，其中h为大于1的整数。
[0123] 如图3所示，利用未被关联的观测对象与预测目标之间的遮挡度，获取未被关联的 观测对象的判别函数，根据判别函数判断是否为未被关联的观测对象建立临时目标轨迹包 括：
[0124] S41:获取未被关联的观测对象与预测目标之间的遮挡度。
[0125] 未被关联的观测对象的集合为Q ={Z1，. . .，Zm}，预测目标的集合为〇={01，...， 〇i}。获取未被关联的观测对象z E Q与预测目标〇 E0之间的遮挡度 (8)
[0127] 其中r(
?)表示求面积。0 < ? (z，o) < 1，当《 (z，o)>0时，观测对象z与预测目标〇 之间发生了遮挡。
[0128] S42:获取每个未被关联的观测对象的判别函数。
[0129] 观测对象ze Q的判别函数
[0130] (9)
[0其他
[0131] 其中y为常量参数，且0〈 y〈1。
[0132] 对每个未被关联的观测对象，若其判别函数为1，则跳转到步骤S43;若其判别函数 为〇,则跳转到步骤S44。
[0133] S43:为未被关联的观测对象建立临时目标轨迹。
[0134] 结束本次流程。
[0135] S44:不为未被关联的观测对象建立临时目标轨迹。
[0136] 结束本次流程。
[0137] 通过上述实施例的实施，对未被关联的观测对象与预测目标之间的遮挡度进行分 析，并根据遮挡度获取未被关联的观测对象的判别函数决定是否为未被关联的观测对象建 立临时目标轨迹，可以有效的防止将虚假观测对象作为新目标，提高目标跟踪的准确性。
[0138] 下表为使用本发明在线目标跟踪方法一实施例对公开测试视频序列PETS. S2L1进 行实验的结果，本实施例是本发明第一、第二与第三实施例的结合，并采用卡尔曼滤波器对 有效目标轨迹和临时目标轨迹进行滤波和预测。文献[1]算法为Berclaz等人提出的一种K 最短路径优化求解的多目标跟踪算法，见J Berclaz，F Fleuret，E Tiiretken，et al.Multiple Object Tracking Using K-Shortest Paths Optimization!!J] ? IEEE Transactions on Pattern Analysis and Machine Intelligence,Vol.33,No.9,2011: 1806-1819。文献[2]算法为提出的一种基于子轨迹置信度以及判别外观模型在线学习的多 目标在线跟踪算法，见S Bae,K Yoon .Robust Online Multi-object Tracking Based on Tracklet Confidence and Online Discriminative Appearance Learning[C].IEEE CVPR,2014:1218-1225。
[0140]表1
[0141]横坐标为对实验结果进行评估的评价指标，包括多目标跟踪精度(M0TPD、多目标 跟踪准确性(M0TAD、目标标签变化次数(IDS丨）、准确跟踪的目标比例(MTD、丢失的目标比 例(MU)、目标轨迹断开次数(FG丨），其中上升箭头丨表示该项数值越大则跟踪效果越好，下 降箭头丨表示该项数值越小则跟踪效果越好。
[0142] M0TP的定义为：
[0144] 其中，r( ?)表示求区域的面积义表示t时刻第i个目标的真实状态，<表示t时刻 跟踪算法输出的与第i个目标相对应的估计状态，％表示t时刻跟踪算法输出的状态与目标 真实状态相匹配的数量。
[0145] M0TA的定义为：
[0147] 其中，FPt表示t时刻跟踪算法输出的错误状态的数量，FNt表示t时刻跟踪算法输出 中所漏掉的真实目标的数量，IDSt表示t时刻目标标签发生变化的次数，yt表示t时刻目标的 数量。
[0148] MT定义为跟踪算法输出目标状态中与目标真实状态匹配率超过80%的目标轨迹 的数量。ML定义为跟踪算法输出目标状态中与目标真实状态匹配率低于20%的目标轨迹的 数量。FG定义为跟踪算法输出目标轨迹所断开的次数。
[0149] 测试视频序列PETS. S2L1包含多种跟踪困难因素，其中包括由于目标相互靠近所 导致的目标轨迹交叉以及目标间的高频率遮挡；目标在场景中心位置处停留时，该位置处 的街灯所造成的长时间完全遮挡；目标行进过程中突然停下、转身等运动状态以及目标姿 态的剧烈变化。
[0150] 从表1可以看出，本实施例的方法在多目标跟踪准确性(M0TA)这一性能指标上要 优于对比算法，其中文献[2]算法为在线跟踪算法、文献[5]算法为尚线跟踪算法。在目标标 签变化（IDS)这一项指标上，本文算法略差于文献[2]算法但明显好于文献[1]算法，说明了 本文提出的模糊数据关联方法的有效性。由于本实施例中采用卡尔曼滤波器，无法对非线 性运动的目标状态进行准确地估计与预测，因此，在目标轨迹断开次数(FG)以及多目标跟 踪精度(M0TP)这两项指标上要低于对比算法，尽管如此，本实施例方法的M0TA仍然优于对 比算法，这充分说明本实施例方法在保证准确数据关联的同时，有效减少了错误的目标轨 迹起始。
[0151] 如图4所示，本发明在线目标跟踪装置第一实施例包括：
[0152] 检测模块10,用于对当前视频帧进行目标检测，以得到观测对象.
[0153] 矩阵获取模块20,用于获取观测对象的集合与预测目标的集合之间的模糊隶属度 矩阵，其中预测目标的集合为至少利用前一视频帧的目标状态的集合进行预测而得到的预 测目标状态的集合。
[0154] 关联模块30,用于根据模糊隶属度矩阵对观测对象和预测目标进行关联，以获取 有效目标轨迹。
[0155] 轨迹管理模块40,用于对未被关联的观测对象和未被关联的预测目标进行轨迹管 理，以建立临时目标轨迹并删除无效目标。
[0156] 滤波预测模块50，用于对所有有效目标轨迹和临时目标轨迹进行滤波以得到当前 视频帧的目标状态的集合，并利用当前视频帧的目标状态的集合进行预测。
[0157] 本实施例的在线目标跟踪装置包括的各模块用于执行图1以及图1对应的本发明 在线目标跟踪方法第一实施例中的各步骤，具体内容请参阅图1以及图1对应的本发明在线 目标跟踪方法第一实施例，在此不再赘述。
[0158] 如图5所示，本发明在线目标跟踪装置第二实施例包括:处理器110和摄像机120。 摄像机120可以为本地摄像机，处理器110通过总线连接摄像机120;摄像机120也可以为远 程摄像机，处理器110通过局域网或互联网连接摄像机120。
[0159] 处理器110控制在线目标跟踪装置的操作，处理器110还可以称为CPU(Central Processing Unit，中央处理单元）。处理器110可能是一种集成电路芯片，具有信号的处理 能力。处理器110还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成 可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组 件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0160] 在线目标跟踪装置可以进一步包括存储器（图中未画出），存储器用于存储处理器 110工作所必需的指令及数据，也可以存储传输器120拍摄的视频数据。
[0161]处理器110用于对从摄像机120获取的当前视频帧进行目标检测，以得到观测对 象;获取观测对象的集合与预测目标的集合之间的模糊隶属度矩阵，其中预测目标的集合 为至少利用前一视频帧的目标状态的集合进行预测而得到的预测目标状态的集合;根据模 糊隶属度矩阵对观测对象和预测目标进行关联，以获取有效目标轨迹;对未被关联的观测 对象和未被关联的预测目标进行轨迹管理，以建立临时目标轨迹并删除无效目标;对所有 有效目标轨迹和临时目标轨迹进行滤波以得到当前视频帧的目标状态的集合，并利用当前 视频帧的目标状态的集合进行预测。
[0162]以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本 发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的 技术领域，均同理包括在本发明的专利保护范围内。
【主权项】
1. 一种在线目标跟踪方法，其特征在于，包括： 对当前视频帧进行目标检测，以得到观测对象； 获取所述观测对象的集合与预测目标的集合之间的模糊隶属度矩阵，其中所述预测目 标的集合为至少利用前一视频帧的目标状态的集合进行预测而得到的预测目标状态的集 合； 根据所述模糊隶属度矩阵对所述观测对象和所述预测目标进行关联，以获取有效目标 轨迹； 对未被关联的所述观测对象和未被关联的所述预测目标进行轨迹管理，以建立临时目 标轨迹并删除无效目标； 对所有所述有效目标轨迹和所述临时目标轨迹进行滤波以得到所述当前视频帧的目 标状态的集合，并利用所述当前视频帧的目标状态的集合进行预测。2. 根据权利要求1所述的方法，其特征在于， 所述获取所述观测对象的集合与预测目标的集合之间的模糊隶属度矩阵包括： 以所述预测目标的集合为聚类中心，获取所述预测目标的集合中的每个预测目标与所 述观测对象的集合中的每个观测对象之间的第一隶属度； 以所述观测对象的集合为聚类中心，获取所述观测对象的集合中的每个观测对象与所 述预测目标的集合中的每个预测目标之间的第二隶属度； 利用所述第一隶属度和所述第二隶属度获取所述模糊隶属度矩阵。3. 根据权利要求2所述的方法，其特征在于， 所述预测目标的集合为O= {〇1，...，〇ι}，所述观测对象的集合为Z= {Z1，...，zr}; 所述以所述预测目标的集合为聚类中心，获取所述预测目标的集合中的每个预测目标 与所述观测对象的集合中的每个观测对象之间的第一隶属度包括： 获取所述第一隶属度(1) 其中Hl= 2，g(〇1，Zk)表示预测目标O1与观测对象Zk间的特征距离； 所述以所述观测对象的集合为聚类中心，获取所述观测对象的集合中的每个观测对象 与所述预测目标的集合中的每个预测目标之间的第二隶属度包括： 获取所述第二隶属度(2) 其中Hl= 2，g(〇1，Zk)为预测目标O1与观测对象的特征距离； 所述利用所述第一隶属度和所述第二隶属度获取所述模糊隶属度矩阵包括： 利用所述第一隶属度和所述第二隶属度，获取所述观测对象的集合中的每个观测对象 与所述预测目标的集合中的每个预测目标之间的综合隶属度Slk Sik一 Q X Uik+ ( I-Q ) X U ki ( 3 ) 其中，α为正常系数且ae [〇，1]; 利用所述综合隶属度Sik获取所述模糊隶属度矩阵S= [Sik]lXr。4. 根据权利要求3所述的方法，其特征在于， 所述预测目标O1与观测对象Zk间的特征距离 g(〇i,Zk) = l-fl(〇i,Zk) Xf2(〇i,Zk) Xf3(〇i,Zk) Xf4(〇i,Zk) Xf5(〇i,Zk) (4) 其中fK ·)为空间距离特征相似性度量函数，f2( ·)为几何尺寸特征相似性度量函数， f3( ·)为运动方向特征相似性度量函数，f4( ·)为颜色特征相似性度量函数，f5( ·)为梯度 方向特征相似性度量函数，其定义如下：其中，（x〇，y。)为目标〇i的中心坐标，（Xz，yz)为观测对象Zk的中心坐标，h。为目标〇i的图 像高度，erf为空间距离方差常量，hz为观测对象Zk的图像高度，of为几何尺寸方差常量， (。。"'。伪上一时刻目标叫的中心坐标^:伪上一时刻目标叫的速度在图像坐标轴上 的投影，σ 32为运动方向方差常量，g( ·)为相似度系数函数，p( ·)表示求巴氏系数，H^)表 示上半部分子块的颜色直方图，Η,Υ)表示下半部分子块的颜色直方图，Hg( ·)表示分块梯 度方向直方图特征，of为梯度方向方差常量。5. 根据权利要求4所述的方法，其特征在于， 目标图像由共计η个像素点构成，所述目标图像可以对应所述预测目标〇1或 所述观测对象zk，Ax1坐标为(_'，气），将所述目标图像拆分为上半部分子块!^和下半部分 子块T2，所述上半部分子块T1*其中St为所述目标图像的分割线，将所述目标图像的灰度离散为m级； 所述上半部分子块的颜色直方图"^,.) = ^,^.；^,...，其中，Mx1)为^处像素的量化值，若^处像素的量化值b(Xl)对应于像素级u，则S[b (Xi)-U]取1，否则 5[b(Xi)-u]取0; 所述下半部分子块T2的颜色直方图<(')={仏,;(_1-;)} ;,=|.. ω，其中：将所述预测目标〇1拆分成上下两个子块并利用公式(6) (7)分别计算其上半部分子块的 颜色直方图戌(oy>和下半部分子块的颜色直方图氏2以\将所述观测对象別拆分成上下两 个子块并利用公式(6)(7)分别计算其上半部分子块的颜色直方图HlQ iJ和下半部分子块 的颜色直方图以(2/.)，并利用各子块的颜色直方图计算预测目标 〇1和观测对象Zk之间的颜 色特征相似性度量函数：其中g( ·)为相似度系数函数，）表示求巴氏系数。6. 根据权利要求2所述的方法，其特征在于，所述根据所述模糊隶属度矩阵对所述观测对象和所述预测目标进行关联，以获取有效 目标轨迹包括： 查找所述模糊隶属度矩阵S中未被标记的所有元素中的最大值sPq; 标记所述模糊隶属度矩阵S中的第p行所有元素以及第q列所有元素； 判断预测目标〇P与观测对象Zq的空间距离特征相似性度量函数A(OhZq)是否大于阈值 常量β; 若(〇P，Zq) >β，则判断所述预测目标〇Ρ与观测对象Ζ(〇Η确关联，为有效目标轨迹； 循环执行上述步骤直至所述模糊隶属度矩阵S中的所有行或所有列均被标记。7. 根据权利要求1所述的方法，其特征在于， 所述对未被关联的所述观测对象和未被关联的所述预测目标进行轨迹管理，以建立临 时目标轨迹、删除无效目标包括： 对未被关联的所述观测对象，利用所述未被关联的观测对象与所述预测目标之间的遮 挡度，获取所述未被关联的观测对象的判别函数，根据所述判别函数判断是否为所述未被 关联的观测对象建立临时目标轨迹，对未被关联的所述预测目标，若所述未被关联的预测 目标对应的目标连续A 1帧未被关联，则判断所述目标无效并删除所述无效目标，A1为大于1 的整数。8. 根据权利要求7所述的方法，其特征在于， 所述未被关联的观测对象的集合为Ω = {Z1，. . .，Zm}，所述预测目标的集合为O = {〇l, . . . ,Ol}; 所述利用所述未被关联的观测对象与所述预测目标之间的遮挡度，获取所述未被关联 的观测对象的判别函数包括： 获取所述未被关联的观测对象与预测目标oeo之间的遮挡度其甲八·；衣不求囬积；获取每个所述未被关联的观测对象Ze Ω的判别函数 (8) (9) 其中γ为常量参数，且〇〈 γ〈1; 所述根据所述判别函数判断是否为所述未被关联的观测对象建立临时目标轨迹包括： 对每个未被关联的观测对象，若其判别函数为1，则为所述未被关联的观测对象建立所 述临时目标轨迹，若其判别函数为〇则不建立。9. 根据权利要求1-8中任一项所述的方法，其特征在于， 所述对所有所述有效目标轨迹和所述临时目标轨迹进行滤波以得到所述当前视频帧 的目标状态的集合，并利用所述当前视频帧的目标状态的集合进行预测包括： 使用卡尔曼滤波器对所述有效目标轨迹和所述临时目标轨迹进行滤波和预测。10. 根据权利要求1-8中任一项所述的方法，其特征在于， 所述对当前视频帧进行目标检测包括： 使用混合高斯背景模型对当前视频帧进行目标检测。11. 一种在线目标跟踪装置，其特征在于，包括： 检测模块，用于对当前视频帧进行目标检测，以得到观测对象； 矩阵获取模块，用于获取所述观测对象的集合与预测目标的集合之间的模糊隶属度矩 阵，其中所述预测目标的集合为至少利用前一视频帧的目标状态的集合进行预测而得到的 预测目标状态的集合； 关联模块，用于根据所述模糊隶属度矩阵对所述观测对象和所述预测目标进行关联， 以获取有效目标轨迹； 轨迹管理模块，用于对未被关联的所述观测对象和未被关联的所述预测目标进行轨迹 管理，以建立临时目标轨迹并删除无效目标； 滤波预测模块，用于对所有所述有效目标轨迹和所述临时目标轨迹进行滤波以得到所 述当前视频帧的目标状态的集合，并利用所述当前视频帧的目标状态的集合进行预测。
【文档编号】G06T7/20GK105894542SQ201610269208
【公开日】2016年8月24日
【申请日】2016年4月26日
【发明人】李良群, 李俊, 原泽峰, 谢维信, 刘宗香
【申请人】深圳大学