基于改进TLD的多目标追踪方法与流程

技术特征：

1.一种基于改进TLD的多目标追踪方法，通过多目标追踪系统完成，所述多目标追踪系统包括追踪管理模块、目标检测模块和目标追踪模块，追踪管理模块包括追踪建立功能、追踪整合功能、追踪更新功能和追踪删除功能，目标检测模块采用由多个相互独立的卡尔曼滤波器合并而成的独立多目标卡尔曼滤波器，目标追踪模块采用多目标Median-Flow追踪器；其特征在于：所述多目标追踪方法包括以下步骤：

(1)每当用户指定一个新目标，追踪管理模块即调用追踪建立功能，产生扫描窗集合；

(2)目标检测模块初始化独立多目标卡尔曼滤波器，采用三维向量作为状态描述，获得第一帧图像；

(3)从第二帧图像开始，按照下述方法处理：

(3.1)追踪管理模块调用独立多目标卡尔曼滤波器对当前帧所有目标进行检测，首先依照步骤(1)产生的扫描窗集合建立扫描列表，表中每个元素代表对图像某区域的一次扫描，扫描元素包含：扫描包围框、均值特征、方差特征、图元差的方差；其中，均值特征与方差特征由扫描包围框切割出的图像元直接计算，图元差的方差通过以下方式得到：将扫描区域缩小到8×8尺寸，与特征列表中的标准图元作绝对减，计算绝对差的方差，即图元差的方差，其次计算所有扫描元素与相应特征元素的图元均值、图元方差的差，如果差的绝对值都小于某阈值，图元差的方差小于某阈值，保留该扫描元素；所有保留的扫描元素的包围框作为独立多目标卡尔曼滤波器的输出结果；

(3.2)追踪管理模块调用多目标Median-Flow追踪器对上一帧所有目标进行追踪，首先在上一帧所有目标的包围框内产生均匀的点集，再利用LK光流算法从前一帧图像追踪到当前帧，再从当前帧图像追踪到前一帧，并计算所有点的FB误差，排除掉每个目标的FB误差最大的一半追踪点，最后预测每个目标在当前帧的追踪包围框，根据剩余的追踪点相互间距离的变化决定每个包围框尺寸的缩放比例，根据追踪点的平均位移决定每个包围框的位移；

(3.3)追踪管理模块调用追踪整合功能，整合独立多目标卡尔曼滤波器与多目标Median-Flow追踪器的结果，如果独立多目标卡尔曼滤波器与多目标Median-Flow追踪器都有输出结果，在检测包围框中寻找图元差的方差最小的框作为最佳检测包围框，计算最佳检测包围框与追踪包围框的均值，作为算法的最终输出包围框；如果多目标Median-Flow追踪器没有输出结果而独立多目标卡尔曼滤波器有输出结果，在检测包围框中寻找图元差的方差最小的框作为算法的最终输出包围框；如果多目标Median-Flow追踪器有输出结果而独立多目标卡尔曼滤波器没有输出结果，将追踪包围框作为算法的最终输出包围框；如果多目标Median-Flow追踪器与独立多目标卡尔曼滤波器都没有输出结果，则认为目标在当前帧消失，向用户输出提示消息；

(3.4)追踪管理模块调用追踪更新功能，更新独立多目标卡尔曼滤波器，对每个卡尔曼滤波器，如果当前帧检测到相应的目标，则利用其中图元差的方差最小的框更新该滤波器的参数；

(4)每当用户删除一个目标，追踪管理模块即调用追踪删除功能，删除相应的追踪过程，包括：在画面中删去表示被删除目标的包围框；删除扫描窗集合中该目标所对应的所有扫描窗；从独立多目标卡尔曼滤波器的特征列表中删除该目标所对应的所有特征元素。

2.根据权利要求1所述的基于改进TLD的多目标追踪方法，其特征在于：所述步骤(3.1)中，对于m个目标的独立多目标卡尔曼滤波器迭代过程的向量表达式为：

时间更新：

${\stackrel{\→}{x}}_k^{-}={\stackrel{\→}{x}}_{k-1}$

${\stackrel{\→}{P}}_k^{-}={\stackrel{\→}{p}}_{k-1}+\stackrel{\→}{q}$

其中，

${\stackrel{\→}{x}}_k^{-}=\left(\begin{array}{c}{\hat{x}}_k^{\left(1\right)-}\\ {\hat{x}}_k^{\left(2\right)-}\\ .\\ .\\ .\\ {\hat{x}}_k^{\left(m\right)-}\end{array}\right),{\stackrel{\→}{x}}_k=\left(\begin{array}{c}{\hat{x}}_k^{\left(1\right)}\\ {\hat{x}}_k^{\left(2\right)}\\ .\\ .\\ .\\ {\hat{x}}_k^{\left(m\right)}\end{array}\right),{\stackrel{\→}{p}}_k^{-}=\left(\begin{array}{c}{\hat{p}}_k^{\left(1\right)-}\\ {\hat{p}}_k^{\left(2\right)-}\\ .\\ .\\ .\\ {\hat{p}}_k^{\left(m\right)-}\end{array}\right),$

${\stackrel{\→}{p}}_k=\left(\begin{array}{c}{\hat{p}}_k^{\left(1\right)}\\ {\hat{p}}_k^{\left(2\right)}\\ .\\ .\\ .\\ {\hat{p}}_k^{\left(m\right)}\end{array}\right),\stackrel{\→}{q}=\left(\begin{array}{c}{Q}^{\left(1\right)}\\ Q^{\left(2\right)}\\ .\\ .\\ .\\ Q^{\left(m\right)}\end{array}\right);$

观测更新：

${\stackrel{\→}{k}}_k=\frac{{\stackrel{\→}{p}}_k^{-}}{{\stackrel{\→}{p}}_k^{-}+\stackrel{\→}{r}}$

${\stackrel{\→}{x}}_k={\stackrel{\→}{x}}_k^{-}+{\stackrel{\→}{k}}_k({\stackrel{\→}{z}}_k-{\stackrel{\→}{x}}_k^{-})$

${\stackrel{\→}{p}}_k=(\stackrel{\→}{i}-{\stackrel{\→}{k}}_k)-{\stackrel{\→}{p}}_k^{-}$

其中，

${\stackrel{\→}{k}}_k=\left(\begin{array}{c}{K}_k^{\left(1\right)}\\ K_k^{\left(2\right)}\\ .\\ .\\ .\\ K_k^{\left(m\right)}\end{array}\right),\stackrel{\→}{r}=\left(\begin{array}{c}{R}^{\left(1\right)}\\ R^{\left(2\right)}\\ .\\ .\\ .\\ R^{\left(m\right)}\end{array}\right),\stackrel{\→}{z}=\left(\begin{array}{c}{z}^{\left(1\right)}\\ z^{\left(2\right)}\\ .\\ .\\ .\\ z^{\left(m\right)}\end{array}\right),$

$\stackrel{\→}{i}=\left(\begin{array}{c}e\\ e\\ .\\ .\\ .\\ e\end{array}\right),e=\left(\begin{array}{c}1\\ 1\\ .\\ .\\ .\\ 1\end{array}\right);$

其中是先验状态估计向量，是后验状态估计向量，是先验估计误差的协方差，P_k是后验估计误差的协方差，Q是过程噪声w_k的协方差，R是测量噪声v_k的协方差，z_k是测量值，K_k的作用是使P_k达到最小，在Q与R恒定时，P_k与K_k很快会稳定到恒定值。

3.根据权利要求1所述的基于改进TLD的多目标追踪方法，其特征在于：所述步骤(3.2)中，多目标Median-Flow追踪器的FB误差的计算方法如下：从时间t的初始位置x_t开始追踪产生时间t+k的位置x_t+k，再从位置x_t+k按时间反序追踪产生时间t的预测位置x′_t，初始位置x_t和预测位置x′_t之间的欧氏距离就作为追踪器在时间t的FB误差ε_t，即：

${\mathrm{\ϵ}}_t=\left|\right|x_t-\stackrel{\‾}{{\mathrm{\γ}}_t}\left({\mathrm{\γ}}_{t+k}\right(x_t\left)\right)\left|\right|$

其中，γ_t+k(x_t)代表从时刻t的位置x_t跟踪到时刻t+k所在的位置，代表γ的逆向追踪；

筛选追踪点的过程如下：

设追踪点集：

$\mathrm{\ζ}=\underset{i=1}{\overset{m}{\∪}}{\mathrm{\η}}_i$

其中，η_i表示在第i个目标内部追踪点构成的集合，η_i的定义如下：先找到第i个目标的最小包围矩形，沿矩形的宽度方向均匀产生N_w个坐标，沿高度方向均匀产生N_h个坐标，其中N_w与N_h是用户指定的正整数，在每个坐标上生成一个追踪点，于是这N_w×N_h个追踪点构成η_i。