一种暗背景下的单目标跟踪方法与流程
本发明属于图像处理、计算机视觉领域，具体涉及一种暗背景下的单目标跟踪方法。
背景技术：
目标跟踪技术是计算机视觉领域的核心课题之一，具有十分重要的意义和广泛的实用价值。到目前为止，出现了大量优秀的跟踪算法，包括经典的均值漂移算法(meanshift),序贯归一化互相关算法(normalizedcrosscorrelation,ncc),struck算法(structuredoutputtrackingwithkernels)，以及一系列相关滤波(kernelcorrelationfilter,kcf)算法。但是，每种算法各有利弊，很难做到对于各种场景均适用的跟踪算法，必须根据实际场景的特点，采用多种目标特征和策略组合对目标进行跟踪。在诸如深空暗背景单目标跟踪情况下，除关注的被跟踪目标以外，还可能伴随着大量的干扰物，干扰物频繁出现在观测相机的视场中，甚至直接遮挡目标；另外，在深空暗背景下，经过太阳光照射的目标表现为高反差，目标姿态细微改变，导致目标成像形态和尺度明显变化，均给稳定的目标跟踪带来了极大的挑战。
技术实现要素：
本发明的目的是：针对暗背景这一特殊跟踪场景，提供一种匹配速度快、匹配精度高、而且处理器计算量小的单目标匹配跟踪方法。
本发明的技术方案是：一种暗背景下的单目标跟踪方法，基于一个由观测相机、时序控制单元和跟踪数据处理单元组成的硬件系统平台(见图1)，其中一种暗背景下的单目标跟踪方法部署于跟踪数据处理单元的数字信号处理(dsp)芯片中。
一种暗背景下的单目标跟踪方法，包含建立三个基本模型组件——运动模型、表观模型和目标与干扰物重叠检测模型。具体步骤如下：
1.1建立目标运动模型
采用最近邻滤波法对目标轨迹进行匹配。将目标运动考虑为匀速运动，目标运动状态转移方程可描述为：
xk+1＝φxk+uk(1)
其中，运动状态：
测量方程为：
yk＝hxk+nk(2)
其中，nk为测量噪声，其期望为0，协方差矩阵为
1.2建立目标表观模型
1.2.1目标简单形态特征模型
(a)目标面积——属于目标连通域ωtar的像素数目：
atar＝#{(i,j)∈ωtar}(3)
(b)目标亮度——目标区域灰度{i(i,j)|(i,j)∈ωtar}均值减去背景均值mbg：
(c)目标形状——目标近似为椭圆，其短轴ls与长轴ll之比：
star＝ls/ll(5)
目标简单形态特征参考值为atar、etar、star，另一运动的疑似目标简单形态特征为aobj、eobj、sobj,定义简单形态特征偏差量：
δt＝wa·δa+we·δe+ws·δs(6)
其中，wa、we和ws分别为面积、亮度和形状偏差权重；面积偏差
当δt<tδ,目标简单形态特征匹配成功；否则，简单形态特征匹配失败。其中，tδ＝0.2为一阈值，简单形态特征匹配失败存在两种可能：要么是目标形态和尺度明显变化；要么是干扰物与目标在像面上发生重叠。
1.2.2目标模板特征模型
将目标区域归一化的灰度直方图分布表征目标模板{qu}。采用改进的均值漂移算法(meanshift)进行模板匹配，只截取背景均值mbg以上的灰度直方图表征目标模板，这样能够有效减少背景在特征模板中比重，同时增加匹配曲面的梯度，加快模板特征匹配收敛速度，一般经过迭代3次足以达到跟踪需要的精度。
1.3建立目标与干扰物重叠检测模型
在跟踪状态z0(简单形态特征匹配跟踪)下，首次目标简单形态特征匹配失败之后，此时目标特征(简单形态特征和模板特征)不再更新，输出预测的目标位置，启动目标与干扰物重叠检测模型。当同时满足以下两个条件，将当前图像帧判断为目标与干扰物重叠状态。针对第k帧图像，
(a)与预测坐标最近的疑似目标面积aobj明显大于目标面积参考值atar，即：
aobj>α1·atar(7)
其中，α1>1为一常数。
(b)目标周围一定范围内背景以上像素点数目，在一定时间内平滑的变化，即：
cpk<α2·max{cpk-1,cpk-2,…,cpk-n}(8)
其中，α2>1为一常数，监测数据帧数为n，cpk为第k帧图像跟踪窗口内背景以上像素点数目。
在本发明中，根据跟踪场景的特点，设置常数α1＝α2＝1.2，n＝100。
2、在三个基本模型组件的基础之上，建立目标跟踪状态转移模型，具体包括如下步骤：
将跟踪状态(z)进行基本划分包括：z0：简单形态特征匹配跟踪；z1：干扰物与目标重叠；z2：目标形态变化。不同的跟踪状态下，采用不同的跟踪策略。
2.1如果前一帧跟踪状态为(z0)，采用如下步骤(见图2)：
步骤s11:采用最近邻滤波方法进行目标的轨迹匹配；
步骤s12:对最近邻的运动物体采用简单形态特征匹配；
步骤s13:如果简单形态特征匹配成功，更新目标参考特征，输出目标的坐标，当前帧跟踪结束；
步骤s14:如果简单形态特征匹配失败，目标参考特征保持，采用目标与干扰物重叠检测模型判断是否出现目标与干扰物重叠的情况；
步骤s15:如果出现目标与干扰物重叠的情况，输出预测的目标位置，置当前帧跟踪状态为z1；否则，将模板匹配的中心作为目标坐标进行输出，置当前帧跟踪状态为z2，结束当前帧跟踪。
2.2如果前一帧跟踪状态为z1，采用如下步骤(见图3)：
步骤s21:采用最近邻滤波方法进行目标的轨迹匹配；
步骤s22:对最近邻的物体采用简单形态特征匹配；
步骤s23:如果简单形态特征匹配成功，并记录连续形态特征匹配成功次数nc和坐标，如果大于匹配次数阈值nt，则输出当前坐标，置跟踪状态为z0；否则，按预测坐标输出目标坐标，跟踪状态保持z1；
步骤s24:如果简单形态特征匹配失败，检测是否超时，如果超时，重新完成目标捕获，转入目标特征参数初始化，置跟踪状态为z0；否则，按预测坐标输出目标坐标，跟踪状态保持z1。
2.3如果前一帧跟踪状态为z2，采用如下步骤(见图4)：
步骤s31:采用最近邻滤波方法进行目标的轨迹匹配；
步骤s32:对最近邻的物体采用简单形态特征匹配；
步骤s33:如果简单形态特征匹配成功，并记录连续形态特征匹配成功次数nc和坐标，如果大于匹配次数阈值nt，则输出当前坐标，置跟踪状态为z0；否则，输出模板匹配坐标，状态保持z2；
步骤s34:如果简单形态特征匹配失败，检测是否超时，如果超时，转入目标特征参数初始化，置跟踪状态为z0；否则，输出模板匹配坐标，跟踪状态保持z2。
在本发明中，根据跟踪场景的特点，设置匹配次数阈值nt＝50。
本发明与现有技术相比的优点是：
该方法仅使用目标多种简单特征进行匹配跟踪，加快了匹配的速度，提高了跟踪的准确性，更适合dsp处理器计算体系，减小了dsp处理器的计算量，提高了跟踪过程的速度。
附图说明
图1为本发明的一种暗背景下的单目标跟踪方法所涉及的硬件系统平台；
图2为本发明的一种暗背景下的单目标跟踪方法所涉及的前一帧跟踪状态为z0：简单形态特征匹配跟踪，当前图像帧采用的算法步骤；
图3为本发明的一种暗背景下的单目标跟踪方法所涉及的前一帧跟踪状态为z1：干扰物与目标重叠，当前图像帧采用的算法步骤；
图4为本发明的一种暗背景下的单目标跟踪方法所涉及的前一帧跟踪状态为z2：目标形态变化，当前图像帧采用的算法步骤；
图5为本发明的一种暗背景下的单目标跟踪方法所涉及的实施例一(目标与干扰物重叠)的图像跟踪结果，其中，图5(a)干扰物进入视场，此时跟踪状态为简单形态特征匹配跟踪(z0)；图5(b)干扰物进入跟踪窗口，此时跟踪状态依然为简单形态特征匹配跟踪(z0)；图5(c)目标与干扰物重叠，通过目标与干扰物重叠检测模型确定目标与干扰物重叠，输出预测的目标位置，置跟踪状态为目标与干扰物重叠(z1)；图5(d)目标与干扰物重叠，此时保持目标与干扰物重叠的跟踪状态(z1)；图5(e)目标与干扰物已分离，但是未达到匹配次数阈值nt，此时保持目标与干扰物重叠的跟踪状态(z1)；图5(f)干扰物逐渐离开视场，匹配次数超过阈值nt，转入简单形态特征匹配跟踪状态(z0)。
图6为本发明的一种暗背景下的单目标跟踪方法所涉及的实施例二(目标形态变化)的图像跟踪结果(用黑色“+”标记目标坐标)，其中，图6(a)目标已经进入视场，此时跟踪状态为简单形态特征匹配跟踪(z0)；图6(b)由于目标姿态变化，其l形部分被逐渐照亮，简单形态特征匹配失败，通过目标与干扰物重叠检测模型确定目标形态改变，输出目标模板匹配位置，置跟踪状态为目标形态变化(z2)；图6(c)、图6(d)目标l形部分完全被照亮，简单形态特征匹配持续失败，此时保持跟踪状态目标形态变化(z2)；图6(e)目标恢复原来形态，但是未达到匹配次数阈值nt，此时保持跟踪状态目标形态变化(z2)；图6(f)目标逐渐离开视场，匹配次数超过阈值nt，转入简单形态特征匹配跟踪状态(z0)。
具体实施方式
下面对本发明的更多细节进行说明。
一种暗背景下的单目标跟踪方法，基于一个由观测相机(基本参数：可见光波段，视场：20°×20°，帧频50hz，靶面大小：488×488，位深：12bits)、时序控制单元和跟踪数据处理单元组成的硬件系统平台，该跟踪方法部署于跟踪数据处理单元的数字信号处理芯片(dsp：tms320c6455，配置主频：800m)中。为了增加跟踪方法验证的灵活性，使用图像序列注入仿真设备模拟观测相机。在具体实施中，先将计算机生成可见光图像序列保存在可见光图像序列注入仿真设备内，再按照观测相机时序通过cameralink线向时序控制单元输入图像序列。
一种暗背景下的单目标跟踪方法，包含建立三个基本模型组件——运动模型、表观模型和目标与干扰物重叠检测模型。具体步骤如下：
1.1建立目标运动模型
采用最近邻滤波法对目标轨迹进行匹配。将目标运动考虑为匀速运动，目标运动状态转移方程可描述为：
xk+1＝фxk+uk(1)
其中，运动状态：
测量方程为：
yk＝hxk+nk(2)
其中，nk为测量噪声，其期望为0，协方差矩阵为
1.2建立目标表观模型
1.2.1目标简单形态特征模型
(a)目标面积——属于目标连通域ωtar的像素数目：
atar＝#{(i,j)∈ωtar}(3)
(b)目标亮度——目标区域灰度{i(i,j)|(i,j)∈ωtar}均值减去背景均值mbg：
(c)目标形状——目标近似为椭圆，其短轴ls与长轴ll之比
star＝ls/ll(5)
目标简单形态特征参考值为atar、etar、star，另一运动的疑似目标简单形态特征为aobj、eobj、sobj,定义简单形态特征偏差量：
δt＝wa·δa+we·δe+ws·δs(6)
其中，面积偏差
当δt<tδ,目标简单形态特征匹配成功；否则，简单形态特征匹配失败。其中，tδ＝0.2为一阈值，简单形态特征匹配失败存在两种可能：要么是目标形态和尺度明显变化；要么是干扰物与目标在像面上发生重叠。
1.2.2目标模板特征模型
将目标区域归一化的灰度直方图分布表征目标模板{qu}。采用改进的均值漂移算法(meanshift)进行模板匹配，只截取背景均值mbg以上的灰度直方图表征目标模板，这样能够有效减少背景在特征模板中比重，同时增加匹配曲面的梯度，加快模板特征匹配收敛速度，一般经过迭代3次足以达到跟踪需要的精度。为提高算法效率，设置模板大小峰值为33×33pixels,一旦目标尺寸超过此限制，对目标区域进行采样操作，直到满足模板大小限制要求，同时将12bits图像压缩为了5bits图像。另外，本模型涉及算法需进行大量的浮点运算，而tms320c6455是一款定点dsp运算处理器，在本发明实施例中均采用ti公司提供的iq_math函数库，将浮点运算转化为定点运算。
1.3建立目标与干扰物重叠检测模型
在跟踪状态z0(简单形态特征匹配跟踪)下，首次目标简单形态特征匹配失败之后，此时目标特征(简单形态特征和模板特征)不再更新，输出预测的目标位置，启动目标与干扰物重叠检测模型。当同时满足以下两个条件，将当前图像帧判断为目标与干扰物重叠状态。以第k帧图像为例，
(a)与预测坐标最近的疑似目标面积aobj明显大于目标面积参考值atar，即：
aobj>α1·atar(7)
其中，α1>1为一常数。
(b)目标周围一定范围内背景以上像素点数目，在一定时间内平滑的变化，即：
cpk<α2·max{cpk-1,cpk-2,…,cpk-n}(8)
其中，α2>1为一常数，监测数据帧数为n，cpk为第k帧图像跟踪窗口内背景以上像素点数目。
在本发明中，根据跟踪场景的特点，设置常数α1＝α2＝1.2，n＝100。
2、在三个基本模型组件的基础之上，建立目标跟踪状态转移模型，具体包括如下步骤：
将跟踪状态(z)进行基本划分包括：z0：简单形态特征匹配跟踪；z1：干扰物与目标重叠；z2：目标形态变化。不同的跟踪状态下，采用不同的跟踪策略。
2.1如果前一帧跟踪状态为(z0)，采用如下步骤(见图2)：
步骤s11:采用最近邻滤波方法进行目标的轨迹匹配；
步骤s12:对最近邻的运动物体采用简单形态特征匹配；
步骤s13:如果简单形态特征匹配成功，更新目标参考特征，输出目标的坐标，当前帧跟踪结束；
步骤s14:如果简单形态特征匹配失败，目标参考特征保持，采用目标与干扰物重叠检测模型判断是否出现目标与干扰物重叠的情况；
步骤s15:如果出现目标与干扰物重叠的情况，输出预测的目标位置，置当前帧跟踪状态为z1；否则，将模板匹配的中心作为目标坐标进行输出，置当前帧跟踪状态为z2，结束当前帧跟踪。
2.2如果前一帧跟踪状态为z1，采用如下步骤(见图3)：
步骤s21:采用最近邻滤波方法进行目标的轨迹匹配；
步骤s22:对最近邻的物体采用简单形态特征匹配；
步骤s23:如果简单形态特征匹配成功，并记录连续形态特征匹配成功次数nc和坐标，如果大于匹配次数阈值nt，则输出当前坐标，置跟踪状态为z0；否则，按预测坐标输出目标坐标，跟踪状态保持z1；
步骤s24:如果简单形态特征匹配失败，检测是否超时，如果超时，重新完成目标捕获(在面向应用时需权衡重新捕获的必要性)，转入目标特征参数初始化，置跟踪状态为z0；否则，按预测坐标输出目标坐标，跟踪状态保持z1。
2.3如果前一帧跟踪状态为z2，采用如下步骤(见图4)：
步骤s31:采用最近邻滤波方法进行目标的轨迹匹配；
步骤s32:对最近邻的物体采用简单形态特征匹配；
步骤s33:如果简单形态特征匹配成功，并记录连续形态特征匹配成功次数nc和坐标，如果大于匹配次数阈值nt，则输出当前坐标，置跟踪状态为z0；否则，输出模板匹配坐标，状态保持z2；
步骤s34:如果简单形态特征匹配失败，检测是否超时，如果超时，转入目标特征参数初始化，置跟踪状态为z0；否则，输出模板匹配坐标，跟踪状态保持z2。
在本发明中，根据跟踪场景的特点，设置匹配次数阈值nt＝50(与图像帧频和目标特性相关)。
实施例：
具体实施过程的范例见“具体实施方式”这一节。为验证算法可行性，首先，通过数值仿真生成可见光图像序列；然后，将可见光图像序列保存在图像序列注入仿真设备内；最后，图像序列注入仿真设备模拟观测相机工作，将图像序列按50hz帧频通过cameralink线向时序控制单元输入图像序列，由时序控制单元分发给跟踪数据处理单元。
第一个实施例中(见图5)，仿真了一闭环跟踪状态下的目标图像序列。首先，在图像序列中指定被跟踪的目标；然后，让一干扰物穿过目标，以验证目标与干扰物重叠时，本发明的方法能对目标进行稳定的跟踪。在本实施例中，跟踪经过了以下几个阶段：
(a)干扰物进入视场，此时跟踪状态为简单形态特征匹配跟踪(z0)(见图5(a))；
(b)干扰物进入跟踪窗口，此时跟踪状态依然为简单形态特征匹配跟踪(z0)(见图5(b))；
(c)目标与干扰物重叠，通过目标与干扰物重叠检测模型确定目标与干扰物重叠，输出预测的目标位置，置跟踪状态为目标与干扰物重叠(z1)(见图5(c))；
(d)目标与干扰物重叠，此时保持目标与干扰物重叠的跟踪状态(z1)(见图5(d))；
(e)目标与干扰物已分离，但是未达到匹配次数阈值nt，此时保持目标与干扰物重叠的跟踪状态(z1)(见图5(e))；
(f)干扰物逐渐离开视场，匹配次数超过阈值nt，转入简单形态特征匹配跟踪状态(z0)(见图5(f))。
第二个实施例中(见图6)，仿真了一开环跟踪状态下的目标图像序列，让一个l形的被跟踪目标快速穿过视场。由于光照角度变化，该物体初始时刻形态为一圆斑；在跟踪过程中整个目标被照亮，呈现l形；最后又变成一圆斑。整个过程目标形态发生剧烈变化。在跟踪过程中，目标跟踪点(特别用黑色“+”标记)保持在目标初始模板最相似区域的附近，实现了稳定的跟踪。在本实施例中，跟踪经过了以下几个阶段：
(a)目标已经进入视场，目标为一圆斑，此时跟踪状态为简单形态特征匹配跟踪(z0)(见图6(a))；
(b)由于目标姿态变化，其l形部分被逐渐照亮，简单形态特征匹配失败，通过目标与干扰物重叠检测模型确定目标形态改变，输出目标模板匹配位置，置跟踪状态为目标形态变化(z2)(见图6(b))；
(c)目标l形部分完全被照亮，简单形态特征匹配持续失败，此时保持跟踪状态目标形态变化(z2)(见图6(c)、图6(d))；
(d)目标恢复原来形态，但是未达到匹配次数阈值nt，此时保持跟踪状态目标形态变化(z2)(见图6(e))；
(e)目标逐渐离开视场，匹配次数超过阈值nt，转入简单形态特征匹配跟踪状态(见图6(f))；
以上两个用例验证了方法的有效性。通过对单帧图像跟踪时长统计，单帧处理时间不超过8ms,可以实现100hz高速跟踪处理要求。
- 还没有人留言评论。精彩留言会获得点赞！