一种红外视频目标跟踪方法

1.本发明涉及计算机视觉技术领域，尤其涉及一种红外视频目标跟踪方法。


背景技术：

2.红外视频目标跟踪是红外成像的关键内容，尤其是在精确制导，战场监测，无人侦查，视觉导航和智能监控方面有着广泛的应用。随着精确制导武器的飞速发展，未来对武器对抗系统的整体性能，提出了更高的要求。红外制导作为目前主流的技术，具有较强的鲁棒性和稳定性等优势，被广泛的应用于导弹和无人机监测系统等领域。目标跟踪是红外制导系统中的重要一环，通过采集红外视频进行检测跟踪。然而，在实际应用中，由于红外视频目标的多样性，目标的遮挡和系统所拍摄角度的旋转，会加大目标跟踪的难度，如何解决此类问题已成为当下研究的热点。


技术实现要素：

3.本发明要解决的技术问题是针对上述现有技术的不足，提供一种红外视频目标跟踪方法，能够在复杂环境条件下不易导致目标跟踪失败。
4.为解决上述技术问题，本发明所采取的技术方案是：
5.一种红外视频目标跟踪方法，包括以下步骤：
6.步骤1：构建红外视频数据库，具体方法如下：
7.步骤1.1、读入视频；
8.步骤1.2、获取待跟踪对象；具体为获取初始框位置(x,y,w,h)和大小信息，截取初始框图像区域，并将该截取的区域保存为模板；其中，x表示初始框中心的横坐标，y表示初始框中心的纵坐标，w表示初始框的宽，h表示初始框的高；
9.步骤1.3、截取完成后，当前帧为红外视频的第一帧，开始对整个红外视频序列进行等间隔采样，并按照时序保存好等间隔采样的红外视频图片；
10.步骤1.4、利用步骤1.2获取的模板，在等间隔采样的红外视频图片上进行模板匹配，并记录位置信息和初始框的大小；
11.步骤1.5、利用混合高斯模型将匹配好的红外视频图片，在一个通道上进行前景与背景的分离；
12.步骤1.6、利用步骤1.2获取的初始框位置信息计算初始框区域面积，并设定相应的阈值，滤除不是目标的前景；
13.步骤1.7、采用中值滤波，对步骤1.6处理后的红外视频图片进行去噪和锐化边缘；
14.步骤1.8、进行形态学膨胀操作；
15.步骤1.9、得到处理后的红外视频图片集合m{m1，m2，m3，
……
，mn}和模板位置信息集合l{l1，l2，l3，
……
，ln}；其中，mi表示第i个红外视频图片矩阵，i＝1，2，3，
……
，n；li表示第i个模板位置信息；n表示采集的红外视频图片总数；
16.步骤2：进行目标区域跟踪，具体方法如下：
17.步骤2.1、根据步骤1.2获取的初始框，计算初始框内的质心，即加权平均位置；
18.步骤2.2、获取当前帧的统计直方图，并将其归一化处理为概率直方图；
19.步骤2.3、将当前帧的概率直方图投影到下一帧；
20.步骤2.4、将步骤2.1计算的质心作为步骤2.3之后的质心，并作为新的搜索中心；
21.步骤2.5、重复步骤2.1～步骤2.4，直到跟踪到采样点后；
22.步骤3：跟踪到采样点后，将步骤1处理好的红外视频图片按照采样时序等间隔回插，具体为跟踪到采样点后，将当前采样点帧的像素值矩阵记为s，用s
·
mi表示增强目标特征，并滤除干扰特征；同时在当前视频帧上更新从步骤1获取来的模板位置信息li和初始框区域大小，用于下一帧的继续跟踪；
23.步骤4：重复步骤2和步骤3，直到跟踪窗口中心和质心聚拢，即每次窗口移动的距离小于一定的阈值，跟踪结束。
24.进一步地，所述步骤1.3中的采样时序满足下式，即等间隔采样，且采样间隔t≥1s。
[0025][0026]
进一步地，所述步骤1.4中模板以2为步长在等间隔采样得到的红外视频图片上进行滑动，计算每次的协方差如下式所示：
[0027][0028]
其中，下标i和j代表以中心元素为基准时，模板所在位置的行和列；α
ij
表示初始框模板内第(i，j)个像素值矩阵；表示初始框模板内所有像素的平均值组成矩阵；β
ij
表示以初始框模板区域为大小的红外视频图片上的第(i，j)个像素值矩阵；为此区域所有像素的平均值组成的矩阵；cou(ti，sj)代表模板在红外视频图片的第i行和第j列所计算的协方差值矩阵，并遍历该协方差矩阵，保留最大值；
[0029]
将保留的这些最大值组成一个新矩阵，此时组成的新矩阵和红外视频图片像素值矩阵大小一样，遍历此时组成的新矩阵，找出最大且为正的值并进行位置回归，进行匹配。
[0030]
进一步地，所述步骤1.4中的初始框的大小使用二阶矩进行调整，具体为，根据第一张匹配图片中的目标和位置大小信息求相关二阶矩，然后逆推出下一张图片初始框区域的大小信息，其过程如下公式所示：
[0031][0032][0033][0034]
[0035][0036][0037][0038]
其中，(x,y)在初始框内部，i(x,y)是(x,y)处的概率值，xc、yc是上一个像素值的横坐标和纵坐标；
[0039]
通过上述公式转换，则新的初始框的大小计算如下式所示：
[0040][0041][0042]
其中，l为初始框的长，w为初始框的宽。
[0043]
进一步地，所述步骤1.5中混合高斯模型为单通道单个混合高斯模型。
[0044]
进一步地，所述步骤1.6设定相应阈值为[20,255]。
[0045]
进一步地，所述步骤1.8形态学操作为膨胀运算，具体操作如下式所示：
[0046][0047]
其中，b是结构元，a是图像物体，z是图像像元位置。
[0048]
进一步地，所述步骤2.1中初始框内的质心计算公式如下式所示：
[0049][0050][0051]
其中，xi为第i个像素在横轴上的坐标，yi为第i个像素在纵轴上的坐标，pi为对应像素值；x为质心在x轴方向的坐标，y为质心在y轴方向的坐标。
[0052]
进一步地，所述步骤4中的阈值设为0.2分位数。
[0053]
采用上述技术方案所产生的有益效果在于：本发明提供的红外视频目标跟踪方法，采用形态学和相关滤波进行模板匹配，以更新目标跟踪位置和初始框大小，加强视频流之间的信息流通性，可大幅度抑制无用特征，保证了目标跟踪的性能，提高了目标跟踪的准确性和效率。
附图说明
[0054]
图1为本发明实施例提供的红外视频目标跟踪方法流程图。
具体实施方式
[0055]
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
[0056]
如图1所示，本实施例的红外视频目标跟踪方法如下所述。
[0057]
步骤1：构建红外视频数据库，具体方法如下：
[0058]
步骤1.1、读入视频。
[0059]
步骤1.2、获取待跟踪对象，具体为获取初始框(roi)位置(x,y,w,h)和大小信息，截取roi图像区域，并将该截取的区域保存为模板；其中，x表示初始框中心的横坐标，y表示初始框中心的纵坐标，w表示初始框的宽，h表示初始框的高。
[0060]
步骤1.3、截取完成后，当前帧为红外视频的第一帧，开始对整个红外视频序列进行等间隔采样，并按照时序保存好等间隔采样的红外视频图片；采样时序满足下式，即等间隔采样，且采样间隔t≥1s。
[0061][0062]
步骤1.4、利用步骤1.2获取的模板，在等间隔采样得到的红外视频图片上进行模板匹配，并记录位置信息和roi框的大小；具体的，模板以2为步长在等间隔采样得到的红外视频图片上进行滑动，计算每次的协方差如下式所示：
[0063][0064]
其中，下标i和j代表以中心元素为基准时，模板所在位置的行和列；α
ij
表示roi模板内第(i，j)个像素值矩阵；表示roi模板内所有像素的平均值组成矩阵；β
ij
表示以roi模板区域为大小的红外视频图片上的第(i，j)个像素值矩阵；为此区域所有像素的平均值组成的矩阵；cov(ti，sj)代表模板在红外视频图片的第i行和第j列所计算的协方差值矩阵，并遍历该协方差矩阵，保留最大值；
[0065]
将保留的这些最大值组成一个新矩阵，此时组成的新矩阵和红外视频图片像素值矩阵大小一样，遍历此时组成的新矩阵，找出最大且为正的值并进行位置回归，进行匹配。
[0066]
roi框的大小使用二阶矩进行调整，具体为，由于不变矩的存在，相邻两张模板匹配好的红外视频图片，计算出相同的二阶矩，根据第一张匹配图片中的目标和位置大小信息求相关二阶矩，然后逆推出下一张图片初始框区域的大小信息；其过程如下公式所示：
[0067][0068][0069][0070]
[0071][0072][0073][0074]
其中，(x，y)在初始框内部，i(x，y)是(x，y)处的概率值，xc、yc是上一个像素值的横坐标和纵坐标。
[0075]
通过上述公式转换，则新的初始框的大小计算如下式所示：
[0076][0077][0078]
其中，l为初始框的长，w为初始框的宽。
[0079]
步骤1.5、利用混合高斯模型将匹配好的红外视频图片，在一个通道上进行前景与背景的分离；其中，混合高斯模型为单通道单个混合高斯模型。
[0080]
步骤1.6、利用步骤1.2获取而来的初始框(roi)位置信息计算roi区域面积，并设定相应的阈值，滤除不是目标的前景，所设定的阈值为[20，255]。
[0081]
步骤1.7、采用中值滤波，对步骤1.6处理后的红外视频图片进行去噪和锐化边缘；
[0082]
步骤1.8、进行形态学膨胀操作，具体形态学操作为膨胀运算，如下式所示：
[0083][0084]
其中，b是结构元，a是图像物体，z是图像像元位置。
[0085]
步骤1.9、得到处理后的红外视频图片集合m{m1,m2,m3,
……
,mn}和模板位置信息集合l{l1,l2,l3,
……
,ln}；其中，mi表示第i个红外视频图片矩阵，i＝1,2,3,
……
,n；li表示第i个模板位置信息；n表示采集的红外视频图片总数。
[0086]
步骤2：进行目标区域跟踪，具体方法如下：
[0087]
步骤2.1、根据步骤1.2获取的初始框，计算roi内的质心，即加权平均位置。
[0088]
质心计算公式如下式所示：
[0089][0090][0091]
其中，xi为第i个像素在横轴上的坐标，yi为第i个像素在纵轴上的坐标，pi为对应像素值；x为质心在x轴方向的坐标，y为质心在y轴方向的坐标。
[0092]
步骤2.2、获取当前帧的统计直方图，并将其归一化处理为概率直方图；
[0093]
步骤2.3、将当前帧的概率直方图投影到下一帧；
[0094]
步骤2.4、将步骤2.1计算的质心作为步骤2.3之后的质心，作为新的搜索中心；
[0095]
步骤2.5、重复步骤2.1～2.4，直到跟踪到采样点后。
[0096]
步骤3：跟踪到采样点后，将步骤1处理好的红外视频图片，按照采样时序等间隔回插，具体为跟踪到采样点后，将当前采样点帧的像素值矩阵记为s，用s
·
mi(i＝1,2,3,
……
，n)表示增强目标特征，并滤除干扰特征；同时在当前视频帧上更新从步骤1获取来的模板位置信息li(i＝1,2,3,
……
，n)和roi区域框大小，用于下一帧的继续跟踪。
[0097]
步骤4：重复步骤2和步骤3，直到跟踪窗口中心和质心聚拢，即每次窗口移动的距离小于一定的阈值，然后跟踪结束。本实施例中将此处的阈值设为0.2分位数。
[0098]
本实施例的红外视频目标跟踪方法，采用形态学和相关滤波进行模板匹配，以更新目标跟踪位置和初始框大小，加强视频流之间的信息流通性，可大幅度抑制无用特征，保证了目标跟踪的性能，提高了目标跟踪的准确性和效率。
[0099]
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。