基于空间约束自适应尺度的核相关滤波水下目标跟踪方法与流程

本发明属于目标跟踪技术领域，涉及一种核相关滤波水下目标跟踪方法。

背景技术：

随着人类日益增长的物质需求，水下生物资源探测与开发已经成为各国经济发展的重点战略规划，目标跟踪作为重要技术手段，得到国内外学者的广泛关注。水下目标跟踪主要是指对水下视频图像中感兴趣的目标在连续视频序列中的位置进行预测。水下特殊复杂环境赋予了水下目标三维运动特性，水下目标运动的随机性随之加大，导致对于水下目标的实时捕捉定位更加困难。水下目标运动自由度高，运动速度较快且尺度变化明显，这些影响因素严重影响到水下目标跟踪结果的准确性。在水下复杂环境下，找到一个具有良好跟踪性能的目标跟踪方法是解决问题的关键。

核相关滤波(kcf)跟踪方法凭借着在复杂跟踪场景下优越的实时性和鲁棒性表现，被国内外研究者广泛关注。kcf算法利用核化岭回归技巧提高目标检测效率以提高跟踪速度，但是kcf算法的检测模型包括单一尺度的矩形目标跟踪窗口和1.5倍的扩展搜索窗口，并不适用于水下目标运动速度较快且尺度变化明显的实际跟踪场景。针对kcf的不足之处相关改进代表算法有samf算法、dsst算法等。samf算法利用平移滤波器在多尺度缩放图像块上进行目标检测，影响了算法的运行速度。dsst算法目标检测过程中加入33个尺度，提高了检测准确率，但其跟踪速度仅有5fps。

技术实现要素：

发明目的：本发明目的在于提出一种基于空间约束自适应尺度的核相关滤波水下目标跟踪方法，以克服现有技术在水下环境中存在的缺陷，提高了水下目标运动速度较快且尺度变化明显的跟踪场景下水下目标的跟踪结果的准确性。

技术方案：为了实现上述目的，本发明采用的技术方案是：

一种基于空间约束自适应尺度的核相关滤波水下目标跟踪方法，该方法包括如下步骤：

(1)读取第一帧水下视频图像，确定水下目标跟踪区域并提取目标跟踪区域的fhog特征；其中结合核相关滤波检测模型和水下目标快速运动及尺度变化的特性，将扩展搜索窗口由1.5倍扩大至3倍；

(2)构造一个包含空间约束项的核相关滤波器模板，并利用增广拉格朗日乘子法和admm对核相关滤波器进行优化求解；

(3)在新的输入帧中，利用包含七个尺度因子的尺度池进行水下目标自适应尺度估计，找出其中最大的响应值所对应的尺度作为最佳尺度，所对应的位置为当前帧水下目标预测位置。

进一步地，所述步骤(1)中的水下目标检测区域包含固定跟踪矩形窗口和一个padding＝3的扩展搜索窗口，即核相关滤波器的基准样本是包含水下目标的与扩展搜索窗口大小一致的水下目标图像块。

进一步地，所述步骤(2)中构造一个包含空间约束项的核相关滤波器的方法为：水下跟踪目标在空间域中的岭回归响应表示为：

其中，h表示核相关滤波器模板，x表示训练样本，y表示回归标签，k表示水下跟踪目标提取的特征向量通道数，λ表示一个用来防止过拟合的正则化参数；

假设存在一个基准样本x，首先将x的大小由d扩大到t，将这个大样本作为基准样本通过循环移位生成训练样本集；然后用一个二值矩阵p代替t中间大小为d的部分；构造一个作为空间约束项，包含约束项的水下目标频域响应表示为：

其中，∧表示dft运算，表示克罗内克积运算，f是t×t大小的正交傅里叶变换矩阵，p是一个二值矩阵(其中pp^t＝i)，组合起来得到一个新的滤波器模板新的滤波器模板g经过dft后可以表示为：

进一步地，所述步骤(2)中采用增广拉格朗日乘子法对核相关滤波器进行优化求解，将空间约束项和原始滤波器模板h放到拉格朗日优化函数里，优化函数可以写成如下形式：

其中，表示经过dft运算的迭代向量，μ表示迭代因子。

进一步地，所述步骤(2)中采用admm进行迭代求解，把一个大优化问题分成分布式同时求解的多个子问题，通过迭代子问题可以快速获得包含空间约束项的新滤波器g的近似解。

进一步地，所述步骤(3)中包含七个尺度因子的尺度池为：

pools＝(0.8,0.9,0.95,1.0,1.05,1.1,1.2)

利用尺度池进行水下目标自适应尺度估计和水下目标位置预测的步骤如下：

(3.1)将与扩展搜索窗口大小一致的水下目标图像块依次按照七个尺度因子进行缩放得到包含7个元素的水下目标图像块序列；

(3.2)通过双线性插值尺度缩放函数将水下目标图像块序列调整为固定尺寸，得到包含七个元素的水下目标序列；

(3.3)将水下目标序列中的元素分别与基准样本循环移位构造的训练样本进行核相关运算，经过核相关滤波器得到对应的7个响应矩阵，找出其中最大的响应值所对应的尺度作为最佳尺度，计算出当前帧水下目标的最佳尺寸和预测位置。

有益效果：本发明针对kcf目标跟踪方法在水下目标快速运动或尺度变化明显的跟踪场景下跟踪能力不足做了以下改进，将扩展搜索窗口由1.5倍扩大至3倍，以消除水下目标快速运动时算法本身带来的严重边界效应；并构造包含空间约束项的新的滤波器模板，利用增广拉格朗日乘子法和admm进行优化快速求解，保证算法运算速度的同时提高水下目标检测效率；并结合自适应尺度估计策略进行水下目标检测，提高了尺度变化情况下水下目标跟踪结果的准确性。

附图说明

图1是本发明实施例的方法流程图。

图2是水下自然目标自适应尺度估计示意图

图3是水下目标尺度变化情况下本发明方法、kcf方法、samf方法、dsst方法的跟踪结果示意图。

图4是水下目标尺度变化且快速运动情况下本发明方法、kcf方法、samf方法、dsst方法的跟踪结果示意图。

具体实施方式

为了清楚的突出本发明的目的和优点，下面将结合本发明实例中的附图对本发明作进一步的描述，本发明实施例公开的一种基于空间约束自适应尺度的核相关滤波水下目标跟踪方法，实现过程主要包括如下步骤：

(1)读取第一帧水下视频图像中，并进行初始化确定水下目标跟踪区域。结合核相关滤波检测模型和水下目标的运动特性分析，选取padding＝3的扩展搜索窗口。将水下目标跟踪窗口的初始参数设置为[x,y,heigh,weith]，(x,y)指示跟踪目标的中心位置，(heigh,weith)表示水下目标跟踪窗口的尺寸，同时在跟踪目标中心位置(x,y)处创建一个包含高斯峰的理想回归标签；

(2)在第一帧水下目标图像块(在目标中心位置以padding＝3的扩展搜索窗口大小截取的图像块)中提取水下目标的改进的梯度方向直方图(fhog)征并进行多通道扩展，将得到的水下目标模型作为本发明设计算法的输入；

(3)利用核函数性质，得到融合特征的核矩阵表达形式，并通过循环样本学习得到一个包含空间约束项的新的核相关滤波器模板；

(4)利用增广拉格朗日乘子法(alm)和admm(alternatingdirectionmethodofmultipliers)对新的核相关滤波器模板进行优化快速求解，至此完成了初始化操作；

(5)在新的输入帧中，利用包含七个尺度因子的尺度池选取最佳的尺度因子以自适应调整矩形目标跟踪窗口的大小，得到新的目标跟踪矩形窗口参数为[x,y,heighi,weithi]；

(6)在新的输入帧中重复步骤(2)进行水下目标特征提取的操作，继续进行水下目标建模，得到新的目标外观模型。经过训练的核相关滤波器模板，得到一系列的响应值，选取最大响应值的位置作为预测水下目标的中心位置；

(7)重复步骤(3)和(4)训练核相关滤波器模板，进行水下目标模型的更新操作；

(8)在预测位置处重复步骤(5)和步骤(6)操作直至所有帧运行完毕，完成整个视频序列中水下目标跟踪任务。

所述步骤(2)中在第一帧水下目标图像块(在目标中心位置以padding＝3的扩展搜索窗口大小截取的图像块)中提取水下目标的fhog特征并进行多通道扩展。水下目标检测区域包含固定跟踪矩形窗口和一个padding＝3的扩展搜索窗口，即核相关滤波器的基准样本是包含水下目标的与扩展搜索窗口大小一致的水下目标图像块。

所述步骤(3)中得到一个包含空间约束项的新的核相关滤波器模板，水下跟踪目标在空间域中的岭回归响应可以表示为：

其中，h表示核相关滤波器模板，x表示训练样本，y表示回归标签，k表示水下跟踪目标提取的特征向量通道数，λ表示一个用来防止过拟合的正则化参数；

假设存在一个基准样本x，首先将x的大小由d扩大到t，将这个大样本作为基准样本通过循环移位生成训练样本集；然后用一个二值矩阵p代替t中间大小为d的部分；构造一个作为空间约束项，包含约束项的水下目标频域响应表示为：

其中，∧表示dft运算，表示克罗内克积运算，f是t×t大小的正交傅里叶变换矩阵，p是一个二值矩阵(其中pp^t＝i)，组合起来得到一个新的滤波器模板新的滤波器模板g经过dft后可以表示为：

所述步骤(4)中利用增广拉格朗日乘子法(alm)和admm对新的核相关滤波器模板进行优化快速求解。将空间约束项放到优化函数里，优化函数可以写成如下形式：

其中，表示经过dft运算的迭代向量，μ表示迭代因子。

利用admm进行迭代求解，把一个大优化问题分成分布式同时求解的多个子问题，通过迭代子问题可以快速获得包含空间约束项的新滤波器g的近似解。

所述步骤(5)中利用包含七个尺度因子的尺度池选取最佳的尺度因子以自适应调整矩形目标跟踪窗口的大小。设计一个包含七个尺度因子的尺度池，可以表示为：

pools＝(0.8,0.9,0.95,1.0,1.05,1.1,1.2)

所述步骤(6)中经过训练的核相关滤波器模板，得到一系列的响应值，选取最大响应值的位置作为预测水下目标的中心位置。利用尺度池进行水下目标自适应尺度估计和水下目标位置预测的步骤如下：

(6.1)将与扩展搜索窗口大小一致的水下目标图像块依次按照七个尺度因子进行缩放得到包含7个元素的水下目标图像块序列；

(6.2)选用一个双线性插值尺度缩放函数将水下目标图像块序列调整为固定尺寸，得到包含七个元素的水下目标序列；

(6.3)将水下目标序列中的元素分别与训练样本进行核相关运算，经过核相关滤波器得到对应的7个响应矩阵，找出其中最大的响应值所对应的尺度作为最佳尺度，这样就可以计算出当前帧水下目标的最佳尺寸和预测位置。

图3所示场景是一组关于水下海龟运动视频，海龟在运动过程中存在着明显的尺度变化。a列和b列分别是本发明、kcf的跟踪结果，从上到下分别是视频中第39、140、207、388帧的水下目标跟踪结果。从图3中可以可看出，海龟在运动过程中存在着明显的尺度变化，kcf算法对应的红色目标检测窗口大小固定，不能适用于该场景下的水下目标检测。本发明的目标跟踪窗口能够随着目标尺寸的变化而变化。

实验结果表明，本发明可以自适应估计目标尺度变化，在水下目标尺度变化场景下依然具有良好的跟踪效果，提高了水下目标跟踪结果的准确性，以提高算法的跟踪性能。

图4所示场景是一组关于水下鱿鱼运动的视频，鱿鱼在运动过程中快速运动且存在着一定的尺度变化。a列和b列分别是本发明、kcf的跟踪结果，从上到下分别是视频中第20、100、209、322帧的跟踪结果。从图4中可以看出，kcf的目标跟踪窗口大小固定，不能适用于该场景下的水下自然目标跟踪。鱿鱼在水下运动自由度高，运动速度较快且存在一定的尺度变化。本发明的红色目标检测窗口虽然能够随着目标尺寸的变化而变化。

实验结果表明，本发明在自适应估计目标尺度变化的同时抑制了水下目标快速运动带来的严重边界效应，提高了水下目标跟踪结果的准确性，以提高算法的跟踪性能。