目标跟踪自校正方法、系统、介质、设备、终端及应用

本发明属于目标跟踪技术领域，尤其涉及一种目标跟踪自校正方法、系统、介质、设备、终端及应用。

背景技术：

目前：目标跟踪在过去几十年中备受关注，并且广泛应用于诸如监视，机器人技术和人机交互等众多视觉应用中。近年来，由于标准化基准的构建和业界的需求，视频目标跟踪技术得以飞速发展，其中不乏各类优秀算法，其代表算法包括基于相关滤波类、基于深度学习类等。相关滤波最早被应用于信号处理领域计算两个信号的相关程度，其将时域上的计算转到频域，可以极大减少运算量，实现算法实时跟踪。基于深度学习的目标跟踪算法具有强的普适性和有效性，

近年来基于孪生网络的跟踪算法得到了广泛发展。基于孪生网络的跟踪器将跟踪问题视为互相关问题，首先训练一个连接两个网络分支的神经网络，然后从两个分支的互相关中产生相似性图，一个用于对象模板，另一个用于搜索区域。该类跟踪算法具有跟踪速度快，准确率高的优点。然而，其研究中的诸多挑战也困扰着众多研究人员，如光照变化、尺度变化、快速变形、运动模糊、背景斑杂和目标遮挡等都会影响跟踪器性能。尤其是当目标跟踪丢失后，后续场景难以跟踪到正确的目标。此类因素严重影响了目标跟踪的准确性。

通过上述分析，现有技术存在的问题及缺陷为：目前跟踪场景中的干扰因素会影响跟踪结果，很容易导致跟踪失效，且当跟踪失效后难以重新找到目标，缺乏有效的校正方法使得跟踪器重新获得正确的目标位置。

解决以上问题及缺陷的难度为：如何有效地判断出跟踪失效的场景以及校正跟踪结果。

解决以上问题及缺陷的意义为：可以自行判断跟踪算法是否失效，当跟踪失效后，校正跟踪结果，避免跟踪失效后完全丢失目标，对于提升目标跟踪准确度具有重大意义，对实际场景中的应用具有较大的现实意义。

技术实现要素：

针对现有技术存在的问题，本发明提供了一种目标跟踪自校正方法、系统、介质、设备、终端及应用。

本发明是这样实现的，一种目标跟踪自校正方法，所述目标跟踪自校正方法包括：

选择孪生网络跟踪算法siamfc++作为基本跟踪算法，通过分类分支与回归分支计算搜索帧与模板帧的相似度，得到模板帧与搜索帧的深度特征相似度图；

取出相似度最高的10个目标位置，计算两两之间的欧氏距离，画出距离分布直方图，根据直方图的分布规律判断跟踪是否失效；

当判断出发生跟踪失效后，计算前帧目标与当前帧中候选目标间的相似度，取相似度最高的目标为校正后目标；

计算跟踪结果与目标真实位置之间的误差，计算准确率，对跟踪结果进行评价。

进一步，所述选择孪生网络跟踪算法siamfc++作为基本跟踪算法，对模板帧与搜索帧提取深度特征并做互相关操作，得到模板帧与搜索帧的深度特征相似度图具体包括：

1)特征提取：跟踪序列中第一帧为模板帧，需要跟踪的图像为搜索帧。将模板图像i1与当前搜索图像i2输入相同的特征提取网络，得到模板特征f1与搜索特征f2，选择googlenet网络为特征提取网络；

2)互相关计算相似度得分：将模板特征f1与搜索特征f2输入分类与回归支路，使用f1作卷积核与f2做互相关计算，分类支路得到目标中心位置的相似度图s，s中相似度最大点即为目标中心点位置(x1,y1)，回归分支得到四条边框距离中心点位置，二者综合得到相似度图。相似度计算定义如下：

fi(z,x)＝ψi(φ(z))*ψi(φ(x)),i∈{cls,reg}；

式中z代表模板帧，x代表搜索帧，*代表互相关操作，φ(.)代表特征提取过程，ψi(.)代表分类分支或回归分支，i代表子任务类型，其中cls代表分类支路，reg代表回归支路；

3)图像尺寸：模板帧根据目标位置裁剪大小为127*127，搜索帧根据前帧目标位置裁剪大小为303*303，将裁剪后图像输入特征提取网络，得到模板特征大小为3*3*256，其中256是特征维度，3*3是每一维度特征图尺寸，搜索模板大小为27*27*256，其中256是特征维度，27*27是每一维度特征图尺寸。将二者做互相关后，得到的相似度图大小为19*19。

进一步，所述取出相似度最高的10个目标位置，计算两两之间的欧氏距离，画出距离分布直方图，根据直方图的分布规律判断跟踪是否失效具体包括：

1)距离分布直方图：根据相似度图s得到相似度最高的位置s1的坐标为(x1,y1)，依此类推，相似度为第m高的位置sm坐标为(xm,ym)，取m＝10，上一帧中相似度最高的位置s1'为(x'1,y'1)。距离分布p定义如下：

p＝{d12,d13,…d(m-1)m}；

其中

作出距离分布p的分布直方图h＝{h1,h2,…hn}，其中n为直方图的组数，hi代表第i组的频率；

2)u型分布：当直方图h呈现“u”型分布，即h1、hn频率较大，此时判决算法认为目标跟踪可能失效，此时进一步判断，取h1>0.3,hn>0.3,n＝10；

3)距离判断：当距离分布呈现“u”型分布时，说明场景中出现了相似物，产生干扰。对前10个目标的位置聚类，聚类中心分别为目标位置与相似物体位置，其中距离s1'距离近位置为目标位置；

跟踪中第f帧目标中心点位置为(xf,yf)，相似物中心点坐标为(x'f,y'f),第f+1帧目标中心点位置为(xf+1,yf+1)，相似物中心点坐标为(x'f+1,y'f+1)，则定义目标距离为df，转移距离为d'f，二者定义为：

若df＞df'，则目标发生跟踪失效，反之未发生失效。

进一步，所述当判断出发生跟踪失效后，计算前帧目标与当前帧中候选目标间的相似度，取相似度最高的目标为校正后目标具体包括：判断目标跟踪失效后，取失效帧中相似度最高的10个目标为候选目标，前一帧中跟踪结果为参考目标，计算参考目标与10个候选目标的结构相似度，计算公式如下：

ssim(x,y)＝l(x,y)^α·c(x,y)^β·s(x,y)^γ；

其中x，y分别为参考目标与候选目标，ux,uy,σx²,σy²,σxy分别表示图像x，y的均值、方差和协方差。c1、c2、c3为小的常数。利用参数α、β、γ调整模型中三个成分所占的比重；

候选目标中与参考目标ssim相似度最大的目标即为跟踪结果。

进一步，所述计算跟踪结果与目标真实位置之间的误差，计算准确率，对跟踪结果进行评价包括：

使用准确率accuracy指标计算公式：

其中代表第t帧中目标groundtruth代表的boundingbox，代表第t帧跟踪器预测的boundingbox。

本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：

选择孪生网络跟踪算法siamfc++作为基本跟踪算法，通过分类分支与回归分支计算搜索帧与模板帧的相似度，得到模板帧与搜索帧的深度特征相似度图；

取出相似度最高的10个目标位置，计算两两之间的欧氏距离，画出距离分布直方图，根据直方图的分布规律判断跟踪是否失效；

当判断出发生跟踪失效后，计算前帧目标与当前帧中候选目标间的相似度，取相似度最高的目标为校正后目标；

计算跟踪结果与目标真实位置之间的误差，计算准确率，对跟踪结果进行评价。

本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：

选择孪生网络跟踪算法siamfc++作为基本跟踪算法，通过分类分支与回归分支计算搜索帧与模板帧的相似度，得到模板帧与搜索帧的深度特征相似度图；

取出相似度最高的10个目标位置，计算两两之间的欧氏距离，画出距离分布直方图，根据直方图的分布规律判断跟踪是否失效；

当判断出发生跟踪失效后，计算前帧目标与当前帧中候选目标间的相似度，取相似度最高的目标为校正后目标；

计算跟踪结果与目标真实位置之间的误差，计算准确率，对跟踪结果进行评价。

本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述的目标跟踪自校正方法。

本发明的另一目的在于提供一种实施所述目标跟踪自校正方法的目标跟踪自校正系统，所述目标跟踪自校正系统包括：

深度特征相似度图获取模块，用于选择孪生网络跟踪算法siamfc++作为基本跟踪算法，通过分类分支与回归分支计算搜索帧与模板帧的相似度，得到模板帧与搜索帧的深度特征相似度图；

跟踪是否失效判断模块，用于取出相似度最高的10个目标位置，计算两两之间的欧氏距离，画出距离分布直方图，根据直方图的分布规律判断跟踪是否失效；

校正后目标获取模块，用于当判断出发生跟踪失效后，计算前帧目标与当前帧中候选目标间的相似度，取相似度最高的目标为校正后目标；

跟踪结果评价模块，用于计算跟踪结果与目标真实位置之间的误差，计算准确率，对跟踪结果进行评价。

本发明的另一目的在于提供一种目标跟踪方法，所述目标跟踪方法使用所述的目标跟踪自校正方法，包括：监视目标跟踪方法、机器人目标跟踪方法、人机交互目标跟踪方法。

结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明主要作用于目标跟踪领域，解决现有的跟踪失效后目标丢失，无法继续跟踪的问题。本发明采用孪生网络对目标进行跟踪，计算场景中目标与跟踪物体的相似度，寻找跟踪目标正确位置，具有较高的准确性与较快的跟踪速度，具有较高的实用价值。

本发明利用统计理论判断跟踪是否失效，深入挖掘跟踪过程中目标的统计规律，与实际的物理意义相结合，准确快速判断出跟踪是否失效，同时结合孪生网络特性与统计方法，对跟踪结果进行校正，寻找正确的目标位置，具有较大的社会意义与现实意义，

本发明采用深度学习与统计理论相结合的方法，利用深度学习的强大能力，提取目标的深度特征，很大程度提高跟踪的精度。统计理论深入分析和探究跟踪失效发生的本质原因，建立准确的判决准则与校正机制。本发明所提出的方法能够准确的校正孪生网络跟踪算法中跟踪失效的问题，提高跟踪准确率。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的目标跟踪自校正方法流程图。

图2是本发明实施例提供的目标跟踪自校正系统的结构示意图；

图2中：1、深度特征相似度图获取模块；2、跟踪是否失效判断模块；3、校正后目标获取模块；4、跟踪结果评价模块。

图3是本发明实施例提供的目标跟踪自校正方法的实现流程图。

图4是本发明实施例提供的距离分布直方图u型分布示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明提供了一种目标跟踪自校正方法、系统、介质、设备、终端及应用，下面结合附图对本发明作详细的描述。

如图1所示，本发明提供的目标跟踪自校正方法包括以下步骤：

s101：选择孪生网络跟踪算法siamfc++作为基本跟踪算法，通过分类分支与回归分支计算搜索帧与模板帧的相似度，得到模板帧与搜索帧的深度特征相似度图；

s102：取出相似度最高的10个目标位置，计算两两之间的欧氏距离，画出距离分布直方图，根据直方图的分布规律判断跟踪是否失效；

s103：当判断出发生跟踪失效后，计算前帧目标与当前帧中候选目标间的相似度，取相似度最高的目标为校正后目标；

s104：计算跟踪结果与目标真实位置之间的误差，计算准确率，对跟踪结果进行评价。

本发明提供的目标跟踪自校正方法业内的普通技术人员还可以采用其他的步骤实施，图1的本发明提供的目标跟踪自校正方法仅仅是一个具体实施例而已。

如图2所示，本发明提供的目标跟踪自校正系统包括：

深度特征相似度图获取模块1，用于选择孪生网络跟踪算法siamfc++作为基本跟踪算法，通过分类分支与回归分支计算搜索帧与模板帧的相似度，得到模板帧与搜索帧的深度特征相似度图；

跟踪是否失效判断模块2，用于取出相似度最高的10个目标位置，计算两两之间的欧氏距离，画出距离分布直方图，根据直方图的分布规律判断跟踪是否失效；

校正后目标获取模块3，用于当判断出发生跟踪失效后，计算前帧目标与当前帧中候选目标间的相似度，取相似度最高的目标为校正后目标；

跟踪结果评价模块4，用于计算跟踪结果与目标真实位置之间的误差，计算准确率，对跟踪结果进行评价。

下面结合附图对本发明的技术方案作进一步的描述。

如图2所示，本发明实施例提供的目标跟踪自校正方法具体包括以下步骤：

步骤一，选择孪生网络跟踪算法siamfc++作为基本跟踪算法，对模板帧与搜索帧提取深度特征并做互相关操作，得到模板帧与搜索帧的深度特征相似度图。

a)特征提取：跟踪序列中第一帧为模板帧，需要跟踪的图像为搜索帧。将模板图像i1与当前搜索图像i2输入相同的特征提取网络，得到模板特征f1与搜索特征f2，选择googlenet网络为特征提取网络。

b)互相关计算相似度得分：将模板特征f1与搜索特征f2输入分类与回归支路，使用f1作卷积核与f2做互相关计算，分类支路得到目标中心位置的相似度图s，s中相似度最大点即为目标中心点位置(x1,y1)，回归分支得到四条边框距离中心点位置，二者综合得到相似度图。相似度计算定义如下：

fi(z,x)＝ψi(φ(z))*ψi(φ(x)),i∈{cls,reg}；

式中z代表模板帧，x代表搜索帧，*代表互相关操作，φ(.)代表特征提取过程，ψi(.)代表分类分支或回归分支，i代表子任务类型，其中cls代表分类支路，reg代表回归支路。

c)图像尺寸：模板帧根据目标位置裁剪大小为127*127，搜索帧根据前帧目标位置裁剪大小为303*303，将裁剪后图像输入特征提取网络，得到模板特征大小为3*3*256，其中256是特征维度，3*3是每一维度特征图尺寸。搜索模板大小为27*27*256，其中256是特征维度，27*27是每一维度特征图尺寸。将二者做互相关后，得到的相似度图大小为19*19。

步骤二，取出相似度最高的10个目标位置，计算两两之间的欧氏距离，画出距离分布直方图，根据直方图的分布规律判断跟踪是否失效。

a)距离分布直方图：根据相似度图s得到相似度最高的位置s1的坐标为(x1,y1)，依此类推，相似度为第m高的位置sm坐标为(xm,ym)，取m＝10。上一帧中相似度最高的位置s1'为(x'1,y'1)。距离分布p定义如下：

p＝{d12,d13,…d(m-1)m}；

其中

作出距离分布p的分布直方图h＝{h1,h2,…hn}，其中n为直方图的组数，hi代表第i组的频率。

b)u型分布：当直方图h呈现“u”型分布，即h1、hn频率较大，如图3所示。此时判决算法认为目标跟踪可能失效，此时进一步判断，取h1>0.3,hn>0.3,n＝10。

c)距离判断：当距离分布呈现“u”型分布时，说明场景中出现了相似物，产生干扰。对前10个目标的位置聚类，聚类中心分别为目标位置与相似物体位置，其中距离s1'距离近位置为目标位置。

跟踪中第f帧目标中心点位置为(xf,yf)，相似物中心点坐标为(x'f,y'f),第f+1帧目标中心点位置为(xf+1,yf+1)，相似物中心点坐标为(x'f+1,y'f+1)。则定义目标距离为df，转移距离为d'f，二者定义为：

若df＞df'，则目标发生跟踪失效，反之未发生失效。

步骤三，当判断出发生跟踪失效后，计算前帧目标与当前帧中候选目标间的相似度，取相似度最高的目标为校正后目标。

判断目标跟踪失效后，取失效帧中相似度最高的10个目标为候选目标，前一帧中跟踪结果为参考目标，计算参考目标与10个候选目标的结构相似度(ssim:structuralsimilarity)，计算公式如下：

ssim(x,y)＝l(x,y)^α·c(x,y)^β·s(x,y)^γ；

其中x，y分别为参考目标与候选目标，ux,uy,σx²,σy²,σxy分别表示图像x，y的均值、方差和协方差。c1、c2、c3为小的常数。利用参数α、β、γ调整模型中三个成分所占的比重。

候选目标中与参考目标ssim相似度最大的目标即为跟踪结果。

步骤四，计算跟踪结果与目标真实位置之间的误差，计算准确率，对跟踪结果进行评价。

使用准确率accuracy指标计算公式：

其中代表第t帧中目标groundtruth代表的boundingbox，代表第t帧跟踪器预测的boundingbox。

下面结合仿真对本发明的技术效果作详细的描述。

1、仿真条件，本发明是在gpu为2080ti的ubantu18.04操作系统的pc上，运用pycharm软件完成本发明仿真实验。

2、仿真实验内容，本发明选择跟踪数据集vot2018、otb100进行实验验证。vot2018包含60个场景，共3万幅图片；otb100包含100个场景，共6w幅图片。

3.仿真实验结果及分析

表1为本发明方法与原跟踪算法siamfc++的跟踪准确性accuracy比较：

由表1可以看出，本发明通过对跟踪结果的校正，相比于孪生网络跟踪算法siamfc++具有更准确的跟踪结果。本发明不仅能提高跟踪准确性，当目标跟踪失效后，可以通过判决算法发现跟踪丢失场景，并通过校正算法重新找到正确目标。具有较高的实用价值。

应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、cd或dvd-rom的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。