1.一种基于级联回归与孪生网络的目标跟踪方法,其特征在于,包括以下步骤:
步骤1:在第一帧,将指定的目标图像及以目标图像为中心构建的搜索区域输入孪生网络中,分别得到各自的特征图;
步骤2:将步骤1得到的特征图通过attention机制进行通道间的融合,随后送入到级联区域推荐网络之中;
步骤3:经过级联区域推荐网络之后得到各个锚框的分类及位置预测信息,并计算得到锚框的预测得分图;通过预测得分图及位置预测信息得到最终预测框;
在所述步骤3中的级联区域推荐网络包括以下步骤:
步骤31:首先根据孪生网络得到的特征图尺寸生成若干个对应的、不同大小及长宽比例的预设锚框;
步骤32:将目标图像和搜索区域的特征图分别做一次卷积操作并分别得到两组不同的特征图,将对应的特征图两两进行互相关计算,并分别通过一次卷积用以得到锚框的类别和形状的预测;以上为第一级区域推荐网络;
步骤33:将已经进行回归过的锚框作为预设锚框输入第二级区域推荐网络,重复步骤32的操作,得到最终预测框。
在所述步骤33中得到最终预测框的步骤包括:对预测特征图施加余弦窗,并根据锚框形变程度计算惩罚因子,并计算得到预测得分;最后通过非极大值抑制选出最终预测框;
惩罚因子的计算公式为:
得分计算公式为s=score_pred*penalty*(1-k_cos)+cos_win*k_cos,其中score_pred为网络输出的类别预测结果,k_cos为余弦窗影响因子,cos_win为施加的余弦窗参数;
步骤4:在下一帧,以预测框为中心构建搜索区域,并通过步骤1-步骤3进行新一轮的预测,实现在连续图像序列的目标跟踪。
2.根据权利要求1所述基于级联回归与孪生网络的目标跟踪方法,其特征在于:所述孪生网络由两个共享参数的全卷积网络构成。
3.根据权利要求2所述基于级联回归与孪生网络的目标跟踪方法,其特征在于:步骤1中选取孪生网络中最后若干层的网络输出构成最终的特征信息。
4.根据权利要求3所述基于级联回归与孪生网络的目标跟踪方法,其特征在于:所述步骤2中通过attention机制进行通道间的融合方法:目标图像可由特征提取网络中不同的卷积层计算得到数组不同的特征图;每组特征图中包含若干通道,对于任意通道i,首先对该通道的特征图做最大池化操作,然后将池化后的参数输入到多层感知机中,最后经过sigmoid函数得到该通道对应的权重参数ζi;将每通道的特征图与对应的权重参数相乘,随后对该组特征图做1*1卷积,保持通道数不变,完成通道间的融合。