一种基于级联回归与孪生网络的目标跟踪方法与流程

文档序号:20833644发布日期:2020-05-22 16:36阅读:来源:国知局

技术特征:

1.一种基于级联回归与孪生网络的目标跟踪方法,其特征在于,包括以下步骤:

步骤1:在第一帧,将指定的目标图像及以目标图像为中心构建的搜索区域输入孪生网络中,分别得到各自的特征图;

步骤2:将步骤1得到的特征图通过attention机制进行通道间的融合,随后送入到级联区域推荐网络之中;

步骤3:经过级联区域推荐网络之后得到各个锚框的分类及位置预测信息,并计算得到锚框的预测得分图;通过预测得分图及位置预测信息得到最终预测框;

在所述步骤3中的级联区域推荐网络包括以下步骤:

步骤31:首先根据孪生网络得到的特征图尺寸生成若干个对应的、不同大小及长宽比例的预设锚框;

步骤32:将目标图像和搜索区域的特征图分别做一次卷积操作并分别得到两组不同的特征图,将对应的特征图两两进行互相关计算,并分别通过一次卷积用以得到锚框的类别和形状的预测;以上为第一级区域推荐网络;

步骤33:将已经进行回归过的锚框作为预设锚框输入第二级区域推荐网络,重复步骤32的操作,得到最终预测框。

在所述步骤33中得到最终预测框的步骤包括:对预测特征图施加余弦窗,并根据锚框形变程度计算惩罚因子,并计算得到预测得分;最后通过非极大值抑制选出最终预测框;

惩罚因子的计算公式为:其中k为超参数,r为初始锚框的长宽比,r′为回归过后的锚框长宽比。(w+p)*(h+p)=s2,p=(w+h)/2,其中w与h分别代表锚框的宽与高。

得分计算公式为s=score_pred*penalty*(1-k_cos)+cos_win*k_cos,其中score_pred为网络输出的类别预测结果,k_cos为余弦窗影响因子,cos_win为施加的余弦窗参数;

步骤4:在下一帧,以预测框为中心构建搜索区域,并通过步骤1-步骤3进行新一轮的预测,实现在连续图像序列的目标跟踪。

2.根据权利要求1所述基于级联回归与孪生网络的目标跟踪方法,其特征在于:所述孪生网络由两个共享参数的全卷积网络构成。

3.根据权利要求2所述基于级联回归与孪生网络的目标跟踪方法,其特征在于:步骤1中选取孪生网络中最后若干层的网络输出构成最终的特征信息。

4.根据权利要求3所述基于级联回归与孪生网络的目标跟踪方法,其特征在于:所述步骤2中通过attention机制进行通道间的融合方法:目标图像可由特征提取网络中不同的卷积层计算得到数组不同的特征图;每组特征图中包含若干通道,对于任意通道i,首先对该通道的特征图做最大池化操作,然后将池化后的参数输入到多层感知机中,最后经过sigmoid函数得到该通道对应的权重参数ζi;将每通道的特征图与对应的权重参数相乘,随后对该组特征图做1*1卷积,保持通道数不变,完成通道间的融合。


技术总结
本发明公开了一种基于级联回归与孪生网络的目标跟踪方法,在第一帧,将指定的目标图像及以目标图像为中心构建的搜索区域分别输入以孪生网络构成的特征提取网络,分别得到目标图像与搜索区域的特征图。将得到的不同层次的特征图按设计的Attention机制融合,并一同输入到后续的级联区域推荐网络之中。经过级联区域推荐网络之后得到各个锚框的分类及位置预测信息,并得到锚框的预测得分图。通过非极大值抑制以及添加余弦窗等操作筛选出得分最高的锚框,并根据回归的得到的位置信息得到最终的预测框。本发明与传统算法相比上述算法具有精度高,鲁棒性强以及运行效率高的优点。

技术研发人员:陆生礼;庞伟;杨文韬;狄敏;姚志强
受保护的技术使用者:东南大学;南京南大电子智慧型服务机器人研究院有限公司;江苏南大电子信息技术股份有限公司
技术研发日:2019.12.06
技术公布日:2020.05.22
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1