一种基于通道与空间注意力机制的孪生网络目标跟踪方法

文档序号:26349524发布日期:2021-08-20 20:22阅读:来源:国知局

技术特征:

1.一种基于通道与空间注意力机制的孪生网络目标跟踪方法,其特征在于,所述方法包括如下步骤:

步骤一:对视频或图像数据集进行处理,以获得统一图像大小的多个目标图像;

步骤二:基于卷积神经网络模型、通道注意力机制以及空间注意力机制,构建得到新型骨干网络模型;

步骤三:从所述多个目标图像中提取训练样本,以对所述新型骨干网络模型进行训练;

步骤四:利用训练好的所述新型骨干网络模型在所述多个目标图像中提取以得到目标图像样本深层特征,并将所述目标图像样本深层特征在目标图像候选区域进行相似性匹配以得到多个目标候选块,其中每个目标候选块均分别对应有一相似度得分;

步骤五:利用获取到的最大相似度得分的目标候选块进行目标跟踪。

2.根据权利要求1所述的一种基于通道与空间注意力机制的孪生网络目标跟踪方法,其特征在于,所述新型骨干网络模型为孪生网络框架,所述孪生网络框架包括模板分支以及搜索分支;

其中,从所述多个目标图像中提取训练样本的步骤包括:

当对所述目标图像进行搜索的子窗口扩展到所述目标图像的范围之外时,缺失的图像部分利用平均rgb值进行填充。

3.根据权利要求2所述的一种基于通道与空间注意力机制的孪生网络目标跟踪方法,其特征在于,在所述孪生网络框架中,所述方法包括:

分别通过所述模板分支以及所述搜索分支进行目标图像的输入,并根据所述模板分支以及所述搜索分支以获取目标图像样本深层特征;

在所述孪生网络框架中,存在如下公式:

其中,h表示输入输出信号的映射函数,k表示步幅,是输入输出信号中有效区域的转换值,均表示平移运算符,表示输入的目标图像。

4.根据权利要求3所述的一种基于通道与空间注意力机制的孪生网络目标跟踪方法,其特征在于,在所述步骤四中,所述相似度得分的公式表述为:

其中,表示两个输入的目标图像之间的相似度得分,表示值的偏差,表示实数集,表示两个输入的目标图像通过孪生网络框架后的输出特性,表示两个输入的目标图像,表示卷积嵌入函数。

5.根据权利要求4所述的一种基于通道与空间注意力机制的孪生网络目标跟踪方法,其特征在于,在利用训练好的所述新型骨干网络模型在所述多个目标图像中提取以得到目标图像样本深层特征的步骤中,所述通道注意力机制执行如下步骤:

通过最大池化以及全局平均池化来获得两个通道的目标图像的特征;

将经过最大池化以及全局平均池化之后所获得的两个通道的目标图像的特征,输入到多层感知机网络中经元数求和后得到特征向量;

将所述特征向量通过sigmoid激活函数以得到第一权重系数,将所述第一权重系数与输入的目标图像进行相乘以得到第一加权新特征。

6.根据权利要求5所述的一种基于通道与空间注意力机制的孪生网络目标跟踪方法,其特征在于,所述第一权重系数表示为:

其中,为第一权重系数,表示sigmoid激活函数,表示共享多层感知机网络的权重,表示relu函数,为全局平均池化函数,为最大池化函数,表示输入的目标图像;

所述第一加权新特征表示为:

其中,表示第一加权新特征,表示元数级的乘法。

7.根据权利要求6所述的一种基于通道与空间注意力机制的孪生网络目标跟踪方法,其特征在于,在利用训练好的所述新型骨干网络模型在所述多个目标图像中提取以得到目标图像样本深层特征的步骤中,所述空间注意力机制执行如下步骤:

通过最大池化以及全局平均池化来获得两个通道的目标图像的特征,并通过第一卷积层对两个通道的目标图像的特征进行拼接;

将拼接后的两个通道的目标图像的特征,通过第二卷积层以及sigmoid激活函数计算得到第二权重系数;

将所述第二权重系数与所述第一加权新特征进行相乘以得到第二加权新特征。

8.根据权利要求7所述的一种基于通道与空间注意力机制的孪生网络目标跟踪方法,其特征在于,

所述第二权重系数表示为:

其中,为所述第二权重系数,表示卷积核的感受域为7×7,同样表示第一加权新特征,表示sigmoid激活函数;

所述第二加权新特征表示为:

为所述第二加权新特征。

9.根据权利要求1所述的一种基于通道与空间注意力机制的孪生网络目标跟踪方法,其特征在于,在所述基于卷积神经网络模型、通道注意力机制以及空间注意力机制,构建得到新型骨干网络模型的步骤中,

以所述多个目标图像作为训练数据集进行训练,其中所述训练数据集包含560个运动对象以及87个运动模式类;

在进行训练构建时使用到随机梯度下降法,其中动量被设置为0.9。

10.根据权利要求2所述的一种基于通道与空间注意力机制的孪生网络目标跟踪方法,其特征在于,所述孪生网络框架中的模板分支与搜索分支分别提取到的目标图像特征大小为"6×6×128"和"22×22×128"。


技术总结
本发明提出一种基于通道与空间注意力机制的孪生网络目标跟踪方法,包括如下步骤:对视频或图像数据集进行处理,以获得统一图像大小的多个目标图像;基于卷积神经网络模型、通道注意力机制以及空间注意力机制,构建得到新型骨干网络模型;从多个目标图像中提取训练样本,以对新型骨干网络模型进行训练;利用训练好的新型骨干网络模型在多个目标图像中提取以得到目标图像样本深层特征,并将目标图像样本深层特征在目标图像候选区域进行相似性匹配以得到多个目标候选块,每个目标候选块对应有一相似度得分;利用获取到的最大相似度得分的目标候选块进行目标跟踪。本发明所设计的跟踪算法的表观模型,具有更好的鲁棒性与精确度。

技术研发人员:王军;孟晨晨;邓承志;王员云;张珮芸
受保护的技术使用者:南昌工程学院
技术研发日:2021.07.22
技术公布日:2021.08.20
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1