1.一种基于通道与空间注意力机制的孪生网络目标跟踪方法,其特征在于,所述方法包括如下步骤:
步骤一:对视频或图像数据集进行处理,以获得统一图像大小的多个目标图像;
步骤二:基于卷积神经网络模型、通道注意力机制以及空间注意力机制,构建得到新型骨干网络模型;
步骤三:从所述多个目标图像中提取训练样本,以对所述新型骨干网络模型进行训练;
步骤四:利用训练好的所述新型骨干网络模型在所述多个目标图像中提取以得到目标图像样本深层特征,并将所述目标图像样本深层特征在目标图像候选区域进行相似性匹配以得到多个目标候选块,其中每个目标候选块均分别对应有一相似度得分;
步骤五:利用获取到的最大相似度得分的目标候选块进行目标跟踪。
2.根据权利要求1所述的一种基于通道与空间注意力机制的孪生网络目标跟踪方法,其特征在于,所述新型骨干网络模型为孪生网络框架,所述孪生网络框架包括模板分支以及搜索分支;
其中,从所述多个目标图像中提取训练样本的步骤包括:
当对所述目标图像进行搜索的子窗口扩展到所述目标图像的范围之外时,缺失的图像部分利用平均rgb值进行填充。
3.根据权利要求2所述的一种基于通道与空间注意力机制的孪生网络目标跟踪方法,其特征在于,在所述孪生网络框架中,所述方法包括:
分别通过所述模板分支以及所述搜索分支进行目标图像的输入,并根据所述模板分支以及所述搜索分支以获取目标图像样本深层特征;
在所述孪生网络框架中,存在如下公式:
其中,h表示输入输出信号的映射函数,k表示步幅,
4.根据权利要求3所述的一种基于通道与空间注意力机制的孪生网络目标跟踪方法,其特征在于,在所述步骤四中,所述相似度得分的公式表述为:
其中,
5.根据权利要求4所述的一种基于通道与空间注意力机制的孪生网络目标跟踪方法,其特征在于,在利用训练好的所述新型骨干网络模型在所述多个目标图像中提取以得到目标图像样本深层特征的步骤中,所述通道注意力机制执行如下步骤:
通过最大池化以及全局平均池化来获得两个通道的目标图像的特征;
将经过最大池化以及全局平均池化之后所获得的两个通道的目标图像的特征,输入到多层感知机网络中经元数求和后得到特征向量;
将所述特征向量通过sigmoid激活函数以得到第一权重系数,将所述第一权重系数与输入的目标图像进行相乘以得到第一加权新特征。
6.根据权利要求5所述的一种基于通道与空间注意力机制的孪生网络目标跟踪方法,其特征在于,所述第一权重系数表示为:
其中,
所述第一加权新特征表示为:
其中,
7.根据权利要求6所述的一种基于通道与空间注意力机制的孪生网络目标跟踪方法,其特征在于,在利用训练好的所述新型骨干网络模型在所述多个目标图像中提取以得到目标图像样本深层特征的步骤中,所述空间注意力机制执行如下步骤:
通过最大池化以及全局平均池化来获得两个通道的目标图像的特征,并通过第一卷积层对两个通道的目标图像的特征进行拼接;
将拼接后的两个通道的目标图像的特征,通过第二卷积层以及sigmoid激活函数计算得到第二权重系数;
将所述第二权重系数与所述第一加权新特征进行相乘以得到第二加权新特征。
8.根据权利要求7所述的一种基于通道与空间注意力机制的孪生网络目标跟踪方法,其特征在于,
所述第二权重系数表示为:
其中,
所述第二加权新特征表示为:
9.根据权利要求1所述的一种基于通道与空间注意力机制的孪生网络目标跟踪方法,其特征在于,在所述基于卷积神经网络模型、通道注意力机制以及空间注意力机制,构建得到新型骨干网络模型的步骤中,
以所述多个目标图像作为训练数据集进行训练,其中所述训练数据集包含560个运动对象以及87个运动模式类;
在进行训练构建时使用到随机梯度下降法,其中动量被设置为0.9。
10.根据权利要求2所述的一种基于通道与空间注意力机制的孪生网络目标跟踪方法,其特征在于,所述孪生网络框架中的模板分支与搜索分支分别提取到的目标图像特征大小为"6×6×128"和"22×22×128"。