基于特征增强与级联融合注意力的目标跟踪方法与系统

本发明涉及计算机视觉与图像处理，特别涉及一种基于特征增强与级联融合注意力的目标跟踪方法与系统。

背景技术：

1、目标跟踪是计算机视觉领域的一个基础研究方向，被广泛应用于智能安防、自动驾驶等领域。其主要任务是在首帧中标定目标的边界框后，自动追踪目标在后续视频帧中的位置和形状。目标跟踪算法必须应对遮挡、尺度变化、光照条件变化和形变等挑战，随着时间的推移，这些挑战进一步增加，因此设计一个鲁棒且高精度的目标跟踪系统仍然是一项具有挑战性的任务。

2、卷积神经网络在特征提取方面表现出色，基于卷积神经网络的跟踪器实现了优越的跟踪性能。首先，基于孪生神经网络的跟踪器分别在目标模板分支和搜索区域分支对输入的图像进行特征提取，得到相应的特征信息。然后，跟踪器利用互相关操作计算两个分支特征的相似度，相似度最大的区域候选作为下一帧的目标位置。

3、尽管这些跟踪器取得了优异的性能，但是仍然存在一些不足：（1）在传统的卷积神经网络中，特征提取阶段涉及卷积核对输入特征进行滑动操作，以获取不同位置的特征信息。在这个过程中，相邻通道的特征表现出一定程度的相关性，从而导致信息存在一定程度的重复，占用了较大的计算资源。（2）互相关操作是一种线性融合方式，用于衡量模板与搜索区域之间的相似度。然而，这种操作容易导致语义信息的丢失，并使模型陷入局部最优，无法获取全局上下文特征信息。

技术实现思路

1、鉴于上述状况，本发明的主要目的是为了提出一种基于特征增强与级联融合注意力的目标跟踪方法与系统，以解决上述技术问题。

2、本发明提出了一种基于特征增强与级联融合注意力的目标跟踪方法，所述方法包括如下步骤：

3、步骤1、在孪生双分支网络目标跟踪框架下，基于特征表示增强模块构建得到特征提取网络，基于级联融合注意力构建得到特征融合网络；

4、步骤2、通过大规模数据集对特征提取网络和特征融合网络进行训练，获得训练后的特征提取网络和训练后的特征融合网络；

5、步骤3、利用训练后的特征提取网络提取目标模板图像以及搜索区域图像的深层特征，并通过特征表示增强模块对目标模板图像以及搜索区域图像的深层特征进行增强，获得包含目标图像信息的模板特征和搜索特征；

6、步骤4、将模板特征输入到编码器中对模板特征进行增强，以获得编码特征；

7、步骤5、将编码特征输入训练后的特征融合网络中进行级联融合注意力操作，以实现分组级联的方式计算输出特征，得到增强的目标模板中间特征；

8、步骤6、将搜索特征与增强的目标模板中间特征输入至解码器，以得到用于定位目标的分数预测图；

9、步骤7、将分数预测图中的最高分数区域作为目标的候选区域，并将其位置作为判定依据得到跟踪目标。

10、本发明还提出一种基于特征增强与级联融合注意力的目标跟踪系统，其中，所述系统应用如上所述的基于特征增强与级联融合注意力的目标跟踪方法，所述系统包括：

11、网络构建模块，用于：

12、在孪生双分支网络目标跟踪框架下，基于特征表示增强模块构建得到特征提取网络，基于级联融合注意力构建得到特征融合网络；

13、预训练模块，用于：

14、通过大规模数据集对特征提取网络和特征融合网络进行训练，获得训练后的特征提取网络和训练后的特征融合网络；

15、特征提取模块，用于：

16、利用训练后的特征提取网络提取目标模板图像以及搜索区域图像的深层特征，并通过特征表示增强模块对目标模板图像以及搜索区域图像的深层特征进行增强，获得包含目标图像信息的模板特征和搜索特征；

17、第一融合模块，用于：

18、将模板特征输入到编码器中对模板特征进行增强，以获得编码特征；

19、将编码特征输入训练后的特征融合网络中进行级联融合注意力操作，以实现分组级联的方式计算输出特征，得到增强的目标模板中间特征；

20、第二融合模块，用于：

21、将搜索特征与增强的目标模板中间特征输入至解码器，以得到用于定位目标的分数预测图；

22、目标跟踪模块，用于：

23、将分数预测图中的最高分数区域作为目标的候选区域，并将其位置作为判定依据得到跟踪目标。

24、相较于现有技术，本发明的有益效果如下：

25、1、在本发明利用分组级联的设计方式，以使不同注意力头具备更好的互补性,可以获得更丰富的特征信息，每个注意力头可以聚焦输入特征的局部信息，得到局部增强的模板特征，级联的方式，使得当前注意力头都融合了上一个注意力头的输出,充分利用全局上下文信息，得到增强的目标模板中间特征，实现更加鲁棒和精确的跟踪。

26、2、本发明利用特征表示增强模块减少标准卷积操作得到的特征图上存在的通道维度上的冗余，从而减少了特征图的冗余，使得特征提取网络提取的特征更具有判别性，使得模型以较小的计算代价，构建了准确性高和鲁棒性强的特征提取网络。

27、本发明的附加方面与优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实施例了解到。

技术特征：

1.一种基于特征增强与级联融合注意力的目标跟踪方法，其特征在于，所述方法包括如下步骤：

2.根据权利要求1所述的基于特征增强与级联融合注意力的目标跟踪方法，其特征在于，在所述步骤3中，通过特征表示增强模块对目标模板图像以及搜索区域图像的深层特征进行增强的方法具体包括如下步骤：

3.根据权利要求2所述的基于特征增强与级联融合注意力的目标跟踪方法，其特征在于，将上分支特征通过高效卷积以提取丰富的深层通道特征信息的过程存在如下关系式：

4.根据权利要求3所述的基于特征增强与级联融合注意力的目标跟踪方法，其特征在于，分别对上分支丰富的深层通道中间特征映射和下分支浅层通道补充细节中间特征映射进行全局平均池化收集全局空间信息的过程存在如下关系式：

5.根据权利要求4所述的基于特征增强与级联融合注意力的目标跟踪方法，其特征在于，通过softmax操作分别计算上分支和下分支的通道注意力权重和的过程存在如下关系式：

6.根据权利要求5所述的基于特征增强与级联融合注意力的目标跟踪方法，其特征在于，根据注意力权重和，沿着通道维度融合上分支深层通道特征信息和下分支浅层通道补充细节特征以获取包含目标图像信息的深度特征的过程存在如下关系式：

7.根据权利要求6所述的基于特征增强与级联融合注意力的目标跟踪方法，其特征在于，在所述步骤5中，将编码特征输入训练后的特征融合网络中进行级联融合注意力操作，以实现分组级联的方式计算输出特征的方法具体包括如下步骤：

8.根据权利要求7所述的基于特征增强与级联融合注意力的目标跟踪方法，其特征在于，将每个子集输入对应的注意力头中进行自注意力计算操作的过程存在如下关系式：

9.根据权利要求8所述的基于特征增强与级联融合注意力的目标跟踪方法，其特征在于，将每个注意力头的输出采用级联的方式进行聚合输出的过程存在如下关系式：

10.一种基于特征增强与级联融合注意力的目标跟踪系统，其特征在于，所述系统应用如权利要求1至8任意一项所述的基于特征增强与级联融合注意力的目标跟踪方法，所述系统包括：

技术总结
本发明提出一种基于特征增强与级联融合注意力的目标跟踪方法与系统，该方法包括，在孪生双分支网络目标跟踪框架下，基于特征表示增强模块构建得到特征提取网络，基于级联融合注意力构建得到特征融合网络，利用训练后的特征提取网络提取目标模板图像以及搜索区域图像的深层特征并进行增强，获得模板特征和搜索特征，将模板特征输入到编码器中获得编码特征，将编码特征输入训练后的特征融合网络中进行级联融合注意力操作，得到增强的目标模板中间特征，将搜索特征与增强的目标模板中间特征输入至解码器，以得到用于定位目标的分数预测图以实现目标跟踪。本发明利用分组级联的设计方式，充分利用全局上下文信息，实现更加鲁棒和精确的跟踪。

技术研发人员：王军,柴秉飞,王员云
受保护的技术使用者：南昌工程学院
技术研发日：
技术公布日：2024/3/17