一种视频对象重识别方法、设备及介质

本发明涉及计算机视觉，具体涉及一种视频对象重识别方法、设备及介质。

背景技术：

1、重识别任务旨在以一个摄像头拍摄的视频或图像作为查询样本，在由不同摄像头捕获的视频或图像库中，检索出和查询样本属于同一对象（如船舶、行人等）的样本。基于深度学习的重识别模型凭借其从监控数据中高效提取有价值的信息的能力，被广泛应用于犯罪调查和智能监控领域。与基于图像的重识别任务相比，视频对象重识别任务的查询和图库数据都是对象的运动轨迹。轨迹数据不仅蕴含了更丰富的信息，也引入了一些特有的问题。

2、影响视频对象重识别模型性能的关键问题包括视频帧错位。视频帧错位指同一轨迹内不同帧间对象主体的尺寸、位置等特征存在明显差异的现象。在构建重识别数据集时，为减少背景对模型的干扰，目标检测模型通常被用来为对象标注边界框。然而，边界框标注的不准确会导致视频帧错位。此外，对象的快速运动也会导致相邻视频帧中对象的位置不同。这两个因素导致视频帧错位现象在重识别数据集中普遍存在。

3、为解决视频帧错位的问题，现有研究主要聚焦于两类方法：

4、一、相邻帧对齐方法。相邻帧对齐方法通过设计相邻帧对齐模块实现两帧对齐，并将这种对齐逐帧传导，从而实现整个视频序列帧的对齐。这是一类比较轻量级的对齐方法，但是这类方法只能解决小范围内视频帧的对齐，且计算效率低。

5、二、部分对齐方法。部分对齐方法则借助外部模型或设计复杂的模块将对象主体划分为若干部分，实现部分到部分的对齐。因此，与相邻帧对齐这种轻量级的方法相比，部分对齐方法的计算成本较高。

6、进一步地，影响视频对象重识别模型性能的关键问题还包括外部条件差异，具体是指同一对象不同轨迹间，因光照、视角、背景等条件的不同而导致的类内差异增大的问题。在多种外部条件发生显著变化的情况下，同一对象的不同轨迹外观相似性低，导致模型更倾向于检索出外观相似但属于不同对象的样本，从而降低了重识别的准确率。在工业场景中，重识别任务的核心目标是确定查询对象的身份，而非找出外观相似的样本。因此，如何在外部条件干扰下准确识别正确id的样本，是提高视频重识别模型性能并满足工业需求的关键。

7、现有方法解决这一问题的思路可以被总结为：通过解缠主体特征和外部条件特征实现对外部条件差异的处理。如解决视角差异的方法本质上是将与视角变换有关的特征和对象本身的特征进行解缠和重组。解决背景干扰的方法则是将背景特征和对象主体特征进行解缠。解缠的过程通常需要借助辅助标签，如视角标签和前景背景标签等，从而带来额外的标注成本。

8、综上所述，急需一种视频对象重识别方法、设备及介质解决现有技术中的问题。

技术实现思路

1、本发明目的在于提供一种视频对象重识别方法、设备及介质，具体技术方案如下：

2、一种视频对象重识别方法，包括如下步骤：

3、s100：获取包含轨迹的视频数据；

4、s200：构建视频对象重识别模型，所述视频对象重识别模型包括金字塔对齐模块和id图匹配模块；

5、s300：通过特征提取器提取轨迹中每一帧的帧特征，并采用金字塔对齐模块对齐同一轨迹内的所有帧特征；

6、s400：采用id图匹配模块充分利用帧特征，得到查询轨迹与每个id的id匹配度，基于id匹配度实现视频对象重识别。

7、可选的，在s300中，采用金字塔对齐模块对齐所有帧特征的过程如下：

8、采用特征提取器提取轨迹中每一帧的帧特征；所述金字塔对齐模块采用层次化的两两对齐方式，实现轨迹中所有帧的对齐；两个帧特征对齐的过程中引入时序转移注意力机制，实现对两个帧特征的对齐。

9、可选的，在s400中，采用id图匹配模块处理帧特征的过程如下：

10、s401：构图，对于查询和图库数据，采用不同的构图方式，分别构建查询轨迹图和id图；

11、s402：id图池化，将所有id图池化到和查询轨迹图相同的尺寸；

12、s403：图匹配，计算查询轨迹图和池化后的id图之间的id匹配度；

13、s404：id匹配度指导，采用id匹配度作为辅助信息，帮助模型检索出和查询属于同一id的轨迹。

14、可选的，在s401中，构图的过程包括：

15、对于查询和图库采用不同的构图方法，分别构建查询轨迹图和id图；

16、对于查询，将对齐后的帧特征作为图节点构建查询轨迹图，每个图对应一个查询轨迹；

17、对于图库，将池化后的轨迹特征作为图节点，构建id图，每个图对应一个id；

18、根据节点间相似度自适应地学习邻接矩阵，以完成边的构建。

19、可选的，在s402中，将所有id图池化到和查询轨迹图相同的尺寸，过程如下：

20、采用由查询指导的id图池化策略，具体是，基于id图中节点与查询轨迹图的相似程度进行下采样，保留与id图相似度高的节点，使得id图的节点数量与查询轨迹图相同；

21、对所有id图执行图池化操作，实现所有id图池化。

22、可选的，在s403中，图匹配的过程如下：

23、对查询轨迹图和池化后的id图进行节点到节点的匹配，基于匹配后的节点计算查询轨迹图和池化后的id图之间的id匹配度。

24、可选的，在s404中，id匹配度指导的过程如下：

25、计算池化后的查询轨迹与所有图库轨迹之间的特征相似性，得到相似性向量，并采用id匹配度对相似性向量进行校正，得到最终重识别结果。

26、另外，本发明还提供了一种计算机设备，包括存储器和处理器；

27、所述存储器用于存储可在处理器上运行的计算机程序；

28、所述处理器用于执行所述计算机程序时实现如上述的视频对象重识别方法的步骤。

29、另外，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的视频对象重识别方法的步骤。

30、应用本发明的技术方案，具有以下有益效果：

31、本发明提供了一种视频对象重识别方法，在本发明方法中，构建了一种基于金字塔对齐和id图匹配的视频对象重识别模型——pagm。该模型通过金字塔对齐模块，不仅在整个视频范围内精准对齐了错位的视频帧，还具有很好的并行性。另外，本发明设计了id图匹配模块，所述id图匹配模块将查询构建成查询轨迹图，并将图库中同一id的所有轨迹构建成id图。查询轨迹图和id图匹配得到的id匹配度可以作为辅助信息，引导模型排除外部条件干扰，检索出和查询轨迹属于同一id的轨迹。

32、除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照图，对本发明作进一步详细的说明。

技术特征：

1.一种视频对象重识别方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的视频对象重识别方法，其特征在于，在s401中，构图的过程包括：

3.根据权利要求1所述的视频对象重识别方法，其特征在于，在s402中，将所有id图池化到和查询轨迹图相同的尺寸，过程如下：

4.根据权利要求1所述的视频对象重识别方法，其特征在于，在s403中，图匹配的过程如下：

5.根据权利要求1所述的视频对象重识别方法，其特征在于，在s404中，id匹配度指导的过程如下：

6.一种计算机设备，其特征在于，包括存储器和处理器；

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的视频对象重识别方法的步骤。

技术总结
本发明涉及计算机视觉技术领域，具体涉及一种视频对象重识别方法、设备及介质，所述方法包括如下步骤：获取包含轨迹的视频数据；构建视频对象重识别模型，所述视频对象重识别模型包括金字塔对齐模块和ID图匹配模块；通过特征提取器提取轨迹中每一帧的帧特征，采用金字塔对齐模块对齐同一轨迹内的所有帧特征；采用ID图匹配模块充分利用帧特征，得到查询轨迹与每个ID的匹配度，辅助模型实现更精准的视频对象重识别。本发明方法通过金字塔对齐模块，对齐了错位的视频帧，在保证计算效率的前提下，提高了重识别准确率。另外，本发明通过ID图匹配模块，引导模型排除外部条件干扰，检索出和查询属于同一ID的轨迹。

技术研发人员：鲁鸣鸣,朱凯茵
受保护的技术使用者：中南大学
技术研发日：
技术公布日：2024/12/19