行人重识别方法及其装置、电子设备及存储介质与流程

本技术涉及人工智能，尤其涉及一种行人重识别方法及其装置、电子设备及存储介质。

背景技术：

1、相关技术中，在进行行人重识别任务时，会根据多镜头拍摄的多个视频序列来进行特定行人检测。但是视频序列的部分视频帧会存在遮挡等问题，导致无法准确识别行人的身体部位，降低了行人重识别的准确率。

技术实现思路

1、本技术实施例的主要目的在于提出一种行人重识别方法和装置、电子设备及存储介质，旨在提高行人重识别的准确率。

2、为实现上述目的，本技术实施例的第一方面提出了一种行人重识别方法，所述方法包括：

3、获取待识别的多个原始视频帧；

4、对所述原始视频帧进行特征提取，得到所述原始视频帧的初始特征图；

5、将所述初始特征图输入至预设的时空注意力模型进行归一化处理，得到所述初始特征图的初始注意力图；

6、对所述初始特征图进行分割处理，得到初始子特征图，并对所述初始注意力图进行分割处理，得到子注意力图，其中，所述初始子特征图和所述子注意力图一一对应；

7、对所述子注意力图进行归一化处理，得到所述初始子特征图的初始空间注意力分数；

8、根据所述初始空间注意力分数构建目标特征注意力矩阵；

9、根据所述目标特征注意力矩阵和多个所述初始子特征图进行特征图构建，得到目标特征图；

10、对所述目标特征图与预设的参考人物图像进行相似度计算，得到目标相似度；

11、根据所述目标相似度对多个所述原始视频帧进行筛选处理，得到目标视频帧，所述目标视频帧是包含目标人物的视频帧。

12、在一些实施例，所述初始特征图包括第一特征图和第二特征图，所述对所述原始视频帧进行特征提取，得到所述原始视频帧的初始特征图，包括：

13、对所述原始视频帧进行尺度变换处理，得到第一视频图像和第二视频图像，所述第一视频图像的分辨率高于所述第二视频图像；

14、基于预设的特征提取模型对所述第一视频图像进行特征提取，得到第一特征图，并通过所述特征提取模型对所述第二视频图像进行特征提取，得到第二特征图。

15、在一些实施例，所述特征提取模型包括第一神经网络和第二神经网络，所述第一特征图包括第一全局特征图和第一局部特征图，所述第二特征图包括第二全局特征图和第二局部特征图，所述基于预设的特征提取模型对所述第一视频图像进行特征提取，得到第一特征图，并通过所述特征提取模型对所述第二视频图像进行特征提取，得到第二特征图，包括：

16、基于所述第一神经网络对所述第一视频图像进行人物姿态估计，得到所述第一视频图像的第一热图，并通过所述第一神经网络对所述第二视频图像进行人物姿态估计，得到所述第二视频图像的第二热图；

17、基于所述第二神经网络对所述第一视频图像进行特征提取，得到第一中间特征图，并通过所述第二神经网络对所述第二视频图像进行特征提取，得到第二中间特征图；

18、对所述第一热图和所述第一中间特征图进行特征融合，得到所述第一局部特征图，并对所述第二热图和所述第二中间特征图进行图像融合，得到所述第二局部特征图；

19、对所述第一中间特征图进行池化处理，得到所述第一全局特征图，并对所述第二中间特征图进行池化处理，得到所述第二全局特征图。

20、在一些实施例，所述第一神经网络包括第一卷积层、反卷积层和第二卷积层，所述基于所述第一神经网络对所述第一视频图像进行人物姿态估计，得到所述第一视频图像的第一热图，包括：

21、通过所述第一卷积层对所述第一视频图像进行特征提取，得到第三中间特征图；

22、通过所述反卷积层对所述第三中间特征图进行上采样处理，得到第四中间特征图；

23、通过所述第二卷积层对所述第四中间特征图进行热图预测，得到所述第一热图。

24、在一些实施例，所述根据所述初始空间注意力分数构建目标特征注意力矩阵，包括：

25、获取所述原始视频帧的时间数据以及所述初始子特征图在所述初始特征图中的空间位置数据；

26、根据所述空间位置数据对多个所述初始空间注意力分数进行拼接处理，得到每一所述初始特征图的目标空间注意力分数；

27、根据所述时间数据对多个所述目标空间注意力分数进行聚合处理，得到所述目标特征注意力矩阵。

28、在一些实施例，所述根据所述目标特征注意力矩阵和多个所述初始子特征图进行特征图构建，得到目标特征图，包括：

29、根据所述目标特征注意力矩阵对每一所述初始子特征图进行筛选处理，得到多个目标子特征图；

30、基于所述目标特征注意力矩阵对多个所述初始子特征图进行加权计算，得到每一所述初始特征图的目标加权特征图；

31、根据所述目标子特征图和所述目标加权特征图，得到所述目标特征图。

32、在一些实施例，所述根据所述目标子特征图和所述目标加权特征图，得到所述目标特征图，包括：

33、对多个所述目标子特征图进行拼接处理，得到第一融合特征图；

34、对多个所述目标加权特征图进行拼接处理，得到第二融合特征图；

35、对所述第一融合特征图和所述第二融合特征图进行特征融合，得到所述目标特征图。

36、为实现上述目的，本技术实施例的第二方面提出了一种行人重识别装置，所述装置包括：

37、获取模块，用于获取待识别的多个原始视频帧；

38、特征提取模块，用于对所述原始视频帧进行特征提取，得到所述原始视频帧的初始特征图；

39、第一归一化模块，用于将所述初始特征图输入至预设的时空注意力模型进行归一化处理，得到所述初始特征图的初始注意力图；

40、分割模块，用于对所述初始特征图进行分割处理，得到初始子特征图，并对所述初始注意力图进行分割处理，得到子注意力图，其中，所述初始子特征图和所述子注意力图一一对应；

41、第二归一化模块，用于对所述子注意力图进行归一化处理，得到所述初始子特征图的初始空间注意力分数；

42、第一构建模块，用于根据所述初始空间注意力分数构建目标特征注意力矩阵；

43、第二构建模块，用于根据所述目标特征注意力矩阵和多个所述初始子特征图进行特征图构建，得到目标特征图；

44、计算模块，用于对所述目标特征图与预设的参考人物图像进行相似度计算，得到目标相似度；

45、筛选模块，用于根据所述目标相似度对多个所述原始视频帧进行筛选处理，得到目标视频帧，所述目标视频帧是包含目标人物的视频帧。

46、为实现上述目的，本技术实施例的第三方面提出了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法。

47、为实现上述目的，本技术实施例的第四方面提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法。

48、本技术提出的行人重识别方法、行人重识别装置、电子设备及计算机可读存储介质,其通过获取待识别的多个原始视频帧，对原始视频帧进行特征提取，得到原始视频帧的初始特征图，为了避免多个视频帧之间因行人姿态变化导致的空间错位，引入注意力机制对初始特征图进行处理，将初始特征图输入至预设的时空注意力模型进行归一化处理，得到初始特征图的初始注意力图，对初始特征图进行分割处理，得到初始子特征图，并对初始注意力图进行分割处理，得到子注意力图，其中，初始子特征图和子注意力图一一对应，使得初始特征图的每个空间区域都具有与其对应的子注意图，对子注意力图进行归一化处理，得到初始子特征图的初始空间注意力分数，使初始特征图的每个空间区域都具有与其对应的空间注意力分数，根据初始空间注意力分数构建目标特征注意力矩阵，根据目标特征注意力矩阵和多个初始子特征图进行特征图构建，得到目标特征图，能够避免根据视频帧中遮挡区域的特征进行行人重识别，而采用空间注意力分数较高的关键特征进行行人重识别，以准确识别视频帧中行人的身体部位。进一步地，对目标特征图与预设的参考人物图像进行相似度计算，得到目标相似度，根据目标相似度对多个原始视频帧进行筛选处理，得到目标视频帧，目标视频帧是包含目标人物的视频帧，将目标视频帧作为行人重识别的结果，提高了行人重识别的准确率。