一种多尺度遮挡抑制的遮挡行人重识别方法

本发明涉及一种多尺度遮挡抑制的遮挡行人重识别方法，属于计算机视觉。

背景技术：

1、随着信息化时代发展，世界正朝着智能化的方向前进，结合人工智能进行公共安全的维护愈发具有挑战性。我国视频监控系统规模庞大，视频监控系统每天不间断的运作会产生海量的数据，如果安排人力对视频数据进行监察和分析会造成低效率并且难以实现有效处理监控数据的情况。因此，如何在海量视频监控数据中检索有效的信息是当前值得研究的问题。

2、行人重识别旨在识别从非重叠监控摄像机网络捕获的目标行人。随着深度学习的快速发展，基于深度神经网络的行人重识别近年来取得了显著进展。大多数现有的行人重识别方法通常假设行人的整个身体是可见的。然而，在现实环境中，行人遮挡是不可避免的。遮挡行人重识别的任务是在目标行人被遮挡的情况下，在不同摄像头下找到同一个人。遮挡问题不容忽视，尤其是在机场、商场和医院等人群密集的场景。

3、现有的行人重识别方法大多在数据预处理阶段进行数据增强，这些方法大多数使用常规的数据增强，例如：随机翻转、随机遮挡(擦除)、随机裁剪和颜色抖动等。然而，这些数据增强方法都是针对没有遮挡的普通场景的常规数据预处理操作，因此这些方法不能有效地处理被遮挡的行人图像。

4、在遮挡行人重识别任务中，遮挡区域的干扰可能导致特征不匹配。一些工作使用注意力机制来抑制这种干扰。dpan设计了一个多样化的部位注意力网络，并使用通道组分别检测行人图像的显著部分和非显著部分。aacn设计了一个注意力感知组合网络来处理行人重识别中的不对齐和遮挡问题。jmlfnet设计了一个多注意力块并将其嵌入到轻量级骨干网络中以提高性能，使网络专注于行人图像的关键部分。然而，这些基于注意力的方法忽略了行人图像的空间特征。

5、一些方法通过姿态估计模型或人体解析模型获取行人身体部位特征。pfd是一种基于transformer的姿态引导特征解纠缠方法，该网络利用姿态信息解纠缠行人图像的语义成分(如人体关节或部位)。pdc是一种基于姿态的深度卷积模型，该网络利用人体部位线索来减轻姿态变化，并从全局图像和不同的局部部位学习鲁棒的特征表示。然而，由于特征匹配中涉及被遮挡的部位，这些基于部位的方法可能会导致检测精度下降。

6、因此，虽然现有行人重识别研究在提高行人重识别模型的准确率方面发展较为成熟，但是忽略了行人被遮挡的问题，难以在终端进行部署，并且已有遮挡行人重识别模型的精度效果比较差。因此，亟待一种专注于遮挡的行人重识别方法以解决上述问题。

技术实现思路

1、针对现有方法中存在的问题，本发明的目的在于提供一种多尺度遮挡抑制的遮挡行人重识别方法，包括以下步骤：

2、利用双重遮挡增强模块生成更多样化的遮挡数据，并将增强后的图片输入到遮挡感知空间注意力模块和部位特征匹配模块中；

3、在遮挡感知空间注意力模块中，使用经典的主干网络提取行人图像特征，通过遮挡感知空间注意力块聚焦行人图像非遮挡区域进行特征增强并得到全局特征，从全局的角度抑制遮挡；

4、在部位特征匹配模块中，利用人体解析模型获得身体部位热图并获取部位特征和前景特征，使用混合图匹配块匹配非遮挡身体部位，从局部的角度抑制遮挡；

5、构建损失函数，对网络参数进行迭代优化；

6、将最终提取到的行人图像特征与图像库中的各个图像进行相似性度量，输出匹配列表。

7、进一步的，整体框架包括，包含了双重遮挡增强模块；包含了主干网络、遮挡感知空间注意力块的遮挡感知空间注意力模块；包含了人体解析模型和混合图匹配块的部位特征匹配模块。

8、进一步的，所述的主干网络为resnet50，人体解析模型为pifpaf。

9、进一步的，所述的遮挡感知空间注意力块为空间注意力，包括分割、池化、卷积块、bn、relu、sigmoid、拼接和元素级相加。

10、进一步的，所述卷积块由深度可分离卷积构成，具体执行顺序为1×1卷积，轻量级的3×3卷积，轻量级的3×3卷积和1×1卷积。

11、进一步的，所述混合图匹配块包括特征嵌入、混合匹配和相似度计算。

12、进一步的，所述相似度计算包括sigmoid、全连接和元素绝对运算。

13、进一步的，所述得到最终的全局特征和部位特征分别使用交叉熵损失和难样本三元组损失进行训练，相似度使用验证损失进行训练。

14、进一步的，所述相似性度量通过计算行人图像特征之间的余弦相似度，得到最终的匹配结果，以余弦相似度从大到小生成匹配列表。

15、与现有技术相比，本发明具有如下有益效果：

16、1、本发明提出了一种新颖的双重遮挡增强模块，它可以生成更多样化的遮挡数据，使所提出的网络更有利于处理现实世界的遮挡。

17、2、针对本发明创新性地提出了一种的遮挡感知空间注意模块，它可以有效处理遮挡行人重识别中的遮挡情况，使网络能够更有效地从遮挡的行人图像中提取鉴别特征。

18、3、本发明提出了一种新颖的部位特征匹配模块来匹配非遮挡的身体部位并提高网络提取非遮挡部位特征的能力。

19、4、本发明在两个遮挡数据集occluded-dukemtmc和p-dukemtmc-reid上验证了本发明方法的有效性。并且，我们对两个普通数据集market1501和dukemtmc-reid进行了实验，以证明本发明方法的泛化性。采用了全面的评价指标对模型精确度和复杂度进行评价：包括map和rank-1。在两种指标下的实验结果充分证明了本发明方法的有效性。

技术特征：

1.一种多尺度遮挡抑制的遮挡行人重识别方法，其特征在于，所述方法包括以下步骤：

2.根据权利要求1所述的多尺度遮挡抑制的遮挡行人重识别方法，其特征在于，整体框架包括，包含了双重遮挡增强模块；包含了主干网络和遮挡感知空间注意力块的遮挡感知空间注意力模块；包含了人体解析模型和混合图匹配块的部位特征匹配模块。

3.根据权利要求1所述的多尺度遮挡抑制的遮挡行人重识别方法，其特征在于，所述的双重遮挡增强模块包含了随机遮挡和多样化遮挡。

4.根据权利要求1所述的多尺度遮挡抑制的遮挡行人重识别方法，其特征在于，所述的主干网络为resnet50，人体解析模型为pifpaf。

5.根据权利要求1所述的多尺度遮挡抑制的遮挡行人重识别方法，其特征在于，所述的遮挡感知空间注意力块为空间注意力，包括分割、池化、卷积块、bn、relu、sigmoid、拼接和元素级相加。

6.根据权利要求5所述的多尺度遮挡抑制的遮挡行人重识别方法，其特征在于，所述卷积块由深度可分离卷积构成，具体执行顺序为1×1卷积，轻量级的3×3卷积，轻量级的3×3卷积和1×1卷积。

7.根据权利要求1所述的多尺度遮挡抑制的遮挡行人重识别方法，其特征在于，所述混合图匹配块包括特征嵌入、混合匹配和相似度计算。

8.根据权利要求7所述的多尺度遮挡抑制的遮挡行人重识别方法，其特征在于，所述相似度计算包括sigmoid、全连接和元素绝对运算。

9.根据权利要求1所述的多尺度遮挡抑制的遮挡行人重识别方法，其特征在于，所述得到最终的全局特征和部位特征分别使用交叉熵损失和难样本三元组损失进行训练，相似度使用验证损失进行训练。

10.根据权利要求1所述的多尺度遮挡抑制的遮挡行人重识别方法，其特征在于，所述相似性度量通过计算行人图像特征之间的余弦相似度，得到最终的匹配结果，以余弦相似度从大到小生成匹配列表。

技术总结
本发明公开了一种多尺度遮挡抑制的遮挡行人重识别方法，所述方法包括以下步骤：利用双重遮挡增强模块生成更多样化的遮挡数据，将增强后的图片输入到遮挡感知空间注意力模块和部位特征匹配模块；在遮挡感知空间注意力模块中，使用主干网络提取行人图像特征，通过遮挡感知空间注意力块聚焦行人图像非遮挡区域并得到全局特征；在部位特征匹配模块中，利用人体解析模型获得身体部位热图并获取部位特征和前景特征，使用混合图匹配块匹配非遮挡身体部位；构建损失函数，对网络参数进行迭代优化；将最终提取到的行人图像特征与图像库中的各个图像进行相似性度量，输出匹配列表。本发明有效地解决了行人图像的遮挡问题，有效地提取了行人图像的鲁棒特征。

技术研发人员：张云佐,杨月辉,王双双,于璞泽,甄嘉闻,刘婷
受保护的技术使用者：石家庄铁道大学
技术研发日：
技术公布日：2024/1/5