一种基于动态特征匹配的跨集换装行人重识别方法

本发明涉及行人重识别，尤其涉及一种基于动态特征匹配的跨集换装行人重识别方法。

背景技术：

1、随着公众安全的迫切需求和监控摄像头数量的不断增加，行人重识别问题作为一个非重叠相机的特定人物检索问题已被广泛研究。行人重识别问题的研究内容是：“给定一个需要查询的行人，查询这个人是否在不同的时间出现在不同地点。其中查询到的行人可能由不同的相机拍摄，或者是同一相机在不同的时间拍摄，查询的行人可以由图像、视频序列，甚至文本描述来表示。”

2、换装行人重识别问题是近些年在行人重识别问题领域中新出现的一个分支研究方向，其任务主要是在判断换装后的行人是否出现在其他摄像机下。为了解决换装行人重识别问题，近些来学者们相继提出了换装行人重识别数据集(例如prcc、ltcc、vc-clothes等)和相关的解决方法，主要目标是使模型学习与衣服无关的特征来进行行人的匹配。例如，yang et al.(“person re-identification by contour sketch under moderateclothing change,”ieee trans.pattern anal.mach.intell.,vol.43,no.6,pp.2029-2046,jun.2021,doi:10.1109/tpami.2019.2960509)提出了一种基于轮廓草图的网络来解决适度的行人换衣服问题。qian et al.(“long-term cloth-changing person re-identification,”in computer vision–accv 2020,h.ishikawa,c.-l.liu,t.pajdla,andj.shi,eds.,in lecture notes in computer science,vol.12624.cham:springerinternational publishing,2021,pp.71-88.doi:10.1007/978-3-030-69535-4_5.)利用身体形状来解决换装行人重识别问题，gu et al.(“clothes-changing person re-identification with rgb modality only,”p.12,2022.)提出基于对抗网络思想的衣服损失来使模型学习到与衣服无关特征来解决换装行人重识别问题。

3、由于摄像设备本身的差异和拍摄条件的差异导致采集的图像的分辨率、光照、角度、衣着等存在较大的不同，最终导致不同数据集采集的行人图像存在风格上的差异。然而，现有的换装行人重识别的方法训练和测试都在同一个数据集上，只考虑了单一数据集中的风格特征，进而导致在一个训练集上训练的模型迁移到另一个数据集上时模型的性能下降，同时也降低了模型在实际场景中的应用。

技术实现思路

1、为了提高跨数据集之间的行人重识别的识别准确率，本发明提供一种基于动态特征匹配的跨集换装行人重识别方法，提升换装行人重识别模型在不同数据集中的泛化性能，从而更好地面对现实世界中的换装行人重识别挑战。

2、本发明提供一种基于动态特征匹配的跨集换装行人重识别方法，包括：

3、步骤1：构建行人重识别网络模型，包括主干网络和动态匹配模块；其中，所述主干网络由浅层至深层包括4个串接的resnet block，并将后三个resnet block的最后一层替换为基于身份一致性的风格正则化模块；

4、步骤2：采用第一行人图像数据集对所述行人重识别网络模型进行训练；

5、步骤3：给定查询行人图像样本，利用训练好的行人重识别网络模型在新的第二行人图像数据集上进行检索。

6、进一步地，所述风格正则化模块包括基于参数学习的风格迁移单元和通道注意力机制；对应地，所述风格正则化模块的特征提取过程包括：

7、采用风格迁移单元分别对输入的两张特征图进行风格参数正则化学习以实现风格统一：

8、

9、其中，slin表示风格参数正则化学习，α,β表示可学习的风格样式参数，i∈{1,2}，μ(·)和σ(·)分别表示计算均值和标准差，fi表示输入的原始特征图，fir表示风格迁移化后的特征图，f1和f2分别对应两张具有不同衣服风格属性的行人图像；

10、采用通道注意力机制来产生通道掩码图：

11、mi＝ρ(w2δ(w1g(fi)))  (2)

12、其中，mi是通道掩码图，δ(·)和ρ(·)分别表示relu激活函数和sigmoid激活函数，g(·)表示全局平均池化，和表示两个无偏置全连接层中的可学习参数，c表示通道，r表示维度缩减比率；

13、结合所述通道掩码图，对所述原始特征图和所述风格迁移化后的特征图重新分配权重以生成最终的特征图：

14、zi＝fi⊙mi+(1-mi)⊙fir (3)

15、其中，i∈{1,2}，zi表示风格正则化模块输出的最终的特征图。

16、进一步地，所述动态匹配模块包括参数预测器、自适应匹配单元和余弦相似性学习单元；对应地，所述动态匹配模块的匹配过程包括：

17、采用参数预测器对输入的特征图生成一组卷积核参数：

18、

19、其中，i∈{1,2}，pi表示主干网络输出的特征图，ni表示pi通过参数预测器产生的卷积核参数集合，k表示通道个数；

20、根据所述卷积核参数集合，采用自适应匹配单元对特征图p1和p2进行匹配，生成新的特征图：

21、

22、

23、其中，f1表示特征图p1与参数集w2的卷积和全局平局池化层计算之后生成的特征图，f2表示特征图p2通过参数集w1的卷积和全局平局池化计算之后产生生成的特征图；

24、计算特征图f1和f2之间的余弦相似性f，进而采用余弦相似性学习单元学习得到特征图f1和f2之间的匹配分数score；

25、

26、score＝fc(bn(f)) (8)

27、其中，bn表示归一化层，fc表示全连接层。

28、进一步地，在模型训练过程中，采用的损失函数为：

29、

30、其中，sij表示图像i与图像j的匹配分数，yij表示图像i与图像j是否来自于同一行人，如果来自于同一行人，则yij＝1，否则yij＝0。

31、本发明的有益效果：

32、本发明提供的跨集换装行人重识别方法，针对跨集换装行人重识别问题提出了一种新颖的基于动态匹配的训练模型，利用动态匹配的学习方式，使学习到的图像特征具有更好的泛化能力，克服了过去研究的模型因为没有考虑不同数据集的特征导致模型遇到新的数据集时效果变差的问题。

技术特征：

1.一种基于动态特征匹配的跨集换装行人重识别方法，其特征在于，包括：

2.根据权利要求1所述的一种基于动态特征匹配的跨集换装行人重识别方法，其特征在于，所述风格正则化模块包括基于参数学习的风格迁移单元和通道注意力机制；对应地，所述风格正则化模块的特征提取过程包括：

3.根据权利要求2所述的一种基于动态特征匹配的跨集换装行人重识别方法，其特征在于，所述动态匹配模块包括参数预测器、自适应匹配单元和余弦相似性学习单元；对应地，所述动态匹配模块的匹配过程包括：

4.根据权利要求3所述的一种基于动态特征匹配的跨集换装行人重识别方法，其特征在于，在模型训练过程中，采用的损失函数为：

技术总结
本发明提供一种基于动态特征匹配的跨集换装行人重识别方法。该方法包括：步骤1：构建行人重识别网络模型，包括主干网络和动态匹配模块；其中，所述主干网络由浅层至深层包括4个串接的ResNet Block，并将后三个ResNet Block的最后一层替换为基于身份一致性的风格正则化模块；步骤2：采用第一行人图像数据集对所述行人重识别网络模型进行训练；步骤3：给定查询行人图像样本，利用训练好的行人重识别网络模型在新的第二行人图像数据集上进行检索。本发明可以提高跨数据集之间的行人重识别的识别准确率。

技术研发人员：陈小潘,赵博,朱小柯,董志伟,白海阳
受保护的技术使用者：河南大学
技术研发日：
技术公布日：2024/1/22