一种基于属性特征和身份特征融合的跨域行人重识别方法

1.本发明涉及计算机视觉领域中的行人重识别技术领域，具体的说，是一种基于属性特征和身份特征融合的跨域行人重识别方法。


背景技术：

2.行人重识别(person re
‑
identification，简称re
‑
id)也称行人再识别，是利用计算机视觉技术在跨设备、时间和地点的条件下判断图像或者视频序列中是否存在特定行人的技术。因其能够对特定人员进行大范围跟踪监控，当前广泛应用于智能监控，智能安保等领域。
3.针对单一数据集的行人重识别问题，学者已经提出了很多的方法，也取得了很大的进展。然而针对跨域行人重识别，不同数据集往往存在着巨大的风格差异，比如亮度、色调、分辨率，背景，行人服装风格等等，这些差异对模型的泛化能力提出了巨大的考验。然而跨域行人重识别正是实际需求中最需要的，在实际应用中，训练好的模型需要能在不同环境下对行人进行准确重识别。
4.考虑到行人属性在任何环境下都保持不变，是一种域不变特征，可以作为跨域重识别的重要依据，然而不能仅考虑属性，行人身份特征同样具有辨别性，所以融合行人属性特征和行人身份特征的综合特征可以用于进行跨域重识别。
5.由于不同数据集往往存在着巨大的风格差异，比如亮度、色调、分辨率，背景，行人服装风格等，这些差异给行人跨域重识别带来了巨大的考验。面对考验，目前有些方法引入行人属性特征作为辅助判断。首先提取行人局部特征，利用全局信息和局部信息相结合的方式去训练神经网络以提升跨域行人重识别的效果。但是这些方法对属性信息的提取和利用都比较简单，没有深入挖掘属性和行人的关系，各属性之间的关系，并且也没能解决跨域泛化能力弱的问题。


技术实现要素：

6.本发明的目的在于提供一种基于属性特征和身份特征融合的跨域行人重识别方法，利用具有很好泛化能力和鲁棒性的基于属性特征和身份特征融合的跨域行人重识别模型进行行人重识别。
7.本发明通过下述技术方案实现：一种基于属性特征和身份特征融合的跨域行人重识别方法，采用基于属性特征和身份特征融合的跨域行人重识别模型实现，所述基于属性特征和身份特征融合的跨域行人重识别模型设置有卷积及池化层、4个残差模块，在每一个残差模块之后皆插入一个注意力和风格归一化模块，其中，与卷积及池化层相连接的残差模块定义为第1个残差模块，相应的该处的注意力和风格归一化模块记为第1个注意力和风格归一化模块，后续的残差模块和注意力和风格归一化模块分别顺次计数；在第3个注意力和风格归一化模块之后引出一条属性分支(即afef模块)，所述属性分支包含属性特征提取模块和特征融合模块，所述属性分支的特征提取模块所提取到的属性特征将与第4个所述
注意力和风格归一化模块所得域不变全局特征进行融合。
8.进一步的为更好地实现本发明，特别采用下述设置方式：所述跨域行人重识别方法包括下述具体步骤：
9.1)第3个注意力和风格归一化模块所提取的共用特征进入到属性分支中；
10.2)在属性分支中，先经过属性特征提取模块提取到属性特征，然后，属性特征将通过属性分支的特征融合模块与第4个所述注意力和风格归一化模块所得域不变全局特征进行融合；
11.3)经步骤2)后，利用三元组损失函数和交叉熵损失函数对融合后的特征进行约束，使模型学习到行人的域不变特征(行人的域不变特征指融合后的特征)。
12.进一步的为更好地实现本发明，特别采用下述设置方式：所述属性特征提取模块设置有4个分支，且每一个分支皆设置有与第4个残差模块结构相同的残差模块(stage4)、asn模块(注意力和风格归一化模块)、全局均匀池化(pooling)层，所述特征融合模块设置有分类器、属性权重生成模块，且所述步骤2)包括下述具体步骤：
13.2.1)共用特征进入到属性特征提取模块的残差模块中，通过步长为1或2的一系列卷积层对共用特征进行了下采样和增维，得到大小变为共用特征一半、维度为2048的与属性相关特征；
14.2.2)步骤2.1)所得的与属性相关特征进入属性特征提取模块的asn模块，利用实例归一化层对其进行风格归一化并利用注意力机制对其进行关键信息定位，而后经过全局均匀池化层(pooling层)进行全局均匀池化得到属性特征；
15.2.3)将步骤2.2)所得属性特征经分类器(classifier)得到属性预测得分，记4个分支所得4个属性预测得分分别为分支所得4个属性预测得分分别为其中，b为批次大小(即一个批次所含图片数)，j1、j2、j3、j4分别为4个分类器的输出维度；
16.2.4)经步骤2.3)后，通过softmax函数将属性预测得分映射到(0，1)之间，再将所有映射后的属性预测得分拼接在一起作为属性得分融合结果，将属性得分融合结果记为
17.2.5)经步骤2.4)后，将属性得分融合结果通过属性权重生成模块(confidence)得到对应的属性权重，属性得分融合结果与属性权重相乘得到重加权后的属性融合特征；
18.2.6)将重加权后的属性融合特征与域不变全局特征(global feature)进行拼接得到具有强泛化力和判别力的行人特征。
19.进一步的为更好地实现本发明，特别采用下述设置方式：所述映射后的属性预测得分通过下述公式实现：得分通过下述公式实现：
20.其中，s代表映射后的属性预测得分，s表示分类器输出的属性预测得分，a表示属性特征，且a∈r
b
×
j
，a
i
代表a中的第i列,w代表分类器的参数。
21.进一步的为更好地实现本发明，特别采用下述设置方式：所述属性得分融合结果通过下述公式实现：其中s为属性得分融合结果，s
j
为第j个映射后的属性预测得分，b＝p*k为批次大小，p为一个批次中行人的个数，k为每个行人的图片张数，且s
j
∈[0，1],j＝1,2
…
j，j代表属性个数(本技术方案中j为4)。
[0022]
进一步的为更好地实现本发明，特别采用下述设置方式：所述重加权后的属性融合特征通过下述公式实现：其中，为重加权后的属性融合特征。
[0023]
进一步的为更好地实现本发明，特别采用下述设置方式：所述属性权重采用属性得分融合结果的离散度计算得到，具体的，所述属性权重通过以下步骤计算得到：
[0024]
(1)通过公式(1)通过公式计算属性得分融合结果的离散程度，其中表示第p个身份的行人所有样本的第i个属性的得分，表示计算中第1列元素的标准差，表示计算中第j
i
列元素的标准差,代表第p个身份的行人的第i个属性的离散程度；
[0025]
(2)将步骤(1)计算得到的离散程度通过公式(2)将步骤(1)计算得到的离散程度通过公式得到属性权重；其中得到属性权重；其中得到属性权重；其中表示第p个身份的行人的第i个属性的权重，w_attr
p
为第p个身份的行人的所有属性权重，且的行人的所有属性权重，且w_attr为每一个批次中所有身份的行人的属性权重，且的属性权重，且的属性权重，且
[0026]
同一身份的行人的属性显然应是相同的，所以同一身份的行人的属性得分也应该是相似的。属性得分越接近离散程度越小，属性得分越分散离散程度越大。
[0027]
进一步的为更好地实现本发明，特别采用下述设置方式：所述属性预测得分还将计算交叉熵损失函数并反向传播优化模型参数，使模型学习到具有强判别力的属性特征，且属性预测得分在进行交叉熵函数计算时通过下述公式实现：
[0028]
l
attr
＝
‑
x[y]+log(∑
l
exp(x[l]))；
[0029]
其中，x代表某个样本第i个属性的预测得分，且y为该样本第i个属性的真实标签。
[0030]
进一步的为更好地实现本发明，特别采用下述设置方式：所述卷积及池化层设置有一个卷积核大小为7*7的卷积层和一个过滤器大小为3*3的池化层。
[0031]
进一步的为更好地实现本发明，特别采用下述设置方式：所述四个残差模块分别设置有3个、4个、6个、3个相同结构的残差块，且残差块皆由1*1核的卷积层、3*3核的卷积层和1*1核的卷积层所构成。
[0032]
本发明与现有技术相比，具有以下优点及有益效果：
[0033]
本发明设置了一条属性分支以提取行人具有细粒度的属性特征，与主干网络提取的域不变全局特征形成互补，显著提高了跨域行人重识别的准确率。
[0034]
本发明在主干网络和属性分支中均插入了注意力和风格归一化模块，使模型有效地学习到了行人的域不变全局特征和属性特征，提升了行人特征的泛化力和判别力，提高了跨域行人重识别的准确率。
[0035]
本发明根据属性预测得分计算最优的属性权重，再将重加权后的属性融合特征与全局行人特征(域不变全局特征)进行拼接，既能指导模型对行人属性进行准确分类，还能巧妙地将行人属性特征和全局特征进行融合，从而提高跨域行人重识别准确率。
[0036]
本发明身份特征的提取和属性特征的提取共用浅层网络(浅层网络指卷积及池化层+前3个残差模块+前3个注意力和风格归一化模块)，一方面，浅层网络的共用使得模型整体复杂度降低；另一方面，浅层网络主要用于提取共有特征，既保证属性和行人身份之间不会过于割裂，又保证他们之间的相互影响不会过大。
附图说明
[0037]
图1为本发明所述的基于属性特征和身份特征融合的跨域行人重识别模型。
[0038]
图2为本发明所述的属性特征提取和融合模块。
具体实施方式
[0039]
下面结合实施例对本发明作进一步地详细说明，但本发明的实施方式不限于此。
[0040]
为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
[0041]
专业术语释义：
[0042]
classifier：分类器；
[0043]
asn(attention and style normalization)模块：注意力和风格归一化模块；
[0044]
confidence：属性权重生成模块；
[0045]
pooling：全局均匀池化；
[0046]
global feature：域不变全局特征；
[0047]
weighted features：重加权后的属性融合特征；
[0048]
attribute features：属性特征；
[0049]
stage：残差模块；
[0050]
afef(attribute feature extraction and fusion)：属性特征提取和融合模块；
[0051]
multiply：相乘
[0052]
concatenate：拼接
[0053]
attribute scores：属性得分
[0054]
person features：行人特征
[0055]
attribute feature extraction module：属性特征提取模块
[0056]
conv+pooling：卷积层加池化层
[0057]
fuse module：融合模块
[0058]
feature map：特征图
[0059]
fused attribute scores：属性得分融合结果
[0060]
attribute feature extraction module：属性特征提取模块
[0061]
实施例1：
[0062]
本发明设计出一种基于属性特征和身份特征融合的跨域行人重识别方法，采用如图1所示的基于属性特征和身份特征融合的跨域行人重识别模型实现，所述基于属性特征和身份特征融合的跨域行人重识别模型设置有由一个7*7核的卷积层和一个3*3核的池化层所构成的卷积及池化层、4个分别设置有3个、4个、6个、3个相同结构的残差块的残差模块，其中，残差块皆由1*1核的卷积层、3*3核的卷积层和1*1核的卷积层所构成。
[0063]
在每一个残差模块之后皆插入一个注意力和风格归一化模块(asn模块)，其中，与卷积及池化层相连接的残差模块定义为第1个残差模块，相应的该处的注意力和风格归一化模块记为第1个注意力和风格归一化模块，后续的残差模块和注意力和风格归一化模块分别顺次计数；在第3个注意力和风格归一化模块之后引出一条属性分支(即afef模块)，所述属性分支包含属性特征提取模块和特征融合模块，所述属性分支的特征提取模块所提取到的属性特征将与第4个所述注意力和风格归一化模块所得域不变全局特征进行融合。
[0064]
实施例2：
[0065]
本实施例是在上述实施例的基础上进一步优化，与前述技术方案相同部分在此将不再赘述，如图1、图2所示，进一步的为更好地实现本发明，特别采用下述设置方式：所述跨域行人重识别方法包括下述具体步骤：
[0066]
1)第3个注意力和风格归一化模块所提取的共用特征进入到属性分支中；
[0067]
2)在属性分支中，先经过属性特征提取模块提取到属性特征，然后，属性特征将通过属性分支的特征融合模块与第4个所述注意力和风格归一化模块所得域不变全局特征进行融合；
[0068]
3)经步骤2)后，利用三元组损失函数和交叉熵损失函数对融合后的特征进行约束，使模型学习到行人的域不变特征(行人的域不变特征指融合后的特征)。
[0069]
实施例3：
[0070]
本实施例是在上述任一实施例的基础上进一步优化，与前述技术方案相同部分在此将不再赘述，如图1、图2所示，进一步的为更好地实现本发明，特别采用下述设置方式：所述属性特征提取模块设置有4个分支，且每一个分支皆设置有与第4个残差模块结构相同的残差模块(stage4)、asn模块(注意力和风格归一化模块)、全局均匀池化(pooling)层，所述
特征融合模块设置有分类器(classifier)及属性权重生成模块(confidence)，且所述步骤2)包括下述具体步骤：
[0071]
2.1)共用特征进入到属性特征提取模块的残差模块中，通过步长为1或2的一系列卷积层对共用特征进行了下采样和增维，得到大小变为共用特征一半、维度为2048的与属性相关特征；
[0072]
2.2)步骤2.1)所得的与属性相关特征进入属性特征提取模块的asn模块，利用实例归一化层对其进行风格归一化并利用注意力机制对其进行关键信息定位，而后经过全局均匀池化层(pooling层)进行全局均匀池化得到属性特征；
[0073]
2.3)将步骤2.2)所得属性特征经分类器(classifier)得到属性预测得分，记4个分支所得属性预测得分分别为分支所得属性预测得分分别为其中，b为批次大小(即一个批次所含图片数)，j1、j2、j3、j4分别为4个分类器的输出维度；
[0074]
2.4)经步骤2.3)后，通过softmax函数将属性预测得分映射到(0，1)之间，再将所有映射后的属性预测得分拼接在一起作为属性得分融合结果，将属性得分融合结果记为
[0075]
2.5)经步骤2.4)后，将属性得分融合结果通过属性权重生成模块(confidence)得到对应的属性权重，属性得分融合结果与属性权重相乘得到重加权后的属性融合特征；
[0076]
2.6)将重加权后的属性融合特征与域不变全局特征(global feature)进行拼接得到具有强泛化力和判别力的行人特征。
[0077]
实施例4：
[0078]
本实施例是在上述任一实施例的基础上进一步优化，与前述技术方案相同部分在此将不再赘述，如图1、图2所示，进一步的为更好地实现本发明，特别采用下述设置方式：所述映射后的属性预测得分通过下述公式实现：
[0079]
其中，s代表映射后的属性预测得分，s表示分类器输出的属性预测得分，a表示属性特征，且a∈r
b
×
j
，w代表分类器的参数。
[0080]
所述属性预测得分还将计算交叉熵损失函数并反向传播优化模型参数，使模型学习到具有强判别力的属性特征，且属性预测得分在进行交叉熵函数计算时通过下述公式实现：
[0081]
l
attr
＝
‑
x[y]+log(∑
l
exp(x[l]))；
[0082]
其中，x代表某个样本第i个属性的预测得分，且y为该样本第i个属性的真实标签。
[0083]
实施例5：
[0084]
本实施例是在上述任一实施例的基础上进一步优化，与前述技术方案相同部分在此将不再赘述，如图1、图2所示，进一步的为更好地实现本发明，特别采用下述设置方式：所述属性得分融合结果通过下述公式实现：述属性得分融合结果通过下述公式实现：其中s为属性得分融合结果，s
j
为第j个映射后的属性预测得分，b＝p*k为批次大小，p为一个批
次中行人的个数，k为每个行人的图片张数，且s
j
∈[0，1],j＝1,2
…
j，j代表属性个数(本技术方案中j为4)。
[0085]
实施例6：
[0086]
本实施例是在上述任一实施例的基础上进一步优化，与前述技术方案相同部分在此将不再赘述，如图1、图2所示，进一步的为更好地实现本发明，特别采用下述设置方式：所述重加权后的属性融合特征通过下述公式实现：其中，为重加权后的属性融合特征。
[0087]
实施例7：
[0088]
本实施例是在上述任一实施例的基础上进一步优化，与前述技术方案相同部分在此将不再赘述，如图1、图2所示，进一步的为更好地实现本发明，特别采用下述设置方式：所述属性权重采用属性得分融合结果的离散度计算得到；具体的，所述属性权重通过以下步骤计算得到：
[0089]
(1)通过公式(1)通过公式计算属性得分融合结果的离散程度，其中表示第p个身份的行人所有样本的第i个属性的得分，表示计算中第1列元素的标准差，表示计算中第j
i
列元素的标准差,代表第p个身份的行人的第i个属性的离散程度；
[0090]
(2)将步骤(1)计算得到的离散程度通过公式(2)将步骤(1)计算得到的离散程度通过公式得到属性权重；其中得到属性权重；其中得到属性权重；其中表示第p个身份的行人的第i个属性的权重，w_attr
p
为第p个身份的行人的所有属性权重，且为第p个身份的行人的所有属性权重，且w_attr为每一个批次中所有身份的行人的属性权重，且的属性权重，且的属性权重，且的属性权重，且同一身份的行人的属性显然应是相同的，所以同一身份的行人的属性得分也应该是相似的。属性得分越接近离散程度越小，属性得分越分散离散程度越大。
[0091]
实施例8：
[0092]
本实施例的目的是获得一个有很好泛化能力和判别能力的模型，将该模型在有标签的源域上进行训练，期望将训练好的模型直接应用于未知的目标域数据集也能达到很好
的行人重识别效果。
[0093]
为此设计出基于属性特征和身份特征融合的跨域行人重识别模型，该跨域行人重识别模型设置有：
[0094]
由一个7*7核的卷积层和一个3*3核的池化层所构成的卷积及池化层；
[0095]
4个分别设置有3个、4个、6个、3个相同结构的残差块的残差模块(stag1、stage2、stage3、stage4)，且残差块皆由1*1核的卷积层、3*3核的卷积层和1*1核的卷积层所构成；
[0096]
在每一个残差模块之后皆插入一个注意力和风格归一化模块(asn模块)，其中，与卷积及池化层相连接的残差模块定义为第1个残差模块，相应的该处的注意力和风格归一化模块记为第1个注意力和风格归一化模块，后续的残差模块和注意力和风格归一化模块分别顺次计数；在第3个注意力和风格归一化模块之后设置一个属性分支(用于提取属性特征，例如上身衣服颜色、下身衣服颜色等)该属性分支在本文中又称为属性特征提取和融合模块(afef)，其一方面用于提取属性特征，另一方面用于融合属性特征和第4个所述注意力和风格归一化模块所得域不变全局特征。
[0097]
如表1所示为各残差模块的详细结构。
[0098]
表1
[0099][0100]
本发明在每个stage后面添加注意力和风格归一化模块(asn模块)，在最后的asn模块输出域不变全局特征(global features)。属性分支从主干网络stage3的asn模块后面引出，经过属性特征提取模块后，得到属性特征(attribute features)。然后在特征融合模块中利用离散度重加权方法融合域不变全局特征(global features)和属性特征(attribute features)，得到行人最终的特征。其中，主干网络主要由卷积及池化层，4个分别设置有3个、4个、6个、3个相同结构的残差块的残差模块(stag1、stage2、stage3、stage4)
及4个asn模块所构成。
[0101]
在本发明中，属性分支关注的是属性域不变信息，主干网络关注的是全局域不变信息，因此将二者进行融合可有效地借助更多的信息进行重识别。结合图1、图2所示，一种基于属性特征和身份特征融合的跨域行人重识别方法，包括下述步骤：
[0102]
1)将第3个注意力和风格归一化模块所提取的共用特征引入到属性分支中；
[0103]
2)共用特征进入到属性特征提取模块的残差模块中，通过步长为1或2的一系列卷积层对共用特征进行了下采样和增维，得到大小变为共用特征一半、维度为2048的与属性相关特征；
[0104]
3)步骤2.1)所得的与属性相关特征进入属性特征提取模块的asn模块，利用实例归一化层对其进行风格归一化并利用注意力机制对其进行关键信息定位，而后经过全局均匀池化层(pooling层)进行全局均匀池化得到属性特征；
[0105]
4)将步骤3)所得属性特征经分类器(classifier)通过s＝liner(a)＝wa
t
得到属性预测得分，其中，s表示输出的属性预测得分，a表示属性特征，且a∈r
b
×
j
，w代表分类器的参数，s∈r
b*j
，其中，b为批次大小(即一个批次所含图片数)，j代表分类器的输出维度；
[0106]
所述属性预测得分还将计算交叉熵损失函数并反向传播优化模型参数，使模型学习到具有强判别力的属性特征，且属性预测得分在进行交叉熵函数计算时通过下述公式实现：
[0107]
l
attr
＝
‑
x[y]+log(∑
l
exp(x[l]))；
[0108]
其中，x代表某个样本第i个属性的预测得分，且y为该样本第i个属性的真实标签；
[0109]
5)经步骤4)后，通过softmax函数将属性预测得分映射到(0，1)之间，得到映射后的属性预测得分，使其满足概率学性质，再将所有映射后的属性预测得分拼接在一起作为属性得分融合结果，将属性得分融合结果记为属性得分融合结果，将属性得分融合结果记为其中s为属性得分融合结果，s
j
为第j个映射后的属性预测得分，b＝p*k为批次大小，p为一个批次中行人的个数，k为每个行人的图片张数，且s
j
∈[0，1],j＝1,2
…
4；
[0110]
6)经步骤5)后，将属性得分融合结果通过属性权重生成模块(confidence)得到对应的属性权重，属性得分融合结果与属性权重相乘得到重加权后的属性融合特征所述属性权重采用属性得分融合结果的离散度计算得到；具体的，所述属性权重通过以下步骤计算得到：
[0111]
(1)通过公式(1)通过公式计算属性得分融合结果的离散程度，其中表示第p个身份的行人所有样本的第i个属性的得分，表示计算中第1列元素的标准差，表示计算中第j
i
列元素的标准差,代表第p个身份的行人的第i个属性的离散程度；
[0112]
(2)将步骤(1)计算得到的离散程度通过公式(2)将步骤(1)计算得到的离散程度通过公式得到属性权重；其中得到属性权重；其中得到属性权重；其中表示第p个身份的行人的第i个属性的权重，w_attr
p
为第p个身份的行人的所有属性权重，且为第p个身份的行人的所有属性权重，且w_attr为每一个批次中所有身份的行人的属性权重，且重，且重，且重，且同一身份的行人的属性显然应是相同的，所以同一身份的行人的属性得分也应该是相似的。属性得分越接近离散程度越小，属性得分越分散离散程度越大；
[0113]
7)将重加权后的属性融合特征与域不变全局特征(global feature)进行拼接融合得到具有强泛化力和判别力的行人特征；
[0114]
8)经步骤7)后，利用三元组损失函数和交叉熵损失函数对融合后的特征进行约束，使模型学习到行人的域不变特征(行人的域不变特征指步骤7)所得特征)。
[0115]
在属性特征提取和融合模块中加入注意力和风格归一化模块，能够使得属性特征具有很好的跨域泛化能力，以便能够提取到具有跨域不变性质的属性特征。
[0116]
asn是一个基于in和注意力机制的用于提取域不变特征的模块。
[0117]
以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。