技术特征：
1.一种基于反事实注意力学习的行人再识别方法，其特征在于，包括步骤：s1、建立教师模型和学生模型，所述教师模型和学生模型的结构相同；所述教师模型的输入为行人图像，结构包括主干网络和分类器，其中主干网络用于提取行人图像的特征，分类器用于根据行人图像的特征获取行人图像的类别概率；采用源域数据集对教师模型进行预训练，所述预训练的目标为最小化分类损失函数，所述分类损失函数为：其中p(y
s,n
∣x
s,n
)表示将输入图像x
s,n
识别为类y
s,n
的概率，y
s,n
是源域数据集中x
s,n
的类别标签，n为预训练过程中每个批次样本的数量；将学生模型的参数初始化为预训练后教师模型的参数；s2、将目标域数据集中的图像输入教师模型，所述教师模型主干网络输出目标域图像的特征；对目标域图像的特征进行聚类，根据聚类后的类别生成目标域图像的伪标签，每个聚类中心的特征向量拼接为目标域聚类中心矩阵其中p
t
为目标域图像特征聚类后的类别数，c,h,w分别为教师模型主干网络提取到的特征的维度、高度、宽度；s3、将源域数据集中的图像输入教师模型，所述教师模型主干网络输出源域图像的特征；依照源域图像的真实身份标签，对提取到的属于同一身份的源域图像特征向量取平均得到该行人身份的类中心向量，每个类中心的特征向量拼接为源域类中心矩阵其中p
s
为源域数据的真实行人身份类别数；r
t
和r
s
拼接为参考中心矩阵s4、令教师模型的参数保持不变，采用迭代训练优化学生模型的参数；迭代训练优化的目标为最小化损失函数，具体的训练中每个批次的样本包括n
t
个目标域图像和n
s
个源域图像；损失函数l
total
为目标分类损失l
class
和注意力度量损失之和；具体步骤为：s4.1a、计算目标分类损失l
class
：其中为目标域图像x
i
的伪标签，为学生模型将输入图像x
i
识别为类的概率；s4.2a、计算源域图像z
v
注意力对预测的影响值，v＝1,2,
…
,n
s
：将z
v
输入学生模型得到z
v
的第一特征f
v
，f
v
∈r
c
×
h
×
w
；利用空间注意力模块提取f
v
的注意力特征图f
v
：f
v
＝{f
v,1
,f
v,2
,...,f
v,m
,...f
v,m
}＝attention(f
v
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)其中attention(
·
)表示空间注意力模块提取注意力特征图运算，f
v,m
∈r
h
×
w
为注意力特征图f
v
中第m个感兴趣区域的注意力特征图，m为感兴趣区域的数量；利用f
v,m
对第一特征f
v
进行加权，并采用全局平均池化操作进行聚合，得到局部注意力z
v,m
：z
v,m
＝gap(f
v
*f
v,m
)；其中gap表示全局平均池化操作；
将局部注意力组合起来并归一化，得到源域图像z
v
的全局特征z
v
：z
v
＝normalize([z
v,1
,z
v,2
,...,z
v,m
,...,z
v,m
])
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)其中normalize表示归一化运算；将全局特征z
v
依次输入批归一化层和分类层，得到源域图像z
v
经空间注意力加权后的预测结果：y
v
＝c(bn(z
v
))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)生成反注意力特征图所述反注意力特征图的尺寸与f
v
相同，其每个元素值为随机数；采用反注意力特征图对f
v
进行加权，并经全局平均池化操作、组合并归一化、依次输入批归一化层和分类层，得到源域图像z
v
经反空间注意力加权后的预测结果注意力对预测的影响值为：s4.3a、计算注意力度量损失：y
s,v
是源域图像z
v
的类别标签；p(y
s,v
∣y
veffect
)为将注意力对预测的影响值为y
veffect
的图像识别为类y
s,v
的概率；s5、对教师模型的参数进行加权平均更新；迭代训练优化结束后，根据学生模型的参数对教师模型的参数进行加权平均更新；将目标域图像输入更新后的教师模型，分类器输出类别概率，选择类别概率最大值对应的类别作为输入图像的识别结果。2.根据权利要求1所述的基于反事实注意力学习的行人再识别方法，其特征在于，所述教师模型的主干网络包括依次连接的第一卷积模块、第一池化模块、第一注意力模块、第二卷积模块、第二注意力模块、第三卷积模块、第三注意力模块、第四卷积模块、第四注意力模块、第五卷积模块、第五注意力模块、第二池化模块。3.根据权利要求2所述的基于反事实注意力学习的行人再识别方法，其特征在于，所述第一注意力模块、第二注意力模块、第三注意力模块、第四注意力模块、第五注意力模块的结构相同，包括级联的2d卷积层和激活单元。4.根据权利要求1所述的基于反事实注意力学习的行人再识别方法，其特征在于，通过计算教师模型和学生模型输出差异来计算不确定性，从而得到目标域图像伪标签的可信度或可靠性，并利用该可信度或可靠性对损失函数进行加权，具体地，所述加权后的目标分类损失计算步骤为：s4.1b、计算目标域图像x
i
的不确定性u
i
，i＝1,2,
…
,n
t
：将x
i
输入学生模型，所述学生模型的主干网络输出x
i
的第一特征f
i
；计算第一特征f
i
与参考中心矩阵r的相似度，作为x
i
的第一软多标签l
i
：l
i
＝softmax(r
·
f
i
)；将x
i
输入教师模型，所述教师模型的主干网络输出x
i
的第二特征计算第二特征与参考中心矩阵r的相似度，作为x
i
的第二软多标签
基于kl散度计算x
i
的不确定性u
i
：其中l
i,k
表示第一软多标签l
i
中预测为参考中心矩阵r对应的第k个身份的概率；表示第二软多标签中预测为参考中心矩阵r对应的第k个身份的概率；s4.2b、计算目标域图像x
i
的可信度权重ω
i
：ω
i
＝exp(-u
i
)；s4.3b、计算加权后的目标域分类损失l
class
，其中为目标域图像x
i
的伪标签，为学生模型将输入图像x
i
识别为类的概率。5.根据权利要求1所述的基于反事实注意力学习的行人再识别方法，其特征在于，所述损失函数还包括三重态损失，计算步骤包括：s4.4b、根据目标域图像构建三元组：从n
t
个目标域图像中随机选取p个类别、每个类别包括k个实例，以选择的目标域图像为anchor样本构建三元组其中l＝1,2,
…
,p，m＝1,2,
…
,k，为第l类中的第m个实例，为的正样本，为的负样本；计算每个三元组中anchor样本、正样本、负样本的不确定性计算正样本对anchor样本的可靠性和负样本对anchor样本的可靠性和负样本对anchor样本的可靠性其中：其中：s4.5b、计算可靠性加权的三重态损失：其中表示与之间的相似度，表示与之间的相似度；α>0,α为预设的距离常数。6.根据权利要求1所述的基于反事实注意力学习的行人再识别方法，其特征在于，所述损失函数还包括对比损失，计算步骤为：s4.6b、根据训练样本建立memory bank；将目标域图像x
i
作为query样本，在memory bank中查找与x
i
具有相同伪标签的样本作为正样本，与x
i
具有不同伪标签的样本作为负样本；计算对比损失：
其中和分别为memory bank中x
i
正样本和负样本的个数，表示第j个负样本与x
i
的相似度，表示第j个负样本对x
i
的可靠性，表示第h个正样本与x
i
的相似度，表示第h个正样本对x
i
的可靠性。7.一种基于反事实注意力学习的行人再识别系统，其特征在于，所述系统为根据权利要求1-6中任一项所述的方法得到的教师模型。8.一种计算机存储介质，其上存储有计算机指令，其特征在于，所述计算机指令运行时执行权利要求1至6任一项所述的行人再识别方法。
技术总结
本发明公开了一种基于反事实注意力学习的行人再识别方法和系统、计算机存储介质。其中行人再识别方法通过比较事实，即学习的注意力，和反事实，即虚假的注意力，对最终预测的影响来量化注意力的质量。并通过最大化差异以促进网络学习更有效的视觉注意力并减少有偏训练集的影响，以此来增强目标域行人图像的判别性特征学习解决目标域行人图像存在遮挡和背景杂波问题。景杂波问题。景杂波问题。
技术研发人员：李小红 代雪松 齐美彬 庄硕 郝世杰 蒋建国 张晶晶 李世龙
受保护的技术使用者：合肥工业大学
技术研发日：2022.05.31
技术公布日：2022/8/8