基于自引导特征挖掘网络的车辆重识别方法

本发明涉及车辆重识别，具体涉及一种基于自引导特征挖掘网络的车辆重识别方法。

背景技术：

1、在深度学习技术兴起前，传统的车辆重识别只能通过不断抓拍车辆图像，并以车牌作为车辆身份的唯一id进行识别。这种技术过度依赖于对车辆车牌，且图像精度要求较高。在一些违法犯罪事件中，车牌牌照常常被遮挡、移除甚至伪造，依靠人力来进行车辆重识别是非常低效的。

2、而目前基于深度学习的车辆重识别做法通常是提取输入的整张图像特征，然后提取特征的相似度，根据相似的最相似的车辆图像。这种提取整张图像特征的方式存在两个问题，一是图像背景对特征提取的干扰，二是难以挖掘细粒度特征。解决第一个问题的现有方法是额外训练一个背景分割模型，先将车辆图像的背景分割，然后对没有背景的车辆图像进行特征提取；解决第二个问题的现有方法是标记车辆的车灯、车标等细节位置，然后再额外使用一个定位网络找出这些标记的位置后，再进行特征提取。

3、上诉两个问题的现有解决方法都需要额外引入一个网络模型，将车辆重识别任务分为两个步骤，增加了特征提取的计算开销。

技术实现思路

1、本发明的目的是为了解决现有技术中的上述缺陷，提供一种基于自引导特征挖掘网络的车辆重识别方法。该方法能够同时提取特征、消除图像背景的干扰、挖掘细粒度特征，并且不需要额外的网络模型辅助，也无需使用除图像id外的其他标签信息。

2、本发明的目的可以通过采取如下技术方案达到：

3、一种基于自引导特征挖掘网络的车辆重识别方法，所述车辆重识别方法包括以下步骤：

4、s1、构造自引导特征挖掘网络，所述自引导特征挖掘网络包括主干网络和全局分支、噪音补丁过滤分支、显著特征提取分支；

5、s2、输入车辆图像数据集，对自引导特征挖掘网络进行训练；

6、s3、采用已训练的自引导特征挖掘网络进行车辆重识别。

7、进一步地，所述主干网络中从输入至输出的连接关系如下：

8、图像分块层、cls嵌入层、位置编码嵌入层、dp层dropout、第一转换层、第二转换层、第三转换层、第四转换层、第五转换层、第六转换层、第七转换层、第八转换层、第九转换层、第十转换层、第十一转换层；

9、其中，图像分块层将输入的图像分割成图像补丁；cls嵌入层添加特征cls；位置编码层给特征cls和图像补丁加上相应的位置编码；第一转换层、第二转换层、第三转换层、第四转换层、第五转换层、第六转换层、第七转换层、第八转换层、第九转换层、第十转换层、第十一转换层是结构相同的转换层，转换层的具体结构如下：

10、从输入层至输出层依次连接为：norm层norm_layer1、attn层attention1、dp层dropout1、norm层norm_layer2、mlp层mlp1、dp层dropout2。

11、进一步地，所述全局分支中从输入到输出的连接关系如下：

12、全局分支的输入传递至第十二层转换层、第十二转换层连接全局特征、全局特征分别连接三元组损失函数层和bnneck层、bnneck层连接交叉熵损失函数层、三元组损失函数层的输出与交叉熵损失函数层的输出相加作为全局分支的输出；

13、其中全局分支的作用是提取图像全局特征，补充噪音补丁过滤分支和显著特征提取分支可能丢失的特征信息，使得自引导特征挖掘网络提取完整的车辆特征信息。

14、进一步地，所述噪音补丁过滤分支中从输入到输出的连接关系如下：

15、噪音补丁过滤分支的输入传递至第十三转换层、第十三转换层连接噪音补丁过滤层、噪音补丁过滤层分别连接第一噪音补丁过滤特征和第一全局平均池、第一噪音补丁过滤特征分别连接第一三元组损失函数层和第一bnneck层、第一bnneck层连接第一交叉熵损失函数层、第一全局平均池连接第二噪音补丁过滤特征、第二噪音补丁过滤特征分别连接第二三元组损失函数层和第二bnneck层、第二bnneck层连接第二交叉熵损失函数层、第一三元组损失函数层与第一交叉熵损失函数层的相加之和同第二三元组损失函数层与第二交叉熵损失函数层的相加之和再相加作为噪音补丁过滤分支的输出；

16、其中噪音补丁过滤分支的作用是不使用背景标签信息帮助自引导特征挖掘网络将背景补丁过滤，以消除背景对车辆特征提取的干扰。

17、进一步地，所述显著特征提取分支中从输入到输出的连接关系如下：

18、显著特征提取分支的输入传递至第十四转换层、第十四转换层连接显著特征提取层、显著特征提取层分别连接到第一显著特征提取特征和第二全局平均池、第一显著特征提取特征分别连接第三三元组损失函数层和第三bnneck层、第三bnneck层连接第三交叉熵损失函数层、第二全局平均池连接到第二显著特征提取特征、第二显著特征提取特征分别连接第四三元组损失函数层和第四bnneck层、第四bnneck层连接第四交叉熵损失函数层、第三三元组损失函数层与第三交叉熵损失函数层的相加之和同第四三元组损失函数层与第四交叉熵损失函数层的相加之和再相加作为显著特征提取分支的输出；

19、其中显著特征提取分支的作用是不使用车辆部件标签帮助自引导特征挖掘网络找到车辆关键部位，挖掘细粒度特征增强特征的区分性能够更好的鉴别相似车辆。

20、进一步地，所述噪音补丁过滤层中，

21、由第十三转换层中attn层attention13的多头自注意力机制计算自注意力头的得分矩阵a∈r(n+1)*(n+1)如下：a＝[a0；a1；a2；...ai...；an]

22、其中，i＝0、1、2...n为主干网络图像位置编码嵌入层嵌入的位置编码，位置编码0对应主干网络cls嵌入层嵌入的特征cls的位置编码，位置编码i＝1、2...n对应主干网络图像分块层第i个图像补丁的位置编码，ai表示位置编码为i的图像补丁分别与位置编码为0的特征cls、位置编码为1至n的n个图像补丁的注意力得分构成的n+1维度的向量，表达式如下：

23、ai＝[ai,0；ai,1；ai,2；..ai,j....；ai,n]

24、其中，j＝0、1、2...n，ai,j表示位置编码为i的图像补丁与位置编码为j的图像补丁的注意力得分值；

25、第十三转换层中attn层attention13的多头自注意力共有k个特征注意力头，对于k个特征注意力头中的任意一个注意力头都能计算得到一个得分矩阵a，对所有特征注意力头的得分矩阵求平均得到平均得分矩阵aavg，平均得分矩阵aavg与得分矩阵a表达式相同，区别在于矩阵中的值不一样；

26、根据平均得分矩阵aavg中a0得到特征cls与位置编码1、2...n的图像补丁的注意力得分，对n个平均注意力得分从大到小进行排序，选择平均注意力得分较大的m个位置编码，其中，m为小于n的正整数；

27、将位置编码为0的特征cls输入到第一噪音补丁过滤特征，将平均注意力得分较大的m个位置编码对应的图像补丁输入到第一全局平均池。

28、进一步地，所述显著特征提取层中，

29、由第十四转换层中attn层attention14的多头自注意力机制计算自注意力头的得分矩阵a∈r(n+1)*(n+1)如下：a＝[a0；a1；a2；...ai...；an]

30、其中，i＝0、1、2...n为主干网络图像位置编码嵌入层嵌入的位置编码，位置编码0对应主干网络cls嵌入层嵌入的特征cls的位置编码，位置编码i＝1、2...n对应主干网络图像分块层第i个图像补丁的位置编码，ai表示位置编码为i的图像补丁分别与位置编码为0的特征cls、位置编码为1至n的n个图像补丁的注意力得分构成的n+1维度的向量，表达式如下：

31、ai＝[ai,0；ai,1；ai,2；..ai,j....；ai,n]

32、其中，j＝0、1、2...n，ai,j表示位置编码为i的图像补丁与位置编码为j的图像补丁的注意力得分值；

33、第十四转换层中attn层attention13的多头自注意力共有k个特征注意力头，对于k个特征注意力头中的任意一个注意力头都能计算得到一个得分矩阵a，k个特征注意力头得到k个得分矩阵a；

34、根据得分矩阵al中a0得到特征cls与位置编码1、2...n的图像补丁的注意力得分，对n个注意力得分从大到小进行排序，选择注意力得分最大位置编码，其中al表示第l个特征注意力头，l∈(1,2...k)，k个特征注意力头得到k个位置编码；

35、将位置编码为0的特征cls输入到第二噪音补丁过滤特征，将k个位置编码对应的图像补丁输入到第二全局平均池。

36、进一步地，所述的步骤s2过程如下：

37、s21、构造车辆重识别数据集，使用pk采样法(来自hao luo，《bag of tricks anda strong baseline for deep person re-identification》，发表在《proceedings ofthe ieee/cvf conference on computer vision and pattern recognition(cvpr)workshops，2019》，pk采样法是指在选择一个批次的数据输入到神经网络时不是随机选取图像，而是选择p个类别的车辆，每个类别选择k张图像)对数据集进行批次采样，pk采样法对每个输入到自引导特征挖掘网络的图像批次，在数据集中随机采样p类车辆，每类车辆选取k张图像，然后将车辆图像按批次输入到自引导特征挖掘网络得到全局特征、第一噪音补丁过滤特征、第二噪音补丁过滤特征、第一显著特征提取特征、第二显著特征提取特征；其中使用pk采样法的原因是计算三元组损失时需要在一个批次图像中找到锚点图像的正样本图像和负样本图像，因此需要有p个类别车辆构成负样本，每类车辆k张图像构成正样本。

38、s22、分别将步骤s21得到的全局特征、第一噪音补丁过滤特征、第二噪音补丁过滤特征、第一显著特征提取特征、第二显著特征提取特征，输入三元组损失函数层、第一三元组损失函数层、第二三元组损失函数层、第三三元组损失函数层、第四三元组损失函数层计算三元组损失，在一个批次中，选定一个图像为锚点图像，与锚点图像属于同一个车辆id的图像称为正样本，与锚点图像不属于同一个车辆id的图像称为负样本；

39、三元组损失的函数定义如下：

40、ltriplet(c,p,n)＝log(1+exp(max(dcp)-min(dcn)))

41、其中，c表示锚点图像，p表示与c构成正样本的图像，n表示与c构成负样本的图像，dcp表示锚点图像与正样本之间的距离，dcn表示锚点图像与负样本之间的距离，max(dcp)表示求极大值，min(dcn)表示求极小值；计算三元组损失函数能够拉近同类的不相似图像在特征空间中距离，同时增大不同类的相似图像在特征空间中距离，提升自引导特征挖掘网络重识别的准确率；

42、s23、分别将步骤s21得到的全局特征、第一噪音补丁过滤特征、第二噪音补丁过滤特征、第一显著特征提取特征、第二显著特征提取特征，输入交叉熵损失函数层、第一交叉熵损失函数层、第二交叉熵损失函数层、第三交叉熵损失函数层、第四交叉熵损失函数层计算交叉熵损失；

43、交叉熵损失的函数定义如下：

44、其中，x表示图像的真实标签，xt表示图像为第t类id的真实标签，y表示模型识别为图像标签的概率值，yt表示模型识别图像为第t类id的概率值，q表示图像数据集的id种类个数；交叉熵损失函数用来鉴别图像是否属于同一个类别，优化自引导特征挖掘网络尽可能的将同类别的图像识别出来；

45、s24、将三元组损失函数与交叉熵损失函数相加得到总的损失函数值：

46、lloss(f0)＝ltriplet(c,p,n)+lid(x,y)

47、其中f0表示输入图像的特征，ltriplet(c,p,n)表示输入图像特征为f0的图像的三元组损失，lid(x,y)表示输入图像特征为f0的图像的交叉熵损失，lloss(f0)表示输入图像特征为f0的图像整体损失；将三元组损失和交叉熵损失结合能够优化特征在特征空间中的分布，训练自引导特征挖掘网络输出的特征更能够区分其他图像特征；

48、s25、将步骤s21得到的全局特征、第一噪音补丁过滤特征、第二噪音补丁过滤特征、第一显著特征提取特征、第二显著特征提取特征分别计算损失，得到整体损失函数表达式如下：

49、ltotal＝λ1lloss(f1)+λ2lloss(f2)+λ3lloss(f3)

50、+λ4lloss(f4)+λ5lloss(f5)

51、其中λ1、λ2、λ3、λ4、λ5表示损失函数所占整体损失函数的第一、第二、第三、第四、第五权重，f1表示全局特征，f2表示第一噪音补丁过滤特征，f3表示第二噪音补丁过滤特征，f4表示第一显著特征提取特征，f5表示第二显著特征提取特征；分别计算全局特征、第一噪音补丁过滤特征、第二噪音补丁过滤特征、第一显著特征提取特征、第二显著特征提取特征的损失目的是针对全局分支、噪音补丁过滤分支、显著特征提取分支做不同的参数优化，对主干网络进行整体的参数优化；使用第一、第二、第三、第四、第五权重的原因是全局特征、第一噪音补丁过滤特征、第二噪音补丁过滤特征、第一显著特征提取特征、第二显著特征提取特征对应的输入数据量大小是不同的。

52、进一步地，所述的步骤s3过程如下：

53、将图库中图像依次输入到已经训练收敛的自引导特征挖掘网络中，得到全局特征、第一噪音补丁过滤特征、第二噪音补丁过滤特征、第一显著特征提取特征、第二显著特征提取特征，使用图库输入图像得到的全局特征表示为图库输入图像的特征。将查询图像输入到已经训练收敛的自引导特征挖掘网络中，得到全局特征、第一噪音补丁过滤特征、第二噪音补丁过滤特征、第一显著特征提取特征、第二显著特征提取特征，使用查询图像得到的全局特征表示为查询图像的特征。将查询图像的特征依次与图库中图像的特征使用距离度量函数计算查询图像与图库中图像的距离，将查询图像与图库中图像的距离计算结果从小到大按序排列，按排列结果从图库中选择距离最小的10张图像作为重识别结果。仅使用全局特征表示为查询图像的特征而不是将全局特征、第一噪音补丁过滤特征、第二噪音补丁过滤特征、第一显著特征提取特征、第二显著特征提取特征合并的原因是使用更低维度的特征能够减少在特征相似度计算时的时间和计算开销，同时使用更低维度的特征占用更少的存储空间。

54、进一步地，所述距离度量函数采用欧式距离函数或余弦距离函数。因为不能直接计算两张图像的距离，所以提取图像的特征来表示图像。提取的特征是一个向量，可以使用欧式距离或者余弦距离来表示两个向量之间的距离，而特征向量用来表示图像，所以使用欧式距离函数或余弦距离函数作为距离度量函数计算图像之间的距离。

55、本发明相对于现有技术具有如下的优点及效果：

56、(1)本发明提取图像特征的同时消除图像背景的干扰、挖掘图像细粒度特征，提取更具有区分性特征以提升车辆重识别的准确率。

57、(2)本发明提出噪音补丁过滤分支，实现无标签过滤图像背景、消除背景的干扰，将噪音补丁过滤分支集成到主干网络在提取特征的同时消除背景干扰。

58、(3)本发明提出显著特征提取分支，不需要标注车辆的位置挖掘细粒度特征，将显著特征提取分支集成到主干网络在提取特征的同时挖掘细粒度特征。