一种基于级联匹配的快速再辨识方法与快速再辨识系统

1.本发明涉及计算机视觉和深度学习技术领域，更具体地说，涉及一种基于级联匹配的快速再辨识方法，以及一种基于级联匹配的快速再辨识系统。


背景技术：

2.行人或车辆再辨识任务，即跨摄像机视域的行人或车辆的识别技术，是智能视频监控领域的一项重要任务，在维护公共安全和维护社会治理方面具有重要用途。考虑到其应用性，在确保行人或车辆再辨识准确率的前提下，行人或车辆再辨识任务往往需要较高的辨识速度需求。
3.因此，如何降低行人或车辆再辨识任务的时间复杂度、减少时间消耗，是推动行人或车辆再辨识走向实际应用的重要一步。


技术实现要素：

4.本发明的目的在于克服现有技术的不足，提供一种基于级联匹配的快速再辨识方法与快速再辨识系统，实现大规模的行人或车辆再辨识任务的快速执行，有效提升匹配速度。
5.本发明的技术方案如下：
6.一种基于级联匹配的快速再辨识方法，包括训练阶段、测试阶段；具体如下：
7.1)训练阶段：构造多级级联的深度学习网络，首先对各级深度学习网络进行独立训练，而后用前一级深度学习网络自举困难样本集驱动其后一级深度学习网络进行训练微调，完成各级深度学习网络的自举微调；
8.2)测试阶段：使用训练阶段获得的多级级联的深度学习网络，逐级对查询图像和注册图像集的图像进行特征提取，获得图像特征；将提取的图像特征两两匹配并计算欧式距离，获得根据欧氏距离升序排序的匹配链表；选取匹配链表中与查询图像的相似度符合预设的相似度条件的注册图像进行保留，完成注册图像集的更新；将查询图像和更新后的注册图像集输入下一级深度学习网络，继续进行特征匹配，直到历经所有级联的深度学习网络，得到匹配链表，即为基于级联匹配的快速再辨识结果。
9.作为优选，多级级联的深度学习网络中，下一级深度学习网络的复杂度高于前一级深度学习网络。
10.作为优选，训练阶段的步骤如下：
11.1.1)初始化构造多级级联的深度学习网络{net
k
|k＝1,2,
…
,k}；
12.1.2)利用训练集图像s分别对各级深度学习网络net
k
进行独立训练；
13.1.3)前k
‑
1级的深度学习网络逐一进行困难样本自举：对于深度学习网络net1至net
k
‑1，逐一利用每一级的深度学习网络计算训练集中每一张图像的训练损失，并进行降序排序，选择损失符合预设的损失条件的样本，构成对应的困难样本集h
k
；
14.1.4)后k
‑
1级的深度学习网络逐一进行微调训练：对于深度学习网络net2至net
k
，
利用困难样本集h
k
对每一级的深度学习网络进行微调训练。
15.作为优选，预设的损失条件为排在前θ％的训练损失。
16.作为优选，测试阶段的步骤如下：
17.2.1)初始化：设置查询图像q、注册图像集g、匹配链表list，匹配链表list用于记录查询图像q与注册图像集g中每个图像的欧式距离和相应的图像序号，匹配链表list的初始值为空；
18.2.2)级联匹配：对于各级深度学习网络net
k
，逐次利用各级深度学习网络net
k
对查询图像q与注册图像集g进行特征提取，获得查询图像的图像特征和注册图像集特征将查询图像的图像特征和注册图像集特征中的每个样本计算欧式距离，再根据欧式距离进行升序排序更新匹配链表list；在匹配链表list中查询与查询图像q的相似度符合预设的相似度条件的注册图像，并保留在注册图像集g中，完成注册图像集g的更新；将查询图像q和更新后的注册图像集g输入下一级的深度学习网络，继续进行特征匹配，直到历经所有级联的深度学习网络，得到最终的匹配链表list，即为再辨识结果。
19.作为优选，预设的相似度条件为排在前γ％的欧式距离。
20.一种基于级联匹配的快速再辨识系统，包括训练模块、测试模块；训练模块根据所述的快速再辨识方法，进行各级深度学习网络的自举微调；测试模块根据所述的快速再辨识方法，获得快速再辨识结果。
21.本发明的有益效果如下：
22.本发明所述的基于级联匹配的快速再辨识方法与快速再辨识系统，在训练阶段，训练模块构造多级复杂程度递增的级联的深度学习网络，并对各级深度学习网络独立训练，然后用前一级深度学习网络自举困难样本集驱动其后一级深度学习网络进行训练微调，完成各级深度学习网络的自举微调；在测试阶段，测试模块使用级联深度学习网络逐级对查询图像和注册图像集的图像进行特征提取，将提取的图像特征两两匹配并计算欧式距离，获得根据欧氏距离升序排序的匹配链表，取与查询图像高度相似的图像更新注册图像集，然后将查询图像和更新后的注册图像集输入下一级深度学习网络继续进行特征匹配，直到历经所有级联深度学习网络，最终得到匹配链表即为基于级联匹配的快速再辨识结果。随着深度学习网络级数的增加，对应的深度学习网络所处理的样本组合数量递减。因此，本发明能够有效地实现大规模的行人或车辆再辨识任务的快速执行，有效提升匹配速度，可应用于大规模的行人或车辆再辨识任务的快速执行。
附图说明
23.图1是训练阶段的原理框图；
24.图2是测试阶段的原理框图。
具体实施方式
25.以下结合附图及实施例对本发明进行进一步的详细说明。
26.本发明所述的基于级联匹配的快速再辨识方法，包括训练阶段、测试阶段；具体如下：
27.1)训练阶段：如图1所示，构造多级级联的深度学习网络，首先对各级深度学习网络进行独立训练，而后用前一级深度学习网络自举困难样本集驱动其后一级深度学习网络进行训练微调，完成各级深度学习网络的自举微调；本发明中，多级级联的深度学习网络中，下一级深度学习网络的复杂度高于前一级深度学习网络。
28.2)测试阶段：如图2所示，使用训练阶段获得的多级级联的深度学习网络，逐级对查询图像和注册图像集的图像进行特征提取，获得图像特征；将提取的图像特征两两匹配并计算欧式距离，获得根据欧氏距离升序排序的匹配链表；选取匹配链表中与查询图像的相似度符合预设的相似度条件的注册图像进行保留，完成注册图像集的更新；将查询图像和更新后的注册图像集输入下一级深度学习网络，继续进行特征匹配，直到历经所有级联的深度学习网络，得到匹配链表，即为基于级联匹配的快速再辨识结果。
29.为了实现所述的快速再辨识方法，本发明还提供一种基于级联匹配的快速再辨识系统，包括训练模块、测试模块；如图1所示，训练模块根据所述的快速再辨识方法，进行各级深度学习网络的自举微调；如图2所示，测试模块根据所述的快速再辨识方法，获得快速再辨识结果。
30.具体地，训练阶段的步骤如下：
31.1.1)初始化构造多级级联的深度学习网络{net
k
|k＝1,2,
…
,k}；
32.1.2)利用训练集图像s分别对各级深度学习网络net
k
进行独立训练；
33.1.3)前k
‑
1级的深度学习网络逐一进行困难样本自举：对于深度学习网络net1至net
k
‑1，逐一利用每一级的深度学习网络计算训练集中每一张图像的训练损失，并进行降序排序，选择损失符合预设的损失条件的样本，构成对应的困难样本集h
k
；本实施例中，预设的损失条件为排在前θ％的训练损失；
34.1.4)后k
‑
1级的深度学习网络逐一进行微调训练：对于深度学习网络net2至net
k
，利用困难样本集h
k
对每一级的深度学习网络进行微调训练。
35.测试阶段的步骤如下：
36.2.1)初始化：设置查询图像q、注册图像集g、匹配链表list，匹配链表list用于记录查询图像q与注册图像集g中每个图像的欧式距离和相应的图像序号，匹配链表list的初始值为空；
37.2.2)级联匹配：对于各级深度学习网络net
k
，逐次利用各级深度学习网络net
k
对查询图像q与注册图像集g进行特征提取，获得查询图像的图像特征和注册图像集特征将查询图像的图像特征和注册图像集特征中的每个样本计算欧式距离，再根据欧式距离进行升序排序更新匹配链表list；在匹配链表list中查询与查询图像q的相似度符合预设的相似度条件的注册图像，并保留在注册图像集g中，完成注册图像集g的更新；将查询图像q和更新后的注册图像集g输入下一级的深度学习网络，继续进行特征匹配，直到历经所有级联的深度学习网络，得到最终的匹配链表list。本实施例中，预设的相似度条件为排在前γ％的欧式距离。
38.以三级级联的深度学习网络为例，本实施例的步骤如下：
39.1)训练阶段，如图1所示，具体如下：
40.1.1)构造一个三级级联的深度学习网络{net
k
|k＝1,2,3}，其中，第一级的深度学
习网络net1为卷积神经网络alexnet，第二级的深度学习网络net2为vgg网络，第三级深度学习网络net3为resnet，net1、net2、net3的复杂度逐级递增；
41.1.2)对各级的深度学习网络进行独立训练，即利用训练集图像s分别对三级级联的深度学习网络{net
k
|k＝1,2,3}每一级的深度学习网络进行训练；
42.1.3)前2级深度学习网络net1、net2逐一进行困难样本自举，即从k＝1到k＝2，逐一利用net
k
计算训练集中每一张图像的训练损失并进行降序排序，选择损失较大(训练损失排在前10％)的样本构成对应的困难样本集h
k
；
43.1.4)后2级深度学习网络net2、net3逐一微调训练，即从k＝2到k＝3，利用困难样本集h
k
对net
k+1
进行微调训练。
44.2)测试阶段，如图2所示，具体如下：
45.2.1)初始化：设置查询图像q、注册图像集g、匹配链表list，匹配链表list用于记录查询图像q与注册图像集g中每个图像的欧式距离和相应的图像序号，匹配链表list的初始值为空；
46.2.2)级联匹配：从k＝1到k＝3，逐次利用net
k
对查询图像q和注册图像集g进行特征提取，获得查询图像的图像特征和注册图像集特征将和中的每个样本计算欧式距离，再根据欧式距离进行升序排序更新匹配链表list；更新g，即在list寻找与q高度相似的注册图像(欧式距离排在前10％)，并在g中进行保留。
47.最终，所得的list历经所有级联的深度学习网络(即{net
k
|k＝1,2,3})对其更新(即对样本组合排序)，且随着k增大，对应的net
k
所处理的样本组合数量递减，从而实现了基于级联匹配的快速再辨识结果。
48.上述实施例仅是用来说明本发明，而并非用作对本发明的限定。只要是依据本发明的技术实质，对上述实施例进行变化、变型等都将落在本发明的权利要求的范围内。