一种车辆检索中的重排序方法及装置的制造方法

一种车辆检索中的重排序方法及装置的制造方法
【专利摘要】本发明公开了一种车辆检索中的重排序方法及装置，所述方法包括：获取待查询图像基于预先建立的模板库中所有样例图像的第一统计分布特征向量，以及获取目标图像库中每一图像基于模板库中所有样例图像的第二统计分布特征向量；获取所述目标图像库中部分图像排序的初始检索结果序列，根据第一统计分布特征向量和第二统计分布特征向量、和初始检索结果序列确定初始检索结果序列中每一图像与待查询图像的第三相似度；将初始检索结果序列中的所有图像按照第三相似度的大小重新排序，获得重排序的目标检索结果序列。上述方法能够实现在车辆检索中的重排序，以便提高车辆检索的准确率。
【专利说明】
一种车辆检索中的重排序方法及装置
技术领域
[0001] 本发明涉及计算机技术，具体涉及一种车辆检索中的重排序方法及装置。
【背景技术】
[0002] 交通监控图像和视频是公安业务的重要数据基础，在社会治安维稳、打击违法犯 罪等方面有着至关重要的作用。为此，如何从大量的监控图像和视频中检索出目标车辆成 为研究热点。
[0003] 现有技术中，重排序是图像检索技术中常用的提升检索性能的技术，例如，可通过 图像对之间的视觉特征匹配关系对初始检索结果进行重排序。
[0004] 然而，重排效果极大依赖于所使用的视觉特征是否能够足够有效地表达图像。在 相似车辆搜索中，由于很多车辆往往外形很相似，提取出的视觉特征也会比较相似，无法区 分不同车型，从而导致这种直接使用图像对之间的匹配关系的重排序方法不能较好的检索 出相似车辆。

【发明内容】

[0005] 针对现有技术中的缺陷，本发明提供了一种车辆检索中的重排序方法及装置，能 够实现在车辆检索中的重排序，以便提高车辆检索的准确率。
[0006] 第一方面，本发明提供一种车辆检索中的重排序方法，包括：
[0007] 获取待查询图像基于预先建立的模板库中所有样例图像的第一统计分布特征向 量，以及获取目标图像库中每一图像基于所述模板库中所有样例图像的第二统计分布特征 向量；
[0008] 获取所述目标图像库中部分图像排序的初始检索结果序列，所述初始检索结果序 列是按照所述待查询图像与所述目标图像库中每一图像的第一相似度的大小排序的；
[0009] 根据所述第一统计分布特征向量和所述初始检索结果序列中每一图像的第二统 计分布特征向量，确定所述待查询图像与所述初始检索结果序列中每一图像的第二相似 度；
[0010] 根据所述初始检索结果序列中每一图像与所述待查询图像的第一相似度和第二 相似度，确定所述初始检索结果序列中每一图像与所述待查询图像的第三相似度；
[0011] 将所述初始检索结果序列中的所有图像按照所述第三相似度的大小重新排序，获 得重排序的目标检索结果序列。
[0012] 可选地，所述获取待查询图像基于预先建立的模板库中所有样例图像的第一统计 分布特征向量之前，所述方法还包括：
[0013] 对筛选后的样例图像进行聚类处理，建立包括部分样例图像的模板库，所述模板 库中的样例图像均不重复。
[0014] 可选地，所述对筛选后的样例图像进行聚类处理，建立包括样例图像的模板库，包 括：
[0015] 采用预设的图像匹配系统对预先收集的N张样例图像进行筛选，获得筛选后的T 张样例图像；
[0016] 其中，Ν、Τ均为大于1的自然数，Ν大于Τ。
[0017] 可选地，获取待查询图像基于预先建立的模板库中所有样例图像的第一统计分布 特征向量，包括：
[0018] 获取所述待查询图像与所述模板库中每张样例图像的视觉相似度，得到Q个二元 组，每一二元组包括：样例图像标识和该样例图像对应的视觉相似度；
[0019] 根据预设的视觉相似度的阈值，从Q个二元组中筛选出Q'个二元组，Q和Q'均为 大于1的自然数；
[0020] 采用构建的第一向量和第二向量对Q'个二元组进行统计，根据统计结果生成第一 统计分布特征向量；
[0021] 其中，所述第一向量为#:={两，涔，一，约^，各维度初始化为0;
[0022] 第二向量为f Κ …，U，各维度初始化为〇 ;
[0023] 所述第一向量的维度和第二向量的维度相同，且与所述模板库中所有样例图像对 应的类别数量匹配。
[0024] 可选地，获取目标图像库中每一图像基于所述模板库中所有样例图像的第二统计 分布特征向量，包括：
[0025] 获取所述目标图像库中每一图像与所述模板库中每张样例图像的视觉相似度，获 得每一图像的Q个二元组，每一二元组包括：样例图像标识和该样例图像对应的视觉相似 度；
[0026] 根据预设的视觉相似度的阈值，从每一图像对应的所有二元组中筛选出R个二元 组，R为大于1的自然数；
[0027] 采用构建的第一向量和第二向量对R个二元组进行统计，根据统计结果生成该图 像的第二统计分布特征向量；
[0028] 其中，所述第一向量为P =丨A. A，…./\丨，各维度初始化为0 ;
[0029] 第二向量为f = ，各维度初始化为〇 ;
[0030] 所述第一向量的维度和第二向量的维度相同，且与所述模板库中所有样例图像对 应的类别数量匹配。
[0031] 可选地，所述根据统计结果生成第一统计分布特征向量，包括：
[0032] 将统计有Q'个二元组的第一向量的每个维度除以统计有Q'个二元组的第二向量 中对应维度值的开方，获得第一统计分布特征向量；
[0033] 或者，
[0034] 根据统计结果生成第二统计分布特征向量，包括：
[0035] 将统计有R个二元组的第一向量的每个维度除以统计有R个二元组的第二向量中 对应维度值的开方，获得第二统计分布特征向量。
[0036] 第二方面，本发明提供一种车辆检索中的重排序装置，包括：
[0037] 统计分布特征向量获取单元，用于获取待查询图像基于预先建立的模板库中所有 样例图像的第一统计分布特征向量，以及获取目标图像库中每一图像基于所述模板库中所 有样例图像的第二统计分布特征向量；
[0038] 初始检索结果序列获取单元，用于获取所述目标图像库中部分图像排序的初始检 索结果序列，所述初始检索结果序列是按照所述待查询图像与所述目标图像库中每一图像 的第一相似度的大小排序的；
[0039] 第二相似度确定单元，用于根据所述第一统计分布特征向量和所述初始检索结果 序列中的每一图像的第二统计分布特征向量，确定所述待查询图像与所述初始检索结果序 列中每一图像的第二相似度；
[0040] 第三相似度确定单元，用于根据所述初始检索结果序列中每一图像与所述待查询 图像的第一相似度和第二相似度，确定所述初始检索结果序列中每一图像与所述待查询图 像的第三相似度；
[0041] 目标检索结果序列获取单元，用于将所述初始检索结果序列中的所有图像按照所 述第三相似度的大小重新排序，获取重排序的目标检索结果序列。
[0042] 可选地，所述装置还包括：
[0043] 模板库建立单元，用于对筛选后的样例图像进行聚类处理，建立包括部分样例图 像的模板库，所述模板库中的样例图像均不重复。
[0044] 可选地，统计分布特征向量获取单元，具体用于
[0045] 获取所述待查询图像与所述模板库中每张样例图像的视觉相似度，得到Q个二元 组，每一二元组包括：样例图像标识和该样例图像对应的视觉相似度；
[0046] 根据预设的视觉相似度的阈值，从Q个二元组中筛选出Q'个二元组，Q和Q'均为 大于1的自然数；
[0047] 采用构建的第一向量和第二向量对Q'个二元组进行统计，根据统计结果生成第一 统计分布特征向量；
[0048] 以及，
[0049] 获取所述目标图像库中每一图像与所述模板库中每张样例图像的视觉相似度，获 得每一图像的Q个二元组，每一二元组包括：样例图像标识和该样例图像对应的视觉相似 度；
[0050] 根据预设的视觉相似度的阈值，从每一图像对应的所有二元组中筛选出R个二元 组，R为大于1的自然数；
[0051] 采用构建的第一向量和第二向量对R个二元组进行统计，根据统计结果生成该图 像的第二统计分布特征向量；
[0052] 其中，所述第一向量为 > =彳A，A，…，，各维度初始化为〇 ;
[0053] 第二向量为f =仏七···，^，各维度初始化为〇 ;
[0054] 所述第一向量的维度和第二向量的维度相同，且与所述模板库中所有样例图像对 应的类别数量匹配。
[0055] 第三方面，本发明还提供一种车辆检索方法，包括：
[0056] 采用上述任一所述的车辆检索中的重排序方法获取待查询图像的目标检索结果 序列；
[0057] 根据所述目标检索结果序列，确定与所述待查询图像相似的目标图像。
[0058] 由上述技术方案可知，本发明的车辆检索中的重排序方法及装置，利用模板库的 统计分布特性，将待匹配的两张图像分别映射到该模板库，生成统计分布特征，利用初始检 索结果图像与查询图像间的统计分布特征相似度对初始检索结果做重排序。能够实现在车 辆检索中的重排序，提高车辆检索的准确率。
【附图说明】
[0059] 图1为本发明一实施例提供的车辆检索中的重排序方法的流程示意图；
[0060] 图2为本发明一实施例提供的车辆检索中的重排序方法的流程示意图；
[0061] 图3为本发明一实施例提供的车辆检索中的重排序装置的流程示意图。
【具体实施方式】
[0062] 下面结合附图，对发明的【具体实施方式】作进一步描述。以下实施例仅用于更加清 楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。本发明实施例中所使 用的"第一"、"第二"仅为更清楚的说明本申请的内容，不具有特定含义，也不限定任何内 容。
[0063] 本发明实施例提出一种利用基于第三方图像集合生成的统计分布特征的重排序 方法，将一对一的匹配模式转换为一对多的匹配，可以得到更准确、稳定的匹配关系，从而 获得更好的重排序效果。
[0064] 图1示出了本发明一实施例提供的车辆检索中的重排序方法的流程示意图，如图 1所示，本实施例的车辆检索中的重排序方法如下所述。
[0065] 101、获取待查询图像基于预先建立的模板库中所有样例图像的第一统计分布特 征向量，以及获取目标图像库中每一图像基于所述模板库中所有样例图像的第二统计分布 特征向量。
[0066] 在本实施例中，模板库是预先建立的，并包括有多个类别即车型种类类别的样例 图像，且模板库中的样例图像均不重复。
[0067] 102、获取所述目标图像库中部分图像排序的初始检索结果序列，所述初始检索结 果序列是按照所述待查询图像与所述目标图像库中每一图像的第一相似度的大小排序的。
[0068] 举例来说，可预先获取所述待查询图像与所述目标图像库中每一图像的第一相似 度；选取大于预设第一阈值的第一相似度组成第一相似度集合，将所述第一相似度集合中 所有第一相似度对应的图像进行排序，获得初始检索结果序列。
[0069] 103、根据所述第一统计分布特征向量和所述初始检索结果序列中每一图像的第 二统计分布特征向量，确定所述待查询图像与所述初始检索结果序列中每一图像的第二相 似度。
[0070] 104、根据所述初始检索结果序列中的每一图像与所述待查询图像的第一相似度 和第二相似度，确定所述初始检索结果序列中的每一图像与所述待查询图像的第三相似 度。
[0071] 105、将所述初始检索结果序列中的所有图像按照所述第三相似度的大小重新排 序，获得重排序的目标检索结果序列。
[0072] 本实施例的车辆检索中的重排序方法，利用模板库的统计分布特性，将待匹配的 两张图像分别映射到该模板库，生成统计分布特征，利用初始检索结果图像与查询图像间 的统计分布特征相似度对初始检索结果做重排序，能够实现在车辆检索中的重排序，提高 车辆检索的准确率。
[0073] 图2示出了本发明一实施例提供的车辆检索中的重排序方法的流程示意图，如图 2所示，本实施例的车辆检索中的重排序方法如下所述。
[0074] 201、对筛选后的样例图像进行聚类处理，建立包括部分或全部样例图像的模板 库，所述模板库中的样例图像均不重复。
[0075] 举例来说，可采用预设的图像匹配系统对预先收集的N张样例图像进行筛选，获 得筛选后的T张样例图像；其中，N、T均为大于1的自然数，N大于T。
[0076] 例如，对预先收集N张样例图像的第一图像集合中的所有样例图像进行图像检索 筛选，获得符合某一设定阈值的Μ对图像匹配对，每一图像匹配对包括第一图像集合中的 两个样例图像；
[0077] 进一步地，还可采用预设的图像匹配系统对所述Μ对图像匹配对进行优化筛选， 获得Ρ对图像匹配对，将所述Ρ对图像匹配对对应的样例图像组成模板库；
[0078] 其中，Μ大于等于Ρ，其中，Ν、Μ、Ρ均为自然数。
[0079] 本实施例中，预设图像匹配系统可为FPR(False Positive Rate)低于某一设定阈 值的图像匹配系统。
[0080] 202、获取所述待查询图像与所述模板库中每张样例图像的视觉相似度，得到Q个 二元组，每一二元组包括：样例图像标识和该样例图像对应的视觉相似度。
[0081] 举例来说，每一二元组可为包括（图像ID，与该图像对应视觉相似度）的二元组。
[0082] 对待查询图像与模板库中的每张样例图像的视觉相似度即为视觉特征相似度，该 处的视觉特征可使用Fisher向量、SIFT特征、SURF特征等现有特征提取技术，不做限定，本 实施例使用Fisher向量作为视觉特征描述子，得到Q个（图像ID，视觉相似度）二元组；
[0083] 203、根据预设的视觉相似度的阈值，从Q个二元组中筛选出Q'个二元组；采用构 建的第一向量和第二向量对Q'个二元组进行统计，根据统计结果生成第一统计分布特征向 量；
[0084] 本实施例中，Q和Q'均为大于1的自然数，其中，所述第一向量可为 > =丨A，…丨.，各维度初始化为〇 ;
[0085] 第二向量可为f ,各维度初始化为0 ;
[0086] 所述第一向量的维度和第二向量的维度相同，且与所述模板库中所有样例图像对 应的类别数量匹配。可理解的是，模板库中的类别是用聚类算法自动聚类生成的，与车型种 类不严格对应。
[0087] 另外，需要说明的是，预设的视觉相似度的阈值可为具体经验值，但考虑到不同视 觉模型下（如，来自不同交通治安卡口）的查询图像和目标图像库中图像的视觉相似度可 能不在相当的水平，该处的阈值应根据实际场景自适应调节，本实施例的视觉相似度的阈 值设置方式为：记Q个（图像ID，视觉相似度）二元组中视觉相似度最大值为MAX，那么视 觉相似度的阈值=MX*0. 6,其中，0. 6为经验值，可根据实际目标图像库的信息进行调整。
[0088] 举例来说，将统计有Q'个二元组的第一向量的每个维度除以统计有Q'个二元组 的第二向量中对应维度值的开方，获得第一统计分布特征向量。
[0089] 例如，可将上述第一向量F每个维度除以第二向量f中的相应维度值： ' = P:丨士:，生成第一统计分布特征向量J.:。
[0090] 204、获取所述目标图像库中每一图像与所述模板库中每张样例图像的视觉相似 度，获得目标图像库中每一图像的Q个二元组。
[0091 ] 本实施例中，每一二元组包括：样例图像标识和该样例图像对应的视觉相似度；
[0092] 205、根据预设的视觉相似度的阈值，从目标图像库中每一图像对应的所有二元组 中筛选出R个二元组，采用构建的第一向量和第二向量对R个二元组进行统计，根据统计结 果生成该图像的第二统计分布特征向量；
[0093] 本实施例中，Q、R均为大于1的自然数；其中，所述第一向量为丨Α，/":，···，/\?丨_ s 各维度初始化为〇 ;
[0094] 第二向量为『=认，b…A〖，各维度初始化为0 ;
[0095] 所述第一向量的维度和第二向量的维度相同，且与所述模板库中所有样例图像对 应的类别匹配。可理解的是，模板库中的类别是用聚类算法自动聚类生成的，与车型种类不 严格对应。
[0096] 举例来说，根据统计结果生成第二统计分布特征向量，包括：
[0097] 将统计有R个二元组的第一向量的每个维度除以统计有R个二元组的第二向量中 对应维度值的开方，获得第二统计分布特征向量。
[0098] 206、获取目标图像库中部分图像排序的初始检索结果序列，所述初始检索结果序 列是按照所述待查询图像与所述目标图像库中每一图像的第一相似度的大小排序的。
[0099] 在本实施例中，重排序的操作对象是基于通过某种检索方式获取的初始检索结果 序列。
[0100] 假设通过某种检索方式，获取查询图像仏的长度为m的初始检索结果序列R 1 = {rpiv ，一般满足siml (Q!，rpsiml (Q!，rj+1)，siml表示两张图像的第一相似度，即 札按照第一相似度从高到低排列。
[0101] 207、根据所述第一统计分布特征向量和所述初始检索结果序列中每一图像的第 二统计分布特征向量，确定所述待查询图像与所述初始检索结果序列中每一图像的第二相 似度。
[0102] 也就是说，分别计算待查询图像仏与r r "的统计分布特征相似度，即第二相似 度，即计算sim2(&，反)，sim2可以是余弦距离，也可以先进行L2归一化，然后计算欧 式距离，当然也可以使用其他距离度量方式，不做具体限定，本实施例使用余弦距离作为统 计分布特征相似性度量方式。
[0103] 208、根据所述初始检索结果序列中的每一图像与所述待查询图像的第一相似度 和第二相似度，确定所述初始检索结果序列中的每一图像与所述待查询图像的第三相似 度。
[0104] 例如，将第一相似度与第二相似度按照某种方式融合，得到第三相似度，融合方式 可以是加权或相乘等方式，加权中也可以将第一相似度权重设为〇,即，直接取第二相似度 作为第三相似度，不做严格限定。上述的第一相似度可为视觉特征相似度，第二相似度可为 统计分布特征相似度。
[0105] 本实施例的融合方式为：先将初始检索结果序列&的第一相似度归一化，归一化 方式为：将初始检索结果序列Ri中的每一项的第一相似度除以第一相似度最大值，由于R i 按照第一相似度从高到低排列，那么最大值一般为首项，即初始检索结果序列&中图像ri 与待查询图像的第一相似度siml (Qd Γι);
[0106] 然后将归一化后的第一相似度与第二相似度相加，得到第三相似度，即：
[0107]
[0108] 209、将所述初始检索结果序列中的所有图像按照所述第三相似度的大小重新排 序，获得重排序的目标检索结果序列。
[0109] 将初始检索结果序列&按照第三相似度sim3从高到低进行重排序，得到新的目 标检索结果序列。
[0110] 本实施例的方法，通过引入第三方图像集合，并使用聚类的方式训练模板库，利用 查询图像和目标图像库图像在该模板库上的统计分布特性对检索结果进行重排序，弥补了 传统的图像一对一匹配不稳定、区分能力不够等缺陷，能够获得更好的重排效果。
[0111] 在一个具体的例子中，对上述步骤201进行详细说明如下：
[0112] 2011、根据样例筛选规则，从第一样例图像集合中选择可靠车辆样例图像，构成第 二样例图像集合。
[0113] 所述第一样例图像集合为车辆图像样例组成的样例图像集合，一般应尽可能但不 绝对要求包含所有车型的样例，假设第一样例图像集合包含样例图像的个数为N，N-般 应大于5000,本实施例中使用从XX城镇交通治安卡口采集的样例图像中随机选择的N = 30000张样例图像构成第一样例图像集合；
[0114] 根据样例筛选规则，从第一样例图像集合的N个样例图像中选择出T个可靠的样 例图像，构成第二样例图像集合。需要说明的是，T的具体值依赖于样例筛选规则中的参数 设置，以及第一样例图像集合中的N张样例图像的实际分布情况，不同情况下会得到不同 的T值。本实施例中，从N = 30000张样例图像中筛选出了 T = 18347张样例图像构成第 二样例图像集合。
[0115] 具体地：2011a、对第一样例图像集合两两构建图像匹配对，得到第一图像对集合。
[0116] 第一样例图像集合包含N张样例图像，对其两两构建图像匹配对，目标是从这些 样例图像对中选出强匹配对，但并不严格要求能够选出所有的强匹配对，理论上可以产生 C(N，2) = Ν(Ν-1)/2对图像对，本实施例中N = 30000,理论产生图像匹配对数量为4亿多 对，而其中多数是不匹配对，如果对所有4亿多对图像匹配对一一匹配，效率过低。
[0117] 因此，本实施例首先将N张样例图像中的每一张样例图像作为查询图像基于这N 张样例图像构成的第一图像集合进行检索，每张查询图像得到一个按相似度从高到低排序 的检索结果序列R2= {rpiv ???dj，其中首位结果与查询图像的相似度sinKQ；；，;^)最 大，当该最大值小于第三阈值时，认为这一组检索结果序列不存在可能与相应查询图像构 成强匹配对的样例图像，直接跳过这一条查询，否则，即，当sim(Q2, Γι)大于第三阈值时，从 检索结果序列R2中选出相似度大于第四阈值的结果与查询图像构成图像匹配对。本实施 例中，使用Fisher向量作为描述子，第三阈值设为25. 0,第四阈值设为sim(Q2, Γι) *0. 8。需 要说明的是，不同的视觉特征描述子计算得到的相似度得分量级不同，应根据实际情况设 置第三阈值。
[0118] 按照上述方法构建的图像匹配对都存在相对较强的匹配关系，本实施例中构建了 约42. 7万对图像对，远远少于4亿的理论值，大大减少了后续匹配的工作量。
[0119] 本实施例中的第三阈值和第四阈值可对应前述步骤201中选取Μ对图像匹配对过 程中设定的阈值。
[0120] 可选地，本实施例中还可执行下述的步骤2011b。
[0121] 2011b、采用预设的图像匹配系统对第一图像对集合中的每组图像匹配对做匹配， 选出能够匹配上的图像匹配对组成第二图像对集合。
[0122] 本实施例预设图像匹配系统可为FPR(False Positive Rate)低于某一设定阈值 如0. 1 %的图像匹配系统对第一图像对集合中的样例图像对逐对进行匹配，所有能够识别 为匹配对的样例图像对组成第二图像对集合。本实施例从42. 7万对图像匹配对中选出了 42. 5万对图像匹配对，构成第二图像对集合。
[0123] 2012、使用第二图像对集合中的图像组成第二图像集合。
[0124] 将第二图像对集合所包含图像匹配对对应的样例图像组成第二图像集合，本实施 例包含42. 5万对图像对的第二图像对集合包含18347张不重复图像，即，本实施例的第二 图像集合由18347张不重复图像构成。
[0125] 本实施例的模板库样例筛选方法，通过控制图像匹配系统的FPR在较低水平，选 择出"可靠"的样例图像，这些样例图像能够与部分其他样例产生较强的匹配关系，使用这 些"可靠"的样例图像进行聚类，能够较好地保证类的高内聚低耦合要求，从而更好地支撑 后续的统计分布特性表达。
[0126] 2013、使用聚类算法训练第二图像集合，生成模板库。
[0127] 使用聚类算法对第二图像集合按照视觉特征相似度进行聚类，得到K个子集，构 成所述模板库。
[0128] 聚类算法可以是AP聚类算法、谱聚类算法、K-Means聚类算法等现有技术。本实 施例中，首先对包含T张图像的第二图像集合构建T*T的相似度矩阵，然后使用AP聚类算 法进行聚类，算法原理在此不做详述。
[0129] 在本实施例中，获取相似度矩阵之前，需要分别提取每一张样例图像的视觉特征， 通常，可米用Fisher向量、尺度不变特征转换（Scale-invariant feature transform， 简称SIFT)，快速鲁棒特征（Speeded-up Robust Features，简称SURF)，特征梯度直方图 (Histograms of Oriented Gradients，简称HOG)等方式提取每一张图像的视觉特征。本 实施例中，提取任一图像的视觉特征可为业内公知技术，本实施例不对其进行详述。
[0130] 在提取第二图像集合中每一样例图像的视觉特征之后，可采用汉明距离、欧式距 离、马式距离等距离度量方式获取两两之间的视觉特征相似度，构建T*T的相似度矩阵。
[0131] 另外需要说明的是，使用ΑΡ聚类算法聚出的类别个数一般较多，而模板库的类 别个数一般不应偏离实际车型种类数量太远，本实施例使用AP聚类算法第一次聚类得到 3392个类，而实际车型种类大约在1000种，因此，本实施例对第一次聚类得到的聚类中心 进行二次聚类，最终得到938个类。本实施例中，这18347张图像训练出的938个子集构成 所述模板库。
[0132] 应该说明的是，前述步骤201中建立的模板库可以在任意检索中使用，后续对待 查询图像可无需建立模板库，直接使用前期建立的模板库即可，即，只需要建立一次模板 库，每次检索时可以直接使用，无需每检索一次建立一次模板库。
[0133] 进一步地，前述步骤203中和205中的第一向量另=八丨和第二向量 /1=丨/ΡΛ·,···，4]·的长度均为K，K值为模板库子集个数，本实施例中，K = 938,因此生成的统 计分布特征向量为938维。
[0134] 统计方式为：对Q'或R个二元组中的每一个，如果"图像ID"所对应的图像在模 板库中属于第i类，i e N+，i e [1，K]，那么将"视觉相似度"累加到Pl，同时^加1。
[0135] 进一步地，可将上述第一向量j每个维度除以第二向量歹中的相应维度值的开 方：_& == ，生成所述统计分布特征向量5。
[0136] 待查询图像和目标图像库中每张图像均按上述方式生成相应的Κ维统计分布特 征向量I (如上步骤203中的第一统计分布特征向量和步骤205中的第二统计分布特征向 量）。
[0137] 由于上述统计过程之前用视觉相似度的阈值进行了选择，参与统计的（图像ID， 视觉相似度）二元组数量一般很少，本实施例中，平均能够保留约不到20个二元组，因此， 生成的Κ维统计分布特征向量SG是稀疏的，在后续重排序步骤中计算量很小，从而保证了 时间效率。
[0138] 上述实施例中的方法，能够提升相似车辆检索性能。
[0139] 特别地，通过多次试验证明，如构建一个包含4188张图像的目标数据库，对348张 查询图像进行检索，查询图像与目标数据库图像来自同一城市。使用CDVS特征和检索框 架获得按照第一相似度排序的初始检索结果序列，平均准确率（Mean Average Precision， MAP)为〇. 78,使用上述方法做重排序后提升到0. 80。
[0140] 另外，第二试验中构建与上述试验来自不同城市的150张查询图像，基于上述试 验的目标数据库进行检索，同样使用CDVS特征和检索框架获得按照第一相似度排序的初 始检索结果序列，平均准确率为〇. 42,使用本发明所述方法做重排序后提升到0. 53。
[0141] 从上述试验结果可知，本发明实施例的重排序方法对待查询图像与目标图像库中 图像同场景（如同一城市或同一卡口）和不同场景（如不同城市或）的情况下均能获得提 升效果，在查询图像与目标数据库图像来自不同场景的情况下提升尤为明显。
[0142] 本实施例的方法与现有技术相比，不同于图像对之间一对一的匹配，本实施例使 用聚类算法训练一个第三方的样例图像集合，这里称之为"模板库"，利用模板库的统计分 布特性，将待匹配的两张图像分别映射到该模板库，生成统计分布特征，利用初始检索结果 图像与查询图像间的统计分布特征相似度对初始检索结果做重排序。
[0143] 另外，本发明还提供一种车辆检索方法，该车辆检索方法包括：前述任意实施例描 述的车辆检索中的重排序方法获取待查询图像的目标检索结果序列；进而根据所述目标检 索结果序列，确定与所述待查询图像相似的目标图像。
[0144] 采用车辆检索方法可以从目标图像库中快速且准确的检索出目标车辆。
[0145] 图3示出了本发明一实施例提供的车辆检索的重排序装置，如图3所示，本实施例 的车辆检索的重排序装置包括：统计分布特征向量获取单元31、初始检索结果序列获取单 元32、第二相似度确定单元33、第三相似度确定单元34、目标检索结果序列获取单元35 ;
[0146] 其中，统计分布特征向量获取单元31用于获取待查询图像基于预先建立的模板 库中所有样例图像的第一统计分布特征向量，以及获取目标图像库中每一图像基于所述模 板库中所有样例图像的第二统计分布特征向量；
[0147] 初始检索结果序列获取单元32用于获取所述目标图像库中部分图像排序的初始 检索结果序列，所述初始检索结果序列是按照所述待查询图像与所述目标图像库中每一图 像的第一相似度的大小排序的；
[0148] 第二相似度确定单元33用于根据所述第一统计分布特征向量和所述初始检索结 果序列中的每一图像的第二统计分布特征向量，确定所述待查询图像与所述初始检索结果 序列中每一图像的第二相似度；
[0149] 第三相似度确定单元34用于根据所述初始检索结果序列中每一图像与所述待查 询图像的第一相似度和第二相似度，确定所述初始检索结果序列中每一图像与所述待查询 图像的第三相似度；
[0150] 目标检索结果序列获取单元35用于将所述初始检索结果序列中的所有图像按照 所述第三相似度的大小重新排序，获取重排序的目标检索结果序列。
[0151] 在一种具体的例子中，上述的车辆检索中的重排序装置还可包括图中未示出的模 板库建立单元30,该模板库建立单元30用于采用预设的图像匹配系统对预先收集的N张样 例图像进行筛选，获得筛选后的T张样例图像；进而对筛选后的样例图像进行聚类处理，建 立包括部分样例图像的模板库，所述模板库中的样例图像均不重复，N、T均为大于1的自然 数，N大于T。
[0152] 应说明的是，本实施例中的模板库建立单元30连接统计分布特征向量获取单元 31〇
[0153] 可选地，统计分布特征向量获取单元31具体用于，获取所述待查询图像与所述模 板库中每张样例图像的视觉相似度，得到Q个二元组，每一二元组包括：样例图像标识和该 样例图像对应的视觉相似度；
[0154] 根据预设的视觉相似度的阈值，从Q个二元组中筛选出Q'个二元组，Q和Q'均为 大于1的自然数；
[0155] 采用构建的第一向量和第二向量对Q'个二元组进行统计，根据统计结果生成第一 统计分布特征向量；
[0156] 其中，所述第一向量为…，/\!，各维度初始化为0 ;
[0157] 第二向量为f = ?:，···，&〖，各维度初始化为〇 ;
[0158] 所述第一向量的维度和第二向量的维度相同，且与所述模板库中所有样例图像对 应的类别数量匹配。
[0159] 或者，统计分布特征向量获取单元31具体用于，获取所述目标图像库中每一图像 与所述模板库中每张样例图像的视觉相似度，获得每一图像的Q个二元组，每一二元组包 括：样例图像标识和该样例图像对应的视觉相似度；
[0160] 根据预设的视觉相似度的阈值，从每一图像对应的所有二元组中筛选出R个二元 组，R为大于1的自然数；
[0161] 采用构建的第一向量和第二向量对R个二元组进行统计，根据统计结果生成该图 像的第二统计分布特征向量；
[0162] 其中，所述弟一向莖为$ -彳A，/6,，各维度初始化为0 ;
[0163] 第二向量为$ =丨64,…人}，各维度初始化为0 ;
[0164] 所述第一向量的维度和第二向量的维度相同，且与所述模板库中所有样例图像对 应的类别数量匹配。
[0165] 本实施例中的重排序装置可执行前述图1和图2所示的方法流程，本实施例不对 其进行详述。进一步地，本实施例的重排序装置可位于任一终端或设备中，实现图像的检 索。本实施例中车辆检索的重排序装置，能够提升相似车辆检索性能。
[0166] 本发明的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以 在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技 术，以便不模糊对本说明书的理解。
[0167] 类似地，应当理解，为了精简本发明公开并帮助理解各个发明方面中的一个或多 个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个 实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释呈反映如下意图：即所要 求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如 下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。 因此，遵循【具体实施方式】的权利要求书由此明确地并入该【具体实施方式】，其中每个权利要 求本身都作为本发明的单独实施例。
[0168] 本领域技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变 并且把它们设置在于该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或 组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组 件。除了这样的特征和/或过程或者单元中的至少一些是互相排斥之处，可以采用任何组 合对本说明书（包括伴随的权利要求、摘要和附图）中公开的所有特征以及如此公开的任 何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书（包括伴随的 权利要求、摘要和附图）中公开的每个特征可以由提供相同、等同或相似目的的替代特征 来代替。
[0169] 此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例 中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的 范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任 意之一都可以以任意的组合方式来使用。
[0170] 本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行 的软件模块实现，或者以它们的组合实现。应该注意的是上述实施例对本发明进行说明而 不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设 计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求 的限制。单词"包含"不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词 "一"或"一个"不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬 件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置 中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表 示任何顺序。可将这些单词解释为名称。
[0171] 最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制； 尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其 依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征 进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技 术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。
【主权项】
1. 一种车辆检索中的重排序方法，其特征在于，包括： 获取待查询图像基于预先建立的模板库中所有样例图像的第一统计分布特征向量， W及获取目标图像库中每一图像基于所述模板库中所有样例图像的第二统计分布特征向 量； 获取所述目标图像库中部分图像排序的初始检索结果序列，所述初始检索结果序列是 按照所述待查询图像与所述目标图像库中每一图像的第一相似度的大小排序的； 根据所述第一统计分布特征向量和所述初始检索结果序列中每一图像的第二统计分 布特征向量，确定所述待查询图像与所述初始检索结果序列中每一图像的第二相似度； 根据所述初始检索结果序列中每一图像与所述待查询图像的第一相似度和第二相似 度，确定所述初始检索结果序列中每一图像与所述待查询图像的第=相似度； 将所述初始检索结果序列中的所有图像按照所述第=相似度的大小重新排序，获得重 排序的目标检索结果序列。2. 根据权利要求1所述的方法，其特征在于，所述获取待查询图像基于预先建立的模 板库中所有样例图像的第一统计分布特征向量之前，所述方法还包括： 对筛选后的样例图像进行聚类处理，建立包括部分样例图像的模板库，所述模板库中 的样例图像均不重复。3. 根据权利要求2所述的方法，其特征在于，所述对筛选后的样例图像进行聚类处理， 建立包括样例图像的模板库，包括： 采用预设的图像匹配系统对预先收集的N张样例图像进行筛选，获得筛选后的T张样 例图像； 其中，N、T均为大于1的自然数，N大于T。4. 根据权利要求1所述的方法，其特征在于，获取待查询图像基于预先建立的模板库 中所有样例图像的第一统计分布特征向量，包括： 获取所述待查询图像与所述模板库中每张样例图像的视觉相似度，得到Q个二元组， 每一二元组包括：样例图像标识和该样例图像对应的视觉相似度； 根据预设的视觉相似度的阔值，从Q个二元组中筛选出Q'个二元组，Q和Q'均为大于 1的自然数； 采用构建的第一向量和第二向量对Q'个二元组进行统计，根据统计结果生成第一统计 分布特征向量； 其中，所述第一向量为^ /V代，…，仇！，各维度初始化为O ; 第二向量为= !'V ，…A !，各维度初始化为O ; 所述第一向量的维度和第二向量的维度相同，且与所述模板库中所有样例图像对应的 类别数量匹配。5. 根据权利要求1所述的方法，其特征在于，获取目标图像库中每一图像基于所述模 板库中所有样例图像的第二统计分布特征向量，包括： 获取所述目标图像库中每一图像与所述模板库中每张样例图像的视觉相似度，获得每 一图像的Q个二元组，每一二元组包括：样例图像标识和该样例图像对应的视觉相似度； 根据预设的视觉相似度的阔值，从每一图像对应的所有二元组中筛选出R个二元组，R 为大于1的自然数； 采用构建的第一向量和第二向量对R个二元组进行统计，根据统计结果生成该图像的 第二统计分布特征向量； 其中，所述第一向量为! A，仍，…，八、！，各维度初始化为O ; 第二向量为=化，/:，…A !，各维度初始化为O ; 所述第一向量的维度和第二向量的维度相同，且与所述模板库中所有样例图像对应的 类别数量匹配。6. 根据权利要求4或5所述的方法，其特征在于，所述根据统计结果生成第一统计分布 特征向量，包括： 将统计有Q'个二元组的第一向量的每个维度除W统计有Q'个二元组的第二向量中对 应维度值的开方，获得第一统计分布特征向量； 或者， 根据统计结果生成第二统计分布特征向量，包括： 将统计有R个二元组的第一向量的每个维度除W统计有R个二元组的第二向量中对应 维度值的开方，获得第二统计分布特征向量。7. -种车辆检索中的重排序装置，其特征在于，包括： 统计分布特征向量获取单元，用于获取待查询图像基于预先建立的模板库中所有样例 图像的第一统计分布特征向量，W及获取目标图像库中每一图像基于所述模板库中所有样 例图像的第二统计分布特征向量； 初始检索结果序列获取单元，用于获取所述目标图像库中部分图像排序的初始检索结 果序列，所述初始检索结果序列是按照所述待查询图像与所述目标图像库中每一图像的第 一相似度的大小排序的； 第二相似度确定单元，用于根据所述第一统计分布特征向量和所述初始检索结果序列 中的每一图像的第二统计分布特征向量，确定所述待查询图像与所述初始检索结果序列中 每一图像的第二相似度； 第=相似度确定单元，用于根据所述初始检索结果序列中每一图像与所述待查询图像 的第一相似度和第二相似度，确定所述初始检索结果序列中每一图像与所述待查询图像的 第=相似度； 目标检索结果序列获取单元，用于将所述初始检索结果序列中的所有图像按照所述第 =相似度的大小重新排序，获取重排序的目标检索结果序列。8. 根据权利要求7所述的装置，其特征在于，所述装置还包括： 模板库建立单元，用于对筛选后的样例图像进行聚类处理，建立包括部分样例图像的 模板库，所述模板库中的样例图像均不重复。9. 根据权利要求7所述的装置，其特征在于，统计分布特征向量获取单元，具体用于 获取所述待查询图像与所述模板库中每张样例图像的视觉相似度，得到Q个二元组， 每一二元组包括：样例图像标识和该样例图像对应的视觉相似度； 根据预设的视觉相似度的阔值，从Q个二元组中筛选出Q'个二元组，Q和Q'均为大于 I的自然数； 采用构建的第一向量和第二向量对Q'个二元组进行统计，根据统计结果生成第一统计 分布特征向量； 化及， 获取所述目标图像库中每一图像与所述模板库中每张样例图像的视觉相似度，获得每 一图像的Q个二元组，每一二元组包括：样例图像标识和该样例图像对应的视觉相似度； 根据预设的视觉相似度的阔值，从每一图像对应的所有二元组中筛选出R个二元组，R 为大于1的自然数； 采用构建的第一向量和第二向量对R个二元组进行统计，根据统计结果生成该图像的 第二统计分布特征向量； 其中，所述第一向量为=! A，仍，…，仇！，各维度初始化为O ; 第二向量为r = ki，f:，…A !，各维度初始化为O ; 所述第一向量的维度和第二向量的维度相同，且与所述模板库中所有样例图像对应的 类别数量匹配。10. -种车辆检索方法，其特征在于，包括： 根据权利要求1至6任一所述的方法获取待查询图像的目标检索结果序列； 根据所述目标检索结果序列，确定与所述待查询图像相似的目标图像。
【文档编号】G06F17/30GK106033549SQ201510115124
【公开日】2016年10月19日
【申请日】2015年3月16日
【发明人】段凌宇, 李晨霞, 陈杰, 黄铁军, 高文
【申请人】北京大学