面向排序测度特征的图像匹配方法及系统的制作方法
【专利摘要】本发明提供一种面向排序测度特征的图像匹配方法，该方法首先获取待检测图像的排序测度特征和采样特征序列；对待检测图像的采样特征序列进行哈希，并基于哈希的结果来从图像库的哈希表中选择多个候选图像；然后通过计算该待检测图像的排序测度特征和各个候选图像的排序测度特征的相似度，来确定与该待检测图像匹配的图像。该方法对于图像的排序测度特征采用分级匹配的方法，提高了排序测度特征的匹配速度，使得该特征用于大规模图像匹配成为可能。而且可以通过控制采样分块的数目，调整排序测度特征哈希表的所需的内存开销，使之能用于不同内存大小的计算平台。
【专利说明】面向排序测度特征的图像匹配方法及系统
【技术领域】
[0001] 本发明涉及基于内容的图像视频检索技术，尤其涉及基于排序测度特征的图像匹 配方法。
【背景技术】
[0002] 互联网图像和视频等视觉信息的迅速增长，给信息的组织与管理带来了巨大挑 战，对海量图像视频进行内容分析与检测的需求越来越大，图像视频拷贝检测技术应运 而生。图像视频拷贝检测主要是通过匹配待检测图像与图像库中所有图像的排序测度 (OrdinalMeasure，OM)特征来进行检测的。排序测度反映的是一幅图像的相对密度分布， 利用图像子块的灰度均值排序关系作为图像的特征。通常排序测度特征可通过下面的方式 来提取的：首先对视频帧或图像分块并对每个分块编号，进而计算每个分块的灰度均值，再 按照灰度均值从高到底（或从低到高）对分块排序，将排序后每个分块的编号串联形成一 个编号序列（即排序测度），作为该视频帧或图像的特征。由于其只提取分块灰度值的高低 信息，而与灰度值、灰度差值大小无关，因而该特征对于亮度变化有较好的鲁棒性。
[0003] 然而，由于排序测度本质是一个字串序列，所以在进行检测时，需要依次计算待检 测图像与图像库中所有图像的排序测度序列的相似度。然而随着图像库中图像数量的增 加，其匹配速度会呈线性下降，即计算复杂度为O(n)，其中η为图像库中图像数量。该方式 难以应用于图像库中数量规模较大的情况。
【发明内容】
[0004] 因此，本发明的目的在于克服上述现有技术的缺陷，提供一种面向排序测度特征 的快速的图像匹配方法。
[0005] 本发明的目的是通过以下技术方案实现的：
[0006] 一方面，本发明提供了一种面向排序测度特征的图像匹配方法，包括：
[0007] 步骤1，对于待检测图像，获取其排序测度特征和采样特征序列，其中，每个图像的 采样特征序列是通过下面的方式获取的：对该图像的排序测度特征对应的分块组进行下采 样，从中抽取多个分块并依次进行编号，然后对所抽取的多个分块按照其灰度均值进行排 序，以排序后的各分块编号构成的编号序列作为该图像的采样特征序列；
[0008] 步骤2,根据设定的哈希函数对待检测图像的采样特征序列进行哈希，并基于哈希 的结果来从图像库的哈希表中选择多个候选图像，其中，在所述图像库的哈希表中，图像库 中各个图像的采样特征序列根据所述哈希函数映射到相应的哈希值；
[0009] 步骤3,计算该待检测图像的排序测度特征和各个候选图像的排序测度特征的相 似度，以确定所述图像库中与该待检测图像匹配的图像。
[0010] 上述方法中，在获取图像的采样特征序列时，可按照多种下采样方式来对于图像 的排序测度特征对应的分块组进行多次下采样，从而得到同一图像的多个采样特征序列。 [0011] 上述方法中，还可以对按照同一种下采样方式获取的图像库中的各图像的采样特 征序列构建哈希表。
[0012] 上述方法中，在步骤2可根据设定的哈希函数对待检测图像的多个采样特征序列 分别进行哈希，并基于哈希的结果来从图像库的多个哈希表中选择候选图像。
[0013] 上述方法中，所述哈希函数表示分块编号1至M的序列的M!种不同排列方式与 在[1，M!]内的整数之间的--对应关系，其中M表示在获取图像的采样特征序列时，对 图像的排序测度特征对应的分块组进行下采样所抽取的多个分块的数量。
[0014] 又一方面，本发明提供了一种面向排序测度特征的图像匹配系统，包括
[0015] 用于对于待检测图像，获取其排序测度特征和采样特征序列的装置，其中，每个图 像的采样特征序列是通过下面的方式获取的：对该图像的排序测度特征对应的分块组进行 下采样，从中抽取多个分块并依次进行编号，然后对所抽取的多个分块按照其灰度均值进 行排序，以排序后的各分块编号构成的编号序列作为该图像的采样特征序列；
[0016] 用于根据设定的哈希函数对待检测图像的采样特征序列进行哈希，并基于哈希的 结果来从图像库的哈希表中选择多个候选图像的装置，其中，在所述图像库的哈希表中，图 像库中各个图像的采样特征序列根据所述哈希函数映射到相应的哈希值；
[0017] 用于计算该待检测图像的排序测度特征和各个候选图像的排序测度特征的相似 度，以确定所述图像库中与该待检测图像匹配的图像的装置。
[0018] 上述系统中，在获取图像的采样特征序列时，可按照多种下采样方式来对于图像 的排序测度特征对应的分块组进行多次下采样，从而得到同一图像的多个采样特征序列。
[0019] 上述系统中，还可包括用于对按照同一种下采样方式获取的图像库中的各图像的 采样特征序列构建哈希表的装置。
[0020] 上述系统中，所述哈希函数表示分块编号1至M的序列的M!种不同排列方式与 在[1，M!]内的整数之间的--对应关系，其中M表示在获取图像的采样特征序列时，对 图像的排序测度特征对应的分块组进行下采样所抽取的多个分块的数量。
[0021] 与现有技术相比，本发明的优点在于：
[0022] 对于图像的排序测度特征采用分级匹配的方法，提高了排序测度特征的匹配速 度，使得OM特征用于大规模图像匹配成为可能。而且可以通过控制采样分块的数目，调整 OM特征哈希表的所需的内存开销，使之能用于不同内存大小的计算平台。此外，通过使用多 种不同采样方式，可以确保所提出的图像匹配方法不会导致相似OM特征被遗漏，具有较高 的召回率。
【专利附图】
【附图说明】
[0023] 以下参照附图对本发明实施例作进一步说明，其中：
[0024] 图l(a)_(b)给出了提取图像的排序测度特征的过程示意图；
[0025] 图2(a)_(f)为根据本发明实施例的基于图像的排序测度特征获取图像的采样特 征序列的过程示意图；
[0026] 图3(a)_(b)为根据本发明实施例的对图像分块进行下采样的示意图；
[0027] 图4为根据本发明实施例的面向排序测度特征的图像匹配方法的流程示意图。
【具体实施方式】
[0028] 为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图通过具体实 施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明， 并不用于限定本发明。
[0029] 图1(a)和图1(b)给出了提取图像的排序测度特征的过程示意图。如图1(a) 所示，首先对待提取OM特征的图像进行分块，假设将图像分为N=R*C(R为行数，C为列 数）个块。接着如图1(b)所示，按之字形自上而下，自左而右对分块进行编号，编号分别 记为1、2.....N;并计算每个分块的灰度均值，将该灰度均值作为该分块的属性值，记为 ^為，···^〉；其中M1表示编号为1的分块的灰度均值，依次类推，Mn表示编号为N的 分块的灰度均值。然后对这N个分块按照其属性值进行排序，也就是按照其灰度均值或 从低到高（或从高到底）对分块进行排序，将排序后的分块编号串联形成一个编号序列 〈OpO2，…，0N>，作为该图像的排序测度特征。以图1(b)提供的灰度值为例，按灰度值从低 到高排序得到的灰度值序列为〈72, 81，86, 98, 121，126, 127, 133, 159, 171，172>，则排序后 的分块的编号序列为〈1，2, 4, 3, 8, 6, 7, 5, 12, 11，9, 10>，即图I(a)所示的图像的排序测度 特征。同时也可以看出，图像的排序测度特征有其对应的分块组及分块数量。
[0030] 如上文所讨论的，现有的基于排序测度特征的图像检测方法需要依次计算待检测 图像与图像库中所有图像的排序测度特征之间的相似度，随着图像库中图像数量的增加， 其匹配的速度急剧下降。因此在本发明的实施例中，采用了对图像的排序测度特征进行分 级匹配的方式，对于用来检索的图像库中的各个图像，基于图像的排序测度特征获取图像 的采样特征序列，并基于图像的采样特征序列来构建图像库的哈希表。这样在进行图像匹 配时，先基于哈希表获取其采样特征序列与待检测图像相似的候选图像的集合，然后将各 个候选图像的排序测度特征与待检测图像的排序测度特征进行匹配，从而有效降低了检索 范围，提高了图像匹配的速度和效率。
[0031] 图2给出了根据本发明实施例的基于图像的排序测度特征获取图像的采样特征 序列的过程示意图。对于图2(a)示出的图像，在获取该图像的排序测度特征时会对该图像 进行分块，如图2 (b)所示，对图像按4行、5列进行分块，从而得到了与该图像的排序测度特 征对应的分块组，如图2(c)所示，共20个分块。对图像的排序测度特征对应的分块组进行 下采样，从中抽取多个分块，如图2 (d)所示，每隔一个分块采样一次，以斜方块底纹背景的 分块代表OM特征采样分块，共采样了 10个分块。接着如图2(e)所示对于所采样的分块并 依次进行编号为1、2、3、4、5、6、7、8、9、10，并且这些分块对应的灰度均值如图2(〇所示分 别为61、75、63、53、54、67、55、66、70、59。最后对所抽取的多个分块按照其灰度均值进行排 序，以排序后的各分块编号构成的编号序列{4,5,7，10，1，3,8,6,9,2}作为该图像的采样 特征序列。可以看出，下采样实际上就是抽取原序列的子序列，例如，对于一个样本序列间 隔几个样本取样一次。这样得到新序列就是原序列的下采样，实际上就是得到一组数据量 更少的样本。上文仅是对下采样进行举例说明，本发明并不对下采样的方式进行限制，可以 采用各种下采样方式来对该图像的排序测度特征对应的分块组。例如，在其他实施例中，可 以采用如图3(a)或图3(b)中所示的下采样方式从图像的排序测度特征对应的分块组中抽 取多个分块。在一个优选的实施例中，可以采用不同的下采样方式对图像的排序测度特征 对应的分块组进行多次下采样，从而得到同一图像的多个采样特征序列，从而避免采用单 一采样方式可能遗漏OM特征的问题。
[0032] 对用于检测/检索的图像库中每个图像都按照上述的方法和设定的采样方式，基 于该图像的排序测度特征获取图像的采样特征序列。然后基于各个图像的采样特征序列构 建该图像库的哈希表，也就是按照某种哈希函数将图像库中各个图像的采样特征序列映射 到相应的哈希值。在一个实施例中，假设每次下采样的分块数为M，即从图像的排序测度特 征对应的分块组（例如共N块）中抽取M个分块，其中M大于4并且小于N，那么图像的采 样特征序列可以视为M个编号（即1至M)的某种特定排列。因此，可以将哈希函数设置为 反映编号1至M的序列的M!种不同排列方式与在[1，M!]内的整数之间的--对应关 系，该一一对应关系是可以自定义的，只要保证不同的排列方式映射到不同的整数即可，例 如，表1所示的对应关系的一个示例：
[0033] 表 1
[0034]
[0035]
【权利要求】
1. 一种面向排序测度特征的图像匹配方法，所述图像匹配方法包括： 步骤1，对于待检测图像，获取其排序测度特征和采样特征序列，其中，每个图像的采样 特征序列是通过下面的方式获取的：对该图像的排序测度特征对应的分块组进行下采样， 从中抽取多个分块并依次进行编号；然后对所抽取的多个分块按照其灰度均值进行排序， 以排序后的各分块编号构成的编号序列作为该图像的采样特征序列； 步骤2,根据设定的哈希函数对待检测图像的采样特征序列进行哈希，并基于哈希的结 果来从图像库的哈希表中选择多个候选图像，其中，在所述图像库的哈希表中，图像库中各 个图像的采样特征序列根据所述哈希函数映射到相应的哈希值； 步骤3,计算该待检测图像的排序测度特征和各个候选图像的排序测度特征的相似度， 以确定所述图像库中与该待检测图像匹配的图像。
2. 根据权利要求1所述的图像匹配方法，其中在获取图像的采样特征序列时，按照多 种下采样方式来对于图像的排序测度特征对应的分块组进行多次下采样，从而得到同一图 像的多个采样特征序列。
3. 根据权利要求2所述的图像匹配方法，还包括对按照同一种下采样方式获取的图像 库中的各图像的采样特征序列构建哈希表。
4. 根据权利要求3所述的图像匹配方法，在步骤2根据设定的哈希函数对待检测图像 的多个采样特征序列分别进行哈希，并基于哈希的结果来从图像库的多个哈希表中选择候 选图像。
5. 根据权利要求1所述的图像匹配方法，其中所述哈希函数表示分块编号1至M的序 列的M!种不同排列方式与在[1，M!]内的整数之间的一一对应关系，其中M表示在获取 图像的采样特征序列时，对图像的排序测度特征对应的分块组进行下采样所抽取的多个分 块的数量。
6. -种面向排序测度特征的图像匹配系统，所述系统包括： 用于对于待检测图像，获取其排序测度特征和采样特征序列的装置，其中，每个图像的 采样特征序列是通过下面的方式获取的：对该图像的排序测度特征对应的分块组进行下采 样，从中抽取多个分块并依次进行编号；然后对所抽取的多个分块按照其灰度均值进行排 序，以排序后的各分块编号构成的编号序列作为该图像的采样特征序列； 用于根据设定的哈希函数对待检测图像的采样特征序列进行哈希，并基于哈希的结果 来从图像库的哈希表中选择多个候选图像的装置，其中，在所述图像库的哈希表中，图像库 中各个图像的采样特征序列根据所述哈希函数映射到相应的哈希值； 用于计算该待检测图像的排序测度特征和各个候选图像的排序测度特征的相似度，以 确定所述图像库中与该待检测图像匹配的图像的装置。
7. 根据权利要求6所述的图像匹配系统，其中在获取图像的采样特征序列时，按照多 种下采样方式来对于图像的排序测度特征对应的分块组进行多次下采样，从而得到同一图 像的多个采样特征序列。
8. 根据权利要求7所述的图像匹配系统，还包括用于对按照同一种下采样方式获取的 图像库中的各图像的采样特征序列构建哈希表的装置。
9. 根据权利要求6所述的图像匹配系统，其中所述哈希函数表示分块编号1至M的序 列的M!种不同排列方式与在[1，M!]内的整数之间的一一对应关系，其中M表示在获取 图像的采样特征序列时，对图像的排序测度特征对应的分块组进行下采样所抽取的多个分 块的数量。
【文档编号】G06T7/00GK104484869SQ201410646014
【公开日】2015年4月1日 申请日期:2014年11月14日 优先权日:2014年11月14日
【发明者】张冬明, 靳国庆, 代锋, 张勇东, 李锦涛 申请人:中国科学院计算技术研究所