一种图片的匹配方法、搜索方法及其装置制造方法
【专利摘要】本发明实施例提供的图片的匹配方法、搜索方法及其装置，分别提取至少两张待匹配图片中的多个局部特征，将多个局部特征中包含的特定局部特征进行过滤或降权处理，特定的局部特征为在单个图片中出现的平均次数大于设定阈值的局部特征，这类特征即在图片中容易重复出现的特征，计算经过所述特定局部特征过滤或降权处理后的各待匹配图片的局部特征的重合比例，确定所述待匹配图片之间的相似性。本发明实施例在局部特征匹配方法的基础上，对图片中容易重复出现的局部特征进行过滤或降权处理，能够达到较高的匹配准确率，相对于现有技术中几何校验的方法，处理过程简单，内存消耗少且效率较高。
【专利说明】一种图片的匹配方法、搜索方法及其装置
【技术领域】
[0001]本发明涉及图像识别【技术领域】，尤其涉及一种图片的匹配方法、搜索方法及其装置。
【背景技术】
[0002]在互联网上，有很多图片可能会被不同的网站转载，在转载过程中每个网站可能都会对图片进行处理(例如缩放、裁剪、加水印、旋转及各种PS等操作等)。将这些图片内容相似但经过不同操作得到的图片识别出来，在许多领域都可能用到，例如应用在搜索、去重、过滤等相关产品中，例如应用在以图搜图的产品中。
[0003]以搜索引擎为例，以前搜索引擎在进行搜索时，只要给出足够的关键词就可以搜到想要的东西。但是对于图片搜索来说，如果用户想要找到和一张图片内容相似的所有图片，但是手头没有关键词，只有“关键图”，例如用户手上已经有一张图片，想要找一张尺寸更大的，或是没有水印的，或是PS处理之前的原图；在这种情况和前提下，需要对用户输入的图片(为了方便说明，以下称为待查询的图片)，搜索与该图片内容相似的图片(或者说是与该图片相匹配的图片)作为搜索结果提供给用户。
[0004]目前相似图片识别技术中，使用比较多的是基于图片局部特征的方法即:从待识别的图片中提取大量局部特征，将待识别的图片表示为局部特征的集合。比较两幅图片的相似度时，以局部特征集合的重合比例作为比较标准，当两个图片的局部特征集合的重合比例高于某个固定阈值时则认为两幅图片是相似(或者称之为相匹配)的。
[0005]由于局部特征是针对图片中的一些局部特征点计算出来的，如果局部特征选择不恰当，那么基于局部特征匹配而搜出来的相似图片可能是错误图片，错误图片与原图在整体视觉上往往没有任何相似性。
[0006]为了保证基于局部特征的匹配的相似图片识别技术的准确性，现有技术使用基于几何校验的方法:当两幅图片的局部特征匹配数量超过一定阈值后，进一步对匹配特征点在图像中的位置进行校验，比如用随机抽样一致(RANdom Sample Consensus, RANSAC)方法判断是否大多数点满足某个仿射变换(affine transformat1n)关系。
[0007]但这种方法存在局部特征点数量要求高(数量太低无法得到准确结果)，计算复杂度高又耗时，并且，在计算过程中需要保留大量的匹配关系和位置信息，计算过程需要消耗一定的内存空间，另一方面，图片中重复纹理等问题会导致匹配的特征点在图片中位于不同的位置，会导致几何校验的失效。
【发明内容】
[0008]鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的图片的匹配方法、搜索方法及其装置。
[0009]基于上述问题，本发明实施例提供的一种图片的匹配方法，包括:
[0010]分别提取至少两张待匹配图片中的多个局部特征；[0011]将所述多个局部特征中包含的特定局部特征进行过滤或降权处理，所述特定局部特征为在单个图片中出现的平均次数大于设定阈值的局部特征；
[0012]计算经过所述特定局部特征过滤或降权处理后的各待匹配图片的局部特征的重合比例，确定所述待匹配图片之间的相似性。
[0013]本发明实施例提供的一种图片的搜索方法，包括:
[0014]接收用户输入的待匹配图片；
[0015]搜索与用户输入的所述待匹配图片相关的相似图片；
[0016]将搜索到的所述相似图片作为搜索结果返回给用户。
[0017]本发明实施例提供的一种图片的匹配装置，包括:
[0018]提取器，用于分别提取至少两张待匹配图片中的多个局部特征；
[0019]过滤/降权处理模块，用于将所述多个局部特征中包含的特定局部特征进行过滤或降权处理，所述特定局部特征为在单个图片中出现的平均次数大于设定阈值的局部特征；
[0020]计算模块，用于计算经过所述特定局部特征过滤或降权处理后的各待匹配图片的局部特征的重合比例；
[0021]相似判定模块，用于根据重合比例，确定所述待匹配图片之间的相似性。
[0022]本发明实施例提供的一种图片的搜索装置，包括:
[0023]接收接口，用于接收用户输入的待匹配图片；
[0024]搜索模块，用于搜索与用户输入的所述待匹配图片相关的相似的图片；
[0025]发送接口，用于将搜索到的所述相似图片作为搜索结果返回给用户。
[0026]本发明实施例的有益效果包括:
[0027]本发明实施例提供的图片的匹配方法、搜索方法及其装置，分别提取至少两张待匹配图片中的多个局部特征，将多个局部特征中包含的特定局部特征进行过滤或降权处理，特定的局部特征为在单个图片中出现的平均次数大于设定阈值的局部特征，这类特征即在图片中容易重复出现的特征，计算经过所述特定局部特征过滤或降权处理后的各待匹配图片的局部特征的重合比例，确定所述待匹配图片之间的相似性。本发明实施例在局部特征匹配方法的基础上，对图片中容易重复出现的局部特征进行过滤或降权处理，能够达到较高的匹配准确率，相对于现有技术中几何校验的方法，处理过程简单，内存消耗少且效率较高。
[0028]上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的【具体实施方式】。
【专利附图】
【附图说明】
[0029]通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中:
[0030]图1为本发明实施例提供的图片的匹配方法的流程图；
[0031]图2为本发明实施例提供的生成特定的局部特征的列表的流程图；[0032]图3为本发明实施例提供的图片搜索方法的流程图；
[0033]图4为本发明实施例提供的图片的匹配装置的结构示意图；
[0034]图5为本发明实施例提供的图片的搜索装置的结构示意图。
【具体实施方式】
[0035]下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
[0036]本发明实施例提供的一种图片的匹配方法，如图1所示，包括以下步骤:
[0037]S101、分别提取至少两张待匹配图片中的多个局部特征；
[0038]S102、将所述多个局部特征中包含的特定局部特征进行过滤或降权处理，所述特定局部特征为在单个图片中出现的平均次数大于设定阈值的局部特征；
[0039]S103、计算经过特定局部特征过滤或降权处理后的各待匹配图片的局部特征的重合比例，确定所述待匹配图片之间的相似性。
[0040]下面分别对上述各步骤进行详细的说明。
[0041]上述流程中，如果多个局部特征中未包含特定的局部特征，本发明实施例提供的图片的匹配方法中，可直接计算该至少两张待匹配的图片局部特征的重合比例，进而判断两张图片是否为相同图片，该步骤的具体实施过程属于现有技术，在此不再赘述。
[0042]进一步地，S102中，多个局部特征中是否包含特定的局部特征，具体可以通过下述方式实现:
[0043]使用多个局部特征，在该特定的局部特征集合中进行查询，如果该集合中包含，则确定该局部特征为特定的局部特征。
[0044]在本发明实施例中，特定的局部特征即在单个图片中出现平均次数较大的那些局部特征，这些局部特征容易在单张图片中重复出现。发明人观察发现，这类局部特征大多对应的是图片中的格子衫、大厦外部窗户、重复的圆点、文字区域等等，如果这类区域参与局部特征重合比例的计算，显然会降低图片匹配的准确率。
[0045]为此，本发明实施例中特定的局部特征集合，如图2所示，可以预先通过下述方式生成:
[0046]S201、在离线状态下，预先对数据库中的所有图片，分别提取设定数量的局部特征；
[0047]离线预处理的这种方式，可以提高图片匹配过程的速度和效率。
[0048]提取局部特征的方法与现有技术相同，提取局部特征的数量例如可以为100?200 个。
[0049]S202、对于提取的每个局部特征，统计该局部特征在单个图片中出现的平均次数；
[0050]S203、判断统计出的平均次数是否超出设定的第二阈值，若是，执行下述步骤S204，若否，执行下述步骤S206 ；
[0051]S204、确定该局部特征为特定的局部特征；[0052]S205、将确定的该特定的局部特征放入特定的局部特征集合中保存。
[0053]S206、结束流程。
[0054]经过上述流程后，特定的局部特征集合中保存有多个特定的局部特征以便查询。
[0055]进一步地，上述S202中，可按照下述公式统计该局部特征在单个图片中出现的平
均次数:
[0056]
【权利要求】
1.一种图片的匹配方法，其特征在于，包括: 分别提取至少两张待匹配图片中的多个局部特征； 将所述多个局部特征中包含的特定局部特征进行过滤或降权处理，所述特定局部特征为在单个图片中出现的平均次数大于设定阈值的局部特征； 计算经过所述特定局部特征过滤或降权处理后的各待匹配图片的局部特征的重合比例，确定所述待匹配图片之间的相似性。
2.如权利要求1所述的方法，其特征在于，计算经过所述特定局部特征过滤或降权处理后的各待匹配图片的局部特征的重合比例，确定所述待匹配图片之间的相似性，包括: 当经过所述特定局部特征过滤或降权处理后的各待匹配图片的局部特征的重合比例大于设定的第一阈值时，确定所述各待匹配图片相似。
3.如权利要求1或2所述的方法，其特征在于，进一步包括: 预先对数据库中的所有图片中的局部特征进行统计，得到代表该局部特征在单个图片中出现的平均次数的统计值； 当统计出的平均次数超出设定的阈值时，确定所述局部特征为所述特定局部特征。
4.如权利要求1或2或3所述的方法，其特征在于，进一步还包括: 将确定出的所述特定的局部特征生成对应的特定局部特征集合并保存； 所述多个局部特征中包含的特定局部特征，通过查询所述特定局部特征集合确定。
5.一种图片的搜索方法，其特征在于，包括: 接收用户输入的待匹配图片； 搜索与用户输入的所述待匹配图片相关的相似图片； 将搜索到的所述相似图片作为搜索结果返回给用户。
6.一种图片的匹配装置，其特征在于，包括: 提取器，用于分别提取至少两张待匹配图片中的多个局部特征； 过滤/降权处理模块，用于将所述多个局部特征中包含的特定局部特征进行过滤或降权处理，所述特定局部特征为在单个图片中出现的平均次数大于设定阈值的局部特征； 计算模块，用于计算经过所述特定局部特征过滤或降权处理后的各待匹配图片的局部特征的重合比例； 相似判定模块，用于根据重合比例，确定所述待匹配图片之间的相似性。
7.如权利要求6所述的装置，其特征在于，所述相似判定模块，具体用于当经过所述特定局部特征过滤或降权处理后的各待匹配图片的局部特征的重合比例大于设定的第一阈值时，确定所述各待匹配图片相似。
8.如权利要求6或7所述的装置，其特征在于，还包括:特定局部特征确定模块，用于预先对数据库中的所有图片中的局部特征进行统计，得到代表该局部特征在单个图片中出现的平均次数的统计值；当统计出的平均次数超出设定的阈值时，确定所述局部特征为所述特定局部特征。
9.如权利要求6或7或8所述的装置，其特征在于，还包括:特定局部特征库； 所述特定局部特征确定模块，还用于将确定出的所述特定的局部特征生成对应的特定局部特征集合； 所述特定局部特征库，用于保存所述特定局部特征集合；所述过滤/降权处理模块，进一步用于通过查询所述特定局部特征集合确定所述多个局部特征中包含的特定局部特征。
10.一种图片的搜索装置，其特征在于，包括: 接收接口，用于接收用户输入的待匹配图片； 搜索模块，用于搜索与用户输入的所述待匹配图片相关的相似的图片； 发送接口，用于 将搜索到的所述相似图片作为搜索结果返回给用户。
【文档编号】G06F17/30GK104036281SQ201410287038
【公开日】2014年9月10日 申请日期:2014年6月24日 优先权日:2014年6月24日
【发明者】邱学侃, 胡金辉, 韩玉刚 申请人:北京奇虎科技有限公司, 奇智软件（北京）有限公司