一种基于图像全局特征和局部特征的图像匹配方法与流程

本发明涉及计算机视觉领域，尤其涉及图像匹配技术领域。

背景技术：

图像匹配在近几十年来一直是人们研究的热点和难点，它是在变换空间中寻找一种或多种变换，使来自不同时间、不同传感器或者不同视角的同一场景的两幅或多幅图像在空间上一致，目前已经应用于许多领域。

图像匹配分以灰度为基础的匹配和以特征为基础的匹配，但是利用灰度信息匹配方法的计算量太大，这些方法很少被使用，而基于图像特征的匹配在实际中的应用越来越广泛。在特征匹配中分全局特征匹配与局部特征匹配，全局特征主要提取的是边缘和颜色信息来描述一幅图像的内容，或用一个字符串或是数组作为一幅图像的hash值，对于那些前景背景分明、颜色区别度高的图像有较好的匹配结果；局部特征是主要检测图像中的局部细节信息,对于存在旋转遮挡等具有局部不变性的图像有好的匹配结果。局部特征相对全局特征，图像匹配精度高、匹配正确率高和抗干扰性强(翻转、翻拍、颜色变换、背景干扰等)，基本可以满足正常目标匹配需求，但是在需要在千万甚至上亿级别的图像数据库中检索图像时，局部特征的时间开销和空间开销变得无法接受。

技术实现要素：

本发明所要解决的技术问题在于克服现有技术的不足，提供一种基于尺度空间的、对图像缩放、旋转甚至仿射变换保持不变性的图像局部特征，并利用深度学习的图像分类方法，该方法创造性的设计了局部特征压缩算法和索引算法，成功的将局部特征集成到cbir框架中，形成了基于图像和视频内容识别的指纹技术，应用于图片和视频匹配。

本发明为了解决以上技术问题，采用以下技术手段：

一种基于图像全局特征和局部特征的图像匹配方法，通过求一幅图中的特征点及其有关scale和orientation的描述子得到特征并进行图像特征点匹配，特征匹配包括2个阶段：图像指纹的生成和图像指纹的匹配，其中：

a、图像指纹的生成具体步骤如下：

步骤（1）、通过图像局部特征相关算法提取局部特征点；

步骤（2）、根据特征点的分布和重要性进行筛选，保留固定数据的特征点；

步骤（3）、为特征点分配方向值；

步骤（4）、生成局部特征描述子，即特征向量；

步骤（5）、对局部特征描述子进行压缩，利用算数编码对描述子进行编码，从128维的浮点数组转化为二进制值数组；

步骤（6）、利用fishervector生成全局描述子，在执行点集到点集匹配之前进行过滤；

b、特征向量的匹配具体步骤如下：

步骤（7）、基于视觉和图像不变特性，采用关键点特征向量的欧式距离来作为关键点的相似性判定度量；

步骤（8）、取图像1的某个关键点，遍历寻找图像2中的距离最近的两个关键点，这两个关键点如果次近距离除以最近距离小于预设阙值，则判定为一对匹配点；

步骤（9）、建立数据库索引，利用全局描述子快速筛选出可能相似的图像；

步骤（10）、利用局部描述子进一步计算对比图像的相似度，将结果根据相似度从高到低返回。

进一步的，本发明所提出的图像匹配方法，所述步骤（1）中，是采用sift算法、surf算法提取局部特征点；在提取特征点时，使用基于不同高斯分布的关键点检测和每个关键点的sift特征描述，通过选择一个关键点子集并压缩结果特征及其坐标，生成压缩的本地描述符，最后生成一个紧凑的全局描述符，通过聚合的未压缩sift特性来描述整个图像。

进一步的，本发明所提出的图像匹配方法，所述步骤（2）中，对于给定一幅图像，选择检测到的sift特征的子集来生成scfv描述符，在每个操作点上为每张图像选择300个sift特征，当一个图像包含小于300个sift的特征时，选择所有的特征。

进一步的，本发明所提出的图像匹配方法，所述步骤（3）中，从查询/参考图像的关键点选择阶段为每个选中的局部特征生成fisher向量。

进一步的，本发明所提出的图像匹配方法，所述步骤（4）中，以特征点为中心取16×16的邻域作为采样窗口，将采样点与特征点的相对方向通过高斯加权后归入包含8个bin的方向直方图，最后获得4×4×8的128维特征描述子。

进一步的，本发明所提出的图像匹配方法，所述步骤（9）中，对于全局描述符的匹配，给定两个图像x和y，相似度得分是它们的全局描述符之间的加权相关性，通过使用按位xor和popcnt计算汉明距离来快速计算，并且从一个小型查找表中读取权重，如果相似度得分超过阈值，则将此图像对确定为匹配，否则为非匹配。

相比现有技术，本发明的具有以下有益效果：

1、抗干扰能力强，能屏蔽翻转、翻拍、颜色变换、背景干扰、放大、缩小、扭曲等场景带来的干扰；

2、通用性强，适应通过预设图片查找包含这些预设内容的图片及视频、相似的图像或视频在经过变化后的检索匹配、在图像库中搜索具有相同特征的特定物体等场景；

3、本发明处理速度快，在千万级图像库中匹配图像速度小于1秒；

4、本发明匹配准确率高，准确率可达99%。

附图说明

图1是图像指纹的生成示意图。

图2是特征向量的匹配流程图。

图3是全局描述子和局部描述子生成示意图。

具体实施方式

下面结合附图对本发明的技术方案进行详细说明：

本技术领域技术人员可以理解的是，除非另外定义，这里使用的所有术语（包括技术术语和科学术语）具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

本发明提出一种基于尺度空间的、对图像缩放、旋转甚至仿射变换保持不变性的图像局部特征并利用深度学习的图像分类方法，通过求一幅图中的特征点（interestpoints,orcornerpoints）及其有关scale和orientation的描述子得到特征并进行图像特征点匹配，特征匹配主要包括2个阶段：图像指纹的生成和图像指纹的匹配。

如图1所示，图像指纹的生成具体步骤如下：

步骤（1）、通过sift算法、surf算法等图像局部特征相关算法提取局部特征点；

步骤（2）、根据特征点的分布和重要性进行筛选，保留固定数据的特征点；

步骤（3）、为特征点分配方向值；

步骤（4）、生成局部特征描述子，即特征向量；

步骤（5）、局部描述子压缩，利用算数编码对描述子进行编码，从128维的浮点数组转化为二进制值数组；

步骤（6）、利用fishervector生成全局描述子，在执行点集到点集匹配之前进行过滤。

参考图2所示，特征向量的匹配具体步骤如下：

步骤（7）、基于视觉和图像不变特性，采用关键点特征向量的欧式距离来作为关键点的相似性判定度量；

步骤（8）、取图像1的某个关键点，遍历寻找图像2中的距离最近的两个关键点。这两个关键点如果次近距离除以最近距离小于某个阙值，则判定为一对匹配点；

步骤（9）、建立数据库索引，利用全局描述子快速筛选出可能相似的图像；

步骤（10）、利用局部描述子进一步计算对比图像的相似度，将结果根据相似度从高到低返回。

作为本发明的进一步优选方案，所述步骤（1）中，在提取特征点时，使用基于不同高斯分布（dog）的关键点检测和每个关键点的sift特征描述，通过选择一个关键点子集并压缩结果特征及其坐标，生成压缩的本地描述符。最后生成一个紧凑的全局描述符，通过聚合的未压缩sift特性来描述整个图像。

作为本发明的进一步优选方案，所述步骤（2）中，对于给定一幅图像，选择检测到的sift特征的子集来生成scfv描述符。我们在每个操作点上为每张图像选择300个sift特征。当一个图像包含小于300个sift的特征时，我们选择所有的特征。

作为本发明的进一步优选方案，所述步骤（3）中，从查询/参考图像的关键点选择阶段为每个选中的局部特征生成fisher向量。

作为本发明的进一步优选方案，所述步骤（4）中，以特征点为中心取16×16的邻域作为采样窗口，将采样点与特征点的相对方向通过高斯加权后归入包含8个bin的方向直方图，最后获得4×4×8的128维特征描述子。

作为本发明的进一步优选方案，所述步骤（9）中，对于全局描述符的匹配，给定两个图像x和y，相似度得分是它们的全局描述符之间的加权相关性，可以通过使用按位xor和popcnt计算汉明距离来快速计算，并且从一个小型查找表中读取权重。如果相似度得分超过阈值，则将此图像对确定为匹配，否则为非匹配。

下面结合图1、图3对本发明的技术方案做进一步的详细说明：

步骤100中为图像的输入；

步骤101中为局部特征点的提取，可以通过sift算法或surf算法等局部特征点提取算法进行提取局部特征点；

步骤102中为特征点的选取，根据特征点的分布和重要性进行筛选，保留固定数据的特征点，选择检测到的sift特征的子集来生成scfv描述符。在每个操作点上为每张图像选择300个sift特征。当一个图像包含小于300个sift的特征时，我们选择所有的特征；

步骤103中为局部描述子压缩，对于带有箱h0的梯度h的sift直方图，它的转换依赖于简单到计算的bin关系来捕获关于直方图形状的信息。例如两组关系a和b，发现a和b的关系集对随后的粗标量量化具有鲁棒性，并提供了较高的识别性能。对于sift本地描述符，空间相邻的直方图(尤其是水平或垂直连接的直方图)显示了显著的相关性，这在转换后的描述符中也得到了维护。因此，以相同的方式处理空间相邻的直方图，再加上随后的粗量化，导致相邻描述符具有相同元素的概率增加。部署不同的函数缓解了这个问题，增加了描述符的区分能力。在tm(16kb)支持的最高描述符长度下，未压缩的sift描述符按照上面的描述进行转换，从而产生128维描述符。低的描述符的长度,采用局部描述符,使用元素的一个子集,使用的元素每个长度是相同。一般来说，抽取的关键点是中心对称的，中心直方图比边界直方图更有分量。转换后的描述符的128个元素分别被量化为3个值，-1、0和+1，使用一个单独的量化阈值对来平衡元素值在三个量化容器中的长期分布。对于每个元素，阈值都是固定的。然后三元元素被直接写到位流中，对于三元0来说是“0”，对于三元-1来说是“10”，对于三元+1来说是“11”。在编码过程中，tm动态地决定可能被打包在图像描述符中的局部描述符的数量，以满足规定的描述符长度；

步骤104中对特征点坐标编码，利用算数编码从128维的浮点数组转化为二进制值数组；

步骤105中生成局部描述子，以特征点为中心取16×16的邻域作为采样窗口，将采样点与特征点的相对方向通过高斯加权后归入包含8个bin的方向直方图，最后获得4×4×8的128维特征描述子。

本技术领域技术人员可以理解的是，可以用计算机程序指令来实现这些结构图和/或框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程数据处理方法的处理器来生成机器，从而通过计算机或其他可编程数据处理方法的处理器来执行的指令创建了用于实现结构图和/或框图和/或流图的框或多个框中指定的方法。

上面结合附图对本发明的实施方式作了详细地说明，但是本发明并不局限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。