一种多目标物体图像匹配方法
【技术领域】
[0001] 本发明属于图像处理、计算机视觉、多媒体信息技术领域，具体涉及一种多目标物 体图像匹配方法。
【背景技术】
[0002] 随着智能手机的普及和互联网信息技术的快速发展，数字图像已成为现代社会人 们日常交流中不可或缺的媒介，图像资源也成为一种至关重要的信息资源。与此同时，针 对图像的相关研究正受到广泛的重视。这其中，多目标物体图像匹配是一项研究已久的课 题，相关技术在物体识别、图像检索、图像分类、近似复制图像检测等图像处理和计算机视 觉等研究中均有较强的应用，是相关领域中理论研究和实际应用价值兼具的基础性工作。 图像匹配的相关研究在近年来取得了较大发展，涌现了一大批优秀的局部特征检测和描述 算子。代表性的局部区域检测子如：MSER、Harris-Hessian Affine和DoG等，局部区域特 征描述子如：SIFT、SURF、DAISY等。局部特征检测子用于检测图像中具有可区分性特质的 代表性局部区域，如角点区域等，特征描述子则量化所检测出局部区域的信息，生成局部特 征向量。图像的匹配基于局部特征描述向量的匹配进行，所得到的特征匹配对集合构成局 部特征初始匹配集。鉴于局部特征描述具有较好的可区分性和不变性，初始匹配集中通常 包含大量正确的匹配对，与此同时，由于图像内容的复杂多样以及局部区域信息量化误差 的存在，大量错误的局部特征匹配也存在于初始特征匹配集中。因此后续算法通过引入匹 配特征间的局部几何映射关系约束优选出正确的局部特征匹配。其常用策略是采用图匹配 (Graph Matching)方法实现特征初始匹配集的优化，其中，图中的每个结点表示单个匹配 对的匹配度，点与点之间的关联对应两对匹配特征间局部几何映射关系的一致性，通过最 大化整个匹配图的能量确定联系紧密的结点，确定最终特征匹配。该问题本质上是个二次 优化的问题，其求解需要较大的时间开销，因此无法应用于大规模匹配的应用任务中，如近 似复制图像检测等。此外，此类方法通常只能处理单个目标物体的匹配问题，无法进行多目 标物体匹配。
[0003] 针对上述问题，发明人在安徽大学信息安全振兴计划专业改造与新专业建设项目 No. J05201380、国家自然科学基金青年基金No. 61502005、南京大学软件新技术重点实验 室开放基金KFKT2015B03以及安徽大学学术与技术带头引进工程的支持下，进行了技术攻 关。
【发明内容】
[0004] 发明目的：本发明所要解决的技术问题是针对现有方法技术的不足，提出一种多 目标物体图像匹配方法。
[0005] 技术方案：本发明公开了一种多目标物体图像匹配方法，该方法的特征在于提取 图像的局部特征并进行预匹配获取初始局部特征匹配集，估算每对匹配特征区域的局部映 射仿射矩阵，定义仿射矩阵距离并构建仿射空间，基于正确的局部特征匹配对具有较为一 致的仿射变换并在空间中聚类成密度较大的簇这一观察，定义密度函数并估算每个仿射矩 阵的密度值，确定空间中各聚类簇的模态点及所有点的聚类路径进而实现基于密度的聚 类，通过各聚类簇的边界实现聚类优化，最后由各仿射矩阵所属聚类关系确定正确的局部 特征匹配和分组。具体包括以下步骤：通过计算机将一对待匹配图像依次如下处理：
[0006] 步骤1，局部特征提取与预匹配。步骤2,估算初始匹配区域局部仿射变换。步骤 3,计算仿射变换距离。步骤4,定义仿射空间密度函数。步骤5,基于密度的仿射变换空间 聚类。步骤6,确定正确匹配对，呈现结果。
[0007] 进一步说，本发明的详细步骤为：步骤1，局部特征提取与预匹配：提取待匹配图 像对的局部特征区域及其特征描述，基于描述的相似性建立图像间局部特征的初始匹配 集。
[0008] 步骤2,估算初始匹配特征区域的局部仿射变换：在进行步骤1的局部特征提取与 预匹配基础上，估算待匹配图像对的初始匹配特征区域的局部仿射变换。
[0009] 步骤3,计算仿射变换距离：在进行步骤1的局部特征提取与预匹配基础上，量化 待匹配图像对中的任意两对局部特征匹配对间的局部仿射变换距离。
[0010] 步骤4,定义仿射空间密度函数：在进行步骤1的局部特征提取与预匹配基础上， 基于仿射变换距离定义待匹配图像对的仿射变换空间密度函数。
[0011] 步骤5,根据步骤2获得的局部仿射变换、步骤3获得的局部仿射变换距离、步骤 4获得的仿射变换空间密度函数，对待匹配图像对进行基于密度的仿射变换空间聚类，获得 聚类簇及对应的仿射矩阵。
[0012] 步骤6,结果呈现：根据步骤5获得的聚类簇中的仿射矩阵与步骤1中的局部特征 匹配对的对应关系，确定最终局部特征匹配对按聚类簇分组，同一组中的特征匹配对对应 同一目标物体，最终呈现位于不同目标物体上的局部特征匹配对。
[0013] 进一步说，步骤1具体如下：步骤1，图像预匹配：提取待匹配图像对的局部特征区 域及其特征描述，基于描述的相似性匹配图像间局部特征。特征区域检测主要采用MSER和 DoG检测子，二者择一进行区域检测，得到具有几何/尺度不变性的多个局部椭圆或圆形区 域，每个区域以对应的几何参数描述。在采用SIFT描述子生成特征向量，并基于特征向量 间的欧氏距离的相似性进行特征初步匹配，具体包括以下步骤：
[0014] 步骤1. 1，特征区域提取：提取图像局部特征区域：采用图像局部特征区域检测算 子提取待匹配图像对的局部特征区域。所述局部特征区域具有尺度不变性。通过图像局 部特征区域检测算子得到局部特征区域的几何形状为圆形或椭圆形。优选的方案是：采用 MSER或DoG算子提取待匹配图像对的特征区域。DoG检测结果为多个圆形区域，MSER为椭 圆形。
[0015] 步骤1. 2,椭圆形区域映射：SIFT算子特征描述的输入为圆形区域参数，因此如采 用MSER算子进行特征检测，需首先进行椭圆到圆形区域的映射。假定椭圆中心为p ρ 长短轴半径为(/,1，/,2)、旋转角为，它将被映射至一个固定半径r。中心坐# Ρι的圆心区域 (^中，映射公式如下：
[0017] 其中，（X，y)TS E i上的点，（X'，y'）1'是0 i上的对应点坐标。r c设定为13。具体 映射时，为保证仏上每个整像素点都有值，选择将〇 的点逆映射到E ，即：
[0019] 此时，坐标（1，7广可能位于图像中的亚像素位置，其像素值可采用双线性插值得 到，进而确定了 中坐标（X'，y'）τ处的像素值。
[0020] 步骤1. 3,计算特征区域梯度主方向角：给定局部特征圆形区域0;，其中心坐标为 Pi，半径为A，则该区域内每个像素点的梯度大小m(x，y)和方向供(U)计算方法如下：
[0023] 其中L(x，y)代表区域内坐标（X，y)点处的像素值。此时，角度区间[0, 360)划分 为36等分，并根据梯度角舛X V)的值将梯度m (X，y)叠加到对应的区间中，进而生成梯度直 方图，选取该直方图中点数最多的区间的梯度中值为主梯度方向Θ 1<3
[0024] 步骤1. 4,提取特征向量：基于SIFT特征描述子生成每个圆形区域的特征向量， 每个局部区域输出为一个128维的梯度直方图向量。（详细算法过程参见〈Distinctive Image Features from Seale-invariant Key-points>International Journal of Computer Vision，vol. 60, no. 2, ppl482_1489, 2004) 〇
[0025] 步骤1.5,局部特征初步匹配：当且仅当特征描述向量01与1)]之间的距离cKDbD,) 乘以阈值（设为1. 1)不大于特征向量Di与其他所有特征向量的距离，D 1与D ,匹配。距离 公式定义为：
[0027] 其中Dik表示向量D ;的第k维分量。这一初始匹配原则是经过大量统计确定的， 由于特征向量维度较高，只有当前特征向量在空间中的最近邻和次近邻的距离相差足够大 时，才能保证最近邻特征是当前特征向量的匹配特征。这个足够大采用一个比值阈值来确 定，实验表明设置为1. 1效果较佳，即次近邻与当前特征的距离至少大于最近邻距离的1. 1 倍。经过初始匹配得到的局部特征匹配对通常包含了绝大部分正确的匹配对，但同时也包 含较多的错误匹配。这部分错误匹配需基于局部几何变换特性进行剔除，即每一对匹配的 局部特征区域都存在局部的几何映射关系，且属于相同或相似物体的多对正确匹配特征区 域间，其几何映射关系也较为一致，而错误的匹配对对应的局部特征区域的映射关系则是 随机的，与其余匹配对的局部映射关系没有明显的关联。因此，如果构造一个关于所有初始 匹配对的局部映射关系的几何参数空间，则正确的局部特征匹配对将相互靠近，形成密度 较大的聚类簇，且不同的匹配目标物体对应不同的聚类簇，而错误的局部特征匹配对将散 乱的分布在整个空间中，形成随机分布的噪声。由此可见，可在初步匹配对的局部映射几何 参数空间中进行基于密度的聚类实现局部特征匹配对的优化，进而实现待匹配图像对中多 目标物体的匹配。
[0028] 步骤2,为实现基于局部映射的初始匹配优化，首先估算初始匹配特征区域的局部 仿射变换，具体来说：
[0029] 当特征区域检测结果为圆形区域时，对任意一对圆形匹配区域，记为仏和屮1且 其几何参数有圆心坐标pJP V i、半径rjPr' i、梯度方向角ajP α ' i，则将上的 点（X，7广到(V i上的点（X'，y'）τ映射关系可表示为：
[0033] Θ i为两个圆的旋转角度差，s i表示圆半径的比值，t肩映射后的圆心偏移。
[0034] 当特征区域检测结果为椭圆形区域时，对任意一对椭圆形区域，记为EJPE' ^其 几何参数有中心坐标pJP V i，长短轴半径(/?和(//'尤'）以及旋转角％和ω' i。由 步骤1. 2可知，在进行SIFT特征提取前，被映射至一个半径为r。且中心坐标为p 4口 P' i的圆形型区域〇中，其映射矩阵可表示为：
[0036] 同理，椭圆E';也被映射到半径为r。中心坐标为pjPp' ^的圆形型区域0'中， 其映射矩阵为：
[0038] 得到0和0'后，可按步骤1. 3估算它们的梯度方向角a满。i。在此基础上， 〇到〇'的映射可表示为：
[0040] 其中，Θ 与〇'的梯度方向角差，q是映射后的圆心偏移。因此，从EjljP , 的仿射映射可表示为：
[0042] 步骤3,定义任意两对局部特征匹配对间的局部仿射变换差异距离：
[0043] 步骤3. 1，给定两个仿射矩阵&和X ^&+乂,并没有实际意义，因此不能简单地采用 欧式距离来衡量XjPX,之间的距离。一种较为可靠的策略是将XjPX,同时作用于平面上 的一系列点Pk，