关系，确定最终局部特征匹配对按聚类簇分组，同一组中的特征匹配对对应同一 目标物体，最终呈现位于不同目标物体上的局部特征匹配对。3. 如权利要求2所述的一种多目标物体图像匹配方法，其特征在于：步骤1具体如下： 步骤1. 1，提取图像局部特征区域：采用图像局部特征区域检测算子提取待匹配图像 对的局部特征区域；所述局部特征区域具有尺度不变性；通过图像局部特征区域检测算子 得到局部特征区域的几何形状为圆形或椭圆形； 步骤1.2,提取特征向量： 当局部特征区域为圆形时，采用基于SIFT特征描述算子提取该区域的局部特征向量， 其基本步骤是：假定由步骤1. 1所提取的单个局部特征区域为圆形区域O1，其中心坐标为 Pi，半径为首先计算局部特征区域内每个像素点的梯度大小m(x, y)和方向并进 一步估算局部特征区域的梯度主方向Q1，具体方法如下：式中，L(x，y)代表局部特征区域内坐标（x，y)点处的像素值；获得区域内每个像素点 的梯度大小和方向后，将角度区间[〇, 360)划分为36等分，并根据梯度角P(Aj)的值将梯 度m(x，y)叠加到对应的角度区间中，生成梯度直方图，选取该直方图中点数最多的区间的 梯度中值为主梯度方向Ct1;此后，将局部区域内所有像素的梯度方向沿逆时针旋转a i，使 得区域的主梯度方向为〇 ;再分区域统计局部特征区域内像素的梯度直方图并进行直方图 归一化操作，最后获得128维的梯度直方图向量一一即区域的特征向量D 1; 当局部特征区域为椭圆形时：若步骤1. 1输出为椭圆形区域，记给定局部特征椭圆形 区域为E1，其中心坐标为P1，长短轴半径为化，）以及旋转角为ω i，则通过一个二维空间变 换将Ei映射至一个中心在p ;、半径为r。的圆形区域O :式中，（x，y)% E ^的点，（x'，y'）τ是圆形区域O上的对应点坐标；r。取值13;得到 圆形区域后再采用SIFT描述子生成特征向量，其基本过程与前段描述一致； 步骤1. 3,局部特征初步匹配：令一幅图像中的单个局部区域特征描述向量D1，它与另 一幅图像中单个局部区域特征描述向量1的距离为d(D u D,)，当且仅当(!(D1, D,)乘以不大 于特征向量D1与其他所有特征向量的距离，D 1与D ,匹配；阈值取I. 1 ;距离公式定义为：其中Dik表示向量D ;的第k维分量； 给定一个待匹配图像对，将其中一幅图像中所提取的所有局部区域特征描述向量逐一 在另一幅图像的局部区域特征描述向量中选取其初始匹配，那么每个匹配对将对应位于不 同图像中的一对局部特征区域，将所有的初始匹配对集合起来，构成待匹配图像对的局部 特征初始匹配集。4. 如权利要求3所述的一种多目标物体图像匹配方法，其特征在于：在步骤1中：当检 测算子采用差分高斯算子DoG时，局部特征区域的检测结果为圆形区域；当检测算子采用 稳定极值区算子MSER或角点拉普拉斯算子Harris-Laplacian时，局部特征区域的检测结 果是椭圆形区域。5. 如权利要求2所述的一种多目标物体图像匹配方法，其特征在于：步骤2的具体步 骤如下： 步骤2. 1，求解初始特征匹配对的局部仿射变换矩阵：给定一对匹配的局部特征区域 描述向量，若其对应的特征区域为圆，记为OjPCV i，且其几何参数有圆心坐标PjPV P 半径rjf ;、梯度方向角（^和α ';，则将Oi上的点（x，y) ;上的点（x'，y'） τ 映射关系可表示为：Θ i为两个圆的旋转角度差，S i表示圆半径的比值，R i是两个圆之间缩放和旋转综合变 换变换的矩阵形式；^是映射后的圆心偏移； 若对应的特征区域为椭圆，则记为EjP E' i，其几何参数有中心坐标？1和V i，长短 轴半径以及旋转角ω JP ω' i。由步骤1.2可知，在进行SIFT特征提取前， 被映射至一个半径为r。且中心坐标为p JP p' i的圆形型区域O中，其映射矩阵可表 示为巩表示椭圆向圆变换过程中的长、度轴及旋转角综合变换的二维矩阵形式；F1是凡 的三维扩展变换矩阵形式，它实现了将椭圆E/变换为圆O ; 同理，椭圆E' i也被映射到半径为r。中心坐标为pjPp' i的圆形型区域0'中，其映 射矩阵为：得到〇和〇'后，可按步骤1.2估算它们的梯度方向角〇1和α ' 1;其中，％和「^与 凡和Γ i的含义对应； 在此基础上，0到0'的映射可表示为：其中，θ$〇与〇'的梯度方向角差，、是映射后的圆心偏移；因此，从EjW满 仿射映射可表示为：其中，F1定义了椭圆E/变换为圆0的转换，1\定义了圆0向圆0'的转变，Γ^1是 的逆变换，定义了从圆〇'向E' 4勺转变；因此，矩阵X1定义了从椭圆EjIjE' 4勺整体仿 射变换； 对于局部特征初始匹配集中的每一对匹配特征区域对，都按上述方法计算其局部特征 区域对间的仿射变换X1，得到局部特征初始匹配集的仿射变换矩阵集合。6.如权利要求2所述的一种多目标物体图像匹配方法，其特征在于：步骤3的具体步 骤如下： 步骤3. 1，定义任意两对局部特征匹配对间的局部仿射变换距离：给定仿射变换矩阵X1 和仿射变换矩阵Xj，二者的距离定义如下：其中如步骤2. 1所述，P1 p' p , p' ,是仿射矩阵X JP X ,对应的一对匹配局部区域的中 心坐标，因此其中κ (·)将仿射变换后的三维坐标转 换为二维坐标；Dm表示以X1映射p ,后所得坐标点与p'，的距离，由于p'，是^经)^映射后 的坐标，Dm反映了仿射变换X 1与X ,的差异，差异越大，其值越大；D' ]u表示以Xf映射p'， 后所得坐标点与P]的距离，反映了仿射变换JC1与的差异，由于&与Xf1及\与X 之间 是可逆变换，&与X _,及P1与I/1之间的差异应具有一致性。同理，Diu表示以X ,映射p 所得坐标点与P'满距离，D' 表示以f1映射p'肩所得坐标点与p啲距离； DGdX,)是四者之和的均值，保证了距离的对称性和正、逆变换对之间的等距性，即：步骤3. 2,定义冲突变换惩罚距离：假定仿射矩阵X1映射椭圆E 1至P y Xj映射E ^至 E' j，若Er^ E j为同一椭圆且P j不同或P j相同且E1与E j不同，此时称X1 与X,为冲突变换，且定义二者的距离需不小于常数C，即：若^冲突， 其中，max (X，y)表示从X和y中选择较大值。C为常数，取值250 ; 基于上述步骤计算局部特征初始匹配集对应的仿射变换集中两两变换之间的距离，得 到所有仿射变换之间的距离值。7.如权利要求2所述的一种多目标物体图像匹配方法，其特征在于：步骤4具体步骤 如下： 基于仿射变换距离定义仿射变换空间密度函数为：即当前仿射变换X1的密度P X1到其余变换X j的高斯距离，距离较近的变换矩阵X j 对密度的贡献较大，当距离超过σ时，其贡献便逐渐减弱直至可忽略，因此P1S义的是X1 的局部密度值；N是仿射矩阵的总数，σ的取值是动态设定的，σ为所有D(XliXj)自小向大 排序后的2%处的取值； 以初始仿射变换集构成一个仿射空间，该步骤计算了其中每一个变换在仿射空间中的 密度值。8.如权利要求2所述的一种多目标物体图像匹配方法，其特征在于：步骤5的具体步 骤如下： 步骤5. 1，定义聚类路径：为确定仿射矩阵X1的所属聚类，从X i出发，定位空间中密度 比X1的密度P i大且与X1距离最近的仿射矩阵X,，定义ISX1的"聚类父节点"，再从 出发，定位其"聚类父节点"，重复该步骤，直至定位到当前聚类簇中密度最大的"模态点"为 止； 步骤5. 2,模态点的定义：空间中的模态点是各聚类簇中密度最大的点，为各模态点， 首先为空间中的每个点定义跟随距离函数S i如下：即对于空间中的一般仿射矩阵X1，跟随距离S i表示X jlj密度比其大且与其距离最近 的仿射矩阵X,的距离，因此当X 1与X 处于同一聚类簇时，S i通常会伴随密度函数p ^勺 增大而减小，只当&到达当前聚类的密度最大值点，即模态点时，X .,将处于另一聚类簇中， 此时S1将有一个跳跃增大。最后，当密度值p 空间中密度最大时，δ ^皮定义为 X1与其余仿射矩阵距离的最大值； 定义δ ;的基础上，定义函数 rI1= P 给定空间中的一个仿射矩阵X1, H1与其密度值P i均成正比，8卩P 1与δ i均越 大，则H1越大；而在同一聚类簇内，密度P 4勺值从边缘到中心呈逐渐增大的趋势，并在模 态点处达到最大；而跟随距离S i则由边缘到中心逐渐减小，但在模态点处跳变增大，由此 可见，当且仅当&为空间中的模态点时，P 较大，8卩n i较大；因此，模态点可基 于以下操作确定：先计算出空间中所有点的H1并降序排列，排序前K的数据点即为空间中 的模态点；鉴于一个聚类簇只有一个模态点，K即为空间中聚类簇的个数，其值可由事先指 定，或在确定各聚类簇中包含的仿射矩阵数目后，自动过滤所含仿射矩阵点较少的聚类簇， 进而动态确定K的值； 步骤5. 3,初步聚类：从空间中每个仿射矩阵X1出发，按步骤5. 1所述不断移动至空间 中的一个模态点，最后将所有收敛于同一模态点的仿射矩阵归为同一聚类簇； 步骤5. 4,确定聚类簇边界及最大边界密度：假定仿射矩阵X1经步骤5. 3聚类后属于聚 类簇Ck，且它与聚类簇C1Q辛k)中仿射矩阵Xj的距离小于定义密度函数P i时的高斯方 差〇，即： D(X11Xj) < 〇 此时认定X1X,构成了聚类簇C ,和C 边界；定义边界密度进而确定聚类簇Ck的最大边界密度为：即/?是聚类簇(；中与其他所有聚类簇的边界密度的最大值； 步骤5. 5,优化聚类簇：设定聚类簇(；中所有密度大于的仿射矩阵X1，即A > /?为 Ck的最终所属聚类簇点，并将其他数据点作为噪声点剔除。9.如权利要求2所述的一种多目标物体图像匹配方法，其特征在于：步骤6包含下列 步骤： 基于步骤5. 5获得各聚类簇中的仿射矩阵，确定各仿射矩阵对应的局部特征匹配对， 将它们按所关联的聚类簇进行分组，系属同一类的局部特征匹配对对应同一匹配目标物 体，呈现位于不同目标物体上的局部特征匹配对。
【专利摘要】本发明公开了一种多目标图像匹配方法，包括了以下步骤：步骤1，图像预匹配；步骤2，估算初始匹配特征区域的局部仿射变换；步骤3，定义任意两对局部特征匹配对间的局部仿射变换距离；步骤4，基于仿射变换距离定义仿射变换空间密度函数；步骤5，进行基于密度的仿射变换空间聚类，定位密度较大的所有簇；步骤6，结果呈现。有益的技术效果：本发明克服了现有基于优化的图像匹配算法中优化收敛速度慢且难以获得全局最优解及通常只能处理单目标物体匹配的问题，有效提高了多目标图像匹配的准确性和效率。
【IPC分类】G06K9/46, G06K9/62
【公开号】CN105354578
【申请号】CN201510712952
【发明人】汪粼波, 方贤勇, 仲红, 张少杰
【申请人】安徽大学
【公开日】2016年2月24日
【申请日】2015年10月27日