专利名称：基于极线几何以及ess的图像定位方法
技术领域：
本发明属于图像处理技术领域，具体涉及一种图像定位方法。
背景技术：
当今的计算机技术发展十分迅速，计算机视觉和图像检索的应用领域越来越广泛， 同时也彰显出它们的重要性。计算机视觉既是工程领域，也是科学领域中一个富有挑战 性的重要研究领域。计算机视觉是一门综合性的学科，它己经吸引了来自各个学科的研 究者参加到对它的研究当中，其中包括计算机科学和工程、信号处理、物理学、应用数 学和统计学、神经生理学和认知学等。识别图像中的物体并在图片中进行精确定位是人 类的基本视觉技能之一，图像检索以及定位即是计算机模拟人类视觉的一项综合技术。 其中，图像中的目标搜索与定位是当今图像检索技术中最为热门也是最具有前瞻性的一 个分支，ESS1(Efficient Subwindow Search)是最近提出的一个高效定位算法。它采 用分支定界算法有效的突破了传统的极其耗时的穷举法，大大降低了图像中目标检索与 定位的时间。但是，由于ESS的主要突破在于速度，伴随而来的就是査全率和査准率的 不理想。本发明就是针对ESS这一缺陷而进行的改良，采用极几何约束34以 及基于该约束的矩形增长技术，从而得到更令人满意也更接近于人类认知的定位结果。
本发明利用ESS方法依据输入特征描述参数，在候选域图像中査找待定位的图像(物 体)。ESS方法采用了分支定界(branch and bound)算法,用一个二维九参数的结构表示 一个査询状态(其中八个参数表示一个嵌套的矩形对， 一个参数表示当前状态的匹配分 数)，即一个矩形集(rectangularset)并采用一个以匹配分数为排序键的优先队列存储， 以保证每次所处理的集合都是目前所有集合中最优的那一个。ESS方法的终点为当前状 态无法继续分解，即得到一个全局最优的状态(如果存在的话)，该状态对应的矩形集 中只有一个元素，即候选域中对应于待定位图像(物体)的定位矩形。
.由于ESS基于的是图像局部特征，但是所得出的解却是全局最优。所以，假如符合 局部特征描述但是在全局上并不符合几何关系的匹配点存在的话(如图2中的线条所标 出的匹配点)，这样的匹配点就必然会影响ESS的定位效果；另一方面，由于ESS的评 分策略缺乏足够的灵活度，无法像人眼识别一样根据不同的情况确立不同的标准，那么， 根据分支定界算法，ESS得出的结果有可能并不是很理想(实验表明，大部分结果是过 于保守的)。
发明内容
针对ESS目标图像定位结果查全与査准不理想的问题，本发明的目的是在保证检索
3，本发明采用如下的技术方案
一种基于极线几何以及ESS的图像定位方法，包括下列步骤
步骤l:输入待定位图像和候选域图像，分别提取它们的SIFT特征点和特征描述符； 步骤2:建立候选域和待定位图像之间的匹配
(1) 对待定位图像中当前待匹配特征点描述向量与候选域图像中所有的特征点 描述向量进行内积运算得到一组数值；
(2) 对上述的一组数值取反余弦值后由小到大的排序，其中的最小数值所对应的一 组特征点为所需判定是否匹配的对象，倘若该数值与第二小的数值之间的比值 低于预设阈值，那么最小数值所对应的两个特征点被认为是匹配的，否则不匹 配。
步骤3:获取初步定位矩形
(1) 根据候选域图像的大小生成一个等大小的M，矩阵中每一个元素代表对应像素 点处的特征点的匹配与否，对于匹配的特征点，其在矩阵中所对应的元素被赋 予一个正分，对于不匹配的特征点，被赋予一个负分，其他的非特征点，被赋 予的分值为0;
(2) 建立两个与矩阵M等大的正、负权值矩阵，把M中的正分和负分分别装入正、 负权值矩阵中；
(3) 然后将正负权值分别在对应的权值矩阵中进行积分，使得正负权值矩阵中的每 一点所对应分数为这点对应像素及其左上方所构成矩阵的总分；
(4) 运用ESS方法，得出初步定位矩形； 步骤4:建立极线几何基础矩阵
(1) 建立极线几何约束条件设XiX2为同一个物体X在不同拍摄位置的视平面上 的投影；F为两个视角之间的基础矩阵，h为Xi在X2视平面上的极线，对于一
个图里的每一点Xp它和它的对应点X2之间满足如下公式《Fx1=0，点Xi 在其对应的不同视角平面上有极线h满足如下公式;
(2) 如果ESS定位矩形中的匹配点个数大于或等于8，就通过对该匹配点集的计算， 得出基于极线几何关系的3乘3基础矩阵F;
步骤5:利用基础矩阵甄选匹配点对于候选区域内每一个已经匹配的特征点运用基 础矩阵F，根据步骤4所述的公式计算出一条在待定位图像中的直线，然后计算该特征
点在待定位图像中的特征点距直线的几何距离，若距离大于预设阈值即判定为错误匹配。
步骤6:遍历匹配点，并进行矩形增长，得到定位区域。
本发明的实质性特点就是在ESS的基础上加入一个极线几何的约束，进行匹配点集
的几何筛选，然后再根据这个新的匹配点集中的每一个点采用矩形增长策略，使得最后的定位矩形包含所有的经过筛选的匹配点，从而得到一个有更好査全率和査准率，即更 接近于人眼识别结果的图像检索定位的矩形。
本发明在保证了原有ESS方法优秀效率的前提下，提升了图像检索定位的查全率和
查准率，扩展了计算机视觉和图像检索的应用领域。由于当今的计算机视觉有关于图像
检索的技术面临两个难题效率(时间复杂度)和效果(查全率和査准率)，所以本发
明在保留了ESS的高效性的前提下，有效提升了图像定位结果的可靠性、准确性和仿真
性，提供了一种兼顾两个难题的有效的图像检索的方法。改良前后效果如图l所示。从 图l可以明显看出，放大部分中的外侧定位矩形(改良后)要显著优于内侧的定位矩形 (改良前)(由于内侧矩形的上、下右三边与外侧矩形重合，为了图例清晰，图中将该
三边向内縮小4个像素。
图1左侧为可能存在査询物体的待搜索照片，右上角为査询图 像，右下角为图中对应区域的放大，其中的匹配为正确的匹配。
图2:标注了SIFT特征点的图像。
图3:候选域与待定位图像之间的匹配点对。
图4:运用ESS得到的初步定位结果；
图5: ESS流程图。
图6:极线几何基础矩阵原理，图中，dC2为不同的拍摄位置；^X2为同一个物体X
在不同拍摄位置的视平面上的投影；F为两个视角之间的基础矩阵，h为"在X2视平面 上的极线。
图7:两视角中的极线几何关系，图中，C与C'为不同的两个视角；X与X'为同一点 X在不同；视平面上的投影。
图8:不同视角平面上对应点(e, e')。
图9:a)阈值为0.8时的匹配点对；b)经过几何甄选后的匹配点对。
图10: a)为待定位图片b)，d)为单纯ESS的定位，c)，e)分别为经过本发明优化后的结
果；
图11: f)为待定位图像，g)、 i)、 k)为ESS后的结果，H)、 j)、 l)为本发明改良后的结果。
具体实施例方式
下面结合附图和实施例对本发明做进一步说明。
步骤l:输入图像，提取SIFT特征描述符
本发明所使用的特征点提取基于的是SIFT特征描述符。SIFT利用灰度极值得出的 点，通过高斯差的阈值设置和黑塞矩阵，将备选的极值点进行筛选，除去一些边缘响应
5过于明显的点和对比度过低的点，结果具有尺度不变性，并且对尺度和光照也具有一定 的健壮性。得出的特征点经过精确定位的确定方向参数后构成特征描述符矩阵，即是下 一步得以进行的基础。图2为标注了SIFT特征点的图像。有关SIFT特征描述符提取方 法的详细介绍，可以参见文献2。 步骤2:建立候选域和待定位图像之间的匹配
在对输入的候选域以及待定位图像进行特征点的检测和特征描述之后，就是对特征 描述的匹配，以期达到尽可能多正确的特征点对，减少错误匹配。本发明所采用的匹配 方法是通过对待定位图像(物体)中当前待匹配特征点描述向量与候选域图像中所有的 特征点描述向量进行内积运算而得到一组数值，这些数值取反余弦值后由小到大的排序， 排在第一位的也就是数值最小的结果所对应的一组特征点是所需判定是否匹配的对象。 倘若最小的数值与第二小的数值之间的比值低于某阈值(该阈值在本发明中多采用0.6)， 那么最小数值所对应的两个特征点被认为是匹配的，否则不匹配。这一步将生成一个匹 配矩阵(大小为lxki的mat[])，即在匹配的点对中候选域图像所对应的特征点标号下标 记待定位图像(物体)对应的特征点。这一步将产生下一步的输入参数。设候选域图片 中有lq个特征点，待定位图像中有k2个，如果k、中第i个与k2中第j个特征点匹配的 话，则有mat[i],。图3揭示了候选域与待定位图像之间的匹配点对情况，可以看到有一 个点对明显不符合要求。 步骤3:运用ESS方法，得出初步定位矩形
首先，根据候选域图像的大小生成一个等大小的n乘m矩阵M，矩阵中每一个元素 代表对应像素点处的特征点的匹配与否(匹配则是对应的匹配特征点序号，不匹配则是 0)，接下来，将A中的各个元素改成匹配分数的值。在本发明中，对于ESS的评分策 略如下
1) 对于匹配的特征点，赋予一个正分p;
2) 对于不匹配的特征点，赋予一个负分n;
3) 其他的非特征值点，分值为0。
.该策略中p、 n的值在本实验所示结果分别中采用IO和-I。
'接下来，ESS使用了一个权值积分策略(权值即为上文中的分数p或n)，建立两个 与上文中A等大的正、负权值矩阵，把A中的正分和负分分别装入正、负权值矩阵中， 然后将正负权值分别在对应的权值矩阵中进行积分(具体操作为先纵向遍历矩阵中的 每一点，将当前分值与前一点分值求和作为该点的新分值；横向亦然)，使得正负权值 矩阵中的每一点所对应分数为这点对应像素及其左上方所构成矩阵的总分，这样的一个 策略便于接下来计算每一个状态的匹配分数。 积分策略表达式对于每一个点(i，j)
开始与点(0,0)进行循环{11^1^[1]1]]+=11^1^[朋-1];〗++;}横向结束；开始与点(0,0)进 行循环{matrix[i][j]+=matrix[i-l]lj];i++;}纵向结束；ESS采用了一个九参数结构来作为分支定界的元状态，包括有两个矩形(各有四参 数)和一个相对应的上界。两个矩形是嵌套在一起的，其中大矩形[L，T,R,B](矩形的四 参数表示法，分别表示左边界(L)，上边界(T)，右边界(R)和下边界(B))用来界定 当前矩形集的外边界，小矩形[l，t,r，b](同理)用来界定当前矩形集的内边界,ESS中的分 支定界算法由这两个矩形框以及其中的权重计算实现，具体步骤如下
1) 分支这一步的目的是在现有矩形集能够分解(即仍未达到全局最优)的前提下， 将之(由于优先队列的保证，使得每次处理的矩形集都为当前最优)分解成两个 更小的矩形集。具体实现上，本发明保留了ESS的原有策略，即每次操作选取大 小两个矩形上下左右四个方向上差距最大的那一个分支，并在这个方向上将矩形 集分解。
如Max[(L-l),(R-r),(T-t),(B-b)]= (L-l),那么分解方向就为"左"。 这样每分解一次，矩形集内外边界的距离就更近一步，以保证算法的有穷性。
2) 定界对于每一个新分解而成的状态，都有一个权值上界，即大矩形框内的正权 值与小矩形框内的负权值之和，这个策略的意义在于采用这种方法计算得出的 上界是矩阵集的外边界矩形的匹配分数减去"间隙"中的负分，而在其代表的矩形 集包含的所有矩形中可能达到的最好匹配情况，保证了算法的正确性。
*即状态上界=外边界矩形内的正值+内边界内的赋值
3) 排序将分解得到的两个子状态送入优先队列，并删除原队列。重复分支 步骤(具体流程见图6)
当以上算法达到终点时，内外两个矩形重合(即矩形集中只含有一个元素)，且对 应上界即为该矩形的匹配分数，该矩形即为所求初步定位矩形。从图4可看出运用ESS 得到的初步定位结果，明显过于保守。
ESS方法的流程图如图4所示。 步骤4:建立极线几何基础矩阵
极线几何基础矩阵原理如图6所示，图中，dC2为不同的拍摄位置；XiX2为同一个 物体X在不同拍摄位置的视平面上的投影；F为两个视角之间的基础矩阵，h为^在X2 视平面上的极线，对于图中每一点X1，它和对应图中的对应点X2之间满足如下公式 《FX,O。而对于X1来说，另一个图片上有极线ll满足如下公式/1=&。
几何一致性是真正的匹配点应该具有的性质之一，参见图7，图中的x点和x'点(即 都是描述物体上的同一点X)，那么根据极线几何理论34，描述同一物体的 候选域与待定位图像之间的正确匹配应该同样具有这样一个转化关系，但是由于SIFT特 征描述是基于局部特征，其中难免会有符合局部特征却不符合几何位置关系的错误匹配。 本发明利用的是上一步ESS得出的定位矩形中的匹配点，由于ESS的保守性，所以可以 通过对上一步中的匹配点集的计算，可以得出基于极线几何关系的3乘3基础矩阵F。
本发明在建立该基础矩阵中，使用了由ESS选中的点作为参数(由于几何关系以及7.26921267446648e-07 2.08913526082537e-06 -0.00161157390656964
步骤
使用计算基础矩阵函数的制约，如果点数小于8个，则不执行该步骤)。该矩阵的特点 是能够利用足够多的点描述整个图片对之间的极几何关系，对于同一物体的不同角度描 述有着极好的描述性。
具体操作方法为遍历每一对匹配点，判断其是否在步骤3所得出的矩形内，如果
是，则将其放入新的匹配点集中。遍历完毕后，将此新的匹配点集作为参数传给函数
ransacfit(开源代码，其功能是根据指定输入点集计算出基础矩阵F)，而后得到一个基础 矩阵F，图9对应的F如下
5.30255543577301e- 06 - 0.000361738074087796— -1.10614328347961e- 07 0.0104703045581531 -0.0113697809468228 0.512600202843536
利用基础矩阵甄选匹配点
根据几何关系，对于图片上的每一点，通过以上基础矩阵F，能够在对应图片的对 应位置得出一条直线，如图8中1以及1'，则理论上每一对匹配点都应该互相满足这种关 系。本发明就是通过这种几何关系，利用公式l^Fx求出待定位图像中每一个匹配点x在 候选域中的对应直线l';在候选域中，对应的匹配点x距离该直线的几何距离可以藉由点 到直线距离公式得到一一甄别匹配点。即对于候选区域内每一个已经匹配的特征点运用 基础矩阵F计算出一条在待定位图像中的直线(见以下公式以及图8)，然后计算该特 征点在待定位图像中的特征点距直线的几何距离，大于某一阈值即判定为错误匹配(该 阈值在本发明所进行实验中为IO个像素)。经过试验，确实有较好的甄别效果，能有效 去除错误匹配点。参见图9， (a)是阈值为0.8时的匹配点对b)是经过几何甄选后的匹 配点对，经过几何甄选，匹配点由251个减少为160个，减少了36%。
相关公式/,-尸x，即:
<formula>formula see original document page 8</formula>
(在本发明实验中，d的阈值为10)
步骤6:遍历匹配点，矩阵增长
.由于矩阵增长策略对于错误匹配，尤其是不满足几何关系的错误匹配极其敏感，经 过上一步之后，这样的因素被有效排除.，于是本发明可以采用矩阵增长策略，遍历当前 每一个匹配点(几何限制之后的)，如果在矩阵外就将矩阵边界延伸到该匹配点对应坐
标；否则继续遍历。矩阵增长后得出的矩形框即为最后的定位矩阵。结果参照图IO、图 11。从两图可看出，本发明的优化效果很明显。
参考文献
1Christoph H. Lampert,Matthew B. Blaschko和Thomas Hofmann的《超越滑窗高效子窗口搜索》，伊,教欲贵及蒺式與，W会议pp. 1-8.2008
2D. G.Lowe,《选自尺度不变关键点的独特图像特征》，^募教欲贵嵐好教残vol. 60, pp. 91—110， 2004.
3Richard Hartley,《多视角几何在计算机视觉方面的应用》，Cambridge出版社，PARTII, p239~259.
4吴福朝，《计算机视觉中的数学方法》，科学出版社，第一篇，p63~77.
权利要求
1.一种基于极线几何以及ESS的图像定位方法，包括下列步骤步骤1输入待定位图像和候选域图像，分别提取它们的SIFT特征点和特征描述符；步骤2建立候选域和待定位图像之间的匹配(1)对待定位图像中当前待匹配特征点描述向量与候选域图像中所有的 特征点描述向量进行内积运算得到一组数值；(2)对上述的一组数值取反余弦值后由小到大的排序，其中的最小数值所对应的一组特征点为所需判定是否匹配的对象，倘若该数值与第二小的数值之间的比值低于预设阈值，那么最小数值所对应的两个特征点被认为是匹配的，否则不匹配。步骤3获取初步定位矩形(1)根据候选域图像的大小生成一个等大小的M，矩阵中每一个元素代表对应像素点处的特征点的匹配与否，对于匹配的特征点，其在矩阵中所对应的元素被赋予一个正分，对于不匹配的特征点，被赋予一个负分，其他的非特征点，被赋予的分值为0；(2)建立两个与矩阵M等大的正、负权值矩阵，把M中的正分和负分分别装入正、负权值矩阵中；(3)然后将正负权值分别在对应的权值矩阵中进行积分，使得正负权值矩阵中的每一点所对应分数为这点对应像素及其左上方所构成矩阵的总分；(4)运用ESS方法，得出初步定位矩形；步骤4建立极线几何基础矩阵(1)建立极线几何约束条件设x1x2为同一个物体X在不同拍摄位置的视平面上的投影；F为两个视角之间的基础矩阵，l1为x1在x2视平面上的极线，对于一个图里的每一点x1，它和它的对应点x2之间满足如下公式 id="icf0001" file="A2009100705200002C1.tif" wi="18" he="4" top= "180" left = "155" img-content="drawing" img-format="tif" orientation="portrait" inline="yes"/>点x1在其对应的不同视角平面上有极线l1满足如下公式l1＝Fx1；(2)如果ESS定位矩形中的匹配点个数大于或等于8，就通过对该匹配点集的计算，得出基于极线几何关系的3乘3基础矩阵F；步骤5利用基础矩阵甄选匹配点对于候选区域内每一个已经匹配的特征点运用基础矩阵F，根据步骤4所述的公式计算出一条在待定位图像中的直线，然后计算该特征点在待定位图像中的特征点距直线的几何距离，若距离大于预设阈值即判定为错误匹配。步骤6遍历匹配点，并进行矩形增长，得到定位区域。
全文摘要
本发明属于图像处理技术领域，涉及一种基于极线几何以及ESS的图像定位方法，包括下列步骤输入待定位图像和候选域图像，分别提取它们的SIFT特征点和特征描述符；建立候选域和待定位图像之间的匹配；获取ESS初步定位矩形建立极线几何基础矩阵；利用基础矩阵甄选匹配点；遍历匹配点，并进行矩形增长，得到定位区域。本发明提升了图像检索定位的查全率和查准率，扩展了计算机视觉和图像检索的应用领域。
文档编号G06F17/30GK101661496SQ200910070520
公开日2010年3月3日 申请日期2009年9月22日 优先权日2009年9月22日
发明者张辰阳, 操晓春, 郭晓杰 申请人:天津大学