基于三角形描述的特征点匹配方法
【专利摘要】本发明涉及一种基于三角形描述的特征点匹配方法，包括步骤：采集图像并输入计算机，利用已有特征点检测算子提取图像特征点，将图像中的特征点组合成三角形，确定三角形的支撑区域，对支撑区域进行子区域划分并计算描述子，计算三角形之间的相似性距离，建立三角形匹配，由三角形匹配确立特征点匹配。相比于已有基于单个特征点构造描述子的方法，本发明提供的方法构造的匹配描述子能够克服尺度误差及方向误差且在纹理简单或重复时稳定性更好，因而比已有方法具有更优的匹配性能。
【专利说明】基于三角形描述的特征点匹配方法
【技术领域】
[0001] 本发明涉及计算机视觉中的图像特征自动匹配领域，特别是数字图像中特征点的 自动匹配方法。
【背景技术】
[0002] 特征匹配技术在图像检索、物体识别、视频跟踪以及增强现实等领域有重要应用， 目前已有图像特征点匹配方法主要有以下两类： 第一类是基于局部纹理信息构造匹配描述子的方法，主要代表有SIFT、SURF、GL0H 等基于梯度特征匹配描述子（详见文献K. Mikolajczyk and C. Schmid, A performance evaluation of local descriptors. IEEE Transaction on Pattern Analysis and Machine Intelligence, 2005，27(10): 1615 - 1630)与基于局部灰度序特征的描述方法（Fan B， ffu F and Hu Z. Rotationally invariant descriptors using intensity order pooling. IEEE Transaction on Pattern Analysis and Machine Intelligence, 2012, 34(10): 2031-2045)，该类方法主要利用特征局部纹理信息进行特征匹配，首先为特征确定支撑区 域，然后将支撑区域划分为一系列子区域，最后将每个子区域内包含的图像纹理信息表示 为向量并组成匹配描述子。在图像形变存在时，该类方法构造的匹配描述子分辨力下降较 大，获得的匹配数量较少。
[0003] 第二类是基于几何一致性优化的匹配方法（如文献J.H. Lee and C.H. Won-Topology Preserving Relaxation Labeling for Non-rigid Point Matching. IEEE Transactions on Pattern Analysis and Machine Intelligence. 2011, 33(2): 427 -432.)，这类方法利用特征点之间的几何约束整体构造匹配目标优化函数，从而将匹配问题 转化为一个目标函数优化问题。该类方法利用的特征之间的几何约束信息比第一类方法在 图像形变下更为稳定。但该类方法需要解决的几何优化问题运算一般非常复杂，且运算量 随着特征点数量增加呈几何级数增长，导致该类方法运算效率很低。
[0004] 第一类方法由于简单且易于实现，在实际应用中使用较多。但该类法存在如下误 差问题：（1)为实现尺度不变性而进行尺度选择导致存在尺度误差；（2 )为实现旋转不变性 而基于局部梯度直方图进行主方向估计产生方向误差；尺度误差与方向误差的存在影响了 描述子的分辨能力；另外，在图像纹理比较简单或者重复纹理较多时，基于单个特征点描述 的方法不太稳定而效果较差。
【发明内容】
[0005] 本发明针对第一类特征点匹配方法存在的尺度误差与方向误差问题，提供一种不 需要进行尺度选择与方向估计的具有更优性能的特征点匹配方法。为了实现本目的，本发 明提供的基于三角组合描述的特征点匹配方法包括以下步骤： 步骤S1 :从不同角度拍摄同一场景两幅不同图像并输入计算机； 步骤S2 :利用已有特征点检测算子提取图像中特征点，如使用Harris算子； 步骤S3 :利用Delaunay三角化技术将图像中的特征点组合成三角形； 步骤S4 :通过计算外接圆确定每个三角形的支撑区域； 步骤S5 :分别以圆心与三个顶点确定的矢量为主方向对支撑区域进行子区域划分并 计算描述子； 步骤S51:对支撑区域进行子区域划分； 步骤S52:计算旋转不变特征向量； 步骤S53:构造三角形描述子； 步骤S6 :通过计算描述子之间的欧式距离计算三角形之间的相似性距离； 步骤S7 :基于双向匹配准则进行三角形匹配； 步骤S8 :由三角形匹配确立特征点匹配。
[0006] 本发明提出的方法将单个特征点组合为三角形代替单个特征点作为基本匹配单 位，相比于传统基于单个特征点构造描述子的方法，本发明提供的方法具有如下优势：（1) 直接根据三角形的外接圆确定支撑区域可避免传统尺度选择环节引入的尺度误差；（2)直 接利用圆心与顶点确定主方向可避免传统进行主方向估计引入的方向误差；（3)图像纹理 比较简单或者重复较多时，基于单个特征点描述的方法不太稳定，本发明将单个特征点组 合成三角形后更加稳定。
【专利附图】
【附图说明】
[0007] 图1所示为本发明基于三角形描述的特征点匹配方法流程图。
[0008] 图2所示为确定三角形支撑区域示意图。
[0009] 图3所示为计算三角形的3个描述子示意图。
【具体实施方式】
[0010] 如图1所示为本发明基于三角形描述的特征点匹配方法流程图，包括：采集图像 并输入计算机，利用已有特征点检测算子提取图像特征点，将图像中的特征点组合成三角 形，确定三角形的支撑区域，对支撑区域进行子区域划分并计算三角形的描述子，计算三角 形之间的相似性距离，建立三角形匹配，由三角形匹配确立特征点匹配。各步骤的具体实施 细节如下： 步骤S1 :从不同角度拍摄同一场景两幅不同图像并输入计算机； 步骤S2 :利用已有技术进行特征点检测，如使用Harris算子； 步骤S3:利用Delaunay三角化技术将图像中的特征点组合成三角形，具体方式 为，记步骤S2获得的第1幅图像中特征点集合为
【权利要求】
1. 一种数字图像中基于三角形描述的特征点匹配方法，其特征在于，包括步骤： 步骤S1 :从不同角度拍摄同一场景两幅不同图像并输入计算机； 步骤S2 :利用已有技术进行特征点检测，如使用Harris算子； 步骤S3:利用Delaunay三角化技术将图像中的特征点组合成三角形，具体方式 为，记步骤S2获得的第1幅图像中特征点集合为
，第2幅图像中的 特征点集合为
，其中
为图像中特征点个数，利用Delaunay三角 化技术将
进行三角化获得
个三角形
，将
进行三角化获得汉个三角形
步骤S4 :通过计算外接圆确定每个三角形的支撑区域，具体方式为，对于步骤S3获得 的三角形
，其中
，利用如下公式计算其外接圆 圆心
和半径:
定义所述外接圆覆盖的图像区域为三角形
的支撑区域，记为
； 步骤S5 :分别以圆心与三个顶点确定的矢量为主方向对支撑区域进行子区域划分并 计算描述子，具体方式为， 步骤S51 :对支撑区域进行子区域划分，具体方式为，对于步骤S4确定三角形
的支撑区域
，以圆心
与顶点石的连线向量
为主方向将支撑区域
在角度方向上等分为8个方向，然后再沿着径向方向将支撑区域
等分为2部分， 共计获得16个子区域
； 步骤S52 :计算旋转不变特征向量，具体方式为，记向量
及其顺时针旋转 90度方向对应的单位向量分别为
记支撑区域
内任 一点
的高斯梯度
将
分别投影到
方向上获得 点
的旋转不变特征向量
其中
步骤S53 :构造三角形描述子，具体方式为，对于三角形任一子区域
记
内有s个像素点
及它们对应特征向量
通过计算特征向量的均值与标准差获得子区域q的 2维均值描述向量
与2维标准差描述向量
;将16个子区域对应的均值描述向量与标准差描述向 量分别组成一个向量，可获得支撑区域的32维均值描述向量
与 32维标准差描述向量
分别进行归一化后获得区域0(乃的64维均值标 准差描述向量
最后再进行归一化处理获得支撑区域的64维描述子
记以向量
代替
重复执行步骤S51、S52、S53获得的描述子为
；记以 向量
代替
重复执行步骤S51、S52、S53获得的描述子为
；最终每个三角形
获得三个描述子
； 步骤S6:通过计算描述子之间的欧式距离确定三角形之间的相似性距离，具体 方式为，记第1幅图像中三角形
经过步骤S5获得的3个描述子分别为
，第2幅图像中三角形
经过步骤S5获得的3个描述子 分别为
，则三角形
与
的相似性距离定义为
步骤S7 :基于双向匹配准则进行三角形匹配，具体方式为，对于第1幅图像中待匹配 三角形
和第2幅图像中的待匹配三角形
记
中与
相似 性距离最小的三角形为
，如果同时
也是
中与
相似性距离最小的三角形， 则
为一组三角形匹配； 步骤S8 :由三角形匹配确立特征点匹配，具体方式为，对于步骤S7获得的描述子分别 为
的匹配三角形与
，假设两个三角形的描述子之间
的欧式距离最小，则可首先确立第1组特征点匹配
，然后保持次序方式依 次确立另两组特征点匹配，具体方式为， 如第1组特征点匹配为
则剩下两组特征点匹配分别为
如第1组特征点匹配为
则剩下两组特征点匹配分别为
如第1组特征点匹配为
则剩下两组特征点匹配分别为
如第1组特征点匹配为
则剩下两组特征点匹配分别为
如第1组特征点匹配为
则剩下两组特征点匹配分别为
如第1组特征点匹配为
则剩下两组特征点匹配分别为
如第1组特征点匹配为
则剩下两组特征点匹配分别为
如第1组特征点匹配为
则剩下两组特征点匹配分别为
如第1组特征点匹配为
则剩下两组特征点匹配分别为
【文档编号】G06T7/00GK104050675SQ201410303630
【公开日】2014年9月17日 申请日期:2014年6月30日 优先权日:2014年6月30日
【发明者】王志衡, 刘红敏, 米爱中, 王志飞, 霍占强, 王静, 姜国权, 贾利琴, 邓超 申请人:河南理工大学