一种带旋转、缩放的快速高精度几何模板匹配方法
【专利摘要】本发明提供了一种带旋转、缩放的快速高精度几何模板匹配方法，该方法基于图像边缘信息，利用模板图像的亚像素边缘点作为特征点、目标图像的梯度方向的切线方向作为特征线以及相似度量值的局部极值点，根据相似度函数由金字塔从粗到精计算模板和目标图像的相似度及候选位置；在金字塔最底层得到的像素级定位精度，利用最小二乘平差进行微调整，获得亚像素级定位精度，及更高精度的角度、尺度缩放精度。本发明的方法能针对目标图像出现位移、旋转、缩放、部分遮挡、光照明暗变化，光照不均匀、杂乱背景等都能实现快速、稳定、高精度的定位和识别，可应用于需要通过机器视觉进行目标定位和识别的场合。
【专利说明】
一种带旋转、缩放的快速高精度几何模板匹配方法
技术领域
[0001] 本发明涉及图像识别技术领域，尤其涉及一种快速高精度几何模板匹配方法。
【背景技术】
[0002] 现有的模板匹配一般采用基于灰度相关的算法，以图像灰度作为匹配信息，通过 计算模板图像与目标图像子区域的灰度相关系数来度量匹配度;部分算法利用边缘特征或 采用广义霍夫变换进行匹配;还有一类是计算图像的不变矩，利用矩的信息进行匹配。
[0003] 专利文献1 (中国专利公开号CN10556695A)公开了一种基于NCC(Normalized Cross Correlation)的灰度模板匹配算法;专利文献2(中国专利公开号CN100483283C)公 开了一种基于机器视觉的二维定位装置，将数字相机安装在机床上，通过工件上的几何特 征进行定位，实现自动对刀；专利文献3(中国专利公开号CN103235939A)公开了一种基于基 准点的定位方法；专利文献4(中国专利公开号CN102034114A)公开了一种基于特征点检测 的模板匹配跟踪方法;专利文献5(中国专利公开号CN102654902B)公开了一种基于轮廓向 量特征的嵌入式图像匹配方法，该专利对国外相关文献和专利也做了总结和分析;专利文 献6(中国专利公开号CN103793712A)公开了一种基于边缘几何特征的图像识别方法;专利 文献7(中国专利公开号CN103559704A)公开了针对铁路油罐车口的视觉定位方法，通过提 取罐口的椭圆边缘特征信息利用归一化梯度互相关作为相似度度量函数进行灌口定位，并 利用金字塔策略加速;专利文献8(中国专利公开号CN104123542A)公开了一种轮毂工件定 位的装置和方法，提出了一种基于SIFT特征及圆心特征的轮毂工件定位方法，主要利用 SIFT特征的平移、旋转和尺度不变性实现模板和目标图像的匹配。
[0004] 聂垣等提出了一种利用角度直方图粗定位，再利用NCC精匹配的算法。许顺、胡旭 光、刘锦峰提出了基于NCC、圆投影和金子塔分层策略的目标定位算法，实现了带有旋转角 度的目标定位算法(许顺，机器视觉高性能模板匹配算法的研究，哈尔滨工业大学，硕士学 位论文，2010;胡旭光，视觉快速定位算法的工程实现，哈尔滨工业大学，硕士学位论文， 2010;刘锦峰，图像模板匹配快速算法研究，中南大学硕士学位论文，2007)。周晴提出了一 种基于圆弧特征的工件定位方法，通过最长圆弧基于实现粗定位，再利用剩余基元间的相 对距离完成最终的匹配(周晴，基于几何基元的实时匹配与定位技术的研究与开发，江南大 学硕士学位论文，2013)。王珂提出了一种基于有向点和有向线段的图像匹配方法，通过定 义有向点和有向线段及相似度度量函数，并通过像素级的粗匹配、亚像素的精匹配实现准 确定位(王珂，基于有向点和有向线段的图像匹配算法研究，华中科技大学博士学位论文， 2013)。倪健提出了一种基于轮廓梯度方向和强度的目标定位识别算法，也采用金字塔策略 加速。本发明人在论文《基于几何特征的快速模板匹配算法》及《基于边缘几何特征的高性 能模板匹配算法》中给出了基于几何特征的目标定位算法的基本思想。国外的机器视觉软 件例如康耐视的VisionPro、MVtec的Halcon、Hexsight、MIL等都具有几何特征目标定位算 法，但这些技术都掌握在国外企业手中，随着我国智能制造及机器人技术的发展，亟需掌握 高性能的机器视觉核心算法。
[0005] 基于灰度相关的模板匹配算法以图像灰度信息直接进行匹配，如专利文献1和聂 垣、许顺、胡旭光、刘锦峰等方法，原理简单、实现容易，处理速度快，但抗干扰性差、对于非 线性关照和部分遮挡不能很好地处理;部分基于边缘特征的方法处理速度慢，无法处理目 标存在缩放的情况，精度也不够高；利用图像不变矩的方法，处理速度慢，且提取的不变矩 有限，稳定性不高，对应图像出现部分遮挡时匹配不够理想，抗干扰性差。专利文献2、专利 文献3、专利文献7、专利文献8等利用图像中的几何特征点进行特定行业或特定应用中的目 标定位，技术的通用性较差，且专利文献8采用的SIFT特征对于无纹理物体的识别率会大幅 降低，SIFT特征也很难达到检测的实时性。专利文献6公开的方法边缘特征在二值图像上提 取，无法得到亚像素的边缘，通过能量值进行目标定位，都造成定位的精度较差，算法也无 法给出目标的尺度变化参数。周晴的方法只使用特征明显的圆弧作为匹配对象具有一定的 局限性。王珂提出的方法虽然精度较高，但处理大旋转角度目标定位时耗时过长。其它公开 的基于几何特征的目标定位方法大部分只能给出像素精度的位置信息，部分方法能给出旋 转角度参数，对于如何计算亚像素精度的位置坐标及缩放因子，在上述资料中均未公开。
【发明内容】
[0006] 本发明的目的在于提供一种基于图像边缘信息的高速、高精度模板匹配定位方 法，该方法能同时输出模板图像在目标图像中亚像素精度的位置、旋转角度和缩放比例因 子，针对目标图像出现位移、旋转、缩放、部分遮挡、光照明暗变化，光照不均匀、杂乱背景等 都能实现快速、稳定、高精度的定位和识别。本发明可以应用于需要通过机器视觉进行目标 定位和识别的场合:如机器人引导、半导体封装、电子制造、自动化装配、产品视觉检测、视 觉测量、视频跟踪等领域。
[0007] 为达上述目的，本发明通过以下技术方案实现：
[0008] -种带旋转、缩放的快速高精度几何模板匹配方法，包括以下步骤:步骤1:输入图 像，包括模板图像和目标图像;步骤2:对图像进行预处理;步骤3:图像金字塔分层;步骤4: 模板图像金字塔各层亚像素边缘点及梯度方向提取，目标图像金字塔各层梯度方向提取； 步骤5:根据上述梯度方向计算模板图像和目标图像相似度量值，逐步求精得到相似度量值 的局部极值点；步骤6:利用模板图像的亚像素边缘点作为特征点、目标图像的梯度方向的 切线方向作为特征线以及相似度量值的局部极值点，根据相似度函数由金字塔从粗到精计 算模板和目标图像的相似度及候选位置;步骤7:在金字塔最底层得到的像素级定位精度， 利用最小二乘平差进行微调整，获得亚像素级定位精度，及更高精度的角度、尺度缩放精 度;步骤8:得到目标图像中模板的坐标、角度和缩放因子。
[0009] 作为本发明的进一步改进，使用旋转矩形、圆形、椭圆、圆环、多边形中任一种工具 来选择图像中几何特征较为明显的区域作为模板图像。
[0010] 作为本发明的进一步改进，输入图像时，所述预处理为采用均值滤波或中值滤波 对目标图像中的噪声进行去噪。
[0011] 作为本发明的进一步改进，所述预处理包括对模板图像进行预处理，其中预处理 算法为边缘保持的图像滤波算法，即在去噪的同时保持原始特征边缘位置，将滤波造成的 匹配精度影响减小。
[0012] 作为本发明的进一步改进，所述步骤4具体为:在金字塔每层进行利用曲面拟合的 方式进行边缘梯度计算，计算出图像的梯度后，再对图像进行阈值判断和极大值抑制得到 像素级的边缘位置，然后在边缘点3X3邻域内的梯度值进行曲面拟合，根据梯度方向建立 一个垂直于图像的平面，利用该平面与拟合曲面的交线计算出亚像素精度的边缘点。
[0013] 作为本发明的进一步改进，所述利用最小二乘平差进行微调整具体为:边缘点梯 度方向的垂直方向即为边缘在该点的切线方向，将模板图像得到的亚像素边缘点作为特征 点，将过目标图像边缘点的切线作为特征线，通过图像金字塔算法逐步求精的过程特征点 和特征线的对应关系已基本确定，则模板匹配求亚像素坐标、角度、缩放的微调整问题可转 化为一个非线性最小二乘平差的问题来求解。
[0014] 作为本发明的进一步改进，为加速目标定位的速度，所述方法采用计算相似度量 值终止条件策略:将模板图像提取出边缘信息后，将边缘点分为两部分;设模板边缘点为n， mm分别为两部分的边缘点个数，且n i+n2 = n，n彡m，n彡m;第一部分为最零散的点，通过以 下措施得到，即先选择离模板左上角距离最远的边缘点作为第一点，再在剩余的边缘点中 挑选出第二点，使得第二点到第一点的距离最远;在剩余的边缘点中，选择到前面两点距离 和最大的点作为第三点，依次而得到m个点作为第一部分的点，剩余的边缘点作为第二部 分;分两次计算相似度量值，先计算第一部分m个点的部分相似度量值，计算完后与设定的 阈值判断若s nl < smin，smin为设定的相似度阈值，则停止计算本次相似度量值，否则在snl的 基础上，继续计算第二部分仍个点的部分相似度量值，从而得到完整的相似度量值。
[0015] 作为本发明的进一步改进，当定位方法需要进一步加速时，所述方法采用候选目 标点的筛选策略，即在目标图像的顶层金字塔图像内，每个位置都要执行一次与模板图像 对应的匹配操作；为进一步缩减匹配消耗时间，在匹配运算计算之前判断该位置是否为目 标所在可能位置。
[0016] 作为本发明的进一步改进，所述步骤6包括在金字塔最顶层的遍历整幅图像进行 搜索，得到一定数量的候选目标区域并进行排序;再剔除部分候选点，在保证稳定性的前提 下以加快处理速度;然后将剩下的候选点映射到金字塔下一层的目标图像坐标系中，继续 搜索；由于在上一层的搜索中已经得到目标区域的大致位置，因此在本层的搜索只需在映 射后位姿的小邻域内进一步搜索即可，同样当前层搜索完后需要根据一定准则剔除掉部分 冗余候选点；依次类推，直到搜索到原始分辨率层;从金字塔顶层到原始分辨率层目标图像 的分辨率越来越高，精度也越来越高，因此目标的定位也越来越精确。
【附图说明】
[0017] 图1是本发明的方法流程图；
[0018] 图2是在目标图像上设置搜索范围的示意图；
[0019] 图3是在模板上指定参考位置的示意图；
[0020]图4是模板图像进行金字塔缩放的示意图；
[0021] 图5是目标图像进行相同的层数的金字塔缩放的示意图；
[0022] 图6是以边缘梯度向量为信息的相似度量示意图；
[0023]图7是最小二乘平差不意图；
[0024]图8是模板图像亚像素边缘及梯度方向的示意图；
[0025]图9是目标图像的特征性提取、梯度方向及梯度方向切线的示意图；
[0026] 图10是金字塔搜索策略示意图。 具体实施方案
[0027] 下面通过【具体实施方式】结合附图对本发明作进一步详细说明。
[0028] 本发明的带旋转、缩放的快速高精度几何模板匹配方法，如附图1所示，包括以下 步骤:步骤1:输入图像，包括模板图像和目标图像;步骤2:对图像进行预处理;步骤3:图像 金字塔分层;步骤4:模板图像金字塔各层亚像素边缘点及梯度方向提取，目标图像金字塔 各层梯度方向提取;步骤5:根据上述梯度方向计算模板图像和目标图像相似度量值，逐步 求精得到相似度量值的局部极值点；步骤6:利用模板图像的亚像素边缘点作为特征点、目 标图像的梯度方向的切线方向作为特征线以及相似度量值的局部极值点，根据相似度函数 由金字塔从粗到精计算模板和目标图像的相似度及候选位置;步骤7:在金字塔最底层得到 的像素级定位精度，利用最小二乘平差进行微调整，获得亚像素级定位精度，及更高精度的 角度、尺度缩放精度;步骤8:得到目标图像中模板的坐标、角度和缩放因子。
[0029]下面对各步骤进行具体说明。
[0030] 1 ?图像输入
[0031] 本发明的图像输入来自于机器视觉系统的CCD或CMOS图像传感器，在输入图像中 选择边缘较为清晰的图像作为模板图像选择对象，在选择模板时可以使用(旋转)矩形、圆 形、椭圆、圆环、多边形等工具选择图像中几何特征较为明显的区域作为模板图像①，后续 的输入图像作为目标图像②。
[0032] 2?目标图像预处理
[0033]目标图像中存在较大噪声时，而且对速度要求不严苛的应用中，可以对目标图像 进行预处理，采用均值滤波或中值滤波等操作对图像中的噪声进行去噪。如果目标只在图 像的特定区域出现，可以在图像中划定一个区域作为搜索范围，这样可以加快搜索的速度， 如附图2所示。步骤③在流程中是可选的，根据具体应用需求可采用不滤波和设置搜索范围 的方式加速搜索过程。之后在步骤⑩中将图像使用2x2的均值滤波方法创建金字塔分层和 曲面拟合的方式计算图像中的边缘梯度方向。
[0034] 3.模板图像预处理
[0035] 步骤④为对模板图像的预处理，对于图像质量较好的模板图像，可以采用与目标 图像预处理相同的滤波方法。但在工业机器视觉中，由于产品对象包含强纹理，或者由于光 照变化、生产环境等因素在图像中会包含大量噪声，普通的滤波算法并不能很好地去除噪 声，在边缘特征提取时将大量增加边缘点的数量，对整体算法的效率造成影响。对速度响应 要求不高的应用中也可以使用双边滤波器对模板图像进行滤波去除噪声。本发明提出一种 高效的边缘保持的图像滤波算法，即流程中的步骤⑤，在去噪的同时保持原始特征边缘位 置，将滤波造成的匹配精度影响减小。
[0036] 给定图像g，边缘保持滤波方法得到一张新的图像，一方面该图像需要和源图像尽 量接近，另一方面，该图像需要在非大梯度的地方尽量平滑。基于此，构建出基于加权最小 二乘(Weighted Least Square，WLS)边缘保持滤波的能量表达式： (1)
[0038]其中，u表示目标边缘保持图像，g表示输入源图像。p表示空间像素的位置。数据项 (uP_gP)2是让目标边缘保持图像与输入源图像尽量接近。二次项知.办)(|說1.%^)(舞)爹为 边缘的平滑与保持项A为零次项和二次项的权重，A越大，图像就越平滑，ax,p(g)和 ay,p(p) 是和源图像梯度成反比的两个系数。Lischinski给出的形式定义如下：
(2)
[0040]其中，1为源图像g的对数，a表示该项对于梯度的敏感程度，G为一个很小的值，防 止分母为0。将能量函数改写成矩阵形式：
[0041 ] '--§) 4- Aj-Djr?；；： 4- tiTDy A^Dp-u) (.3.)
[0042] 其中，Ax和Ay为包含平滑权重ax,P(g)和a y,P(p)的对角矩阵，而Dx和Dy为离散型微分 算子。使目标函数一阶微分为〇,可以通过求解基于大型稀疏矩阵的线性方程(4)来得到u:
[0043] (I+ALg)u = g (4)
[0044] 其中％ = Dp』* + 相当于4邻域非齐次拉普拉斯矩阵。
[0045] 在二维情况下，需要求解一个大型稀疏矩阵的线性方程来获得解，而该线性系统 为一个4邻域非齐次拉普拉斯矩阵和一个单位矩阵的加权和。该类方程的求解一般通过 Conjugate Gradient(CG)或者Preconditioned Conjugate Gradient(PCG)求解。直接在二 维图像上计算，其运算效率较低，对于1维信号，该算法具有更高的效率。根据这个特点，本 发明中提出如下的加速算法方案：
[0046] 首先，对于输入一维信号，原能量表达式(1)变为：
(5)
[0048] 将其改写成矩阵形式：????其解可以通过求解方式 (5)形式的方程获得，而此时，.s::句.'('4.:，.这样令A= I+ALg，这相当于求解Ax = b形式的线 性方程，而A变为三角矩阵。三角矩阵得线性方程可以通过高斯消元法求解，其时间复杂度 为〇(N)，相对于CG和PCG这将大大提高运算效率。
[0049] 其次，通过对图像的每一列与每一行运用一维WLS，分别获得x方向和y方向的边缘 保持滤波结果。本发明中提出一个模拟二维WLS结果的方式，运用一维WLS，获得x方向和y方 向的边缘保持滤波结果，通过对这两个方向求梯度，得到期望的边缘保持滤波x方向和y方 向的梯度。利用能量函数(6)实现由这两个期望的梯度恢复出期望的结果。
[0050] 4' (.6:).
[0051] 其中，f表示目标边缘保持图像，u表示输入源图像，办。（卷滅)为希望得到的轮廓 边缘信息。P表示空间像素的位置。数据项(f P_uP)2是让目标边缘保持图像与输入源图像尽 量接近。二次项-浐) 2十(各4 -沪)2使目标梯度与期望梯度尽量接近。入为零次项和二 次项的权重。通过目标函数求解得到的结果即为与源图像的差和梯度信息图像的差的加权 和最接近的图像。
[0052] Pravin Bhat等对于梯度域方程提出了快速且方便的傅里叶分析方法，首先把目 标函数(6)改写成连续形式(7)
[0053] mm jJ(A(/ - uf t (7)
[0054] 运用欧拉-拉格朗日方程，并重新组织得到
[0055] n) - %i) - Vgh-,y) (8)
[0056] 其方法把方程(8)重写为离散形式，
[0057] Xf (4* * 4；； * /4'^dy % /} ? Ate ^ 4-* (}§) (9.):.
[0058] 其中，dx= [-1，1]，dy= [-1，1]T分别为x和y的一阶微分算子。空域卷积相当于频域 的乘积，通过傅里叶变换和反傅里叶变换，可以得到：
(10)
[0060]上述的计算方法综合后的新表达方式如式（11)所示。求解能量表达式（1)是一项 极消耗运算资源的计算，我们将能量表达式（1)分解成一系列求解更为快速或者带快速算 法的能量表达式来模拟能量表达式(1)的结果，该算法在加速的同时不影响滤波的结果。
[0062] 算法流程中的步骤⑤为可选项，根据目标图像的具体情况选择。在截取模板图像 后，只能得到模板的中心位置坐标，在一些应用中模板中心并不是所需的位置，根据需要设 置新的参考位置，在模板上指定任意位置作为参考位置，如附图3所示，通过计算参考位置 与模板中心的位置关系，在目标图像中找到模板后直接输出参考位置的坐标(步骤⑥）。
[0063] 然后对步骤⑦中经过滤波的模板图像进行金字塔分层，金字塔层数L根据图像的 大小确定，如附图4和附图5所示为模板和目标图像的金字塔示意图。然后在金字塔每层进 行利用曲面拟合的方式进行边缘梯度计算⑨。计算出图像的梯度后，再对图像进行阈值判 断和极大值抑制得到像素级的边缘位置，然后在边缘点3X3邻域内的梯度值进行曲面拟 合，根据梯度方向建立一个垂直于图像的平面，利用该平面与拟合曲面的交线计算出亚像 素精度的边缘点。
[0064] 4.模板与目标的相似度量
[0065] 本发明中的第?步计算相似度量值时以边缘点梯度向量作为匹配信息。模板经边 缘检测算法处理后，转化成由一系列点Pi=(xi，yi) T，i = l，2,…，n构成，对应于每个点有一 个梯度方向向量di=(ti，m)T。
[0066] 目标图像经相同处理转化成由点（x，y)和与之对应的方向向量ex,y= (vx,y，wx,y)T 来表示。匹配过程中，经变换的模板与目标图像某一位置的子图像计算相似度量值。模板中 边缘点P(x，y)梯度向量经变换后为则在目标图像某位置q=[x，y] T子图像处， 如附图6所示。当一对对应边缘点梯度方向相同时，点积取得最大值;梯度方向正交时，点积 值为零;梯度方向相反时，点积值为负的最大值，模板与目标图像的经过归一化向量后的相 似度计算公式为〃二>，上式中3和&分别为d和e的归一化表示，两个单位 向量方向一致时，向量的点积取得最大值1;两个向量正交时，点积值为〇;两个向量方向相 反时；点积值为负的最大-1;当两个向量为其他夹角时，向量的点积为COS0，0为两个向量之 间的夹角。通过计算模板与子图像对应边缘点的梯度向量点积平均值来评价模板图像与目 标子图像的相似程度。根据计算得到的相似度量值的取值范围理论上是整个实数域，不方 便用于判断子图像是否为符合要求的结果，即很难确定一个阈值来筛选所需要的结果，因 而对梯度向量进行归一化为单位向量，即进行归一化处理，此时，相似度量函数对任意光照 变化具有不变性，若目标图像中有噪声，由于噪声引起的梯度方向向量是随机的，平均起来 对以上求和公式的贡献约等于零，因为具有很好的抗干扰性.归一化后，相似度值的取值范 围为[-1，1]，当度量值为1时，表示模板与目标图像完全匹配;当度量值为-1时，说明模板与 目标子图像明暗对比颠倒;此相似度量对部分遮挡和混杂的情况也能处理，相似度量值大 致与可见部分成比例。
[0067] 为加速目标定位的速度，本发明提出了一种计算相似度量值终止条件策略。将模 板图像提取出边缘信息后，将边缘点分为两部分。设模板边缘点为n，nin 2分别为两部分的边 缘点个数。且m+n2=n，n多m，n多m。第一部分为最零散的点，可以通过以下措施得到，即先 选择离模板左上角距离最远的边缘点作为第一点，再在剩余的边缘点中挑选出第二点，使 得第二点到第一点的距离最远;在剩余的边缘点中，选择到前面两点距离和最大的点作为 第三点，依次而得到m个点作为第一部分的点。剩余的边缘点作为第二部分。分两次计算相 似度量值，先计算第一部分m个点的部分相似度量值，计算完后与设定的阈值判断若s nl< Smin，Smin为设定的相似度阈值，贝停止计算本次相似度量值，否则在Snl的基础上，继续计算 第二部分m个点的部分相似度量值，从而得到完整的相似度量值。
[0068] 5.获得高精度的方法
[0069] 在采用图像金字塔的逐步求精的搜索策略后，得到的匹配位置，坐标精度为像素 级，且旋转和缩放精度有限，需要经一步提高匹配精度，以满足高精度的要求。此时，利用非 线性最小二乘平差理论提高模板匹配算法的精度，其原理如附图7所示。
[0070] 在步骤?和中，边缘点梯度方向的垂直方向即为边缘在该点的切线方向，将模 板图像得到的亚像素边缘点作为特征点，将过目标图像边缘点的切线作为特征线，如附图 8、附图9所示。通过图像金字塔算法逐步求精的过程特征点和特征线的对应关系已基本确 定，则模板匹配求亚像素坐标、角度、缩放的微调整问题可转化为一个非线性最小二乘平差 的问题来求解。
[0071]给定点p(x，y)齐次坐标为p(x，y，l)和对应的特征线v=(a，b，c)，满足ax+by = c且 a2+b2 = 1贝lj点p到特征线v的最小距离为：
[0072] dmin = ax+by-c = (a，b，_c) ? (x，y，l)T (II)
[OO73 ]设特征点的平移量为(x，y)，旋转量为9，缩放比例为s = so+ A s (SQ为初始的缩放比 例，即最小二乘平差之前粗略的缩放比例），则变换矩阵的齐次坐标表达式为：
[0074] 良容）'二 | 料知沒 ^ COS V (12)
[0 0 1 ^
[0075] 则所有特征点到与之对应的特征线最小距离的平方和为： n
[0076] ^C；S', 0, s) -? ^2 |K?| C13 )
[0077] 其中，tf为特征线向量的齐次表达式，为特征点齐次坐标.由图像金字塔逐步 求精可以得到像素级位置精度和0.5度误差的旋转角度精度，根据泰勒展开近似得到sin0 ~0，cos0~1，式(13)简化为：
[0078] 與屯趴沒,办）：.{. &设.f 細....( 14) J：ccc i
[0079] 其中ai = biXi_aiYi，0i = aiXi+biYi。式（14)分别对x，y，9，s求偏导数，并令其等于 零，通过非线性最小二乘的方法求得最优解，即可计算得到目标的亚像素精度的位置、旋转 角及缩放尺度参数。
[0080] 6.搜索策略
[0081] 本发明的目的是要找到目标图像中与模板图像中符合相似度要求(单目标时为全 局相似度最大，多目标时为局部相似度最大）的子区域位姿。因此，在金字塔最顶层的遍历 整幅图像进行搜索，得到一定数量的候选目标区域并依据一定准则进行排序;再根据一定 原则剔除部分候选点，在保证稳定性的前提下以加快处理速度。然后将剩下的候选点映射 到金字塔下一层的目标图像坐标系中，继续搜索；由于在上一层的搜索中已经得到目标区 域的大致位置，因此在本层的搜索只需在映射后位姿的小邻域内进一步搜索即可，同样当 前层搜索完后需要根据一定准则剔除掉部分冗余候选点。依次类推，直到搜索到原始分辨 率层;从金字塔顶层到原始分辨率层目标图像的分辨率越来越高，精度也越来越高，因此目 标的定位也越来越精确，搜索过程如附图10所示。最后在原始分辨率下通过第?步得到亚 像素级精度的目标区域的位姿。
[0082] 7.基于候选目标点筛选的加速策略
[0083] 当定位方法需要进一步加速时，本发明中采用了一种候选目标点的筛选策略，即 步骤?，在目标图像的顶层金字塔图像内，每个位置都要执行一次与模板图像对应的匹配 操作。为进一步缩减匹配消耗时间，在匹配运算计算之前判断该位置是否为目标所在可能 位置(候选点）。以向量形式表现单点模板匹配的度量函数s = di ? ex,y，所有模板点都参与 匹配运算操作时，匹配度量函数表现为s= | |D ? E| |，其中D={di| (dhcb，…，dn)}，E={ei (ei，e2,…，en)} 〇
[0084] 7.1减少运算量
[0085] 根据柯西-施瓦茨(Cauchy-Schwarz)不等式 | |D.E||<||D|| ? ||E| |。等式左侧 即是模板匹配度量函数分值，式中含有大量的乘积运算及加法运算；右侧的运算量可以分 为在线运算及线下运算，相交左侧极大减少运算量。当右侧等式不满足外设条件的情况下， 即判断左侧度量函数不符合候选点要求，节省在该位置的相应计算工作，提高了匹配速度。 [0086] 7.2判断条件转换
[0087] 设定a，b分别为模板点单位向量集合及对应目标图像点单位向量集合，根据柯西-施瓦茨不等式及误差项关系，有下等式：
[0088] |a| |2 ? | |b| |2-(a ? b)2 = | | a | |2 ? | | c | |2 (15)
[0089]上述等式中（a* b)2分解为虚部与实部：
[0090] (a. ^)2 ^ 4-1~ ^ kR- < n2 - ^ < (I - .s21 > n > (16)
[0091] 其中R表示实部，I表示虚部，smin表示最小匹配度量值，n模板边缘点个数。假设| |c |2 = 1| |b| |2，（le[0，l])得如下等式：
(17)
[0093]最后需要计算的| |b| |2表示目标图像中某个匹配位置上模板范围内的边缘点个 数。不同区域的数值可以使用积分图像快速计算得到。当I |b| |2符合等式（17)时，目标图像 上该点位置是一个候选点，否则度量函数计算过程直接跳过当前位置，以加速计算过程。 [0094]本发明的方法具有以下优点：
[0095] 稳定可靠一一由于选取的度量函数具有很好的抗干扰性(噪声对度量函数的贡献 近似为零），且对非线性光照和明暗变化不敏感，因此具有良好的鲁棒性；
[0096] 匹配速度快一一度量函数需要计算的参数简单，且采用图像金字塔，通过逐步求 精的搜索策略，保证了匹配的快速性，能够保证处理的实时性；
[0097]尚精度 在逐步求精的过程中，最后一步通过最小二乘平差理论，进一步提尚 匹配结果的精度，不仅使坐标精度达到亚像素级，且旋转角度的精度达到±0.01°，缩放比 例的精度达到±0.02 %。
[0098]以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定 本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在 不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的 保护范围。
【主权项】
1. 一种带旋转、缩放的快速高精度几何模板匹配方法，其特征在于:所述方法包括以下 步骤： 步骤1:输入图像，包括模板图像和目标图像； 步骤2:对图像进行预处理； 步骤3:图像金字塔分层； 步骤4:模板图像金字塔各层亚像素边缘点及梯度方向提取，目标图像金字塔各层梯度 方向提取； 步骤5:根据上述梯度方向计算模板图像和目标图像相似度量值，逐步求精得到相似度 量值的局部极值点； 步骤6:利用模板图像的亚像素边缘点作为特征点、目标图像的梯度方向的切线方向作 为特征线以及相似度量值的局部极值点，根据相似度函数由金字塔从粗到精计算模板和目 标图像的相似度及候选位置； 步骤7:在金字塔最底层得到的像素级定位精度，利用最小二乘平差进行微调整，获得 亚像素级定位精度，及更高精度的角度、尺度缩放精度； 步骤8:得到目标图像中模板的坐标、角度和缩放因子。2. 根据权利要求1所述的方法，其特征在于:使用旋转矩形、圆形、椭圆、圆环、多边形中 任一种工具来选择图像中几何特征较为明显的区域作为模板图像。3. 根据权利要求1所述的方法，其特征在于:输入图像时，所述预处理为采用均值滤波 或中值滤波对目标图像中的噪声进行去噪。4. 根据权利要求1所述的方法，其特征在于:所述预处理包括对模板图像进行预处理， 其中预处理算法为边缘保持的图像滤波算法，即在去噪的同时保持原始特征边缘位置，将 滤波造成的匹配精度影响减小。5. 根据权利要求1所述的方法，其特征在于:所述步骤4具体为:在金字塔每层进行利用 曲面拟合的方式进行边缘梯度计算，计算出图像的梯度后，再对图像进行阈值判断和极大 值抑制得到像素级的边缘位置，然后在边缘点3X3邻域内的梯度值进行曲面拟合，根据梯 度方向建立一个垂直于图像的平面，利用该平面与拟合曲面的交线计算出亚像素精度的边 缘点。6. 根据权利要求1所述的方法，其特征在于：所述利用最小二乘平差进行微调整具体 为:边缘点梯度方向的垂直方向即为边缘在该点的切线方向，将模板图像得到的亚像素边 缘点作为特征点，将过目标图像边缘点的切线作为特征线，通过图像金字塔算法逐步求精 的过程特征点和特征线的对应关系已基本确定，则模板匹配求亚像素坐标、角度、缩放的微 调整问题可转化为一个非线性最小二乘平差的问题来求解。7. 根据权利要求1所述的方法，其特征在于:为加速目标定位的速度，所述方法采用计 算相似度量值终止条件策略:将模板图像提取出边缘信息后，将边缘点分为两部分;设模板 边缘点为η，η?，Π2分别为两部分的边缘点个数，且111+112 = 11，11多111，11多112;第一部分为最零散 的点，通过以下措施得到，即先选择离模板左上角距离最远的边缘点作为第一点，再在剩余 的边缘点中挑选出第二点，使得第二点到第一点的距离最远;在剩余的边缘点中，选择到前 面两点距离和最大的点作为第三点，依次而得到m个点作为第一部分的点，剩余的边缘点 作为第二部分;分两次计算相似度量值，先计算第一部分m个点的部分相似度量值，计算完 后与设定的阈值判断若snl<s_，s_为设定的相似度阈值，则停止计算本次相似度量值，否 则在Snl的基础上，继续计算第二部分1!2个点的部分相似度量值，从而得到完整的相似度量 值。8. 根据权利要求1所述的方法，其特征在于：当定位方法需要进一步加速时，所述方法 采用候选目标点的筛选策略，即在目标图像的顶层金字塔图像内，每个位置都要执行一次 与模板图像对应的匹配操作;为进一步缩减匹配消耗时间，在匹配运算计算之前判断该位 置是否为目标所在可能位置。9. 根据权利要求1所述的方法，其特征在于:所述步骤6包括在金字塔最顶层的遍历整 幅图像进行搜索，得到一定数量的候选目标区域并进行排序;再剔除部分候选点，在保证稳 定性的前提下以加快处理速度;然后将剩下的候选点映射到金字塔下一层的目标图像坐标 系中，继续搜索；由于在上一层的搜索中已经得到目标区域的大致位置，因此在本层的搜索 只需在映射后位姿的小邻域内进一步搜索即可，同样当前层搜索完后需要根据一定准则剔 除掉部分冗余候选点；依次类推，直到搜索到原始分辨率层;从金字塔顶层到原始分辨率层 目标图像的分辨率越来越高，精度也越来越高，因此目标的定位也越来越精确。
【文档编号】G06K9/62GK105930858SQ201610209308
【公开日】2016年9月7日
【申请日】2016年4月6日
【发明人】吴晓军, 邹广华, 王鑫欢
【申请人】吴晓军