基于极线校正的亚像素级相位立体匹配方法
【专利摘要】本发明属于机器视觉领域，涉及一种基于极线校正的亚像素级相位立体匹配方法，主要针对双目结构投影栅相位法三维测量系统中立体匹配的效率与精度问题，方法通过外极线校正算法将双目立体视觉几何结构校正为平视双目标准几何结构，使匹配点在左右相机上成的像位于同一水平线上，采用双线性内插法获得校正后新相位图的稠密相位值，并提出一种基于相位区域的立体匹配算法，获得初始匹配点，采用基于最小二乘法的曲面拟合将初始匹配点附近3×3邻域内的相似度量拟合为一个二次曲面，然后求解得到该曲面的局部最小值，得到与待匹配点相位相同的右摄像机匹配点坐标，该方法能够快速、准确地实现稠密的立体匹配，满足工业应用的需求。
【专利说明】基于极线校正的亚像素级相位立体匹配方法
【技术领域】
[0001] 本发明属于机器视觉领域，特别涉及一种基于极线校正的亚像素级相位立体匹配 方法，能够满足工业测量中高效快速的匹配的要求。
【背景技术】
[0002] 基于投影栅相位法的双目立体视觉测量系统是光学非接触式三维型面密集型测 量的一种重要方法。该方法具有快速、高精度等特点，在工业测量中得到广泛应用。视觉测 量系统采用数字投影仪投射光栅条纹到物体表面，通过采集多帧条纹图像来计算包含有被 测物体表面三维信息的包裹相位图，相位值被包裹在[-nn ]，并采用相应的方法对包裹 相位进行解包，获取连续的绝对相位值；然后，以相位信息作为全场特征点进行立体匹配， 得到双目立体视觉的高精度、稠密型视差图（disparity map)。其中，基于相位信息的立体 匹配是影响视觉测量系统性能的主要因素之一。相位立体匹配问题的关键是找出每对图像 间等相位点的对应关系，得到视差图。传统的方法大多利用两组相互垂直的光栅获取两条 等相位线，再通过两条等相位线相交实现立体匹配。由于此方法需要投射两组光栅，无法满 足工业测量的快速性要求；传统的利用极线约束的匹配方法通过在外极线上寻找等相位点 将匹配过程由二维转化成一维，提高了匹配速度和精度。但是每个待匹配点的极线求取、畸 变校正等计算量较大，影响测量速度。
[0003] 本发明针对传统的相位立体匹配方法的不足，提出了一种基于极线校正的亚像素 级相位立体匹配方法。该方法通过校正立体视觉系统的方法，简化了匹配的复杂度；并在极 线约束的基础上提出通过计算待匹配点n领域相位模板与右相位图像间的相似度来实现 初始匹配点的定位；之后，提出采用基于最小二乘法的二次曲面拟合方法，将初始匹配点附 近3X3邻域内的相似度量值拟合为一个二次曲面，拟合曲面的峰值坐标即为亚像素精度 级最优匹配位置坐标；最后，根据平视双目视觉测量原理求得视差图。
【发明内容】
[0004] 本发明的目的是克服现有技术的上述不足，提供一种基于极线校正的亚像素级相 位立体匹配方法，其关键技术能够为工业测量提供高精度、高效率的匹配方法，避免传统匹 配技术中计算量较大、速度较慢、精度不高等缺点。
[0005] 本发明是通过这样的技术方案实现的：一种基于极线校正的亚像素级相位立体匹 配方法，其特征在于，包括下列步骤：
[0006] (1)标定摄像机内外参数；
[0007] (2)极线校正得到具有标准极线几何结构的立体像对；
[0008] (3)相位插值得到极线校正后的相位图；
[0009] (4)亚像素级相位立体匹配得到立体像对的对应匹配点，进而获取视差图。
[0010] 本发明的有益效果：提出了一种基于相位信息的匹配方法。该方法综合运用了摄 像机标定、图像极线校正、基于相位信息相似性度量的模板匹配和亚像素级相位立体匹配 等技术。首先，根据摄像机成像模型，对摄像机进行内外部参数标定。再根据所标定的内外 部参数得到立体像对基本矩阵。然后根据所得到的基本矩阵进行极线校正。然后，通过双线 性内插值法进行相位插值，得到经过极线校正后的相位图。最后，通过模板匹配的方法，确 定初始匹配点，再通过基于最小二乘的二次曲面拟合的方法在初始匹配点3X3邻域内进 行亚像素级定位，进而得到亚像素级的匹配点。本发明与现有技术相比较具有如下优点：
[0011] 1.通过校正立体视觉系统的方法,简化了匹配的复杂度,提高匹配的速度。
[0012] 2.本发明采用基于相位区域的匹配方法进行初定位，相位区域覆盖的图像空间 大，且不易受噪声、光度变化等因素的影响，可以减少误匹配发生的几率。
[0013] 3.采用基于最小二乘的二次曲面拟合方法，可以获得亚像素级匹配位置坐标，提 高匹配的精度。
【专利附图】
【附图说明】
[0014] 图1:本发明的系统框图；
[0015] 图2 :平视双目标准几何结构示意图；
[0016] 图3 :双目立体视觉系统视差模型说明图；
[0017] 图4:双线性插值说明图
【具体实施方式】
[0018] 本发明的系统框图如图1所示，首先摄像机进行内外参数标定，利用标定的内外 参数获得立体像对的基础矩阵，然后根据所获得的基本矩阵进行极线校正，得到具有标准 极几何结构的立体像对，根据校正后的图像，采用双线性插值的方法进行相位插值，之后再 根据相位图，采用模板匹配的方法，通过计算相似度量值来获取初始匹配点，最后，采用基 于最小二乘法的曲面拟合方法进行二次曲面拟合，选取拟合曲面的峰值坐标做为最优匹配 位置坐标，从而得到亚像素级最优匹配位置坐标。下面结合附图，对本发明技术方案的具体 实施过程加以说明。
[0019] 1.摄像机内外参数标定
[0020] 建立面阵摄像机的非线性成像几何模型，基于两步法思想对摄像机进行标定，得 到内部参数：摄像机的光学和几何参数，以及外部参数：摄像机坐标系和世界坐标系之间 的位姿关系。
[0021] 2.极线校正得到具有标准极线几何结构的立体像对
[0022] 为了减小匹配的计算量，提高匹配的速度和精度，进行极线校正。极线校正就是经 过一系列变换把双目立体视觉几何结构校正为平视双目标准几何结构，即左右摄像机的成 像平面在同一个平面上且是垂直对齐的。
[0023] 平视双目标准几何结构如图2所示。校正后图像对成像坐标系只有平移，所以外 极线都平行。任何一对匹配特征点的列坐标差值即为视差，可以表示物体的深度信息。
[0024] 在平视双目标准几何结构下，重构空间点深度信息变得非常简单。如图3所示，图 为从摄像机坐标系的y轴方向观察得到的剖面图。点的深度值就是该点在世界坐标系下的 z坐标。空间APw在左右图像中的视差可以表示为：
[0025] d = C2-C1 (7)
[0026] 通过对相似三角形O1O2Pw和P 1P2Pw分析，得出Pw的深度只取决于点P1和点P 2的列 坐标差值，即Pw的深度只取决于点P1和P2视差，则空间点Pw的三维坐标表示为：
【权利要求】
1. 一种基于极线校正的亚像素级相位立体匹配方法，包括下列步骤： (1) 标定摄像机内外参数； (2) 极线校正得到具有标准极线几何结构的立体像对； (3) 相位插值得到极线校正后的相位图； (4) 亚像素级相位立体匹配得到立体像对的对应匹配点，进而获取视差图。
2. 根据权利要求1所述的一种基于极线校正的亚像素级相位立体匹配方法，其特征在 于，步骤（1)中，建立面阵摄像机的非线性成像几何模型，基于两步法思想对摄像机进行标 定，得到内部参数：摄像机的光学和几何参数，以及外部参数：摄像机坐标系和世界坐标系 之间的位姿关系。
3. 根据权利要求1所述的一种基于极线校正的亚像素级相位立体匹配方法，其特征在 于，步骤（2)中，为了减小匹配的复杂度，提高匹配的速度和精度，进行极线校正，极线校正 就是经过一系列变换把双目立体视觉几何结构校正为平视双目标准几何结构，即左右摄像 机的成像平面在同一个平面上且是垂直对齐的；校正后图像对成像坐标系只有平移，所以 外极线都平行，任何一对匹配特征点的列坐标差值即为视差，表示物体的深度信息；在平视 双目标准几何结构下，重构空间点深度信息较简单。
4. 根据权利要求1所述的一种基于极线校正的亚像素级相位立体匹配方法，其特征在 于，步骤（3)中，经过极线校正后相位图上点的坐标在原始图像上的对应坐标点一般为像 素坐标，可以通过双线性内插值法计算出极线校正后的相位图； 假设变换后像素的中心位于一个正方形中，此正方形的四个顶点就是与此像素相邻的 四个像素的中心点，若极线校正后相位图上任一点P的待求相位为其对应的极线校正 前原始相位图上一点为Ptl(Xt), yj，取Ptl临近的4个像素点： P00 (x00, y00)，P01U01, y01),P10(x10, y10)，P11Oc11, yn);对应的相位值分别为： (尤_，,?)，乳I (.?" .Fm )，(-?" .Fhs )和熟 I (-?，少、1); 所以用相应的的权重配合这四个灰度值进行插值运算，权重值由Ptl与周围4点的距 尚确定； 首先，分别计算转换后的坐标到四个相邻像素中心点的垂直方向和水平方向距离，这 些计算出的距离值在〇到1之间； 然后，根据距离值计算出不同灰度值所占权重后利用双线性内插法获得新相位图上点 的相位值： (pp= b(a(p{, + (l - cr)?>〇i) + (I - h%a <pV) + (I - a ^pm) (I) 其中，a，b为到输入图像中邻近的像素中心的距离。
5. 根据权利要求1所述的一种基于极线校正的亚像素级相位立体匹配方法，其特征在 于，步骤⑷中，在极线校正后的新相位图像对中，左相位图任一待匹配点的对应匹配点的 搜索可简化为在外极线上寻找最相关点；相关点的搜索在极线约束、唯一性约束、相位单 调约束、顺序一致性约束的基础上，通过计算待匹配点n邻域相位模板与右相位图像间的 相似度来实现： 首先根据左摄像机相位图中待匹配点为中心的n邻域相位模板，在右摄像机相位图的 中心点横坐标相同的直线上搜索与左图该相位模板相似度最高的区域作为匹配区域，则该 区域的中心点为左摄像机相位图中待匹配点的初始匹配点，模板由一幅图像t(r，c)以及 相应的待匹配点邻域T指定； 然后基于模板范围内灰度值计算一个标量值作为相似度量，相似度量值越小，模板 与图像之间的相关性越大；相似度量方法采用计算模板与图像之间差值的绝对值的总和 (SAD)，等式为：
在式（2)中，n是模板连通区域中点的数量，即n = |T|，f (r+u，c+v)是模板连通区域 移到图像当前位置时连通区域中的灰度值； 在上述匹配点搜索过程中，必须对右摄像机相位图横坐标相同的外极线上的平移位置 依次计算出相似度量值，为了快速找到匹配点，设置一个自适应阈值ts作为相似度量值上 限，对是否继续计算相似度量值进行判定，减少部分平移位置相似度量值的计算，阈值判定 公式如下：
由于相似度量值是求邻域内各点差值绝对值和，假设已经计算得到等式（3)中前j项 的总和sad/ (r, c)，得到等式：
因此在sad/ (r，c) 3nts的情况下停止计算，计算下一个平移位置的相似度量值；在 sad/ (r，c)〈nts的情况下，选择ts作为当前阈值，自适应阈值ts的使用减少了相似度量 值的计算量； 为了得到亚像素精度级的匹配点位置，采用基于最小二乘法的二次曲面拟合方法，将 初始匹配点附近3X3邻域内的相似度量值拟合为一个二次曲面，拟合曲面的峰值坐标即 为最优匹配位置坐标；然后，根据邻近点相位进行线性插值，得到与待匹配点相位相同的右 摄像机匹配点坐标，完成相位立体匹配； 选择如下拟合函数： F (G, X) = ax2+bxy+cy2+dx+ey+f = O (5) 其中，G = [a, b, c, d, e, f]T，X = [X2, xy, y2, x, y, 1]T，F(G, Xi)为点（Xi, yj 到曲线F(G, X) =〇的"代数距离"，采用最小二乘法求解方程，即可解出拟合函数的系数； 为此，在式（5)中分别对x，y求偏导，并使偏导为0,即：
【文档编号】G06T7/00GK104331897SQ201410675250
【公开日】2015年2月4日 申请日期:2014年11月21日 优先权日:2014年11月21日
【发明者】耿磊, 郎建业, 肖志涛, 张芳, 吴骏, 李月龙, 刘洋, 叶琨, 苏静静 申请人:天津工业大学