专利名称：一种基于双目立体视觉多视角的物体表面重建方法及装置的制作方法
技术领域：
本发明属于计算机视觉测量技术领域，具体涉及一种基于双目立体视觉多视角的物体表面重建方法及装置。
背景技术：
双目立体视觉是计算机视觉中的一个重要研究领域，即直接模拟人类双眼处理景物的方式，对空间点进行立体定位，有适用性广，方法简单等特点。基于计算机视觉的双目立体测量系统是一个高效率的物体表面三维信息获取工具，在各个领域有广泛的应用前景。如在工业检测领域，应用该技术可以对三维物体的形貌测量，可以检测出物体表面是否变形，为确定零件的质量提供判断的依据；在文物保护领域，应用该技术能将真实文物古迹的三维几何信息都记录下来，那么这些文物古迹的数字模型就可以永久地保存下来。
双目立体测量系统包括供待测物体放置的转盘、左右两台摄像机和与摄像机连接的计算机；在双目立体测量系统中为了降低像素匹配难度，通常利用投影仪向物体投射一系列格雷码等编码的光条图像，将邻域窗从空间域扩展到时空域，但这样得到的深度图像数据含有较强的条纹模式。基于计算机立体视觉的双目立体测量系统涉及到对物体三维表面进行重建，而重建过程中的对物体表面采样点的配准是一个关键步骤。物体三维表面采样点的配准方法分有被动式和主动式两类。主动式方法是指在各个视角的深度图像数据采集时就主动地去记录可以导出各观察角度互相位置的信息，这种方法往往需要精密昂贵的移位装置，或者需要物体表面有明显的可以提取的特征等诸多不方便的地方。被动式方法是指从两两视角三维曲面数据本身信息中提取相互之间的旋转平移关系，并将其对齐至同一坐标系中。Besl等人在标题为A method of registration of3D shape (IEEE Trans. PAMI，1992，14 (2) :239-256)的文章中提出的迭代最近点(ICP)算法就是一种比较典型的被动式方法；但该方法若所给初值不当，算法将会陷入局部最小，造成迭代不能收敛到正确的结果；另一方面，ICP算法是一个迭代的过程，每一次迭代的过程都要确定对应点，算法的大部分时间是在寻找对应点，这样的ICP算法速度往往受到很大的限制。
发明内容
针对现有技术所存在的上述技术缺陷，本发明提供了一种基于双目立体视觉多视角的物体表面重建方法及装置，能够解决配准过程陷入局部最小，配准结果错误等问题，提高重建生成的三维深度数据图像的质量。一种基于双目立体视觉多视角的物体表面重建方法，包括如下步骤(I)构建由左摄像机和右摄像机构成的双目立体视觉系统，并建立摄像机坐标系；对所述的双目立体视觉系统进行标定，得到系统的标定参数；所述的摄像机坐标系为左摄像机坐标系或右摄像机坐标系；所述的标定参数包括左摄像机坐标系的内参数和外参数、右摄像机坐标系的内参数和外参数以及左摄像机坐标系与右摄像机坐标系的旋转矩阵和平移向量；(2)利用投影仪向处于转盘上的物体投射光条图像，并使左摄像机和右摄像机对物体进行多视角摄像，获得若干张物体图像；根据这些物体图像以及所述的标定参数求得物体表面的三维空间信息；物体表面的三维空间信息包含各视角下物体表面所有采样点在摄像机坐标系下的坐标；(3)建立转盘坐标系，计算转盘的转轴的三维空间信息；转轴的三维空间信息包含转轴在摄像机坐标系下的方向以及转轴上的一点在摄像机坐标系下的坐标；(4)根据转轴的三维空间信息计算出转盘坐标系与摄像机坐标系的旋转矩阵和平移向量，进而对物体表面的三维空间信息进行配准；
(5)对物体表面配准后的三维空间信息进行数据融合，得到物体的三维表面重建模型。光条图像的光条编码模式可基于格雷码、Sawtooth(锯齿)码等。优选地，所述的光条图像的光条编码模式基于格雷码。双目区域匹配最大的弱点就是对于空间物体无纹理区域，或者纹理信息重复的区域，匹配难度较大；采用基于格雷码的光条编码模式可以较好地解决这个问题。优选地，所述的步骤(2)中，使左摄像机和右摄像机对物体进行多视角摄像的过程为首先，对当前转盘上的物体进行摄像，获得一组物体图像；然后，使转盘沿一方向每旋转360/n度后，对物体进行摄像，直至转盘旋转完一周，共获得n组物体图像；n为视角个数且为大于4的自然数；每组物体图像中包含由左摄像机和右摄像机分别采集到的多张物体图像，且左摄像机采集到的物体图像与右摄像机采集到的物体图像数量相同。通过这种方法就可以完整的获得物体全方位的点信息。优选地，所述的步骤(3)中，计算转轴在摄像机坐标系下的方向的过程如下a.在转盘上设立棋盘格，利用左摄像机对棋盘格进行多视角摄像，每个视角采集一张棋盘格图像，获得多张棋盘格图像；b.根据多张棋盘格图像以及标定参数计算出各视角下棋盘格上所有交叉点在摄像机坐标系下的坐标；c.根据各视角下每个交叉点在摄像机坐标系下的坐标，确定每个交叉点所对应的旋转平面，进而计算每个旋转平面在摄像机坐标系下的法向；d.对所有交叉点对应的法向求平均，则求得的平均法向即为转轴在摄像机坐标系下的方向。获得多个法向后求平均可以较好地避免个别数据点出现很大偏差，进而影响最终求解结果的问题。优选地，所述的步骤(3)中，计算转轴上的一点在摄像机坐标系下的坐标的过程如下a.在转盘上设立棋盘格，利用左摄像机对棋盘格进行多视角摄像，每个视角采集一张棋盘格图像，获得多张棋盘格图像；b.根据多张棋盘格图像以及标定参数计算出各视角下棋盘格上所有交叉点在摄像机坐标系下的坐标；c.根据各视角下每个交叉点在摄像机坐标系下的坐标，确定每个交叉点所对应的旋转圆弧，进而计算每个旋转圆弧的圆心在摄像机坐标系下的坐标；d.对所有交叉点对应的圆心的坐标求平均，则求得的平均坐标即为转轴上的一点在摄像机坐标系下的坐标。棋盘格点围绕转轴旋转，因此可以计算每个旋转圆弧的圆心即为转轴上的一点，这种方法是获取转轴上一点最为简单的一种方法。进一步优选地，利用左摄像机对棋盘格进行多视角摄像的方法为首先，对当前转盘上的棋盘格进行摄像，获得一张棋盘格图像；然后，使转盘沿一方向每旋转e/m度后，对棋盘格进行摄像，直至转盘旋转完e度，共获得m张棋盘格图像；m为大于3的自然数，0 为棋盘可见视角。在棋盘可见视角内拍照能使棋盘格都在左摄像机的视场内，因此在棋盘格点信息可以全部提取用来进一步计算。进一步优选地，计算每个旋转圆弧的圆心在摄像机坐标系下的坐标的过程如下I)根据各视角下每个交叉点在摄像机坐标系下的坐标，确定每个交叉点所对应的旋转平面，进而计算每个旋转平面在摄像机坐标系下的法向；2)对所有交叉点对应的法向求平均，则求得的平均法向即为转轴在摄像机坐标系下的方向；3)根据转轴在摄像机坐标系下的方向，将各视角下每个交叉点在摄像机坐标系下的坐标转换为在转盘坐标系下的坐标；4)根据各视角下每个交叉点在转盘坐标系下的坐标，确定每个交叉点所对应的旋转圆弧，进而计算每个旋转圆弧的圆心在转盘坐标系下的坐标；5)根据转轴在摄像机坐标系下的方向，将每个交叉点对应的圆心在转盘坐标系下的坐标转换为在摄像机坐标系下的坐标。将各视角下每个交叉点在摄像机坐标系下的坐标转换为在转盘坐标系下的坐标后，交叉点坐标可以从三维变换至二维，可以利用平面拟合圆的方法获得旋转圆弧的圆心，这种方法比直接在三维情况下求解简单很多。所述的步骤(4)中，根据以下算式计算转盘坐标系与摄像机坐标系的平移向量；
X = n k + X
pXcP = [xp, yp, zp]T < yp = nyk + yc =Of= (nx, ny, nz) C = [xc, yc, zj
z = n k + z
L P 2C其中P为转盘坐标系与摄像机坐标系的平移向量，F为转轴在摄像机坐标系下的方向，C为转轴上的一点在摄像机坐标系下的坐标。所述的步骤(4)中，计算转盘坐标系与摄像机坐标系的旋转矩阵的过程如下a.使转盘坐标系的Y轴与摄像机坐标系的Y轴对齐，计算出基于Y轴对齐的旋转矩阵Ry ；b.使转盘坐标系的X轴与摄像机坐标系的X轴对齐，计算出基于X轴对齐的旋转矩阵Rx ；c.根据算式R = RxRy,计算出转盘坐标系与摄像机坐标系的旋转矩阵R。所述的步骤(4)中，根据以下算式对物体表面的三维空间信息进行配准；
权利要求
1.一种基于双目立体视觉多视角的物体表面重建方法，包括如下步骤 (1)构建由左摄像机和右摄像机构成的双目立体视觉系统，并建立摄像机坐标系；对所述的双目立体视觉系统进行标定，得到系统的标定参数； (2)利用投影仪向处于转盘上的物体投射光条图像，并使左摄像机和右摄像机对物体进行多视角摄像，获得若干张物体图像；根据这些物体图像以及所述的标定参数求得物体表面的三维空间信息； (3)建立转盘坐标系，计算转盘的转轴的三维空间信息；转轴的三维空间信息包含转轴在摄像机坐标系下的方向以及转轴上的一点在摄像机坐标系下的坐标； (4)根据转轴的三维空间信息计算出转盘坐标系与摄像机坐标系的旋转矩阵和平移向量，进而对物体表面的三维空间信息进行配准； (5)对物体表面配准后的三维空间信息进行数据融合，得到物体的三维表面重建模型。
2.根据权利要求I所述的基于双目立体视觉多视角的物体表面重建方法，其特征在于所述的光条图像的光条编码模式基于格雷码。
3.根据权利要求I所述的基于双目立体视觉多视角的物体表面重建方法，其特征在于所述的步骤(2)中，利用左摄像机和右摄像机对物体进行多视角摄像的过程为首先，对当前转盘上的物体进行摄像，获得一组物体图像；然后，使转盘沿一方向每旋转360/n度后，对物体进行摄像，直至转盘旋转完一周，共获得n组物体图像； n为视角个数且为大于4的自然数；每组物体图像中包含由左摄像机和右摄像机分别采集到的多张物体图像，且左摄像机采集到的物体图像与右摄像机采集到的物体图像数量相同。
4.根据权利要求I所述的基于双目立体视觉多视角的物体表面重建方法，其特征在于所述的步骤(3)中，计算转轴在摄像机坐标系下的方向的过程如下 a.在转盘上设立棋盘格，利用左摄像机对棋盘格进行多视角摄像，每个视角采集一张棋盘格图像，获得多张棋盘格图像； b.根据多张棋盘格图像以及标定参数计算出各视角下棋盘格上所有交叉点在摄像机坐标系下的坐标； c.根据各视角下每个交叉点在摄像机坐标系下的坐标，确定每个交叉点所对应的旋转平面，进而计算每个旋转平面在摄像机坐标系下的法向； d.对所有交叉点对应的法向求平均，则求得的平均法向即为转轴在摄像机坐标系下的方向。
5.根据权利要求I所述的基于双目立体视觉多视角的物体表面重建方法，其特征在于所述的步骤(3)中，计算转轴上的一点在摄像机坐标系下的坐标的过程如下 a.在转盘上设立棋盘格，利用左摄像机对棋盘格进行多视角摄像，每个视角采集一张棋盘格图像，获得多张棋盘格图像； b.根据多张棋盘格图像以及标定参数计算出各视角下棋盘格上所有交叉点在摄像机坐标系下的坐标； c.根据各视角下每个交叉点在摄像机坐标系下的坐标，确定每个交叉点所对应的旋转圆弧，进而计算每个旋转圆弧的圆心在摄像机坐标系下的坐标； d.对所有交叉点对应的圆心的坐标求平均，则求得的平均坐标即为转轴上的一点在摄像机坐标系下的坐标。
6.根据权利要求4或5所述的基于双目立体视觉多视角的物体表面重建方法，其特征在于利用左摄像机对棋盘格进行多视角摄像的方法为首先，对当前转盘上的棋盘格进行摄像，获得一张棋盘格图像；然后，使转盘沿一方向每旋转e /m度后，对棋盘格进行摄像，直至转盘旋转完e度，共获得m张棋盘格图像；m为视角个数且为大于3的自然数，0为棋盘可见视角。
7.根据权利要求5所述的基于双目立体视觉多视角的物体表面重建方法，其特征在于计算每个旋转圆弧的圆心在摄像机坐标系下的坐标的过程如下 .1)根据各视角下每个交叉点在摄像机坐标系下的坐标，确定每个交叉点所对应的旋转平面，进而计算每个旋转平面在摄像机坐标系下的法向； .2)对所有交叉点对应的法向求平均，则求得的平均法向即为转轴在摄像机坐标系下的方向； .3)根据转轴在摄像机坐标系下的方向，将各视角下每个交叉点在摄像机坐标系下的坐标转换为在转盘坐标系下的坐标； .4)根据各视角下每个交叉点在转盘坐标系下的坐标，确定每个交叉点所对应的旋转圆弧，进而计算每个旋转圆弧的圆心在转盘坐标系下的坐标； .5)根据转轴在摄像机坐标系下的方向，将每个交叉点对应的圆心在转盘坐标系下的坐标转换为在摄像机坐标系下的坐标。
8.根据权利要求I所述的基于双目立体视觉多视角的物体表面重建方法，其特征在于所述的步骤(4)中，根据以下算式计算转盘坐标系与摄像机坐标系的平移向量；X = n k + XpXcP = [xp, yp, Zp]T< yp = nyk + yc =Of= (nx, ny, nz)C = [xc, Yc, Zc] z = n k + z L P zc 其中P为转盘坐标系与摄像机坐标系的平移向量，F为转轴在摄像机坐标系下的方向，C为转轴上的一点在摄像机坐标系下的坐标。
9.根据权利要求I所述的基于双目立体视觉多视角的物体表面重建方法，其特征在于所述的步骤(4)中，计算转盘坐标系与摄像机坐标系的旋转矩阵的过程如下 a.使转盘坐标系的Y轴与摄像机坐标系的Y轴对齐，计算出基于Y轴对齐的旋转矩阵Ry ； b.使转盘坐标系的X轴与摄像机坐标系的X轴对齐，计算出基于X轴对齐的旋转矩阵Rx; C.根据算式R = RxRy,计算出转盘坐标系与摄像机坐标系的旋转矩阵R。
10.一种基于双目立体视觉多视角的物体表面重建装置，包括 用于供物体放置的转盘； 用于驱动转盘旋转的电机； 用于向转盘上的物体投射光条图像的投影仪； 用于对转盘上的物体进行摄像的双目立体视觉系统，所述的双目立体视觉系统由左摄像机和右摄像机构成； 与电机、投影仪、左摄像机和右摄像机连接的计算机； 其特征在于所述的计算机包括 图像存储模块，用于存储所述的光条图像以及左摄像机和右摄像机采集到的物体图像； 系统标定模块，用于根据所述的物体图像对双目立体视觉系统进行标定，得到标定参数； 双目重建模块，用于根据所述的标定参数对物体图像进行重建，得到物体表面的三维空间信息； 信息配准模块，用于对物体表面的三维空间信息进行配准； 数据融合模块，用于对物体表面配准后的三维空间信息进行数据融合，得到物体的三维表面重建模型； 人机界面模块，用于显示物体的三维表面重建模型，并接收用户输入的指令信息以对上述除图像存储模块以外的各模块以及电机进行参数设定。
全文摘要
本发明公开了一种基于双目立体视觉多视角的物体表面重建方法，包括(1)构建双目立体视觉系统，并对系统进行标定；(2)对物体多视角摄像，获得物体表面三维空间信息；(3)计算转轴的三维空间信息；(4)计算旋转矩阵和平移向量，对物体表面三维空间信息进行配准；(5)对物体表面进行重建。本发明还公开了一种基于双目立体视觉多视角的物体表面重建装置，包括转盘、电机、投影仪、左摄像机、右摄像机和计算机。本发明能够解决传统基于ICP算法的重建方法在配准过程中陷入局部最小，配准结果错误等问题，且能提高重建生成的三维深度数据图像的质量，整个过程较为简单，计算量小。
文档编号G06T9/00GK102663753SQ20121010739
公开日2012年9月12日 申请日期2012年4月12日 优先权日2012年4月12日
发明者李怀泽, 沈会良, 程岳 申请人:浙江大学