一种视觉测量中的快速三维重建方法
【专利摘要】本发明提供了一种视觉测量中的快速三维重建方法，首先进行摄像机内参和外参的标定，然后采集立体图像对并根据摄像机标定结果对图像对进行对极线校正，然后进行特征点检测与描述，接着进行特征点匹配，结束后，利用匹配结果计算出其在世界坐标系中的三维坐标，最后利用Delaunay三角剖分对左图像进行三角剖分，得到顶点编号，最后利用OpenGL将三角形逐个贴到计算出的三维坐标上，即可。
【专利说明】一种视觉测量中的快速三维重建方法
【技术领域】
[0001]本发明属于双目立体视觉【技术领域】，具体涉及一种视觉测量中基于特征点匹配的快速三维重建技术。
【背景技术】
[0002]三维重建一直是计算机视觉的重要研究领域之一。近年来，三维重建技术的研究取得了巨大的进步，新技术新方法不断涌现。常用的三维重建方法主要有运动图像序列法、光度立体学方法、纹理恢复形状法和立体视觉方法等。各种三维重建方法的理论基础不同，在精度、尺寸以及系统价位等方面存在一定的差异，因此适用的应用领域也不尽相同。现有的三维获取系统通常使用特定的硬件设备，如X射线、激光测距仪等，系统投资巨大，所以需要研制一种使用方便、稳定性好、花费低的三维信息获取系统。随着数字影像技术的迅速发展，如何使用普通便携数码设备实现三维重建技术的应用逐渐成为研究的热点，对视觉精度、稳定性、操作过程简单化等方面也提出了更高的要求。
[0003]空间绳系机器人系统由“空间绳系机器人+空间系绳+空间平台”组成，具有安全、灵活、操作距离远等特点，可广泛应用于在轨维修、在轨加注、辅助变轨及在轨空间站辅助组装等在轨服务中，已经成为空间操控【技术领域】的研究热点之一。这种新型的微型智能机器人，在空间可以自主逼近目标。在其逼近的过程中利用自身携带的双目视觉测量系统对目标进行实时检测、跟踪与三维测量。因此由于立体视觉法功耗低，不需要人为的设置辐射源，只利用场景在自然光照条件下的二维图像来重建物体的三维信息，在这种应用环境下具有适应性强、实现手段灵活、造价低的优点，是目前研究最多、应用最广泛的技术之一。
[0004]双目立体视觉方法采用两台摄像机模拟人类双眼处理景物的方式，从两个视点观察同一场景，获得不同视角下的一对图像，然后通过左右图像间的匹配点，恢复出场景中目标物体的几何形状和位置等三维信息。该项技术在机器人视觉、车辆自主驾驶、多自由度机械装置控制、非接触自动在线检测等领域均具有很大的应用价值。
[0005]立体视觉虽然经过20多年的发展，但是无论从视觉生理角度，还是从实际应用角度来看，现有的立体视觉技术还处于不成熟的阶段。基于立体视觉的三维重建技术在一些核心算法上仍然存在有待解决的问题。立体匹配中如何选择合理的匹配特征，从而克服匹配准确性与恢复视差全面性间的矛盾；如何选择有效的匹配准则和算法结构，从而解决存在灰度失真、几何畸变、噪声干扰及遮挡景物的匹配问题；如何建立更加有效的图像表达形式和立体视觉模型，从而更充分地反映景物的本质属性，为匹配提供更多的约束信息，降低立体匹配的难度。
[0006]因此，目前三维重建研究工作还有待进一步的改进。
[0007]本专利基于FAST特征检测、SURF描述以及Delaunay三角剖分算法等，能够快速精确地对目标物体进行被动三维重建，具有较为广泛的应用范围和良好的应用前景。
【发明内容】
[0008]本发明的目的在于弥补现有图像拼接算法在速度、重建精度上、模型逼真度等方面的不足，提供一种视觉测量中的快速三维重建方法，能够快速自动对空间绳系机器人双目立体视觉系统采集到的左右图像进行三维重建。
[0009]为实现上述目的，本发明的技术方案为:
[0010]一种视觉测量中的快速三维重建方法，首先进行摄像机内参和外参的标定，然后采集立体图像对并根据摄像机标定结果对图像对进行对极线校正，然后进行特征点检测与描述，接着进行特征点匹配，结束后，利用匹配结果计算出其在世界坐标系中的三维坐标，最后利用Delaunay三角剖分对左图像进行三角剖分，得到顶点编号，最后利用OpenGL将三角形逐个贴到计算出的三维坐标上，即可。
[0011]对采集到的图像对进行对极线校正之前，首先对其进行中值滤波和维纳滤波。
[0012]特征点描述之后，采取特征点匀散化，所述特征点匀散化即分别计算特征点之间的欧式距离，如果两者距离小于10个像素，则删除其中任意一个，如果两者距离大于或等于10个像素，则全部保留。
[0013]特征点匹配的具体方法为:
[0014](I)利用FLANN匹配算法对特征点集进行匹配，得到匹配特征点集{Plml，Plffl2,…，PlmcJ 和{Prml，f*rm2> ，PrmcJ ;
[0015](2)计算各个匹配点之间的欧式距离dlrl，dlr2,…，dlrc ；
[0016](3)对于匹配特征点集{Plml，Plm2,…，PlmJ和{P-，Prm2,…，PrmJ中的每个特征点，如果dw〈2 X dmin，其中，dlri为第i个欧式距离，dmin为欧式距离中的最小值，则该该特征点对视为正确匹配，保留该特征点对Plmi和Pnni ^口果屯^≥2Xdmin，该特征点对视为错误匹配，剔除该特征点对Plmi和P-。
[0017]与现有技术相比，本发明具有如下有益效果:本发明采用FAST算法进行特征点提取极大地提高了检测速度；通过设计的匀散化策略避免了特征点聚集，提高了重建精度；通过Delaunay三角剖分技术并结合OpenGL,使得三维重建结果能够逼真的显示。
[0018]此外，本发明还具有以下优点:
[0019]1、算法的耗时较少，重建速度显著提高；
[0020]2、三维重建精度与逼真度较高；
[0021]3、应用场景比较广泛。
[0022]本发明的方法易于实现和应用，主要可以应用于以下几个方面:
[0023]1、机器人应用场景的三维重建；
[0024]2、双目立体视觉测量系统。
【专利附图】
【附图说明】
[0025]图1为本发明的算法总流程框图。
[0026]图2为双目立体视觉三维重建原理图。
[0027]图3为左右相机采集到的原始图像经校正变换后的图像对。
[0028]图4为得到的逼真三维图像效果。
【具体实施方式】[0029]以下结合附图对本发明进行详细的描述。应当指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。
[0030]如图1所示，本发明实施例提供的快速三维重建方法包括:
[0031](I)图像采集
[0032]左右两台相机对目标图像同步进行采集，分别得到左图像I1(Xj),右图像Ir (χ, y)。
[0033](2)图像预处理
[0034]对采集到的图像I1Uy)和Ir(x，y)分别进行中值滤波和维纳滤波，得到平滑的目标图像对 Iel (χ’，y’)和 lra(x’，y’)。
[0035](3)摄像机标定
[0036]采用张定友标定法，利用左右相机多次采集到的图像对进行摄像机标定，得到各自的内参数矩阵A1, A1^以及外参数矩阵[Rxt1], [Rrtr] .
[0037]其中关于步骤(3)如何具体操作，为本领域公知技术，可参考文献l“Bradski GaryBradski, Kaebler Adrian Kaebler.学习OpenCV.于仕琪，刘瑞被，译.北京:清华大学出版社，2009:414-429.”，此处不再赘述。
[0038](4)对极几何校正及图像变换
[0039]利用步骤(3)摄像机标定的结果，对步骤(2)得到的左图像Icd(X’，y’ )和右图像lra(x’，y’ )进行极线校正变换，从而获得左右极线对齐后的图像对Id(X’’，y’’)和lcr(x，，，y，，)。
[0040]其中关于步骤(4)如何具体操作，为本领域公知技术，可参考文献2“Bradski GaryBradski, Kaebler Adrian Kaebler.学习OpenCV.于仕琪，刘瑞被，译.北京:清华大学出版社，2009:430-432.”，此处不再赘述。
[0041](5)特征点检测与匹配
[0042]采用FAST算法，分别对步骤(4)得到的极线对齐后的图像对Id(x’’，y’’)和I?(x’ ’，y’ ’)进行特征点检测，利用SURF算法进行特征描述，同时采取特征点匀散化策略，得到特征点集{P1()1，Pltj2,…，PltJ 和{pm1，pm2，…，PmJ。
[0043]其中关于如何进行特征点检测以及如何进行特征点描述，为本领域公知技术，可参考文献 3 uRosten E, Porter R, Drummond T.Faster and better:A machinelearning approach to corner detect1n[J].1EEE Transact1ns on Pattern Analysisand Machine Intelligence, 2010，32 (I):105-119.”,文献 4 “Bay H, Tuytelaars T, GoolL V.SURF: speeded uprobust features.The9th European Conference on ComputerVis1n, 2006.”，此处不再赘述。
[0044]其中所述的特征点匀散化策略就是，分别计算特征点之间的欧氏距离，如果两者距离小于10个像素，则删除其中任意一个。如果两者距离大于等于10个像素，则全部保留。
[0045]然后利用FLANN匹配算法对特征点集{P1()1，Plo2,…，PloJ和{PMl，Pro2,…，PronI进行匹配，由此得到匹配特征点集{plml，Plm2,…，PlmcJ和{Prml，Prm2,…，PnJ。
[0046] 采用阈值法对上述匹配特征点集{Plml，Plm2,…，PlmcJ和{Prml，Prm2,…，PJ进行错误匹配点的剔除。方法如下:分别计算各匹配点之间的欧式距离dlrt，dlr2,…，dlM。计算得到其中的最小距离Clniintl[0047]对匹配特征点集{Plml，Plm2,…，PlmcJ和{P,ml，Prm2,…，PnJ中每个特征点对进行如下判断，如果《2乂(1_，其中，d1H为第i个欧式距离，该特征点对视为正确匹配，则保留该特征点对Plmi和Pnoi ;如果d1H ^ 2Xdmin，该特征点对视为错误匹配，则剔除该特征点对Plmi和Prmi。经过该步骤后得到正确匹配的特征点集{Plfml，Plfm2,…，Plfmj}和{Prfml，Prfm2,…，Prfmjl。
[0048](6)计算3D坐标:
[0049]根据如图2所示的视差原理，利用步骤(5)得到的正确匹配点对可以相应的求出其在世界坐标系中的三维坐标。图中B表示左右相机之间的基线距离，f为左右相机镜头焦距。P(X，Y，Z)表示世界坐标系中的一个点坐标，其在左相机成像中投影为(Xl，yi)，其在右相机成像中投影为
[0050](Xl, Yl)和(xr，yr)即为步骤(5)中正确的匹配点对。
[0051](X1, Y1)和(Xr，yr)用各自图像上的像素坐标表示，B和P (X，Y，Z)用毫米表示，f?用像素表示。根据相似三角形的知识就可以推出:
【权利要求】
1.一种视觉测量中的快速三维重建方法，其特征在于:首先进行摄像机内参和外参的标定，然后采集立体图像对并根据摄像机标定结果对图像对进行对极线校正，然后进行特征点检测与描述，接着进行特征点匹配，结束后，利用匹配结果计算出其在世界坐标系中的三维坐标，最后利用Delaunay三角剖分对左图像进行三角剖分，得到顶点编号，最后利用OpenGL将三角形逐个贴到计算出的三维坐标上，即可。
2.根据权利要求1所述的一种视觉测量中的快速三维重建方法，其特征在于:对采集到的图像对进行对极线校正之前，首先对其进行中值滤波和维纳滤波。
3.根据权利要求1所述的一种视觉测量中的快速三维重建方法，其特征在于:特征点描述之后，采取特征点匀散化，所述特征点匀散化即分别计算特征点之间的欧式距离，如果两者距离小于10个像素，则删除其中任意一个，如果两者距离大于或等于10个像素，则全部保留。
4.根据权利要求1所述的一种视觉测量中的快速三维重建方法，其特征在于:特征点匹配的具体方法为: (1)利用FLANN匹配算法对特征点集进行匹配，得到匹配特征点集{Plml，Plffl2,…，PlmcJ和{Prml, Prm2， ，Prmc}; (2)计算各个匹配点之间的欧式距离dlrl，dlr2,-,dlrc ； (3)对于匹配特征点集{Plml,Plm2,...，PlmJ和{Prml, Prm2,...，PrmJ中的每个特征点，如果dlri<2 X dmin，其中，dlri为第i个欧式距离，dmin为欧式距离中的最小值，则该该特征点对视为正确匹配，保留该特 征点对Plmi和Pnili ;如果d1H ^ 2 Xdmin，该特征点对视为错误匹配，剔除该特征点对Plmi和P-。
【文档编号】G06T17/00GK104036541SQ201410128774
【公开日】2014年9月10日 申请日期:2014年4月1日 优先权日:2014年4月1日
【发明者】黄攀峰, 蔡佳, 张彬, 台健生, 龚思怡 申请人:西北工业大学