专利名称：用单部手持摄像机获取三维景象的制作方法
本申请要求1999年6月11日提出的临时申请号为60/138,965、题为“用单部手持摄像机获取三维景象”中公开的发明。在此提出符合美国法典第35篇119节(e)条之规定的权利要求，并引用上述申请供本申请参考。
这种立体图像过去一直是利用一部摄像机上的间隔大致相当于人的两眼间距的两个透镜制作的。在二十世纪50年代流行的StereoRealistTM牌系列35mm静态摄像机就是这类成像的一个例子，它是通过两个透镜/快门同时将左、右图像一帧帧交替地记录在35mm胶片上。以后问世的NimsloTM牌摄像系统与上述的基本相同，但使用了四个透镜。
二十世纪50年代出现了立体电影。其影像通常用两部同步摄影机或者一部摄影机的两个透镜系统拍摄的。同样，各种立体电视系统通常也使用两部摄像机(例如Lipton等人的美国专利4,583,117)或者使用带两个透镜的一部摄橡机(例如Lipton等人的美国专利4,523,226)。
用立体器材获取三维景象，涉及两个信号处理任务摄像机对的校准[1]和图像对对应像素的测定[5]。
摄像机校准有两种不同的方法固定校准和自校准。在固定校准中，摄像机的全部参数都是在机外获得，即已知几何形状的特别物体放在摄像机前面，然后对摄像机图像进行处理[1,2]。此法提供了十分精确的完整结果(可取得所有的参数)。另外，校准可将对应性测定从二维搜索简化到更有效、更可靠的一维搜索[5]。
固定校准也存在一些缺点。需要使用特别的校准物体和使用者的配合。每当摄像机参数改变，例如，变焦距或者改变会聚角，必须重复校准。
然而，自校准能够克服这些缺点。在自校准方法中，首先测定一景象对的对应性。然后，从找到的对应场[4]中提取摄像机参数。这样做付出的代价有两方面，一是由于不能应用由二维简化到一维搜索，对应性测定任务比较艰巨；二是在使用通常的一对立体摄像机自校准方法中没有标准的SI计可参照，因而现有的方法不能取得三维模型的标度[3]。
本发明的公开本发明公开了用单部手持摄像机获取三维景象的技术。该摄像机最好是安装在带有四个反射镜的透镜附属装置上，以便能够获取立体景象。同时，还公开了所涉及的信号处理任务、摄像机校准和像素对应测定。使用透镜附属装置拍摄景象。对摄像机的固定校准和自校准都有利。特别是，可以实现摄像机的全自校准，而不会像现有技术那样在进行立体自校准中损失绝对标度。用本发明的方法可获得精确的三维模型。
图2为表示本发明装置中反射镜作用示意图。
图3为立体摄像机模型示意图。
图4为按照本发明获取三维景象模型的全流程图。
图5a表示本发明校准板的图像。
图5b表示按照本发明得到的实景图像。
图6表示按照本发明得到的修整后的一图像对。
图7表示按照本发明的图像差异场示意图。
图8为按照本发明的方法所取得的三维模型示意图。
本发明的详细描述本发明公开了用一部特殊的立体摄像机获取三维景象的方法。利用摄像机校准参数，建立来自一对应像素对的两束光线，于是，这两束光线的交叉提供了一个像点的三维坐标。
本发明装置如
图1所示。单部手持摄像机(1)安装在带有多个反射镜的透镜附属装置(2)上，已在美国专利5,532,777、5,828,913和5,883,662上公开，见本文引入的参考文献[7-9]。简言之，该透镜附属装置最好是有一组反射镜，共4个，分成两对，放置在摄像机透镜的前面。外侧两个反射镜(6)和(7)通常沿透镜光轴面朝外，内侧两个反射镜(3)和(4)通常对着透镜面朝里。外侧两个反射镜(6)和(7)的中心的间距大约等于两眼间距。内侧两个反射镜(3)和(4)相加在一起的大小足以覆盖透镜的全部视野，每个内侧反射镜正好覆盖一半透镜的视野。外侧的两个反射镜(6)和(7)最好比内侧的两个反射镜(3)和(4)大，大到足以覆盖内侧两个反射镜(3)和(4)的视野，从而避免减小视野。通过一个同轴机构同时且等量地沿其中心线旋转外侧两个反射镜(6)和(7)，则可调整它们的会聚。中间的两个反射镜(3)和(4)可以是固定的，也可以是可旋转调整的，使一个反射镜的一面与另一个反射镜的一面沿摄像机透镜光轴保持紧密接触，而且两个反射镜的这每一面均与透镜光轴成45°角或者略小于45°角。
假设入射光(5)的方向被反转，则中间的两个反射镜(3)和(4)把来自摄像机的光束(5)分成两部分。外侧两个反射镜(6)和(7)分别把一束光线转向景物(8)。两束光线的会聚点(9)可通过旋转外侧反射镜(6)和(7)进行调整。图像(10)如图所示。
这种立体摄像机体积小、重量轻，用户便于移动。另外，使用单部摄像机经济，又没有象使用一对摄像机那样需要快门同步。在存储方面只需一架普通的记录器。这种独特的装置也有利于进行校准和对应性测定。
对应性测定是建立在对应像素的光测量相似性基础上的。使用多部立体摄像机，光测量不平衡会产生误差，而使用单部摄像机则在很大程度上可以避免。如在本发明背景技术中所述，摄像机校准有两种不同的方法固定校准和自校准。有利于这两种校准的装置如图1所示。现有技术使用两部普通立体摄像机进行的自校准方法，没有标准的SI计可参照，因而不能取得三维模型的标度[3]。本发明装置已知的几何形状提供了标度。使用带透镜附属装置的单部摄像机，简化了立体摄像机模型而又不失其通用性。
立体摄像机模型本发明装置的摄像机模型是一种立体摄像机的通用性模型的新型，关于通用性模型详见参考文献[4]。图2为表示透镜附属装置中反射镜(13)、(14)、(16)和(17)的作用。单部实摄像机(11)分成两部虚摄像机(12)和(15)，原来的电荷耦合器件(CCD)芯片分属于每部虚摄像机一半。两个半CCD的中心不在左(12)、右(15)虚摄像机的光轴(20)和(21)上。两侧反射镜(16)和(17)的旋转在机械上是成对的。要取得两个虚摄像机图像的某种重叠，则应使α=45°+Δα，其中Δα＞0。如果外侧反射镜(16)和(17)分别绕点P和Q旋转，则两部虚摄像机(12)和(15)各以双倍的速度绕点P和Q旋转。
图3所示为一般的立体摄像机模型，取自参考文献[4]。图中示出了五个参考座标系立体座标系(22)，左/右透镜座标系(23)和(24)及左/右投影座标系(25)和(26)。摄像机基准线是B。立体座标系SF(22)定义为右手座标系，在其x轴上对称于原点有两个光学中心，即，在立体座标系中左摄像机座标为(-1/2B,0,0)，右摄像机座标为(+1/2B,0,0)。由图2得到B=2w+2(h+w)sin2Δα+ε0(1)由此建立长度(米)与角度的关系。这就提供了用米，而不是用未知的单位，进行自校准的方法。ε0模型还不完善，这里被假定是个小量值。
左、右透镜座标系的定向由两组欧拉角(Euler angles)(φx,φy,φz)来定义。透镜处于左透镜座标系LF-L和右透镜座标系LF-R的原点，向着各自的xy平面。假定透镜是径向对称的。此时，角φz无意义。角φz不能被抛弃，还要用它定义CCD的方位。立体参考座标系SF(22)被设定绕x轴的旋转。引入一任意方程式，消除φx；L或者φx；R，例如φx；L+φx；R=O，最理想的是两者皆为零，但由于该装置和手动凸轮之不完善，也可能不是φx；L=ε1，φx；R=-ε1(2)对φy；L或者φy；R而言，最理想的是φy；L=2Δα和φy；R=-2Δα。考虑到有些不完善，则可写成φy；L=2Δα+ε2，φx；R=-2Δα+ε3(3)假设，CCD是十分平的，并具有完全垂直的像轴。成像是不变的，因为标定了三个一组的焦距、水平和垂直像素的大小。因此，为了不失其通用性，选择像素水平大小等于1，像素垂直大小等于R(像素高宽比)。相对于透镜座标系LFL/R的投影座标系PFL/R(总CCD芯片)的位置都用一单个向量OPFXLF,OPFYLF,OPFZLF]]>来定义，因为它们指的是同一个实际摄像机。前面两个数定义为透镜光轴与总CCD的交会(错误定位)，第三个数是焦距fOPFXLF=ϵ4,OPFYLF=ϵ5,OPFZLF=f----(4)]]>因为摄像机焦距的变动通常是通过移动透镜而不是CCD芯片来实现的，故在方程式(1)中把办设计为f的线性函数h=a+bf(5)口和b是两个测定的参数，用来建立w与k之间的关系。相对于透镜座标系LFL/R的投影座标系PFL/R(总CCD芯片)的方位，由一组欧拉角(Euler angles)(θx，θy，θz)来定义。θz与投影座标系旋转有关。已用φz作出模型，因而令θz=0。
对于φz有φz；L=ε6,φz；R=ε7(6)用θx,θy作出相对于光轴的非正交CCD定位模型。于是θx=ε8,θy=ε9,θz=0 (7)由于在方程式(4)和(7)中包括了CCD的定位误差及定向误差，可以比参考文献[6]中更简单地建立透镜失真模型。引入径向失真参数K3K3=ε10(8)最好是，立体摄像机模型包括以下参数。对于固定校准，有基准线B、会聚角Δα、焦距f、像素高宽比R以及十项误差参数(假设它们是微小的)ε1……ε10。
对于自校准，基准线B在校准中设定为1[4]，在模型中被抛弃。以后只要先确定出w、a和b，基准线B即可由方程式(1)求得。
获取三维景象流程图4表示获取三维景象的全流程。首先，把手动凸轮安装在透镜附属装置上。然后，进行固定校准，求得会聚角Δα和焦距(变焦距)f几个数值，以便得到a、b和w。另外，求得诸如像素高宽比R的寿命期常数。这些求得的常数在记录实景过程中是不变的。
实验本实验使用一部象素数为1024×768的JPEG图像格式数字摄像机。图5a表示校准板的图像(30)，图5b表示得到的实景图像(31)。用不同数值的会聚角和焦距进行多次固定校准。对不同数值的B、f和Δα，利用最小二乘法来测算w、a和b。
利用固定校准得到的参数，从图5b所示的景象(31)获得一优良的三维模型。在把景象图像分成一左图像对和一右图像对之后，这些图像得到了修整[5]，如图6所示。现在，所有的对应点都在等同的扫描线上，并进行了一维差异测定。利用马可夫随机场(MarkovRandom Field)差异测定器[5]来获得如图7所示的差异场。在对所有的对应的像素对进行三角测量之后，得到三维模型(40)。图8示出其面部细节。
利用一个特殊的装置获取三维景象[7]，可以让单部手持摄像机的图像(见图1)具有立体视觉。该系统具有多个优点。体积小，移动方便，只需要一部普通的记录器即可存储，且只使用一部摄像机，比较经济。
摄像机校准和对应性测定都得益于这个装置。对应性测定依赖于对应像素之间的光测量相似性。就这种装置而言，不存在左摄像机和右摄像机之间的测光差异。此外，通过限定，保证左快门和右快门同步。在摄像机校准方面已证明，由于左虚摄像机和右虚摄像机都具有单部实摄像机的某些物理特性，因而可以使用比较简单的立体摄像机模型。另外，该装置许可采用自校准方法，同时又具有获取绝对标度的手段。
实验表明用该装置获得了优良的三维模型。目前最好是用固定校准法，虽然也可以使用自校准法。所得到的摄像机参数非常适宜于获取三维模型。
应该知道，本文描述的本发明的实施例仅仅是举例说明本发明原理的应用。这里举例的实施例细节，并不意味着限定权利要求的保护范围，这些权利要求的特点对本发明来说是至关重要的。
参考文献[1]O.Faugeras，“三维计算机视觉，一种几何观察点”，MIT Press,1993.F.Pedersini,D.Pele,A.Sarti and S.Tubaro，“多目镜摄像机系统的校准和自校准”，in proceedings of the International Workshop onSynthetic-Natural Hybrid Coding and Three Dimensional Imaging(IWSNHC3DI′97),Rhodos,Greece,PP.81-84,1997.M.Pollefeys,R.Koch,M.Vergauwen and L.van Gool，“从运动中灵活获取三维结构”，in proceedings of the IEEE Image andMultidimensional Digital Signal Processing(IMDSP)Workshop′98,pp.195-198,1998.P.A.Redert and E.A.Hendriks，“立体摄像机透镜失真校准”，Proceedings of the IEEE Image and Multidimensional Digital SignalProcessing(IMDSP)Workshop′98,pp.163-166,1998.P.A.Redert,E.A.Hendriks and J.Biemond,“图像对的对应性测定”，IEEE Signal Precessing Magazine,special issue on 3D andstereoscopic visual communication,Vol.16,No.3,pp.29-46,May 1999.J.Weng,P.Cohen and M.Hemiou，“具有失真模型及精度鉴定的摄像机校准”，in IEEE Transactions on PAMI,Vol.14,No.10,pp.965-980,1992.P.O.Zanen，“带有焦点相关会聚补偿的三维图像单透镜装置”，US Patent No.5,532,777,July 2,1996.P.O.Zanen，“三维测量方法与带有焦点相关会聚补偿的图像”，US Patent No.5,828,913,October 27,1998.P.O.Zanen，“三维测量装置与带有焦点相关会聚补偿的图像”，US Patent No.5,883,662,March 16,1999.
权利要求
1．用单部手持摄像机获取三维景象的方法，单部手持摄像机有一个透镜，安装在一个透镜附属装置上，附属装置包括一左和一右内侧反射镜，两个内侧反射镜置于透镜前面，沿透镜光轴面朝里朝向透镜，基本上覆盖了透镜的全部视野，两个内侧反射镜的一边缘在透镜光轴处连接在一起，形成一个与透镜光轴对称的锐角，在两个内侧反射镜外侧有左、右各有一个外侧反射镜，其面积都比内侧反射镜大，向外朝向景象，覆盖内侧反射镜的全部视野，且可绕纵轴旋转，一个同轴机构使两个外侧反射镜同时绕它们的纵轴相背地旋转，同轴机构由一个控制输入驱动，使左、右两个外侧反射镜同时作等量的相背旋转，控制输入在一个方向运动使左、右外侧反射镜视野收敛，控制输入在相反方向运动则使左、右外侧反射镜视野扩散，并且有一个适配器，它根据透镜聚焦机构的动作带动同轴机构的控制输入运动，适配器连接同轴机构的控制输入和透镜的聚焦机构，这样，当透镜聚焦在选定的距离上时，外侧反射镜的视野就收敛在该选定的距离上，包括如下步骤a)至少对一个会聚角(Δα)数值以及至少对一个焦距(f)进行固定校准以得出a、b和w的值，其中w定义为单部手持摄像机光学中心和每部虚摄像机光学中心的距离，a和b是测定的两个参数，用以建立w和h间的关系，h是单部手持摄像机光学中心与两个内侧反射镜交交会点之间的距离；b)用单部手持摄像机和透镜附属装置记录景象图像；c)用寿命期常数、会聚角(Δα)和焦距f来处理被记录的图像；和d)存储业经处理的三维图像。
2．如权利要求1所述的方法，其特征在于步骤a)还包括以下步骤ⅰ)至少记录一个校准板；ⅱ)将校准板图像分成左图像和右图像；ⅲ)检测校准板；和ⅳ)对校准板进行校准。
3．如权利要求1所述的方法，其特征在于步骤c)还包括以下步骤ⅰ)将景象图像分成左图像和右图像；ⅱ)对左图像和右图像进行对应性测定；ⅲ)进行自校准；和ⅳ)进行三角测量。
4．如权利要求1所述的方法，其特征在于还包括以下计算步骤用方程式B=2w+2(h+w)sin2Δα+ε0来计算长度(米)与角度之间的关系，方程式中B定义为摄像机基准线，ε0定义为误差参数。
5．如权利要求1所述的方法，其特征在于还包括在步骤b)之前，定义五个参考座标系的步骤。
6．如权利要求5所述的方法，其特征在于五个参考座标系包括a)一个立体座标系；b)一个左透镜座标系；c)一个右透镜座标系；d)一个左投影座标系；和e)一个右投影座标系。
7．如权利要求6所述的方法，其特征在于左、右透镜座标系的定向由两组欧拉角(Euler angles)(φx,φy,φz)来定义。
8．如权利要求7所述的方法，其特征在于还包括引入一个消除φx；L或者φx；R的方程式的步骤。
9．如权利要求8所述的方法，其特征在于所述的方程式是φx；L+φx；R=0。
10．如权利要求8所述的方法，其特征在于欧拉角(Euler angles)均不等于零时，利用另外的方程式φx；L=ε1,φx；R=-ε1，式中ε1是一个微小的误差参数。
11．如权利要求10所述的方法，其特征在于还包括以下计算方程式的步骤φy；L=2Δα+ε2,φx；R=-2Δα+ε3。
12．如权利要求6所述的方法，其特征在于相对左、右透镜座标系的左、右投影座标系的位置用一个向量OPFXLF,OPFYLF,OPFZLF]]>来定义，其中 和 定义透镜光轴和总CCD的交会，而 等于焦距f。
13．如权利要求1所述的方法，其特征在于还包括使用方程式h=a+bf来计算单部手持摄像机光学中心和两个内侧反射镜交会之间的距离h。
14．如权利要求6所述的方法，其特征在于相对于左、右透镜座标系的左、右投影座标系的方位，由一组欧拉角(Euler angles)(θx,θv,θz)来定义。
15．如权利要求14所述的方法，其特征在于用θx,θy作出相对于光轴的非正交CCD定位模型，于是θx=ε8,θy=ε9,θz=0，其中ε8和ε9均定义为误差参数。
16．如权利要求14所述的方法，其特征在于θz与投影座标系旋转有关。
17．如权利要求1所述的方法，其特征在于还包括用方程式K3=ε10来计算径向失真参数K3的步骤，式中ε10定义为误差参数。
18．如权利要求1所述的方法，其特征在于步骤a)中的多个参数还包括基准线B、像素高宽比R以及十项微小的误差参数ε1、ε2、ε3、ε4、ε5、ε6、ε7、ε8、ε9及ε10。
19．如权利要求1所述的方法，其特征在于还包括使用多个参数包括等于1的基准线B、会聚角Δα、焦距f、像素高宽比R以及十项微小的误差参数ε1、ε2、ε3、ε4、ε5、ε6、ε7、ε8、ε9及ε10对景象进行自校准的步骤。
20．用权利要求1所述的方法形成的三维景象。
全文摘要
本发明公开了用单部手持摄像机获取三维景象的技术。摄像机安装在带有四个反射镜的透镜附属装置上,可以获取立体景象。同时还公开了所涉及的信号处理任务、摄像机校准和像素对应测定。使用透镜附属装置拍摄景象,对摄像机的固定校准和自校准都有利,特别是可以实现摄像机的全自校准,而不会像现有技术那样在进行立体自校准中会损失绝对标度。利用本发明方法可获取精确的三维模型。
文档编号H04N15/00GK1314056SQ00801065
公开日2001年9月19日 申请日期2000年6月9日 优先权日1999年6月11日
发明者埃米尔·亨德里克斯, 安德烈·雷德尔特 申请人:埃米尔·亨德里克斯, 安德烈·雷德尔特