专利名称：基于光场和双目视觉技术的自由立体显示系统和方法
技术领域：
本发明涉及一种自由立体显示系统和方法，特别是一种基于光场技术和双目视觉技术的、可在较大视场范围观察到立体图像的显示系统和方法。
背景技术：
三维显示技术的研究经历了多年的发展，取得了丰硕的成果。三维显示技术主要有立体镜技术(Stereoscopic)、自动立体镜技术(Auto stereoscopic)、体块三维显示技术(Volumetric Display)、全息三维显示技术(ElectronicHolography)等四种。其中应用最多的是立体镜技术和自由立体镜技术。立体镜技术需要配戴头盔显示器或3D立体眼镜，必然减少观察显示试验的娱乐，舒适和自然；人眼如此近距离聚焦容易感到疲劳；屏幕成像太小，必须尽可能放大以达到和人眼所见视野相一致；而且HMD(头盔显示器)的造价也比较昂贵等。但是在许多特定场合，HMD具备特殊的优势，所以它得到了广泛的应用，如军事、CAD(计算机辅助设计)\CAM(计算机辅助制造)、工业生产、模拟和训练、3D(三维)显示与电子游戏、显微技术和医疗等领域；自动立体镜三维显示技术和立体镜三维显示技术一样，都是根据视差创造立体的原理。但它不需要观察者佩带特殊的眼镜，而是由透镜屏或者视差挡板直接提供双眼视差。人可以在立体显示器前一定范围内观察到立体图像。基于该技术的立体显示器已于近年推出，为未来显示器的一个发展方向，具有一定的应用前景。体块三维显示是指图像显示在一个真实的立体空间中，这个立体空间可以是透明的发光体，可以是旋转的显示屏形成的立体空间，或是二维图像通过移动镜子或变焦透镜产生深度效果实现三维显示。基于该技术的系统复杂、造价很高；基于全息技术的三维显示，全息再现的是原记录物体的立体影像，理论上可以实现真正意义上的三维显示，但目前受记录和再现器件的限制，尚不易获得理想的再现象，是正在研究开发的一种显示技术。
发明内容
本发明的目的在于针对现有技术存在的缺陷，提供一种基于光场和双目视觉技术的自由立体显示系统和方法，人可以在立体显示器前更大的范围观察到立体图像，而且根据视点的不同立体图像是改变的，即图像变换与人的视点之间具有自适应性。
为达到上述目的，本发明的构思本发明结合了光场技术和双目视觉技术，应用于图像的立体显示中，可实现具有人的视点与图像变换之间的自适应性的自由立体显示。
本发明中，先利用光场技术获得并建立立体场景的光场数据库，然后利用双目视觉技术实现对观察者眼睛的实时跟踪与精确定位，并计算出双眼的空间位置坐标，双眼的位置相当于2个空间视点，把这2个视点输入到计算机，通过光场重构技术把这2个视点处的视图提取出来，形成2个有视差的图像，并传输到2个投影仪上，由这2个投影仪投射到立体屏幕上，观察者既可在立体显示屏幕前看到场景的立体图像。当观察者站的位置发生变化时，双目视觉技术可以实时跟踪人眼位置的变化，同时考虑到立体显示屏幕较小的最佳观察视角，人眼位置改变时立体投影屏幕也随之作相应的旋转或移动，在这个过程中视差图像也变化，使人能连续观察到最佳的变化的立体图像。
要实时看到场景3D效果图，需要有3D视图源、3D显示屏幕，观察者的位置。基于这些需要，本方法建立一个系统，它由3D场景或物体的光场获取与重构系统、人眼空间位置获取系统、3D显示系统三个部分组成(如图1所示)。
1. 3D场景光场获取与重构系统由3D场景/物体(1)、CCD摄像机阵列(2)、一台装有多通道图像采集卡和I/O卡的计算机(3)等组成。为获得实际场景图像，可以通过CCD摄像机阵列对场景进行拍照，也可由一个CCD摄像机按设计好的路径移动进行拍摄。除了通过对实际场景，光场的获取还可以采用计算机计算的方法由电脑3D软件等绘制渲染的2D图像阵列(11)；当给定观察视点坐标后，由以上获得的2D图像阵列，通过插值、变形等算法，产生一幅该视点的视图。
2. 人眼空间位置获取系统由两台CCD摄像机(5)及一台可双通道图像采集的DSP嵌入式处理器(4)组成。嵌入式处理器(4)通过视频接口与CCD(5)连接，通过串口通信与计算机(3)连接。嵌入式处理器(4)根据预设的环境参数、标定的摄像机参数和摄像机采集的含有观察者(10)双眼的图像，求出双眼的空间位置坐标，然后通过串口通信送给计算机(3)。
3. 3D显示系统由2台投影仪(9)、一台3D显示屏幕(6)和旋转移动控制系统(8)组成。计算机(3)通过投影仪把视差图像(7)投影到3D显示屏幕(6)上。当观察者站的位置有变化时，人眼空间位置获取系统实时跟踪人眼位置的变化，把计算出的位置变化反应给计算机(3)，由计算机(3)控制移动旋转控制系统(8)，实现三维显示/投影屏(6)的位置变动。
根据上述的发明构思，本发明的技术方案是一种基于光场和双目视觉技术的自由立体显示系统，包括一个3D场景或物体的光场获取与重构系统和一个人眼空间位置获取系统，其特征在于所述的光场获取与重构系统和人眼空间位置获取系统通过计算机(3)连接一个自动实时跟踪的3D显示系统。
上述的光场获取与重构系统由一台装有多通道图像采集卡和一块数字I/O(输入/输出)控制卡的计算机(3)连接放置于三维场景或物体(1)前的一套CCD摄像机阵列(2)或一台按设定路径移动的CCD摄像机组成。
上述的人眼空间位置获取系统由两台置于观察者(10)前的CCD摄像机(5)通过一个嵌入式处理器(4)连接所述的计算机(3)构成。
上述的3D显示系统由所述的计算机(3)通过显示卡与两个设置与一个三维显示/投影仪前的一个双目投影仪连接，同时通过I/O卡与一个驱动所述的三维显示/投影仪(6)的移动旋转控制台(8)。
一种基于光场和双目视觉技术的自由立体显示方法，采用上述的基于光场和双目视觉技术的自由立体显示系统进行操作显示，其特征在于具体操作步骤如下①获取光场，输入到计算机(3)，建立场景的光场数据库；②通过双目视觉处理系统，由嵌入式处理器(4)进行图像处理，计算出观察者双眼的空间位置坐标，通过串口通信传给计算机(3).
③计算机(3)由观察者(10)双眼的位置坐标，经过数学换算求出2个新视点的位置坐标，经过光场重建产生出2幅新的视图(7)。
④把上述产生的2幅视图(7)通过2个投影仪分别投影到3D显示屏幕(6)上，观察者(10)既可以由3D显示屏幕看到该场景的立体图像。
⑤由计算机(3)通过移动旋转控制台(8)控制3D显示屏幕(6)作旋转和前后、左右移动，观察者(10)移动一个位置，视点发生变化，3D显示屏幕跟着做相应位置的调整，如此循环，可以实时、清晰地看到场景的变化。
本发明与现有技术相比，具有如下优点1.三维建模采用光场技术，不仅能把虚拟建立的场景重构出来，还可以通过对现实场景进行拍照，对拍到的序列照片进行插值、变形，逼真的把自然场景重现出来。此种方法与传统的基于几何建模的方法不同，它的计算量与场景的复杂程度无关，可以大大提高建模的速度，而且能更加逼真地反映现实场景。
2.使用摄像机作为传感器，利用双目视觉原理计算人眼的空间坐标，实现非接触的、实时的位置测量；运用人脸检测、人眼定位算法及目标跟踪算法，对图像序列中的人眼进行跟踪；实现了真正的非接触式位置输入。
3.摄像机标定简便、精确。本系统只需在安装时标定一次摄像机即可。
4.显示屏幕可以随人的移动做相应的位置和转角调整，从而可以在较大视场范围观察到清晰的、变换的立体图像。
图1是本发明系统结构示意图。
图2是图1的工作流程图。
图3是图1示例的双摄像机的光学原理图。
图4是图1示例中嵌入式处理器对双眼位置分析流程图。
图5是图1示例中计算机对场景的光场获取与重建分析流程图。
具体实施例方式
本发明的一个优选实例结合
如下参见图1，本基于光场和双目视觉技术的自由立体显示系统，由一套CCD摄像机阵列(2)，一台装有多通道图像采集卡和一块数字输入I/O控制卡的计算机(3)，一台可双通道图像采集且有串行输出口的嵌入式处理器(4)组成，一台3D显示设备(6)，一套旋转移动控制系统(8)，两台CCD摄影机(5)，两个投影仪(9)组成。
其中，计算机(3)通过图像采集卡与摄像机阵列(2)连接，并通过显示卡与两个投影仪(9)连接。嵌入式处理器(4)通过视频接口与CCD(5)连接。投影仪把图象投射到3D显示终端(6)上，计算机(3)通过I/O卡与旋转移动控制系统(8)连接，控制3D显示屏(6)旋转或前后左右移动。双目CCD(5)与嵌入式处理器(4)连接，嵌入式处理器(4)通过串口与控制计算机(3)连接。
本基于光场和双目视觉技术的自由立体显示方法通过上述系统进行操作显示，其步骤如下(参见图2和图5)1. 3D的图像数据的获取与建立采用光场方法实现。首先，要采集序列图像作为光场重建的输入，本发明采用以下几种方式1)通过电脑软件比如3DSMAX，RENDERMAN，MAYA等3D建模软件绘制一幅3D场景或物体，然后，按相邻微小视角的方法获得序列图像阵列(11)。
2)把多个CCD摄像机装在一个平面板上，CCD等间距安装成阵列(2)，每个摄像机的参数应该一致，装好后，用这个摄影机阵列对场景拍照。
3)用单个CCD摄像机，装在可以做前后左右上下移动和旋转的控制台上，通过控制台按等间隔移动和旋转，对场景进行拍照(附图中未画出)。
然后由上述的2D照片阵列建立光场数据库文件。根据视点的变化，通过光场重建技术对这些照片进行插值，变形等算法，提取新的视图。
2.将两部摄像机(5)以会聚配置的方式固定于观察者的正前方，安装位置需保证左右摄像机视场均覆盖使用者身体上半部的正面。在安装完成后，进行摄像机参数标定工作，双摄像机的光学原理如图3所示，其中，两部会聚配置的摄像机的镜头焦距和畸变系数分别为f1，k1与f2，k2；O1，o1与O2，o2分别为它们的镜头光心和焦点；XYZ是世界坐标系，x1y1z1与x2y2z2是摄像机坐标系；(Xw，Yw，Zw)是物体点P在世界坐标系下的坐标，(x1i，y1i)与(x2i，y2i)分别是P点在两个摄像机平面上的投影点坐标。摄像机标定的目的就是分别确定两部摄像机的内部参数f(焦距)、k(镜头畸变系数)和外部参数R=r1r2r3r4r5r6r7r8r9]]>(旋转矩阵)、T=TxTyTz]]>(位移向量)。
摄像机标定好后，启动嵌入式处理器(4)上的双眼位置分析程序并设置环境参数，系统即开始工作。参照图4，双眼位置分析程序的工作过程如下1)计算图像(大小为M×N)中的红色分量In(x，y)的垂直灰度投影PV(x)=Σy=1NI(x,y)]]>，取曲线PV凸峰的左右边界作为人脸的左右边界；使用边缘分组算法，在人脸区域内精确定位双眼的位置并计算左眼中心坐标Pe1(x，y)和右眼中心坐标Pe2(x，y)；2)根据成像原理，空间点(X，Y，Z)在左右摄像机像平面上的投影(x1，y1)与(x2，y2)分别满足(x1r17-f1r11)X+(x1r18-f1r12)Y+(x1r19-f1r13)Z＝f1T1x-x1T1z(x1r17-f1r14)X+(x1r18-f1r15)Y+(x1r19-f1r16)Z＝f1T1y-y1T1z与(x2r27-f2r21)X+(x2r28-f2r22)Y+(x2r29-f2r23)Z＝f2T2x-x2T2z(x2r27-f2r24)X+(x2r28-f2r25)Y+(x2r29-f2r26)Z＝f2T2y-y2T2z利用标定好的摄像机参数，对左右眼的中心点分别联立上述四个方程组，解出各自的三维坐标Pe1(X，Y，Z)及Pe2(X，Y，Z)。
3)使用块匹配算法跟踪下一帧图像In+1(x，y)中Pe1，Pe2的匹配点，循环执行步骤2、3，从而不间断地输出目标点坐标Pe1(X，Y，Z)，Pe2(X，Y，Z)。
3.嵌入式处理器(4)通过串口把双眼的空间坐标送给计算机(3)，计算机(3)把双眼的空间坐标作为2个视点输入，通过光场重建技术，提取出2幅视图，作为左右双眼看到的视图(7)。
4.计算机(3)通过显示卡把上述的2幅视图(7)传给2个投影机(9)，投影仪把这2个有视差的视图投射到3D显示屏幕(6)上，观察着此时可以观察到3D显示屏幕(6)上的立体场景图。
5.观察者在屏幕前面移动，两部摄像机(5)继续捕捉计算人的双眼位置，送到计算机(4)，产生2幅视差图，送到3D显示屏幕上，由于观察者需要在3D显示屏幕前的一定区域内才能看到立体视觉效果，限制了观察者的视域范围，此发明设计一个控制3D显示屏幕可以旋转和作前后、左右移动的装置，来控制3D显示屏幕随人的移动而改变位置和方向。从而可以在立体显示器前更大的范围观察到立体图像。
权利要求
1.一种基于光场和双目视觉技术的自由立体显示系统，包括一个3D场景或物体的光场获取与重构系统和一个人眼空间位置获取系统，其特征在于所述的光场获取与重构系统和人眼空间位置获取系统通过计算机(3)连接一个自动实时跟踪的3D显示系统。
2.根据权利要求1所述的基于光场和双目视觉技术的自由立体显示系统，其特征在于所述的光场获取与重构系统由一台装有多通道图像采集卡和一块数字I/O(输入/输出)控制卡的计算机(3)连接放置于三维场景或物体(1)前的一套CCD摄像机阵列(2)或一台按设定路径移动的CCD摄像机组成。
3.根据权利要求1或2所述的基于光场和双目视觉技术的自由立体显示系统，其特征在于所述的人眼空间位置获取系统由两台置于观察者(10)前的CCD摄像机(5)通过一个嵌入式处理器(4)连接所述的计算机(3)构成。
4.根据权利要求1或2所述的基于光场和双目视觉技术的自由立体显示系统，其特征在于所属的3D显示系统由所述的计算机(3)通过显示卡与两个设置于一个三维显示/投影仪前的一个双目投影仪连接，同时通过I/O卡与一个驱动所述的三维显示/投影仪(6)的移动旋转控制台(8)。
5.一种基于光场和双目视觉技术的自由立体显示方法，采用权利要求1所述的基于光场和双目视觉技术的自由立体显示系统进行操作显示，其特征在于具体的操作步骤如下①获取光场，输入到计算机(3)，建立场景的光场数据库；②通过双目视觉系统，由嵌入式处理器(4)进行图像处理，计算出观察者(10)双眼的空间位置坐标，通过串口通信传给计算机；③计算机(3)由观察者(10)双眼的位置坐标，经过数学换算求出两个新视点的位置坐标，经过光场重建产生出两幅新的有视差的视图(7)；④把上述产生的两幅视图(7)通过两个投影仪(9)分别投影到3D显示屏幕(6)上，观察者(10)即可在3D显示屏幕(6)看到该场景的立体图像；⑤由计算机(3)通过移动旋转控制台(8)控制3D显示屏幕(6)作旋转和前后、左右移动，来控制3D显示显示屏幕(6)随人的移动而相应的改变位置和方位角，观察者(10)移动一个位置，视点发生变化，3D显示屏幕(6)跟着做相应位置的调整，如此循环，可以实时、清晰地看到场景的变化；
6.根据权利要求5所述的基于光场和双目视觉技术的自由立体显示方法，其特征在于所述的光场获取方法是由电脑3D软件绘制渲染的2D图像阵列；或者由CCD摄像机阵列(2)进行拍摄，或由一个CCD摄像机按设计好的路径移动进行拍摄；
7.根据权利要求5所述的基于光场和双目视觉技术的自由立体显示方法，其特征在于所述的由嵌入式处理器(4)计算观察者(10)双眼空间位置坐标嵌入式处理器(4)根据预设的环境参数、标定的摄像机参数和摄像机采集的含有观察者双眼的图像，求出双眼的空间位置坐标，然后通过串口通信送给计算机(3)。
全文摘要
本发明涉及一种基于光场和双目视觉技术的自由立体显示系统和方法。本发明的自由立体显示系统由3D场景或物体的光场获取与重构系统、人眼空间位置获取系统、3D显示系统三个部分组成。本发明的自由立体显示方法是先利用光场技术获得并建立立体场景的光场数据库，然后利用双目视觉技术实现对观察者眼睛的实时跟踪与精确定位，并计算出双眼的空间位置坐标，双眼的位置相当于2个空间视点，把这2个视点输入到计算机，通过光场重构技术把这2个视点处的视图提取出来，形成2个有视差的图像，传输到2个投影仪上，并投射到立体屏幕上，观察者既可以在立体显示屏幕前看到场景的立体图像。当观察者站的位置发生变化时，双目视觉技术可以实时跟踪人眼位置的变化。
文档编号H04N13/04GK101072366SQ20071004115
公开日2007年11月14日 申请日期2007年5月24日 优先权日2007年5月24日
发明者张之江, 胡孔明, 于瀛洁, 李纯灿, 庄克成, 许丽 申请人:上海大学