专利名称：显示3d图像的方法和设备的制作方法
技术领域：
本发明涉及显示3D图像的方法和设备，能够根据对观看者的人脸检测和跟踪结 果在2D显示器上显示3D图像。
背景技术：
已经有各种显示3D图像的方法，例如基于视差的3D显示方法。专利文献 1 (US5287437)披露了一种显示方法和设备。根据该专利文献1，响应于观看者的实时头部 运动，通过从预先计算的一组图像中获取选择的一对图像来产生复杂的3D立体图像。预先 计算的图像对应于预定一组可能的视点，并且可以根据对观看者的头部运动的预测来读取 预计算的图像。专利文献1所披露的方法包括如下步骤(a)产生与虚拟对象的一组预定视点相 对应的预计算图像，从而在记录于显示设备的显示屏幕的显示板坐标空间中定义预定的视 点和虚拟对象；(b)确定在显示设备上以立体方式显示预计算图像的时间索引；(C)针对观 看者与时间索引相对应的每只眼睛预测眼睛第一节点，从而将该眼睛第一节点定位在显示 板坐标空间中；(d)确定显示板坐标空间中与眼睛第一节点最接近的预定视点；(e)读取显 示板坐标空间中与眼睛第一节点最接近的预定视点相对应的预计算图像，并且将预计算的 图像传递到帧缓冲器；(f)以立体方式在显示设备上显示帧缓冲器中的预计算图像。专利文献1存在操作不方便的问题。观看者佩戴立体快门眼镜120并操纵3D的 6轴鼠标130。3D鼠标和快门眼镜120相对于立体CRT24的显示表面的3D位置通过3D的 6轴头部跟踪器140来感测，该跟踪器安装在立体CRT24上。利用超声波接收器122和132 预超声波发送器142之间的超声波传输时间来三角测量快门眼镜120和3D鼠标130的3D 位置。这样，快门眼镜是该方法必须使用的。这对观看着观察3D图像来说非常不便。
发明内容
本发明的目的是提出一种3D图像显示方法和设备，能够随着观看者的视点的变 化在2D屏幕上显示相应视点下的2D投影图像。在本发明的一个方面，提出了一种在2D显示设备上显示3D图像的方法，包括步 骤捕获观看者的视频；分析所述视频来获得观看者的视点；确定所述3D图像在该视点下 的2D投影图像；其中，随着观看者的视点的变化显示与相应的视点相关的2D投影图像。在本发明的另一方面，提出了一种在2D显示设备上显示3D图像的设备，包括视 频捕获设备，用于捕获观看者的视频；分析单元，分析所述视频来获得观看者的视点；更新 单元，确定所述3D图像在该视点下的2D投影图像；显示设备，随着观看者的视点的变化显 示与相应的视点相关的2D投影图像。本发明实施例的方案解决了现有技术使用不方便的问题，允许使用者可以用裸眼 在2D显示器上直接观看3D图像。另外，眼睛检测和跟踪可以代替人脸检测和跟踪。而且，利用眼睛检测和跟踪，可以针对左眼和右眼计算不同的2D投影图像。这样，该方法可以用来进行立体显示。另外，视点是通过人脸检测和跟踪来控制的。该视点可以在3D空间中实时更新。 这保证了视点控制的高度平滑要求。另外，根据观看者的人脸尺寸控制视点的深度。通过将观看者的脸部基准尺寸与 距离屏幕的标准距离相对应地设置，可以近似地计算视点的深度。另外，可以使用一些其他的方法来实现更为精确的距离测量，例如激光测距、超声 波测距和红外测距方法。
从下面结合附图的详细描述中，本发明的上述特征和优点将更明显，其中图1是根据本发明实施例的基于人脸检测和跟踪的3D图像显示设备的示意图；图2示出了根据本发明实施例的3D图像显示设备的结构框图；图3示出了根据本发明实施例的3D图像显示方法的流程图；图4示出了根据本发明实施例的人脸检测过程；图5示出了根据本发明实施例的人脸跟踪过程；图6示出了根据本发明实施例的视点更新过程；图7示出了根据本发明实施例的方法和设备对人脸进行检测的示意图；图8示出了根据本发明实施的方法和设备对人脸进行跟踪的示意图；图9示出了计算3D图像的2D投影图像的示意图；图10示出了根据本发明实施例产生不同视点下的2D投影图像。
具体实施例方式下面，参考附图详细说明本发明的优选实施方式。在附图中，虽然示于不同的附图 中，但相同的附图标记用于表示相同的或相似的组件。为了清楚和简明，包含在这里的已知 的功能和结构的详细描述将被省略，否则它们将使本发明的主题不清楚。如图1所示，根据本发明实施例的设备具备显示设备130、摄像机110和计算机主 机120。摄像机110设置在显示设备130上，正对着观看者，用于捕获观看者的现场视频。 计算机主机120用于对摄像机110捕获的视频进行处理来得到观看者的视点。另外，3D图 像数据预先存储在计算机中，根据得到的视点来计算3D图像在该视点的2D投影图像数据。 在计算得到该视点下的2D投影图像后，将2D投影图像显示在显示设备130上。这样，随着 观看者的视点的变化，计算出相应的视点和计算的视点下的3D图像的2D投影图像，显示在 显示器上，因此能够实现对3D图像的显示。图2示出了根据本发明实施例的设备的结构框图。如图2所示，本实施例的设备 包括捕获观看者的现场视频的摄像机110，计算机主机120和显示设备130。计算机主机120包括预先存储3D图像数据以及其他相关数据的存储设备121 ；检 测单元122，用于从摄像机捕获的图像中检测观看者的人脸信息；跟踪单元123，用于基于 检测的人脸跟踪捕获的视频中的人脸，从而确定该观看者的视点位置；更新单元124，用于 基于观看者的视点确定3D图像在该视点下的2D投影图像，也就是更新2D投影图像，然后 输出到显示设备130显示出来。
上述的跟踪单元和分析单元可以被称为分析单元，实现上述跟踪单元和分析单元 的功能。图3示出了根据本发明实施例的3D显示方法的流程图。根据本发明的实施例，3D显示方法中视点的计算和更新是基于人脸检测和跟踪来 实现的。在步骤S10，利用摄像机120捕获观看者的人脸图像，然后在步骤Sll自动检测和 跟踪每一帧中的人脸图像。由于观看者的视点位置与脸部位置相同，因此能够针对每一帧 获得观看者的视点。在步骤S12，根据该视点来计算预先存储在计算机中的3D图像的2D投 影图像。在步骤S13，随着观看者的视点的变化，在2D显示器上显示不同的视点下的2D投 影图像。因此，可以在2D显示器上显示3D图像。下面参照附图4 6详细说明根据本发明实施例的3D显示设备和和方法。图4示出了根据本发明实施例的检测单元的操作过程。当开始工作时，现场视频 从摄像机120输入。然后，在步骤S21对该视频进行检测以便找到观看者的人脸。如果没 有检测到人脸，该方法继续分析新的视频。如果检测到人脸，则计算人脸的位置，区域和其 他信息并在步骤S22保存到存储设备121中。在步骤S23，所有的作为检测结果的信息被 输出到下一单元。而且，如果需要的话，可以检测观看者的眼睛、嘴和、甚至鼻子作为附加信 息，同样也输出到下一单元。如图7所示，从输入的图像中检测到了观看者的人脸图像，如 图7中(b)的方框中所示。图5示出了跟踪单元的处理过程。在步骤S31，将检测的人脸输入到该模块中。 然后，在步骤S32，该单元为检测的人脸创建一个跟踪器。根据本发明的实施例，这里的跟 踪器可以用如均值漂移(Mean shift)，卡尔曼滤波(Kalman filter)，粒子滤波(Particle filter)等之类的模型来实现。当该单元开始工作时，在步骤S33从摄像机输入的视频将被 逐帧分析。对于每一新的帧，跟踪器搜索与检测的人脸最相似的区域。一旦实现来稳定的 跟踪，则获得针对该人脸的所有信息，例如人脸位置，面积大小等等。在步骤S34，输出跟踪 结果，例如人脸的位置、大小、人脸上的眼睛、鼻子和嘴之类器官的相对位置等。图8示出了 逐帧进行人脸跟踪的示意图。随着人脸的实时运动，检测的人脸在摄像机捕获的画面上也 随着时间运动，也就是得到了观看者的视点的运动轨迹。图6示出了更新单元的操作过程。当该单元开始工作时，输入人脸跟踪的结果。在 步骤S41，根据输入的跟踪结果来更新观看者的视点。在步骤S42，根据更新的视点来计算 3D图像在该视点下的2D投影图像，并且在步骤S43输出更新后的2D投影图像。如上所述， 由于观看者的视点与观看者的人脸位置相同，因此可以根据人脸的位置变化来更新视点。 因此计算新的2D投影图像。然后更新2D投影图像并显示出来。通过上述的人脸检测、人脸跟踪和视点更新，观看者可以看到不同视点下的图像。 由于这些图像是相同3D图像在不同视点下的2D投影图像，因此观看者可以在2D显示器上 观看3D图象。图9和图10示出了 3D显示的例子。在该例中示出了在2D屏幕上显示3D立方体 的例子。首先，当观看者出现在屏幕之前时，摄像机捕获该观看者的实时视频，并且将实时 视频输入到人脸检测模块。一旦检测到观看者的人脸，则将检测结果输出到人脸跟踪模块。 在人脸跟踪模块中，对观看者的脸部进行逐帧跟踪。因此获得关于人脸的信息，例如大小， 形状，位置，颜色，眼睛、鼻子和嘴的相对位置等等，并且将这些信息输出到视点更新模块。由于观看者的视点与人脸的位置相同，因此可以根据人脸跟踪的结果来获得视点。然后，可 以计算得到上述3D立方体在该视点下的2D投影图像，并且将该2D投影图像显示在显示器 上。由于根据观察者的视点的位置的变化来实时更新显示在屏幕上的3D图像的2D投影图 像，因此观看者将会看到3D图像。因此实现了在2D显示器上显示3D立方体。3D图像到2D图像的投影过程，可以用射影几何中的摄像机模型来说明。如图9 所示，设在真实3D空间有一个点A，为了后面的计算方便，将其以齐次坐标方式表示成A = {X0，Y0, Z0,1}，该点通过摄像机中心C，C = {0,0,0,1}在2D图像平面上的有一个投影点 a，该点可以由下面的公式来计算a = PA
fOOO"其中P投影矩阵，它可以齐次表示为P= OfOO，这里的参数f是图像平面到摄像
LOOl IJ
机中心的距离，也就是焦距。那么，具体的投影公式就可以写为
·χ0'f000'
γΟ二 a=PA 二OiOO-ζ0..0 011.这里获得的投影点a = 1x0，y0，z0}是齐次表示方式，它在图像上的真实坐标是 {x0/z0, y0/z0}。这样我们就可以得到3D空间点A在图像平面上的2D投影点a。同理，对一个真实空间中的3D物体，可以按照上述的方法通过计算该物体上的每 一点在图像平面上的投影来获得该物体的投影。这样就实现了 3D物体到2D图像平面的投
影计算。如图10所示，由于观看者的视点与观看者的人脸的位置相同，因此可以通过逐帧 人脸跟踪来获得观察者的视点。根据不同的视点，计算并显示该视点下3D立方体的2D投 影。这样，观看者能够在2D显示器上看到3D立方体。如图所示，观察者从四个不同的视点 观看2D显示器上的图像。根据本发明的实施例，解决了现有技术使用不方便的问题。根据本发明实施例的 方法，首先使用摄像机捕获观看者的视频。然后，在捕获的视频中逐帧检测并跟踪观看者的 脸部，从而针对每一帧获得观看者的脸部图像。由于观看者的视点位置与其脸部的位置是 相同的，可以针对每个视频帧来获得观看者的视点。然后，计算预先存储的3D图像针对该 视点的2D投影图像。因此，随着视点的变化，观看者可以看见相同3D图像在不同视点下的 2D投影图像。因此，将3D图像显示在2D显示器上。根据本发明的实施例，使用者可以用裸 眼在2D显示器上直接观看3D图像。根据本发明的另一实施例，可以用对眼睛的检测和跟踪来代替对人脸检测和跟 踪。而且，利用眼睛检测和跟踪，可以针对左眼和右眼计算不同的2D投影图像。这样，该实 施例的方法可以用来进行立体显示。根据本发明的实施例，由于视点是通过人脸检测和跟踪来控制的。该视点可以在 3D空间中实时更新。这保证了视点控制的高度平滑要求。根据本发明的另一实施例，根据观看者的人脸尺寸控制视点的深度。通过将观看 者的脸部基准尺寸与距离屏幕的标准距离相对应地设置，可以近似地计算视点的深度。另 外，可以使用一些其他的方法来实现更为精确的距离测量，例如激光测距、超声波测距和红外测距方法。本发明的上述实施例的设备可以应用到例如计算机、移动终端、PDA、电子白板等。说明书和附图仅示出了本发明的原理。因此应该意识到，本领域技术人员能够建 议不同的结构，虽然这些不同的结构未在此处明确描述或示出，但体现了本发明的原理并 包括在其精神和范围之内。此外，所有此处提到的示例明确地主要只用于教学目的以帮助 读者理解本发明的原理以及发明人所贡献的促进本领域的构思，并应被解释为不是对这些 特定提到的示例和条件的限制。此外，此处所有提到本发明的原则、方面和实施方式的陈述 及其特定的示例包含其等同物在内。
权利要求
一种在2D显示设备上显示3D图像的方法，包括步骤捕获观看者的视频；分析所述视频来获得观看者的视点；确定所述3D图像在该视点下的2D投影图像；其中，随着观看者的视点的变化显示与相应的视点相关的2D投影图像。
2.如权利要求1所述的方法，其中分析所述视频来获得观看者的视点的步骤包括 对捕获的视频进行人脸检测；基于检测的人脸逐帧进行人脸跟踪；其中检测的人脸的位置和人脸跟踪结果被作为观看者的视点。
3.如权利要求2所述的方法，其中分析所述视频来获得观看者的视点的步骤还包括 获得检测的人脸的形状和大小信息。
4.如权利要求3所述的方法，其中基于所述大小信息来确定视点的深度。
5.如权利要求3所述的方法，其中分析所述视频来获得观看者的视点的步骤还包括 检测人脸上的眼睛的位置，作为所述视点。
6.一种在2D显示设备上显示3D图像的设备，包括 视频捕获设备，用于捕获观看者的视频；分析单元，分析所述视频来获得观看者的视点；更新单元，确定所述3D图像在该视点下的2D投影图像；显示设备，随着观看者的视点的变化显示与相应的视点相关的2D投影图像。
7.如权利要求6所述的设备，其中分析单元包括 检测单元，对捕获的视频进行人脸检测；跟踪单元，基于检测的人脸逐帧进行人脸跟踪；其中检测的人脸的位置和人脸跟踪结果被作为观看者的视点。
8.如权利要求7所述的设备，其中分析单元还获得检测的人脸的形状和大小信息。
9.如权利要求8所述的设备，其中分析单元基于所述大小信息来确定视点的深度。
10.如权利要求8所述的设备，其中分析单元检测人脸上的眼睛的位置，作为所述视
全文摘要
公开了一种在2D显示设备上显示3D图像的方法和设备。该方法包括步骤捕获观看者的视频；分析所述视频来获得观看者的视点；确定所述3D图像在该视点下的2D投影图像；其中，随着观看者的视点的变化显示与相应的视点相关的2D投影图像。这样，能够根据对观看者的人脸检测和跟踪结果在2D显示器上显示3D图像。利用上述方案，使用者可以用裸眼在2D显示器上直接观看3D图像。
文档编号G06K9/00GK101931823SQ20091014636
公开日2010年12月29日 申请日期2009年6月24日 优先权日2009年6月24日
发明者孔晓东 申请人:夏普株式会社