专利名称：用于个人电子装置的三维获取和显像系统的制作方法
技术领域：
本发明涉及三维(3D)成像领域。更具体地说，本发明涉及用于三维获取和显像的个人电子装置。
背景技术：
三维技术已发展了一个多世纪，但通常由于其复杂性和对于一般用户的高成本，所以它尚未成为主流。比消费电子类和计算机行业中传统的阴极射线管(CRT)监控器和电视更适于再现3D图像的液晶显示器(LCD)和等离子屏的出现激发了对此技术的兴趣。3D系统已从技术珍品进展到现在用于娱乐、商业和科学应用的实际获取和显示系统。随着兴趣的剧增，许多硬件和软件公司正在协力研发3D产品。
最近，NTT DoCoMo展示了Sharp mova SH251iS手机，这是第一个以能够再现3D图像的彩屏为特色的手机。单个数字摄像机允许其用户拍摄二维(2D)图像，然后使用编辑系统将图像转换为3D。3D图像发送到其接收人能看3D图像的其它电话，如果他们也拥有类似配备的手机的话。不需要特殊眼镜来观看自动立体系统上的3D图像。不过这种技术有许多问题。为了看到优质的3D图像，用户必须位于电话的正前方，且距其屏幕约1英尺。如果用户稍有移动，图像就会模糊不清。而且，由于只使用一个摄像机，所以只能拍摄2D图像，然后通过3D编辑器将图像人为转换成3D图像。所以图像的质量是个问题。
从2D图像产生立体图像的一个方法已在授予Richard的美国专利No.6,477,267中取得专利，此方法是在原始图像上识别至少一个对象；画出该对象或多个对象的轮廓；为每个对象定义深度特征；以及相应移位图像的所选区域。但如上所述，将2D图像转换为3D图像有许多问题，最重要的是，所得3D图像的质量。
取代用一个摄像机获取2D图像，授予Gartner等人的美国专利No.6,664,531公开了一种可能的配置，使用两个摄像机获取一对图像，这两个摄像机观察对象的视差效应。然后，左眼观看这对立体图像的一个图像，右眼观看另一个图像。人脑能很容易合并这对图像，而将对象看成3D图像。
用两个摄像机获取3D图像的另一实例在授予Montgomery等人的美国专利No.6,512,892中公开了，它包括一个至少具有两个可移动平行检测器头的3D摄像机。
如针对DoCoMo产品所描述的，用户在观看3D图像时必须基本上静止不动，否则他就看不清图像。这个问题的一个原因在于，图像是多图像显示。多图像显示包括间插到单一显示介质中的不同图像。多图像显示的最简单实现方案包括重复左右图像序列。每个相继图像之间的距离是65mm，这等于观众眼睛之间的平均距离。但是，如果观众向左或向右移动超过32mm，则观众会看到反的3D图像。反的3D图像观看起来很不舒服，过一会儿就会引起头痛和难受。
不过，通过使用许多图像，每个图像间隔65mm，可以对多图像显示加以改进。有了许多图像，观众可以左右移动他的头部，而仍然看到正确的图像。但是，这种技术也有些额外的问题。所需的摄像机数量增加了。例如，要有四个视图，就需要四个摄像机。而且，由于这些数量组在重复，仍然会有一个位置产生反的3D图像，只是较少而已。反像可以通过在重复组之间插入空场或黑场来克服。黑场会去除反的3D图像问题，但会有些位置上图像不再是3D的了。另外，所需黑场的数量与所用摄像机的数量成反比，这样所用摄像机越多，所需黑场就越少。所以，多图像显示有许多问题需要克服，观众才能享受他的3D体验。
目前有各种各样的观看设备可用于观看3D图像。一种类型包括的观看设备需要将透镜、棱镜或反射镜放在观众眼睛的附近，它们一般都不如不需特殊眼睛佩戴物的备选设备那么方便。第二种类型包括双凸透镜系统，它们用于高质量图像呈现相对困难，并且制造昂贵，这是由于与它们生产相关联的精确度所致，如果需要高分辨率图像的话。此外，双凸透镜系统总是呈现出比双凸透镜阵列附于其上的显示装置本应能有的分辨率还要低的图像。另外，双凸透镜系统不能很好适用于诸如计算机显示器和电视等观看系统，所以没有广泛使用。
第三类3D图像观看设备包括用于3D观看的视差栅栏。这种系统是一些网格，由散置有不透明部分的透明部分组成，这些部分被放置成与被看或投影的图像成各种关系，图像是从左图像(最终仅由观众的左眼看到)中取出的区域和从右图像(最终仅由观众的右眼看到)中取出的区域的散置组成，网格或多个网格放置在使右图像区域左眼无法看到并使左图像区域右眼无法看到的位置，但同时允许每只眼睛看到显示器上的部分显示源自于其适当图像的区域。在这种系统中，大致有一半的显示不包含任何图像。在授予Kleinberger等人的美国专利No.6,252,707中公开的第四种类型包括用于观看和投影全色平面屏幕双目立体观看的系统，不必使用眼镜。偏光层和旋光构件层或彩色滤光镜的各种组合用于向适当的左眼或右眼显示左图像和右图像。
用于解决有关多图像显示的所述问题的一个可能选择是跟踪系统。授予Richards的美国专利No.6,163,336公开了一种具有跟踪系统的自动立体显示系统。Richards说明的跟踪系统知道观众的位置，并能指示显示单元移动所显示图像的位置，以使它们对应于观众的正确位置。
另一问题是在现代数字摄像机中所用的无源自动聚焦系统，现代数字摄像机的工作是基于测量画面的高频含量并改变聚焦设置，直到该测量达到最大值。这个方法很慢且经常失效。授予Dougherty的美国专利No.6,616,347公开了如现有技术用于自动聚焦的许多双摄像机系统，虽然它们都有一些问题，包括太笨重、昂贵等。另外，对准来自两个摄像机的部分图像也有困难。授予Szeliski等人的美国专利No.6,611,268公开了使用两个视频摄像机，其中至少一个摄像机是视频摄像机，用以估计场景的深度图。
另外，虽然存在有许多无线手持数字摄像机，如授予Tullis的美国专利No.6,535,243所公开的，但这些无线装置完全没有3D能力。因此需要进一步探索这种可能性。
过去一直在研发3D图像的投影，但需要改进。授予Kleinberger等人的美国专利No.6,252,707公开了一种3D投影仪系统，它包括两个投影仪，它们将3D图像投影到屏幕上，不需要特殊的眼睛佩戴物。投影仪一直是电影投影仪、电视投影仪、计算机驱动的投影装置、幻灯片投影仪或类似大小的某种其它设备，因此这些投影仪的体积都相当大。
发明内容
一种用于个人电子装置的三维(3D)获取和显像系统包括以各种方式工作的两个数字摄像机。这两个数字摄像机获取3D数据，然后将它们显示在自动立体显示器上。为了清晰和易于使用，这两个数字摄像机还起眼睛跟踪装置的作用，帮助以正确的角度向用户投影合适的图像。这两个数字摄像机还起着帮助以正确深度自动聚焦的作用。每个个人电子装置还能存储、发送和显示所获取的3D数据。
在一个方面，一种用于获取和显示三维信息的系统包括电子装置；连接到电子装置的多个数字摄像机，用于自动聚焦在三维信息上和获取三维信息；以及连接到电子装置的显示器，用于显示三维信息。电子装置来自如下项构成的组PDA、照相电话、膝上型计算机、数字摄像机、视频摄像机以及电子表。三维信息包括一组图像。数字摄像机包括一个或多个电荷耦合器件传感器，用于获取三维信息。自动聚焦由计算确定，由此所述计算来自如下项构成的组光学三角测量、测距以及光图案翘曲(warping)。对三维信息进行处理包括压缩、格式化、分辨率增强和彩色增强。三维信息以立体格式存储在本机存储器中，其中立体格式是上下、行交替、并排、赛博范围(cyberscope)、压扁(squashed)并排以及JPS立体JPEG中的一种或多种。多个数字摄像机在显示三维信息时跟踪观众的头部和眼睛中的一项或多项。系统还包括一个或多个红外激光器，用于在显示三维信息时跟踪观众头部和眼睛中的一项或多项。但是，系统并不要求在显示三维信息时使用一个或多个红外激光器来跟踪观众头部和眼睛中的一项或多项。观看三维信息无需观看辅助物。备选的是，用观看辅助物来观看三维信息。在另一备选中，显示器显示二维信息。在又一备选中，显示器是投影显示器。系统还包括通信接口，用于与一个或多个其它装置通信，以发送和接收三维信息。具体地说，通信接口进行无线通信。系统还包括连接到电子装置的控制接口，用于控制电子装置。
在另一方面，一种用于获取和显示三维信息的系统包括电子装置；连接到电子装置的多个数字摄像机，用于获取三维信息；以及连接到电子装置的显示器，用于显示三维信息，其中多个数字摄像机跟踪观众头部和眼睛中的一项或多项，并在显示三维信息时基于观众头部和眼睛中的一项或多项的位置来调节三维信息。电子装置来自如下项构成的组PDA、照相电话、膝上型计算机、数字摄像机、视频摄像机以及电子表。三维信息包括一组图像。数字摄像机包括一个或多个电荷耦合器件传感器，用于获取三维信息。多个摄像机还用于自动聚焦。自动聚焦由计算确定，由此所述计算来自如下项构成的组光学三角测量、测距以及光图案翘曲。对三维信息进行处理包括压缩、格式化、分辨率增强和彩色增强。三维信息以立体格式存储在本机存储器中，其中立体格式是上下、行交替、并排、赛博范围、压扁并排以及JPS立体JPEG中的一种或多种。系统还包括一个或多个红外激光器，用于在显示三维信息时跟踪观众头部和眼睛中的一项或多项。但是，系统并不要求在显示三维信息时使用一个或多个红外激光器来跟踪观众头部和眼睛中的一项或多项。观看三维信息无需观看辅助物。备选的是，用观看辅助物来观看三维信息。在另一备选中，显示器显示二维信息。在又一备选中，显示器是投影显示器。系统还包括通信接口，用于与一个或多个其它装置通信，以发送和接收三维信息。具体地说，通信接口进行无线通信。系统还包括连接到电子装置的控制接口，用于控制电子装置。
在又一方面，一种用于获取和显示三维信息的系统包括电子装置；连接到电子装置的多个数字摄像机，用于自动聚焦在三维信息上和获取三维信息；本机存储器，用于以立体格式存储三维信息；自动立体显示器，连接到电子装置用于显示三维信息；以及多个数字摄像机，用于跟踪观众头部和眼睛中的一项或多项，并在显示三维信息时基于观众头部和眼睛中的一项或多项的位置来调节三维信息；通信接口，用于与一个或多个其它装置通信，以发送和接收三维信息；以及连接到电子装置的控制接口，用于控制电子装置。电子装置来自如下项构成的组PDA、照相电话、膝上型计算机、数字摄像机、视频摄像机以及电子表。三维信息包括一组图像。数字摄像机包括一个或多个电荷耦合器件传感器，用于获取三维信息。自动聚焦由计算确定，由此所述计算来自如下项构成的组光学三角测量、测距以及光图案翘曲。对三维信息进行处理包括压缩、格式化、分辨率增强和彩色增强。立体格式是上下、行交替、并排、赛博范围、压扁并排以及JPS立体JPEG中的一种或多种。系统还包括一个或多个红外激光器，用于在显示三维信息时跟踪观众头部和眼睛中的一项或多项。但是，系统并不要求在显示三维信息时使用一个或多个红外激光器来跟踪观众头部和眼睛中的一项或多项。备选的是，显示器是投影显示器。具体地说，通信接口进行无线通信。
在另一方面，一种用于获取和显示三维信息的方法包括使用连接到电子装置的多个数字摄像机自动聚焦到三维信息上；使用多个数字摄像机获取三维信息；以及用显示器显示三维信息。电子装置来自如下项构成的组PDA、照相电话、膝上型计算机、数字摄像机、视频摄像机以及电子表。三维信息包括一组图像。数字摄像机包括一个或多个电荷耦合器件传感器，用于获取三维信息。自动聚焦由计算确定，由此所述计算来自如下项构成的组光学三角测量、测距以及光图案翘曲。该方法还包括对三维信息进行处理，包括压缩、格式化、分辨率增强和彩色增强。该方法还包括以立体格式将三维信息存储在本机存储器中，其中立体格式是上下、行交替、并排、赛博范围、压扁并排以及JPS立体JPEG中的一种或多种。该方法还包括在显示三维信息时使用多个数字摄像机跟踪观众的头部和眼睛中的一项或多项，具体地说，用一个或多个红外激光器。但是，该方法并不要求在显示三维信息时使用一个或多个红外激光器来跟踪观众头部和眼睛中的一项或多项。备选的是，显示器是投影显示器。该方法还包括使用通信接口与一个或多个其它装置通信，以发送和接收三维信息。具体地说，通信接口进行无线通信。
在又一方面，一种用于获取和显示三维对象的方法包括使用连接到电子装置的多个数字摄像机自动聚焦到三维对象上；使用多个数字摄像机获取三维对象；使用多个数字摄像机跟踪观众头部和眼睛中的一项或多项；使用显示器显示三维对象；在显示三维对象时基于观众头部和眼睛中的一项或多项的位置调节三维对象；以及使用通信接口与一个或多个其它装置通信，以发送和接收三维对象。电子装置来自如下项构成的组PDA、照相电话、膝上型计算机、数字摄像机、视频摄像机以及电子表。三维对象包括一组图像。数字摄像机包括一个或多个电荷耦合器件传感器，用于获取三维对象。该方法还包括由计算确定的自动聚焦，由此所述计算来自如下项构成的组光学三角测量、测距以及光图案翘曲。该方法还包括对三维对象进行处理，包括压缩、格式化、分辨率增强和彩色增强。该方法还包括以立体格式将三维对象存储在本机存储器中，其中立体格式是上下、行交替、并排、赛博范围、压扁并排以及JPS立体JPEG中的一种或多种。该方法还包括在显示三维对象时使用具有一个或多个红外激光器的多个数字摄像机跟踪观众的头部和眼睛中的一项或多项。但是，该方法并不要求在显示三维对象时使用一个或多个红外激光器来跟踪观众头部和眼睛中的一项或多项。备选的是，显示器是投影显示器。具体地说，通信接口进行无线通信。
图1示出在3D获取和显像系统的实施例中组件的内部视图。
图2示出由3D获取和显像系统实现的方法流程图。
图3示出3D获取和显像系统的自动聚焦系统的图示。
图4a示出使用3D获取和显像系统从电子装置向兼容装置发送3D信息的图示。
图4b示出使用3D获取和显像系统通过因特网从电子装置向兼容装置发送3D信息的图示。
具体实施例方式
3D获取和显像系统的一个实施例在个人电子装置中实现，个人电子装置包括但不限于膝上型计算机、PDA、照相电话、数字摄像机、视频摄像机以及电子表。
图1示出在3D获取和显像系统实施例的系统中组件的内部视图。电子装置100包括确保系统正常功能所需的许多组件。在一个实施例中，电子装置是以下许多不同装置中的一个或多个膝上型计算机、PDA、照相电话、数字摄像机、视频摄像机或电子表。第一数字摄像机102和第二数字摄像机104基本彼此平行放置，并用于自动聚焦、同时获取3D信息以及用于3D显示的眼睛跟踪等过程。在第一数字摄像机102和第二数字摄像机104获取到图像后，处理器106用于通过硬件或软件处理3D信息，包括压缩、格式化以及最终存储在本机存储器108中。发送器110可用于向一个或多个其它电子装置发送3D信息。还包括有接收器112，用于从另一电子装置接收3D信息。除了被发送到另一装置外，电子装置100包括显示器116，以显示所存储的3D信息。显示器116包括眼睛跟踪，在显示3D信息时利用第一数字摄像机102和第二数字摄像机104跟踪观众的眼睛。显示器116还包括一种或多种各种适合且可用的3D显示技术来显示3D信息。控制接口114用于允许观众控制电子装置100的许多方面，包括设置和其它特性。电源118向电子装置100供电。电子装置100中3D获取和显像系统的组件在一起允许用户自动聚焦、获取3D信息、显示3D信息时跟踪观众的眼睛、向另一装置发送3D信息以及显示3D信息。
图2示出由3D获取和显像系统实现的方法流程图。在步骤202，使用第一数字摄像机102和第二数字摄像机104通过光学三角测量自动聚焦到所需对象上。然后在步骤204，第一数字摄像机102和第二数字摄像机104获取包括有对象的3D视频或图像，这就是3D信息。一旦被获取，在步骤206处理器106就处理3D信息，并压缩和格式化3D信息。然后，在步骤208，将3D信息存储在本机存储器108中。存储后，在步骤209，3D信息就能被显示给观众，在步骤210用眼睛跟踪或不用眼睛跟踪。为了进行眼睛跟踪，第一数字摄像机102和第二数字摄像机104确定观众眼睛在何处，然后确保3D信息以适当的角度显示给观众，以使他们能正确地看到3D信息。在步骤214，3D信息还能被发送到兼容装置。这种传输可用任何适合的方式进行，包括有线、无线、红外、射频、蜂窝和卫星传输。然后，根据兼容装置的配置，兼容接收装置的观众就能够观看3D信息。在步骤216，如果兼容装置允许有眼睛跟踪的3D显示，观众就会看见类似于包括有3D获取和显像系统的装置上所显示的3D信息，如上所述。但步骤218提供备选的3D显示过程，其中没有眼睛跟踪，但也不需要眼镜，或者相反，在步骤220需要眼镜。而且，如果兼容装置只有2D显示器，则在步骤222，观众只会看见2D图像。兼容装置使用软件将3D信息转换为2D图像。电子装置100也具有接收来自其它兼容装置的3D信息的能力，如步骤212所述。类似于电子装置100发送3D信息的能力，它也具有接收2D或3D信息用于显示目的的能力。一旦电子装置100通过接收器112接收到信息，电子装置100就根据需要处理该信息，然后将其存储在存储器108中，并最终使用眼睛跟踪将信息显示给观众，进行3D观看。
图3示出3D获取和显像系统的自动聚焦系统的图示。在一个实施例中，用于个人电子装置的3D获取和显像系统允许利用第一数字摄像机102和第二数字摄像机104自动聚焦。系统利用第一数字摄像机102和第二数字摄像机104测量3D几何形状、颜色以及对象深度。第一数字摄像机102具有第一透镜302和第一电荷耦合器件(CCD)308，第二数字摄像机104具有第二透镜304和第二CCD 310。众所周知，CCD传感器允许用户用数字摄像机摄影。一旦数字摄像机的机械快门打开，CCD传感器就通过透镜曝光。CCD传感器将光转换为电荷，然后再转换为信号。然后将信号数字化，并存储在存储器中。最后，例如在电子装置的LCD上，显示获取的信息。在一个实施例中，用光学三角测量将第一数字摄像机102和第二数字摄像机104聚焦在正确的深度。光学三角测量包括匹配在从第一数字摄像机102和第二数字摄像机104所获得的画面中的点P 306的图像。第一数字摄像机102和第二数字摄像机104并联到电子装置100。使用深度图来存储深度测量值，它通常是一个二维阵列。对x分量和y分量编码，且z是对应于每一点的深度测量值。对于针孔摄像机，深度(z)用下式计算z＝b*f/(x1’-xr’)
式中焦距为f，两个数字摄像机中心之间的距离为b，第一图像平面为x1’，第二图像平面为xr’。计算是由电子装置100的内部硬件和软件自动进行，使电子装置100非常精确地自动聚焦。
数字摄像机聚焦后，获取三维信息就很简单了，因为第一数字摄像机102和第二数字摄像机104都一起连接在电子装置100中。用户像往常一样摄影，并且第一数字摄像机102和第二数字摄像机104各从稍有不同的角度采集3D信息，从而创建立体图像。而且，由于数字摄像机放置得非常靠近，因此就避免了在过去困扰立体摄像机的大多数问题。
获取3D信息的备选实施例使用一个连接到电子装置100的适当大小的激光测距器，其中激光从对象上弹出，并且接收器计算反射的光束返回所需的时间。测距器帮助自动聚焦在正确的距离，以使第一数字摄像机102和第二数字摄像机104获取正确数据。
获取3D信息的另一备选实施例包括将光图案投影到对象上。这些图案可包括网格、条纹或椭圆图案。然后从光图案的翘曲中导出对象的形状。然后利用第一数字摄像机102的位置和第二数字摄像机104的位置以及翘曲来计算深度。
获取3D信息后，对其进行处理，并存储在电子装置100的本机存储器108中。数据处理包括压缩、格式化、分辨率增强和色彩增强。然后将3D信息存储为一种或多种不同的格式，包括上下、行交替、并排、赛博范围、压扁并排以及JPS立体JPEG。
为了使观众观看3D信息，实现眼睛跟踪系统，以使3D信息始终保持焦点对准，而且总是3D的。第一数字摄像机102和第二数字摄像机104用于实现眼睛跟踪系统。用于眼睛跟踪的实施例包括使用红外LED，这些LED围绕在第一数字摄像机102和第二数字摄像机104的透镜周围，以使LED光源尽可能靠近数字摄像机透镜的光轴，以便最大化观众眼睛的反光效果。眼睛和面部之间反射率的差异会导致眼睛是白色而面部是黑色，这就足以确定眼睛的位置。不过当环境光太强或观众戴眼镜时，还是有问题，但可使用差分分析技术去除不需要的反射或额外的照明问题。备选的是，在没有红外LED的系统中，数字摄像机可备选地分析和比较观众的图像，并确定观众眼睛的位置。一旦确定了观众眼睛的位置，在观众观看显示器116时，第一数字摄像机102和第二数字摄像机104就继续跟踪他们。显示器116上的图像根据需要旋转和/或移动，以使观众能连续观看到3D图像。
用于跟踪观众的备选实施例包括跟踪观众的头部，然后估算观众的眼睛位于何处。系统获得观众头部的轮廓，然后预测观众的眼睛位于何处。有许多技术可实现头部跟踪。图像分析一般需要有已知的背景或一致和受控的环境照明。红外LED位于第一数字摄像机102和第二数字摄像机104的透镜周围，并朝背景和观众发光。在此，不需要复杂的亮度控制，所以CCD摄像机就可以使用。对摄像机的光圈进行调节，以使背景的曝光区域呈现为全白色，而观众呈现为黑色。然后使用电子装置中的软件建立观众的轮廓，以估计眼睛的位置。备选的是，该过程的进行没有反光屏，而是使用红外条纹和条纹变形来计算观众头部的位置。备选的是，在没有红外LED的系统中，数字摄像机可备选地分析和比较观众的图像，并确定观众头部和眼睛的位置。
头部跟踪的备选实施例包括声测距，以及使用三角测量找到观众的头部位置。位于电子装置100上的超声变换器用来发送脉冲，并接收脉冲的回声。知道了发送脉冲和接收到脉冲之间的时间延迟，对象的距离就可进行三角测量。该过程重复多次，并且对观众的头部，包括眼睛的位置不断进行近似。
另一备选实施例包括跟踪多个观众眼睛的方式，由此使用多个投影仪向观众的眼睛显示3D信息，并将3D信息引向适当位置。
对于显示3D信息的装置，有许多不同的选择。用于显示器116的一个实施例使用视差栅栏技术，它用作3D自动立体显示器或2D显示器。视差栅栏包括距像素平面有一定距离间隔的狭缝阵列。窗口上的强度分布被模拟为详细像素结构的卷积，以及通过狭缝孔径的近场衍射，这导致窗口平面上的强度改变。而且，视差栅栏必须以高精确度与LED对准。视差栅栏可作成透明的，以允许在2D和3D间转换。
一个备选实施例使用双凸透镜状元件来显示3D信息。双凸透镜状元件通常是圆柱形透镜，相对2D显示器例如LCD垂直排列。圆柱形透镜引导来自像素的漫射光，因此在显示器前方仅能在有限角度才可看到。因此，不同的像素被导向左视角或右视角。2D/3D转换扩散器连接在双凸透镜状元件的前面，以允许观众在2D和3D之间转换。当2D/3D转换扩散器关闭时，它使光散射，并阻止光到达双凸透镜，这得到正常2D显示器的类似性能。
另一备选实施例包括使用垂直定向的微型棱镜作为视差元件，且左右图像垂直交错在各列中，由微型棱镜引导到两个观看窗口。
另一备选实施例包括使用一系列叠层式微型偏光元件来产生可转换的视差栅栏。微型偏光元件构建在LCD元件内，以避免共同的视差问题。
另一备选实施例结合有观看辅助物，例如彩色、偏光或转换眼镜，来观看3D信息，如果立体显示器不是自动立体显示的话。
另一备选实施例包括使用分束器，它使用光偏振将左眼和右眼的立体图像分开，并将合适的图像导向适合的眼睛。
图4a和4b示出使用3D获取和显像系统从电子装置100向兼容接收装置400发送3D信息的图示。除了显示3D信息的能力外，电子装置100还具有向兼容装置400无线发送3D信息的能力。而且，电子装置100也具有接收来自兼容装置400的3D信息的能力。无线传输的类型包括蓝牙402或类似技术402，用于直接装置到装置的传输。另一类型的无线传送包括将电子装置连接到因特网410，通过因特网将3D信息发送到服务器，然后兼容装置400就能无线下载该3D信息。如上所述，电子装置100包括发送器110和接收器112。发送器110和接收器112都连接成能够向/从电子装置100的处理器106、存储器108以及显示器116传送数据。发送器110可包括红外传输系统或射频传输系统。兼容装置400应包括有类似组件，虽然兼容装置400不必是自动立体装置。兼容装置可以是自动立体装置、立体装置或只是2D装置。显然，根据装置的不同，要能够观看图像的所有特性可能需要附加的硬件，例如专用眼镜。至于2D装置，3D图像只能以2D呈现。在备选实施例中，3D信息通过电缆，例如以太网电缆、IEEE 1394兼容电缆或USB电缆，进行非无线传输。
本发明的一个备选实施例包括将3D信息投影到屏幕上供观看。除了在显示器116上观看3D信息外，电子装置100将3D信息投影到屏幕上，由此使用专用眼镜进行观看，如上所述。
除了上述用于立体获取和显示能力的所有特性外，电子装置100保留有其固有的所有特性。例如，如果电子装置是具有立体特性的PDA，则用户仍然能够存储信息、设置日程以及继续像从前一样使用PDA。同样，照相电话除了立体特性外，其作用就是电话。3D获取和显像系统通过添加立体特性，增强了电子装置100。
工作时，电子装置100的使用实质上类似于基础装置上具有立体特性的数字摄像机，这些基础装置包括但不限于膝上型计算机、PDA、照相电话、数字摄像机、视频摄像机以及电子表。要拍3D照片和获取3D信息，用户接通电子装置100的电源。然后用户将电子装置100的第一数字摄像机102和第二数字摄像机104对准所需对象。最后，用户按下连接到第一数字摄像机102和第二数字摄像机104的按钮，它们就摄影。在摄影之前，在用户对准所需对象时，第一数字摄像机102和第二数字摄像机104的自动聚焦系统自动聚焦到对象的适合深度，以拍摄最可能清晰的图片。这两个摄像机三角测量对象的深度，并快速和清楚地聚焦到对象上。第一数字摄像机102从第一角度获取信息，而第二数字摄像机104从略微偏离第一角度的第二角度获取信息。处理器106使用内部软件，并将来自各摄像机的分离信息处理成一组3D信息。摄影之后，用户可选择在显示器116上观看3D信息、将3D信息发送到兼容接收装置400、或将3D信息投影到屏幕上。要在电子装置100上观看3D信息，第一摄像机102和第二摄像机104用来跟踪用户的眼睛、头部或二者。用户在显示器116上只观看3D信息时，可以自由地到处移动，而3D信息不会模糊不清。显示器116还利用一种或多种适合且可用的3D显示技术来显示3D信息。为将3D信息传输到兼容接收装置400，电子装置包括与兼容接收装置400通信所需的功能。另外，用户使用输入装置与电子装置100交互，以发送3D信息，输入装置包括但不限于一组可按压的按钮、可触摸的触摸屏、或可转动的球柄。此外，用户可将3D信息投影到外部屏幕上，由此需要有视觉辅助物来观看3D信息。投影3D信息的设置包括将电子装置100稳定在适当靠近的表面上，以使3D信息清晰地显示在外部屏幕上。例如，将电子装置100放在桌子上，距下拉的白色帆布显示屏幕5英尺，观众戴上偏光3D眼镜来观看投影的3D信息。
已就具体实施例对本发明作了说明，包括了一些细节，以便于理解本发明的构造和工作原理。本文引用具体实施例及其细节不是为了将所附权利要求书的范围局限于此。对于业界技术人员来说，显而易见的是，在不背离权利要求书所定义的精神和范围的前提下，在选作说明的实施例中可以作其它各种改动。
权利要求
1.一种用于获取和显示三维信息的系统，包括a.电子装置；b.多个数字摄像机，连接到所述电子装置，用于自动聚焦在所述三维信息上并获取所述三维信息；以及c.显示器，连接到所述电子装置，用于显示所述三维信息。
2.如权利要求1所述的系统，其中所述电子装置来自如下项构成的组PDA、照相电话、膝上型计算机、数字摄像机、视频摄像机以及电子表。
3.如权利要求1所述的系统，其中所述三维信息包括一组图像。
4.如权利要求1所述的系统，其中所述数字摄像机包括一个或多个电荷耦合器件传感器，用以获取所述三维信息。
5.如权利要求1所述的系统，其中自动聚焦由计算确定，由此所述计算来自如下项构成的组光学三角测量、测距以及光图案翘曲。
6.如权利要求1所述的系统，其中对所述三维信息进行处理包括压缩、格式化、分辨率增强和彩色增强。
7.如权利要求1所述的系统，其中所述三维信息以立体格式存储在本机存储器中。
8.如权利要求7所述的系统，其中所述立体格式是上下、行交替、并排、赛博范围、压扁并排以及JPS立体JPEG中的一种或多种。
9.如权利要求1所述的系统，其中在显示所述三维信息时，所述多个数字摄像机跟踪观众的头部和眼睛中的一项或多项。
10.如权利要求9所述的系统，其中所述多个数字摄像机使用一个或多个红外激光器，用于在显示所述三维信息时跟踪观众的头部和眼睛中的一项或多项。
11.如权利要求1所述的系统，其中所述显示器是投影显示器。
12.如权利要求1所述的系统，其中所述显示器显示二维信息。
13.如权利要求1所述的系统，其中观看所述三维信息无需观看辅助物。
14.如权利要求1所述的系统，其中需要观看辅助物来观看所述三维信息。
15.如权利要求1所述的系统，还包括通信接口，所述通信接口用于与一个或多个其它装置通信，以发送和接收所述三维信息。
16.如权利要求15所述的系统，其中所述通信接口进行无线通信。
17.如权利要求1所述的系统，还包括控制接口，所述控制接口连接到所述电子装置，用于控制所述电子装置。
18.一种用于获取和显示三维信息的系统，包括a.电子装置；b.多个数字摄像机，连接到所述电子装置，用于获取所述三维信息；以及c.显示器，连接到所述电子装置，用于显示所述三维信息，其中所述多个数字摄像机跟踪观众的头部和眼睛中的一项或多项，并在显示所述三维信息时基于所述观众的头部和眼睛中的一项或多项的位置来调节所述三维信息。
19.如权利要求18所述的系统，其中所述电子装置来自如下项构成的组PDA、照相电话、膝上型计算机、数字摄像机、视频摄像机以及电子表。
20.如权利要求18所述的系统，其中所述三维信息包括一组图像。
21.如权利要求18所述的系统，其中所述数字摄像机包括一个或多个电荷耦合器件传感器，用以获取所述三维信息。
22.如权利要求18所述的系统，其中所述多个摄像机用于自动聚焦。
23.如权利要求22所述的系统，其中自动聚焦由计算确定，由此所述计算来自如下项构成的组光学三角测量、测距以及光图案翘曲。
24.如权利要求18所述的系统，其中对所述三维信息进行处理包括压缩、格式化、分辨率增强和彩色增强。
25.如权利要求18所述的系统，其中所述三维信息以立体格式存储在本机存储器中。
26.如权利要求25所述的系统，其中所述立体格式是上下、行交替、并排、赛博范围、压扁并排以及JPS立体JPEG中的一种或多种。
27.如权利要求18所述的系统，其中所述多个数字摄像机使用一个或多个红外激光器，用于在显示所述三维信息时跟踪观众的头部和眼睛中的一项或多项。
28.如权利要求18所述的系统，其中所述显示器是投影显示器。
29.如权利要求18所述的系统，其中所述显示器显示二维信息。
30.如权利要求18所述的系统，其中观看所述三维信息无需观看辅助物。
31.如权利要求18所述的系统，其中需要观看辅助物来观看所述三维信息。
32.如权利要求18所述的系统，还包括通信接口，所述通信接口用于与一个或多个其它装置通信，以发送和接收所述三维信息。
33.如权利要求32所述的系统，其中所述通信接口进行无线通信。
34.如权利要求18所述的系统，还包括控制接口，所述控制接口连接到所述电子装置，用于控制所述电子装置。
35.一种用于获取和显示三维信息的系统，包括a.电子装置；b.多个数字摄像机，连接到所述电子装置，用于自动聚焦在所述三维信息上并获取所述三维信息；c.本机存储器，用于以立体格式存储所述三维信息；d.自动立体显示器，连接到所述电子装置，用于显示所述三维信息，并且所述多个数字摄像机用于跟踪观众的头部和眼睛中的一项或多项，并在显示所述三维信息时基于所述观众的头部和眼睛中的一项或多项的位置来调节所述三维信息；e.通信接口，用于与一个或多个其它装置通信，以发送和接收所述三维信息；以及f.控制接口，连接到所述电子装置，用于控制所述电子装置。
36.如权利要求35所述的系统，其中所述电子装置来自如下项构成的组PDA、照相电话、膝上型计算机、数字摄像机、视频摄像机以及电子表。
37.如权利要求35所述的系统，其中所述三维信息包括一组图像。
38.如权利要求35所述的系统，其中所述数字摄像机包括一个或多个电荷耦合器件传感器，用以获取所述三维信息。
39.如权利要求35所述的系统，其中自动聚焦由计算确定，由此所述计算来自如下项构成的组光学三角测量、测距以及光图案翘曲。
40.如权利要求35所述的系统，其中对所述三维信息进行处理包括压缩、格式化、分辨率增强和彩色增强。
41.如权利要求35所述的系统，其中所述立体格式是上下、行交替、并排、赛博范围、压扁并排以及JPS立体JPEG中的一种或多种。
42.如权利要求35所述的系统，其中所述多个数字摄像机使用一个或多个红外激光器，用于在显示所述三维信息时跟踪所述观众的头部和眼睛中的一项或多项。
43.如权利要求35所述的系统，其中所述显示器是投影显示器。
44.如权利要求35所述的系统，其中所述通信接口进行无线通信。
45.一种用于获取和显示三维信息的方法，包括a.使用连接到电子装置的多个数字摄像机自动聚焦在所述三维信息上；b.使用所述多个数字摄像机获取所述三维信息；以及c.使用显示器显示所述三维信息。
46.如权利要求45所述的方法，其中所述电子装置来自如下项构成的组PDA、照相电话、膝上型计算机、数字摄像机、视频摄像机以及电子表。
47.如权利要求45述的方法，其中所述三维信息包括一组图像。
48.如权利要求45所述的方法，其中所述数字摄像机包括一个或多个电荷耦合器件传感器，用以获取所述三维信息。
49.如权利要求45所述的方法，其中自动聚焦由计算确定，由此所述计算来自如下项构成的组光学三角测量、测距以及光图案翘曲。
50.如权利要求45所述的方法，还包括处理所述三维信息，所述处理包括压缩、格式化、分辨率增强和彩色增强。
51.如权利要求45所述的方法，还包括将所述三维信息以立体格式存储在本机存储器中。
52.如权利要求51所述的方法，其中所述立体格式是上下、行交替、并排、赛博范围、压扁并排以及JPS立体JPEG中的一种或多种。
53.如权利要求45所述的方法，还包括在显示所述三维信息时使用所述多个数字摄像机跟踪观众的头部和眼睛中的一项或多项。
54.如权利要求53所述的方法，还包括在显示所述三维信息时使用具有一个或多个红外激光器的所述多个数字摄像机跟踪所述观众的头部和眼睛中的一项或多项。
55.如权利要求45所述的方法，其中所述显示器是投影显示器。
56.如权利要求45所述的方法，还包括使用通信接口与一个或多个其它装置通信，以发送和接收所述三维信息。
57.如权利要求56所述的方法，其中所述通信接口进行无线通信。
58.一种用于获取和显示三维对象的方法，包括a.使用连接到电子装置的多个数字摄像机自动聚焦在所述三维对象上；b.使用所述多个数字摄像机获取所述三维对象；c.使用所述多个数字摄像机跟踪观众的头部和眼睛中的一项或多项；d.使用显示器显示所述三维对象；e.在显示所述三维对象时基于所述观众的头部和眼睛中的一项或多项的位置来调节所述三维对象；以及f.使用通信接口与一个或多个其它装置通信，以发送和接收所述三维对象。
59.如权利要求58所述的方法，其中所述电子装置来自如下项构成的组PDA、照相电话、膝上型计算机、数字摄像机、视频摄像机以及电子表。
60.如权利要求58所述的方法，其中所述三维对象包括一组图像。
61.如权利要求58所述的方法，其中所述数字摄像机包括一个或多个电荷耦合器件传感器，用以获取所述三维对象。
62.如权利要求58所述的方法，其中自动聚焦由计算确定，由此所述计算来自如下项构成的组光学三角测量、测距以及光图案翘曲。
63.如权利要求58所述的方法，还包括处理所述三维对象，所述处理包括压缩、格式化、分辨率增强和彩色增强。
64.如权利要求58所述的方法，还包括将所述三维对象以立体格式存储在本机存储器中。
65.如权利要求64所述的方法，其中所述立体格式是上下、行交替、并排、赛博范围、压扁并排以及JPS立体JPEG中的一项或多项。
66.如权利要求58所述的方法，还包括在显示所述三维对象时使用具有一个或多个红外激光器的所述多个数字摄像机跟踪所述观众的头部和眼睛中的一项或多项。
67.如权利要求58所述的方法，其中所述显示器是投影显示器。
68.如权利要求58所述的方法，其中所述通信接口进行无线通信。
全文摘要
用于个人电子装置的三维(3D)获取和显像系统包括两个以各种方式工作的数字摄像机。这两个数字摄像机获取3D数据，然后将它们显示在自动立体显示器上。为了清晰和易于使用，这两个数字摄像机还起眼睛跟踪装置的作用，帮助以正确的角度向用户投影适当的图像。这两个数字摄像机还起帮助以正确的深度自动聚焦的作用。每个个人电子装置还能存储、发送和显示所获取的3D数据。
文档编号H04N13/00GK1934874SQ200580008604
公开日2007年3月21日 申请日期2005年3月14日 优先权日2004年3月18日
发明者李俊杰, A·贝雷斯托夫 申请人:索尼电子有限公司