二维/三维数字信息获取和显示设备的制作方法

专利名称：二维/三维数字信息获取和显示设备的制作方法
技术领域：
本发明涉及二维/三维(2D/3D)成像领域。更具体地，本发明涉及用 于2D/3D获取和显示的个人电子设备。
背景技术：
三维技术已发展了超过一个世纪，然而一般由于对普通用户的复杂性 和成本而无法立足于主流当中。在消费电子和计算机领域中都比传统的阴 极射线管(CRT)监视器和电视更适合于呈递三维(3D)图像的液晶显示
(LCD)和等离子屏幕的出现已刺激了对该技术的兴趣。3D系统已从技 术好奇有所进步，现在正成为用于娱乐、商业和科学应用的实际获取和显 示系统。随着兴趣的提高，许多硬件和软件公司在3D产品上合作。
近来，NTT DoCoMo公布了 Sharp movaSH251iS手机，其首次采用了 能够呈递3D图像的彩色屏幕。单个数码相机允许其用户拍摄两个二维
(2D)图像，然后利用编辑系统将它们转换为3D。 3D图像被发送到其他 电话，接受者如果拥有类似装备的手机则能够看到3D图像。不需要专门 的眼镜来观看自动立体系统上的3D图像。但是该技术存在许多问题。为 了看到良好的3D图像，用户的位置必须直接在电话前面并且离其屏幕大 约一英尺远。如果用户随后稍微移动，则他将失去图像的聚焦。此外，由 于仅利用一个相机，所以仅可以拍摄2D图像，然后通过3D编辑器将图像 人工转换为3D图像。因此图像质量是一个问题。
在授予Richards的美国专利No. 6,477,267中批准了一种从2D图像产 生立体图像的方法，通过该方法，在原始图像中识别至少一个对象；描画 这一个或多个对象的轮廓；为每个对象定义深度特性；以及相应地显示该 图像的所选区域。但是如上所述，将2D图像转换为3D图像具有许多问 题，最重要的是所得到的3D图像的质量。授予Gartner等人的美国专利No. 6,664,531公开了一种利用两个相机 (这两个相机观察对象的视差效应)来捕获一对图像的可能配置，而不是 利用一个相机来捕获2D图像。然后，左眼将观看这对立体图像中的一个 图像，并且右眼将观看另一个图像。人脑能够容易地合并这对图像，以使 得对象被作为3D图像观看。
在授予Montgomery等人的美国专利No. 6,512,892中公开了利用两个 相机获取3D图像的另一示例，该示例包括具有至少两个可移动并行检测 器头的3D相机。
如针对DoCoMo产品所述，用户在观看3D图像期间实质上必须静止 不动，否则他将失去聚焦。这种问题的一个原因在于图像是多图像显示。 多图像显示包括被交织成单个显示媒体的不同图像。多图像显示的最简单 实现方式包括重复左-右图像的序列。每个相继图像之间的距离是65mm， 这等于观看者眼睛之间的平均距离。然而，如果观看者向左或向右移动超 过32mm，则观看者将看到颠倒的3D图像。颠倒的3D图像看起来不舒服 并且不久之后将引起头疼和苦恼。
可通过利用多个图像(各自隔开65mm)来改善多图像显示。在多个 图像的情况下，观看者可以向左或向右移动他的头，并且仍然将看到正确 图像。然而，该技术存在其他问题。所需要的相机数目增大。例如，为了 具有四个视图，需要四个相机。此外，由于各组数目是重复的，因此仍然 存在产生颠倒3D图像的位置，只是位置变少而已。可通过在重复的组之 间插入空场或黑场来克服颠倒的图像。黑场将去除颠倒的3D图像，但随 后存在图像不是3D图像的位置。此外，所需的黑场的数目与所利用的相 机的数目成反比，以使得所使用的相机越多，所需要的黑场越少。因此， 多图像显示具有许多问题需要克服以使得观看者能够享受他的3D体验。
目前存在各种观看装置可用于观看3D图像。 一种类型包括需要将透 镜、棱镜或反射镜保持在观看者的眼睛附近的观看装置，这与不需要专门 的眼睛物品的替代方式相比不那么方便。第二种类型包括透镜状系统 (lenticular system)，如果希望得到高分辨率图像，则由于与其生产相关 联的精度量，针对高质量图像呈现来制造透镜状系统是相对困难和昂贵的。此外，与附接有透镜状阵列的显示设备所能够固有显示的分辨率相 比，透镜状系统将总是呈现较低分辨率的图像。此外，透镜状系统不是很
好地适用于诸如计算机显示器或电视之类的观看系统，因此使用范围不广。
第三种类型的3D观看装置包括用于3D观看的视差光栅(parallax barrier)。系统是与所看到或投影的图像成各种关系布置的、由散布有不 透明部分的透明部分所构成的栅格，该图像是从左图像(最终将仅被观看 者的左眼看到)中取出的区域和从右图像(最终将仅被观看者的右眼看 到)中取出的区域的散布合成，这一个或多个栅格被置于隐藏右图像的区 域使其不被左眼看到并且隐藏左图像的区域使其不被右眼看到的位置处， 这使得每只眼睛看到显示画面中示出源自其适当图像的区域的部分。在这 种系统中，大概一半显示画面不包含图像。
在授予Kleinberger等人的美国专利No. 6,252,707中公开的第四种类 型的3D图像观看装置包括用于在不使用眼镜的情况下来观看并投影全 色、扁平屏幕的双目立体视图。光偏振层与光旋转装置或滤色器层的各种 组合用于向适当的左眼或右眼显示左图像或右图像。
一种用于解决就多图像显示而描述的问题的可能选项是跟踪系统。授 予Richards等人的美国专利No. 6,163,336公开了一种具有跟踪系统的自动 立体显示系统。Richards教导了一种跟踪系统，该跟踪系统知道观看者的 位置，并且可以指示显示单元移动所显示的图像的位置，以使得所显示的 图像对应于观看者的正确位置。
另一问题是在基于测量图片的高频内容和改变聚焦设定直到该测量达 到最大值而运行的现代数码相机中使用的被动自动聚焦系统。这种方法缓 慢并且经常失败。授予Dougherty的美国专利No. 6,616,347作为现有技术 公开了多个用于自动聚焦的双相机系统，尽管它们都具有包括太大、太贵 和太重的问题。此外，在对来自两个相机的图像部分进行对准时存在困 难。授予Szeliski等人的美国专利No. 6，611，268公开了利用两个摄像机， 其中至少一个相机是用于估计场景的深度图的摄像机。
此外，虽然如授予Tullis的美国专利No. 6,535,243中所公开的，存在多个无线手持式数码相机，但是这种无线设备缺乏3D能力。因此，对探 索这种能力的需求增长。
过去也开发了对3D图像的投影，但需要提高。授予Kleinberger等人 的美国专利No. 6,252,707公开了一种3D投影仪系统，该系统包括在屏幕 上投影3D图像而不需要专门的眼睛佩戴物的两个投影仪。投影仪是电影 投影仪、电视投影仪、计算机所驱动的投影设备、幻灯片投影仪或者大小 类似的某种其他设备，因此这些投影仪的大小很大。
也开发了其他技术。迪斯尼(Disney)创建了所谓的迪斯尼数字3D, 该技术利用仅需要一个数字投影仪的专门技术来以3D呈现CGI电影。
飞利浦开发了自动立体透镜状LCD监视器，该监视器显示2D和3D 图像二者，其中不同角度的人能够在无需专门的观看眼镜的情况下观看屏 幕。飞利浦还开发了用于移动电话的信号处理处理器，该处理器使得3D 能够被实时呈递。

发明内容
一种二维/三维(2D/3D)数字获取和显示设备用于使得用户能够利用 单个设备来捕获3D信息。在一个实施例中，设备具有单个可移动镜头以 及传感器。在另一实施例中，设备具有单个镜头以及分束器和多个传感 器。在另一实施例中，设备具有多个镜头和多个传感器，在另一实施例 中，设备是具有附加的3D软件的标准数码相机。在所有实施例中，利用 根据2D信息生成的深度图来从2D信息生成3D信息。3D信息然后能够 被显示在设备上、发送到另一设备以被显示或打印。
在一个方面中， 一种数字成像设备包括镜头、定位为通过镜头获取二 维信息的传感器、用于根据二维信息计算三维信息的处理器以及耦合到处 理器并用于显示三维信息的显示器。镜头和传感器中的至少一者是可移动 的。二维信息用于生成真实深度图。数字成像设备是从包括数字静态相机 和数字摄录机的组中选择的。二维信息包括一组图像。传感器是从包括电 荷耦合器件和互补金属氧化物半导体的组中选择的。二维信息被处理，包 括压縮、格式化、分辨率增强、色彩增强和失真校正。三维信息以立体格式存储在本地存储器中。立体格式是以下格式中的一种或多种上下、行
交替、并排、网络空间(cyberspace)、挤压的并排、JPS立体JPEG和 2D+深度。显示器显示二维信息。三维信息在没有观看辅助器的情况下被 观看。或者，需要观看辅助器来观看三维信息。设备还包括通信接口，该 通信接口用于与一个或多个其他设备通信以发送和接收三维信息。通信接 口无线地通信。设备还包括耦合到处理器的控制接口，用于控制显示器。
在另一方面中， 一种数字成像设备包括镜头；分束器，该分束器的 位置靠近镜头；多个传感器，这多个传感器的位置靠近分束器，用于获取 二维信息；耦合到多个传感器的处理器，用于根据二维信息计算三维信 息；以及耦合到处理器的显示器，用于显示三维信息。二维信息用于生成 真实深度图。数字成像设备是从包括数字静态相机和数字摄录机的组中选 择的。二维信息包括一组图像。多个传感器各自是从包括电荷耦合器件和 互补金属氧化物半导体的组中选择的。二维信息被处理，包括压縮、格式 化、分辨率增强、色彩增强和失真校正。三维信息以立体格式存储在本地 存储器中。立体格式是以下格式中的一种或多种上下、行交替、并排、 网络空间、挤压的并排、JPS立体JPEG和2D+深度。显示器显示二维信 息。三维信息在没有观看辅助器的情况下被观看。或者，需要观看辅助器 来观看三维信息。设备还包括通信接口，该通信接口用于与一个或多个其 他设备通信以发送和接收三维信息。通信接口无线地通信。设备还包括耦 合到处理器的控制接口，用于控制显示器。
在另一方面中， 一种数字成像设备包括第一镜头；第二镜头；第一 传感器，该第一传感器被定位为通过第一镜头获取三维信息；第二传感 器，该第二传感器被定位为通过第二镜头获取三维信息；耦合到第一传感 器和第二传感器的处理器，用于处理三维信息；以及耦合到处理器的显示 器，用于显示三维信息。数字成像设备是从包括数字静态相机和数字摄录 机的组中选择的。三维信息包括一组图像。第一传感器和第二传感器各自 是从包括电荷耦合器件和互补金属氧化物半导体的组中选择的。三维信息 被处理，包括压縮、格式化、分辨率增强、色彩增强和失真校正。三维信 息以立体格式存储在本地存储器中。立体格式是以下格式中的一种或多种上下、行交替、并排、网络空间、挤压的并排、JPS立体JPEG和
2D+深度。显示器显示二维信息。三维信息在没有观看辅助器的情况下被 观看。或者，需要观看辅助器来观看三维信息。设备还包括通信接口，该 通信接口用于与一个或多个其他设备通信以发送和接收三维信息。通信接 口无线地通信。设备还包括耦合到处理器的控制接口，用于控制显示器。
在另一方面中， 一种数字成像设备，包括镜头；传感器，该传感器 被定位为通过镜头获取二维信息；处理器，用于实现根据二维信息计算三 维信息的应用；以及耦合到处理器的显示器，用于显示三维信息。应用是 被预加载的。或者，应用可作为附件。多个图像被传感器获取。在获取第 一图像之后，相对于场景的角度和/或位置被改变以获取第二图像。角度和 /或位置是徒手改变的。可使用连拍模式来获取二维信息。处理器实现失真 校正。二维信息用于生成真实深度图。数字成像设备是从包括数字静态相 机和数字摄录机的组中选择的。二维信息包括一组图像。传感器是从包括 电荷耦合器件和互补金属氧化物半导体的组中选择的。二维信息被处理， 包括压縮、格式化、分辨率增强和色彩增强。三维信息以立体格式存储在 本地存储器中。立体格式是以下格式中的一种或多种上下、行交替、并 排、网络空间、挤压的并排、JPS立体JPEG和2D+深度。显示器显示二 维信息。三维信息在没有观看辅助器的情况下被观看。或者，需要观看辅 助器来观看三维信息。设备还包括通信接口，该通信接口用于与一个或多 个其他设备通信以发送和接收三维信息。通信接口无线地通信。设备还包 括耦合到处理器的控制接口，用于控制显示器。
在另一方面中， 一种获取、生成并显示三维信息的方法包括获取二维 信息、根据二维信息生成深度图、根据二维信息和深度图生成三维信息以 及显示三维信息。三维信息被显示在获取设备上的显示器上。或者，三维 信息被显示在次级设备的显示器上。或者，三维信息是通过打印而被显示 的。二维信息是通过移动可移动镜头和可移动传感器中的至少一者而获取 的。或者，二维信息是利用分束器和多个传感器获取的。或者，二维信息 是利用多个镜头和多个传感器获取的。或者，二维信息是通过从不同角度 和/或位置拍摄多个图片获取的。多个图片是徒手拍摄的。多个图片是利用连拍模式拍摄的。利用应用来根据二维信息生成三维信息。


图1示出2D/3D获取和显示设备的一个实施例的框图。 图2示出2D/3D获取和显示设备的一个实施例的框图。 图3示出2D/3D获取和显示设备的一个实施例的框图。 图4示出2D/3D获取和显示设备的一个实施例的框图。 图5示出由2D/3D获取和显示设备实现的方法的流程图。 图6示出由2D/3D获取和显示设备实现的方法的流程图。
具体实施例方式
这里描述了 2D/3D获取和显示设备。2D/3D获取和显示设备允许用户 捕获2D信息并将2D信息变换成诸如3D图像之类的3D信息。2D/3D获 取和显示设备优选地被实现为数字静态相机(DSC)或者数字摄录机。
图l示出2D/3D获取和显示设备100的一个实施例的框图。2D/3D获 取和显示设备100包括用于确保设备的正确功能的多个组件。在获取2D 信息的过程中利用可移动镜头102和传感器104。虽然镜头102在此被描 述为可移动的，但是在一些实施例中，镜头102和/或传感器104是可移动 的。传感器104能够是任何数字成像传感器，例如电荷耦合器件(CCD) 或者CMOS成像器件。可移动镜头102使得能够以不同深度捕获多个2D 图像，然后如2006年6月22日提交的题为"Method of and Apparatus for Generating a Depth Map Utilized in Autofocusing"的美国专禾U申请No. 11/473,694 (该申请通过引用结合于此)中所公开的，利用2D信息来生成 真实深度图。优选地，处理器106根据2D信息生成真实深度图。深度图 能够用于自动聚焦。因为有足够的基于所获取的图像的信息来确定对象真 正有多近或多远，所以该深度图是真实深度图。处理器106还用于进一步 处理2D信息，包括压縮、格式化、根据2D信息和真实深度图生成3D信 息、分辨率增强、色彩增强、失真校正和最终将2D和3D信息存储在本地 存储器108中。在根据2D信息和真实深度图生成3D信息时还利用软件和/或其他硬件。以各种格式中的一种或多种来存储3D信息，这些格式包括 但不限于上下、行交替、并排、网络空间、挤压的并排、JPS立体JPEG 和2D+深度。
发送器110可选地可用于将3D信息发送给一个或多个其他电子设备 (例如，显示设备)，并且接收器112被可选地包括以从另一电子设备接 收3D信息。3D信息通过任何适当手段发送到电子设备，这些手段包括但 不限于有线、无线、红外、射频、蜂窝和卫星传输。显示设备显示3D信 息存在许多可能性。 一种显示设备利用视差光栅技术，其被用作3D立体 显示器或者2D显示器。视差光栅包括以所定义的距离与像素平面相间隔 的缝隙的阵列。整个窗口上的强度分布被建模为详细的像素结构和通过缝 隙的孔的近场衍射的巻积，这在窗口平面上产生强度变化。此外，需要以 高精确度将视差光栅与LCD对准。视差光栅能够变得透明以允许在2D和 3D之间转换。
另一显示设备利用透镜状元件来显示3D信息。透镜状元件通常是相 对于诸如LCD之类的2D显示器垂直布置的柱面透镜。柱面透镜引导来自 像素的发散光，因此在显示器前面仅以有限角度看到该像素。因此，不同 的像素被引导至左视角或右视角。2D/3D切换扩散器耦合在透镜状元件之 前，以允许观看者在2D和3D之间切换。当2D/3D切换扩散器关闭时， 其对光进行散射并且防止光到达透镜状透镜，这产生了与通常的2D显示 器类似的性能。
另一显示设备包括使用垂直定向的微棱镜的阵列作为视差元件，并且 按列垂直交错的左图像和右图像被微棱镜引导至两个观看窗口。
另一显示设备包括使用一系列的堆叠微偏振器元件来生成可切换的视 差光栅。在LCD元件内构建微偏振器元件以避免公共视差问题。
另一显示设备包括诸如彩色的、偏振的或者切换的眼镜之类的观看辅 助器来观看3D信息，其中立体显示不是自动立体的。
另一显示设备包括利用分束器，该分束器使用光偏振来分离左眼和右 眼立体图像并将适当的图像引导至适当的眼睛。除了能够将3D信息发送 到另一设备之外，2D/3D获取和显示设备100还包括显示所存储的3D信息的显示器116。显示器116还包括显示3D信息的各种适当和可用3D显 示技术中的一种或多种。优选地，显示器116被内置在2D/3D获取和显示 设备100中。优选地，显示器116能够在2D显示和3D显示之间切换，以 使得用户能够以他/她所希望的维度来观看图像或者视频。如上所述，存在 许多可用的3D显示类型，这些显示类型能够被并入在2D/3D获取和显示 设备100中。优选地，2D/3D获取和显示设备100是与标准数码相机和摄 录机相当的便携式大小，因此显示器116是适当的大小。由上可见， 2D/3D获取和显示设备100内所包括的一些显示类型是自动立体显示和利 用专门眼睛的显示。
3D信息除了被显示在电子显示器上之外，还能够被打印以供3D观看。
可选地利用控制接口 114来允许观看者控制电子设备100的多个方 面，包括设定和其他特征。控制接口 114是用硬件和/或软件实现的。电源 118向2D/3D获取和显示设备IOO提供电力。2D/3D获取和显示设备100 的组件一起允许用户获取2D/3D信息、可选地将2D/3D信息发送给另一设 备并显示2D/3D信息。
图2示出2D/3D获取和显示设备200的一个实施例的框图。2D/3D获 取和显示设备200包括用于确保设备的正确功能的多个组件。镜头202与 分束器204、第一传感器206和第二传感器208 —起使用以获取2D信息， 该信息包括图像在不同深度的多个拷贝以使得每个图像的模糊(blur)是 不同的。第一传感器206和第二传感器208能够是任何数字成像传感器， 例如CCD或者CMOS成像器件。如图2所示，第一传感器206离分束器 204的距离为dl，并且第二传感器208离分束器的距离是d2，其中dl和 d2不相等。通过利用两种不同模糊量来捕获图像，可以生成真实深度图， 如2006年2月16日提交的题为"Method of and Apparatus For Capturing and Generating Multiple Blurred Images"的美国专利申请No. 11/357,631中 所述，该申请通过引用结合于此。优选地，处理器210根据2D信息生成 真实深度图。该深度图能够用于自动聚焦。处理器210还用于进一步处理 2D信息，包括压縮、格式化、根据2D信息和真实深度图生成3D信息、分辨率增强、色彩增强、失真校正和最终将2D和3D信息存储在本地存储 器212中。在根据2D信息和真实深度图生成3D信息时还利用软件和/或 其他硬件。以各种格式中的一种或多种来存储3D信息，这些格式包括但 不限于上下、行交替、并排、网络空间、挤压的并排、JPS立体JPEG和 2D+深度。
发送器214可选地可用于将3D信息发送给一个或多个其他电子设 备。接收器216被可选地包括以从另一电子设备接收3D信息。如上所 述，其他电子设备能够是或者具有以各种方式显示3D信息的显示器。此 外，3D信息通过任何适当手段发送到电子设备，这些手段包括但不限于 有线、无线、红外、射频、蜂窝和卫星传输。
除了发送到另一设备之外，2D/3D获取和显示设备200还包括显示所 存储的3D信息的显示器220。如上所述，显示器220还包括显示3D信息 的各种适当和可用3D显示技术中的一种或多种。可选地利用控制接口 218来允许观看者控制电子设备200的多个方面，包括设定和其他特征。 电源222向2D/3D获取和显示设备200提供电力。2D/3D获取和显示设备 200的组件一起允许用户获取2D/3D信息、可选地将2D/3D信息发送给另 一设备并显示2D/3D信息。
3D信息处理除了被显示在电子显示器上之外，还能够被打印以供3D 观看。
图3示出具有多个镜头的2D/3D获取和显示设备300的一个实施例的 框图。具有多个镜头的2D/3D获取和显示设备300类似于2004年8月9 日提交的题为"Three Dimensional Acquisition and Visualization System for Personal Electronic Devices"的美国专利申请No. 10/915,648，该申请通过 引用结合于此并且要求2004年3月18日提交且题为"Three-Dimensional Acquisition and Visualization System for Personal Electronic Devices"的序号 为60/554,673的美国临时申请(该临时申请也通过引用结合于此)在35 U.S.C. § 119(e)下的优先权。具有多个镜头的2D/3D获取和显示设备300 包括用于确保设备的正确功能的多个组件。第一镜头302和第二镜头304 被彼此基本平行地定位，并且在同时获取一组2D/3D图像信息的过程中被利用。由于在2D/3D信息中获取了立体对图像，因此2D/3D信息能够被认 为是3D信息。第一传感器306和第二传感器308的位置分别靠近第一镜 头302和第二镜头304，以适当地接收2D/3D图像信息。耦合到传感器 306和308的处理器310用于生成真实深度图，如果需要的话。该深度图 能够用于自动聚焦。然而，由于2D/3D信息包括立体对图像，因此真实深 度图不是必须生成的。立体对图像已经是3D信息。处理器310还用于处 理2D/3D信息，包括压縮、格式化、根据2D/3D信息和真实深度图生成 3D信息(如果需要的话)、分辨率增强、色彩增强、失真校正和最终将 2D和3D信息存储在本地存储器312中。在根据2D信息和真实深度图生 成3D信息时还利用软件和/或其他硬件。以各种格式中的一种或多种来存 储3D信息，这些格式包括但不限于上下、行交替、并排、网络空间、挤 压的并排、JPS立体JPEG和2D+深度。
发送器314可选地可用于将3D信息发送给一个或多个其他电子设 备。接收器316被可选地包括以从另一电子设备接收3D信息。如上所 述，其他电子设备能够是或者具有利用各种技术显示3D信息的显示器。 此外，3D信息通过任何适当手段发送到电子设备，这些手段包括但不限 于有线、无线、红外、射频、蜂窝和卫星传输。
除了发送到另一设备之外，具有多个镜头的2D/3D获取和显示设备 300还包括显示所存储的3D信息的显示器320。如上所述，显示器320还 包括显示3D信息的各种适当和可用3D显示技术中的一种或多种。可选地 利用控制接口 318来允许观看者控制具有多个镜头的2D/3D获取和显示设 备300的多个方面，包括设定和其他特征。电源322向具有多个镜头的 2D/3D获取和显示设备300提供电力。具有多个镜头的2D/3D获取和显示 设备300内的3D获取和可视化设备的组件一起允许用户获取2D/3D信 息、可选地将2D/3D信息发送给另一设备并显示2D/3D信息。
3D信息除了处理被显示在电子显示器上之外，还能够被打印以供3D 观看。
图4示出2D/3D获取和显示设备400的一个实施例的框图。2D/3D获 取和显示设备400是标准数码相机，其中专门的2D到3D转换应用被加载到相机上。该相机能够使应用被预加载或者可作为附件。在获取2D信息 的过程中利用镜头402和传感器404。在本实施例中，2D/3D获取和显示 设备400利用转换应用来将所获取的2D图像转换为3D图像。用户通过拍 摄一个图像然后将2D/3D获取和显示设备400移到不同位置来拍摄该对象 /场景的另一图像而拍摄多个图像。用户能够将2D/3D获取和显示设备400 移动几毫米或者几英尺以按不同角度和/或位置获取图像。此外，用户能够 徒手移动2D/3D获取和显示设备400，意味着用户不需要专门的装置来拍 摄多个图片。另一种拍摄多个图像的方法是在2D/3D获取和显示设备400 内使用连拍模式(burst mode)，其中在短时间量内捕获多个图像。在多 个图像被传感器404获取之后，与所添加的应用一起利用处理器406来处 理每个图像的2D信息。处理包括确定真实深度图、压縮、格式化、根据 2D信息生成3D信息以及最终存储在本地存储器408中。由于2D信息包 括立体对图像，因此2D信息能够被作为3D信息来对待，以使得不需要真 实深度图并且3D信息只是立体对图像。处理还能够包括分辨率增强和色 彩增强。以各种格式中的一种或多种来存储3D信息，这些格式包括但不 限于上下、行交替、并排、网络空间、挤压的并排、JPS立体JPEG和 2D+深度。应用还能够用于校正失真。
发送器410可选地可用于将3D信息发送给一个或多个其他电子设 备。接收器412被可选地包括以从另一电子设备接收3D信息。如上所 述，其他电子设备能能够是或者具有利用各种技术来显示3D信息的显示 器。此外，3D信息通过任何适当手段发送到电子设备，这些手段包括但 不限于有线、无线、红外、射频、蜂窝和卫星传输。
除了发送到另一设备之外，2D/3D获取和显示设备400还包括显示所 存储的3D信息的显示器416。如上所述，显示器416还包括显示3D信息 的各种适当和可用3D显示技术中的一种或多种。可选地利用控制接口 414来允许观看者控制2D/3D获取和显示设备400的多个方面，包括设定 和其他特征。电源418向2D/3D获取和显示设备400提供电力。2D/3D获 取和显示设备400的组件一起允许用户获取2D/3D信息、可选地将2D/3D 信息发送给另一设备并显示2D/3D信息。图5示出由2D/3D获取和显示设备实现的过程的流程图。在步骤 500，获取2D信息。2D信息包括图像和/或视频。此外，2D信息被以多种 方式获取。在一个实施例中，可移动镜头与传感器利用不同的模糊来获取 2D信息。在另一实施例中，分束器对图像信号进行划分，以使得其去往 离图像距离不同的两个传感器，其中每个所获取的图像的模糊不同。在另 一实施例中，使用多个镜头和传感器来同时从不同角度和/或位置获取2D 信息。在另一实施例中，使用标准数码相机来获取2D信息。 一旦被获 取，处理器就在步骤502中对2D信息进行处理并生成真实深度图。深度 图能够用于自动聚焦。如上所述，对2D图像进行处理包括利用其他硬件 和/或软件。取决于2D信息如何被获取，实现不同形式的处理以适当地计 算3D信息。然后在步骤504中，处理器利用深度图将2D信息转换为3D 信息。在一些实施例中，使用应用来将2D信息转换为3D信息。然后在步 骤506， 3D信息在2D/3D获取和显示设备上被显示给观看者。在步骤508 中，判断用户是否希望将3D信息发送到另一显示设备以显示3D信息。如 果用户希望发送3D信息，则在步骤510， 3D信息被发送并显示在另一显 示器上。在步骤512，判断用户是否希望打印3D信息。如果用户希望打 印3D信息，则在步骤514， 3D信息被打印。
图6示出由2D/3D获取和显示设备实现的方法的流程图。在步骤 600，获取3D信息。3D信息包括图像和/或视频。此外，3D信息被以多种 方式获取。在一个实施例中，使用多个镜头和传感器来同时从不同角度获 取3D信息。在另一实施例中，通过从不同角度和/或位置拍摄同一对象/场 景的两个单独图片，使用标准数码相机来获取3D信息。3D信息包括立体 对图像。 一旦被获取，处理器就在步骤602中处理3D信息。如上所述， 对3D图像进行处理包括利用其他硬件和/或软件(如果必要的话)。然后 在步骤604中，3D信息在2D/3D获取和显示设备上被显示给观看者。在 步骤606，判断用户是否希望将3D信息发送到另一显示设备以显示3D信 息。如果用户希望发送3D信息，则在步骤608， 3D信息被发送并被显示 在另一显示器上。在步骤610，判断用户是否希望打印3D信息。如果用 户希望打印3D信息，则在步骤612， 3D信息被打印。为了利用2D/3D获取和显示设备，与使用标准数码相机或数字摄录机 类似地来使用该设备。然而在一些实施例中，使用稍微有所不同。在设备 具有单个可移动镜头以及传感器的实施例中，在传感器稍微移动的情况下
设备接连迅速获取多个图像以确定深度图。在设备具有单个镜头以及分束 器和多个传感器的实施例中，具有多个模糊的单个图像被获取以生成深度 图。在具有多个镜头和多个传感器的实施例中，同时针对每个镜头/传感器 组合获取图像以确定深度图。因此，在所有这些实施例中，用户在拍摄图 片或者视频时几乎体会不到差别。在设备是具有附加的3D软件的标准数 码相机的实施例中，用户需要拍摄两个或更多图片以用于生成深度图和 3D图像。因此，在本实施例中，对于一个3D图像，必须拍摄两个图片。 在连拍模式的实现方式的情况下，可以快速拍摄两个图片，以使得用户不 体会到太多差别。在用户拍摄了必要的一个或多个图片之后，取决于用户 的选择，能够以2D或3D来显示图像。在3D的情况下，取决于具体的技 术实现方式，用户在观看图像时可能体会到轻微差别，例如， 一些3D显 示器需要正面(stmight-on)视图，否则图像将会看起来模糊。 一般而言， 用户与标准数码相机或摄录机类似地观看显示器上的图像。
工作时，2D/3D获取和显示设备与数码相机或数字摄录机基本类似地 运行。 一般而言，上面描述的实施例类似地运行。用户使用2D/3D获取和 显示设备拍摄图片或者多个图片，该设备然后根据图片数据生成真实深度 图，其然后用于生成3D图像。3D图像然后能够被显示在设备上、被传送 到另一显示设备或者被打印。实施例的差别在于如何获取2D信息以及如 何将其变换成3D信息。在一个实施例中，使用单个可移动镜头以及传感 器。在另一实施例中，使用单个镜头以及分束器和两个传感器。另一实施 例使用多个镜头和多个传感器。最后， 一个实施例使用没有硬件修改的标 准数码相机，并且利用软件来将2D信息变换成3D信息。在形成3D信息 之后，能够使用显示器的多种实现方式中的任意一种来将3D信息显示给 用户。
以按照具体实施例描述了本发明，这些具体实施例包含了具体细节以 帮助理解本发明的构建和操作的原理。这里的这种对具体实施例及其细节的提及不希望限制所附权利要求的范围。本领域技术人员将会容易地清 楚，在为了说明而选择的实施例中可以作出其他各种修改，而不脱离由权 利要求限定的本发明的精神和范围。
权利要求
1.一种数字成像设备，包括a.镜头；b.传感器，该传感器被定位为通过所述镜头获取二维信息；c.处理器，用于根据所述二维信息计算三维信息；以及d.耦合到所述处理器的显示器，用于显示所述三维信息。
2. 如权利要求1所述的设备，其中，所述镜头和所述传感器中的至少 一者是可移动的。
3. 如权利要求l所述的设备，其中，所述二维信息用于生成真实深度图。
4. 如权利要求1所述的设备，其中，所述数字成像设备是从包括数字静态相机和数字摄录机的组中选择的。
5. 如权利要求1所述的设备，其中，所述二维信息包括一组图像。
6. 如权利要求1所述的设备，其中，所述传感器是从包括电荷耦合器 件和互补金属氧化物半导体的组中选择的。
7. 如权利要求1所述的设备，其中，所述二维信息被处理，包括压 縮、格式化、分辨率增强、色彩增强和失真校正。
8. 如权利要求1所述的设备，其中，所述三维信息以立体格式存储在 本地存储器中。
9. 如权利要求8所述的设备，其中，所述立体格式是以下格式中的一 种或多种上下、行交替、并排、网络空间、挤压的并排、JPS立体JPEG 和2D+深度。
10. 如权利要求1所述的设备，其中，所述显示器显示二维信息。
11. 如权利要求1所述的设备，其中，所述三维信息在没有观看辅助 器的情况下被观看。
12. 如权利要求1所述的设备，其中，需要观看辅助器来观看所述三 维信息。
13. 如权利要求1所述的设备，还包括通信接口，该通信接口用于与一个或多个其他设备通信以发送和接收所述三维信息。
14. 如权利要求13所述的设备，其中，所述通信接口无线地通信。
15. 如权利要求1所述的设备，还包括耦合到所述处理器的控制接 口，用于控制所述显示器。
16. —种数字成像设备，包括a. 镜头；b. 分束器，该分束器的位置靠近所述镜头；c. 多个传感器，这多个传感器的位置靠近所述分束器，用于获取二维 倍息；d. 耦合到所述多个传感器的处理器，用于根据所述二维信息计算三维信息；以及e. 耦合到所述处理器的显示器，用于显示所述三维信息。
17. 如权利要求16所述的设备，其中，所述二维信息用于生成真实深 度图。
18. 如权利要求16所述的设备，其中，所述数字成像设备是从包括数 字静态相机和数字摄录机的组中选择的。
19. 如权利要求16所述的设备，其中，所述二维信息包括一组图像。
20. 如权利要求16所述的设备，其中，所述多个传感器各自是从包括 电荷耦合器件和互补金属氧化物半导体的组中选择的。
21. 如权利要求16所述的设备，其中，所述二维信息被处理，包括压 縮、格式化、分辨率增强、色彩增强和失真校正。
22. 如权利要求16所述的设备，其中，所述三维信息以立体格式存储 在本地存储器中。
23. 如权利要求22所述的设备，其中，所述立体格式是以下格式中的 一种或多种上下、行交替、并排、网络空间、挤压的并排、JPS立体 JPEG和2D+深度。
24. 如权利要求16所述的设备，其中，所述显示器显示二维信息。
25. 如权利要求16所述的设备，其中，所述三维信息在没有观看辅助 器的情况下被观看。
26. 如权利要求16所述的设备，其中，需要观看辅助器来观看所述三 维信息。
27. 如权利要求16所述的设备，还包括通信接口，该通信接口用于与 一个或多个其他设备通信以发送和接收所述三维信息。
28. 如权利要求27所述的设备，其中，所述通信接口无线地通信。
29. 如权利要求16所述的设备，还包括耦合到所述处理器的控制接 口，用于控制所述显示器。
30. —种数字成像设备，包括a. 第一镜头；b. 第二镜头；c. 第一传感器，该第一传感器被定位为通过所述第一镜头获取三维信息；d. 第二传感器，该第二传感器被定位为通过所述第二镜头获取所述三 维信息；e. 耦合到所述第一传感器和所述第二传感器的处理器，用于处理所述 三维信息；以及f. 耦合到所述处理器的显示器，用于显示所述三维信息。
31. 如权利要求30所述的设备，其中，所述数字成像设备是从包括数 字静态相机和数字摄录机的组中选择的。
32. 如权利要求30所述的设备，其中，所述三维信息包括一组图像。
33. 如权利要求30所述的设备，其中，所述第一传感器和所述第二传 感器各自是从包括电荷耦合器件和互补金属氧化物半导体的组中选择的。
34. 如权利要求30所述的设备，其中，所述三维信息被处理，包括压 縮、格式化、分辨率增强、色彩增强和失真校正。
35. 如权利要求30所述的设备，其中，所述三维信息以立体格式存储 在本地存储器中。
36. 如权利要求35所述的设备，其中，所述立体格式是以下格式中的 一种或多种上下、行交替、并排、网络空间、挤压的并排、JPS立体 JPEG和2D+深度。
37. 如权利要求30所述的设备，其中，所述显示器显示二维信息。
38. 如权利要求30所述的设备，其中，所述三维信息在没有观看辅助 器的情况下被观看。
39. 如权利要求30所述的设备，其中，需要观看辅助器来观看所述三 维信息。
40. 如权利要求30所述的设备，还包括通信接口，该通信接口用于与 一个或多个其他设备通信以发送和接收所述三维信息。
41. 如权利要求40所述的设备，其中，所述通信接口无线地通信。
42. 如权利要求30所述的设备，还包括耦合到所述处理器的控制接 口，用于控制所述显示器。
43. —种数字成像设备，包括a. 镜头；b. 传感器，该传感器被定位为通过所述镜头获取二维信息； C.处理器，用于实现根据所述二维信息计算三维信息的应用；以及 d.耦合到所述处理器的显示器，用于显示所述三维信息。
44. 如权利要求43所述的设备，其中，所述应用被预加载。
45. 如权利要求43所述的设备，其中，所述应用可作为附件。
46. 如权利要求43所述的设备，其中，多个图像被所述传感器获取。
47. 如权利要求43所述的设备，其中，在获取第一图像之后，相对于 场景的角度和/或位置被改变以获取第二图像。
48. 如权利要求47所述的设备，其中，所述角度和/或位置是徒手改变的。
49. 如权利要求43所述的设备，其中，使用连拍模式来获取所述二维 信息。
50. 如权利要求43所述的设备，其中，所述处理器实现失真校正。
51. 如权利要求43所述的设备，其中，所述二维信息用于生成真实深 度图。
52. 如权利要求43所述的设备，其中，所述数字成像设备是从包括数 字静态相机和数字摄录机的组中选择的。
53. 如权利要求43所述的设备，其中，所述二维信息包括一组图像。
54. 如权利要求43所述的设备，其中，所述传感器是从包括电荷耦合 器件和互补金属氧化物半导体的组中选择的。
55. 如权利要求43所述的设备，其中，所述二维信息被处理，包括压 縮、格式化、分辨率增强和色彩增强。
56. 如权利要求43所述的设备，其中，所述三维信息以立体格式存储 在本地存储器中。
57. 如权利要求56所述的设备，其中，所述立体格式是以下格式中的 一种或多种上下、行交替、并排、网络空间、挤压的并排、JPS立体 JPEG和2D+深度。
58. 如权利要求43所述的设备，其中，所述显示器显示二维信息。
59. 如权利要求43所述的设备，其中，所述三维信息在没有观看辅助 器的情况下被观看。
60. 如权利要求43所述的设备，其中，需要观看辅助器来观看所述三 维信息。
61. 如权利要求43所述的设备，还包括通信接口，该通信接口用于与 一个或多个其他设备通信以发送和接收所述三维信息。
62. 如权利要求61所述的设备，其中，所述通信接口无线地通信。
63. 如权利要求43所述的设备，还包括耦合到所述处理器的控制接 口，用于控制所述显示器。
64. —种获取、生成并显示三维信息的方法，包括a. 获取二维信息；b. 根据所述二维信息生成深度图；c. 根据所述二维信息和所述深度图生成三维信息；以及d. 显示所述三维信息。
65. 如权利要求64所述的方法，其中，所述三维信息被显示在获取设 备上的显示器上。
66. 如权利要求64所述的方法，其中，所述三维信息被显示在次级设 备的显示器上。
67. 如权利要求64所述的方法，其中，所述三维信息是通过打印而被 显示的。
68. 如权利要求64所述的方法，其中，所述二维信息是通过移动可移 动镜头和可移动传感器中的至少一者而获取的。
69. 如权利要求64所述的方法，其中，所述二维信息是利用分束器和 多个传感器获取的。
70. 如权利要求64所述的方法，其中，所述二维信息是利用多个镜头 和多个传感器获取的。
71. 如权利要求64所述的方法，其中，所述二维信息是通过从不同角 度和/或位置拍摄多个图片获取的。
72. 如权利要求71所述的方法，其中，所述多个图片是徒手拍摄的。
73. 如权利要求71所述的方法，其中，所述多个图片是利用连拍模式 拍摄的。
74. 如权利要求64所述的方法，其中，利用应用来根据所述二维信息 生成所述三维信息。
全文摘要
一种二维/三维(2D/3D)数字获取和显示设备用于使得用户能够利用单个设备来捕获3D信息。在一个实施例中，设备具有单个可移动镜头以及传感器。在另一实施例中，设备具有单个镜头以及分束器和多个传感器。在另一实施例中，设备具有多个镜头和多个传感器，在另一实施例中，设备是具有附加的3D软件的标准数码相机。在一些实施例中，利用根据2D信息生成的深度图来从2D信息生成3D信息。在一些实施例中，直接利用相机的硬件配置来获取3D信息。3D信息然后能够被显示在设备上、发送到另一设备以被显示或打印。
文档编号G06K9/36GK101636747SQ200880008775
公开日2010年1月27日 申请日期2008年2月8日 优先权日2007年3月19日
发明者亚历山大·布莱斯托弗, 初恩-赤恩·李 申请人:索尼株式会社;索尼电子有限公司