用于三维图像处理的装置、方法和计算机程序产品的制作方法

专利名称：用于三维图像处理的装置、方法和计算机程序产品的制作方法
技术领域：
本发明涉及用于三维图像处理的一种装置、方法和计算机程序产品， 其中所述三维图像处理对立体图像执行图像处理。
背景技术：
双目系统和多目系统是已知的用于为裸眼显示三维图像的系统。这两 种系统都包括布置在显示屏表面上的光线控制元件，例如透镜片(仅在水
平方向上具有透镜特征的凹槽型透镜(trofferlens)阵列)或者视差栅栏。 这两种系统通过为左右眼分别呈现具有双目视差的二维图像来使观察者能 够感知立体图像(该图像仅能够从一个方向上感知为立体的)。双目系统使 用仅来自单个视点方向的两个二维图像使观察者感知到立体图像。作为对 比，多目系统能够例如使用来自三个视点方向的四个二维图像使观察者感 知到立体图像。换而言之，多目系统能够提供不连续的运动视差(观察在 与观察者物理运动相反的方向上进行运动的对象的现象)。
禾艮据M. G. Lippmann， "La Photographie Integrale"， comptes Rendus Academie des Sciences, Vol 146, pp. 446-451(1908)，积分图片成像(Integral Photo Imaging, IP)系统已知是一种能够用进一步改进的运动视差来显示立 体图像的技术。根据该技术，首先准备等同于立体图片中的像素的透镜阵 列。将胶片放置在与物体之间的距离为透镜阵列的焦距的位置上，然后拍 摄该物体。将用于拍摄的透镜阵列放置在该胶片上，以再生该物体的图像。 如果该胶片具有足够的分辨率，则该IP系统就是理想系统，理想系统能够 产生完全浮动的图像而不会类似全息摄影那样限制观察点。
此外，最近使用的是积分成像(II)系统，其使用诸如液晶显示器(LCD) 之类的平板显示器来替代胶片。根据II系统，需要从多个视点(数量等于 希望实现的视差)来拍摄期望形成立体图像的物体图像，并且使用这些图 像来创建用于实现立体图像的图像(以下称为"多视点图像")。以下，将由多个相机(例如平行布置的数量等于期望实现的视差的相机构成的相机 阵列)中每一个相机以各自的不同视点(视差)所拍摄的每个图像以及从
多个视点中每一个所绘制的每一个计算机图形(CG)图像称为"视点图像"。
通过使用多个这种视点图像(以下称为"视点图像组")并且基于某种规则 将在视点图像中包含的每个像素的位置(以下称为"像素位置")映射到一 个图像上，来创建多视点图像。
为了从视点图像组创建多视点图像，必须根据三维图像显示设备的特 性，逐个子像素地将每个视点图像中包含的每个像素的位置重新布置为特
定排列。其原因是，由于根据n系统，与ip系统类似，通过透镜阵列(例 如透镜片)来再生多视点图像的光，从而根据透镜阵列的光学特性来确定 用于显示立体图像的像素位置。另外，为了在平板显示器上实现多个视差，
能够使用与普通滤色器结构不同的一种滤色器结构，例如根据JP-A 2006-98779(KOKAI)。在此情况下，根据滤色器的特性，逐个子像素地确定 在多视点图像中的每个像素位置。
在一些情况中，能够对所显示的立体图像执行图像处理，例如噪声降 低以及混合。在这种图像处理中，根据特定的图像处理来处理与立体图像 相关的每一个视点图像。
然而，为了创建如上所述的多视点图像，必须基于透镜阵列的特性和 与三维显示设备相关的滤色器的特性来重新排列包含在每个视点图像中的 像素。根据如上所述的常规技术，像素的重新排列未被考虑，而简单地对 每个视点图像执行处理，该处理并不表示适合的图像处理，因此有可能会 造成所显示的立体图像质量下降。
以下参考一个将会降低帧效应的图像处理示例来解释图像处理造成立 体图像质量下降的情况。在此，"帧效应"表示以下现象。当立体图像被呈 现在三维显示设备的显示表面的外边缘之外时，尤其是当立体图像被呈现 为跨越在显示设备的显示区域的内部和外部之间时，在显示区域的外边缘 上立体图像发生不连续的消失，并由此使观察者产生不适的感觉。在此情 况中，为了降低这种不适的感觉，执行处理以便使所显示的立体图像随着 逐渐靠近显示区域的外边缘而逐渐变得透明，并且当到达显示区域的外边 缘时最终变为完全透明的。当执行这种图像处理时，指示在三维对象与显示区域的外边缘之间距 离的参数是关键指标。其原因在于，必须根据到显示区域的外边缘的实际 距离来改变要在显示区域中进行显示的多视点图像的透明度。通过在考虑 了透镜的特性以及三维显示设备的调色板的特性的情况下重新排列在每个 视点图像中包含的像素位置，来创建在显示表面上所显示的多视点图像。 因此，当观察者观看立体图像时的显示区域中的相邻像素(或者在像素中 包含的每个子像素的元件)在重新排列之前可能在视点图像中并不彼此相 邻。此外，所述相邻像素并非必然包含在同一视点图像中，而是可以以分 散方式包含在多个视点图像中。由此，不考虑像素信息的重新排列而简单 地对每个视点图像所执行的图像处理并不表示合适的图像处理，因此有可 能会降低所显示的立体图像的质量。

发明内容
根据本发明的一个方面， 一种用于处理三维图像的装置，该装置包括: 规定值获取单元，其获取立体显示单元的特性作为规定参数，所述立体显 示单元显示多视点图像，所述多视点图像是通过根据所述立体显示单元的 所述特性来映射在多个视点图像中所包含的每个像素位置而创建的；观察
值获取单元，其获取观察参数，所述观察参数表示在所述立体显示单元上
所显示的立体图像的观察值；计算单元，其基于所述规定参数来计算表示 所述映射的逆映射的变换信息；观察值变换单元，其基于所述变换信息将 所述观察参数变换为具有与所述视点图像相同维度的经变换参数；以及控 制单元，其基于所述经变换参数，针对每个所述视点图像而控制对视点图 像执行的与所述立体图像的每个像素位置相对应的图像处理。
根据本发明的另一方面， 一种用于处理三维图像的方法，该方法包括: 获取立体显示单元的特性作为规定参数，所述立体显示单元显示多视点图 像，所述多视点图像是通过根据所述立体显示单元的所述特性来映射在多 个视点图像中所包含的每个像素位置而创建的；获取观察参数，所述观察 参数表示在所述立体显示单元上所显示的立体图像的观察值；基于所述规 定参数来计算表示所述映射的逆映射的变换信息；基于所述变换信息将所 述观察参数变换为具有与所述视点图像相同维度的经变换参数；以及基于所述经变换参数，针对每个所述视点图像而控制对视点图像执行的与所述 立体图像的每个像素位置相对应的图像处理。
根据本发明的再另一方面的计算机程序产品使计算机执行根据本发明 的方法。


图1是根据本发明的第一实施例的三维图像处理装置的框图2是该三维图像处理装置的功能框图3是三维图像显示装置的透视图4是用于解释像素位置的关系的示意图5是用于解释像素位置的关系的示意图6是图像处理控制单元所执行的操作的流程图7是用于解释像素位置的关系的示意图8是根据本发明的第二实施例的三维图像处理装置的功能框图9是图像处理控制单元所执行的操作的流程图；以及
图IO是根据本发明的第三实施例的三维图像处理装置的功能框图。
具体实施例方式
以下将结合附图详细描述本发明的各个示例性实施例。
图1是根据第一实施例的三维图像处理装置100的框图。如图1所示，
三维图像处理装置100包括用于处理信息的中央处理单元(CPU) 1、用
于存储基本输入输出系统(BIOS)的只读存储器(ROM) 2、作为用于以 可覆写方式存储各种类型的数据的主存储器的随机存取存储器(RAM) 3、 以及用于存储三维图像内容(视点图像组等等)以及与三维图像处理相关 的计算机程序(以下称为"三维处理程序")的硬盘(HDD) 4。
CPU 1根据存储在HDD 4中的三维处理程序执行计算，并总体控制三 维图像处理装置100的各个单元。具体而言，CPU 1根据由存储在HDD 4 中的多个视点图像构成的视点图像组来创建多视点图像，并使三维图像显 示设备200显示该多视点图像。以下解释CPU l根据该三维处理程序所执 行的根据第一实施例的特征处理。图2是三维图像处理装置100的功能框图。如图2所示，CPU 1通过 根据三维处理程序控制各个单元，在主存储器上创建观察参数获取单元11、 规定参数获取单元12、变换信息计算单元13、观察参数变换单元14、图像 处理控制单元15、图像处理条件设定单元16、以及图像处理单元17。
观察参数获取单元11获取当三维图像显示设备200将三维图像处理装 置100所创建的多视点图像显示为立体图像时所观察到的各种参数(以下 称为"观察参数")。观察参数包括例如在三维图像显示设备200的立体 显示单元230上所显示的立体图像的大小和位置，以及形成该立体图像的 各个像素的大小和位置(例如在每个像素与立体显示单元230的外边缘之 间的距离)。观察参数是能够通过观察立体图像获取的信息。
观察参数获取单元ll能够使用任何方法获取观察参数。例如，可以将 预先观察到的观察参数存储在诸如非易失性存储器之类的存储设备中，然 后观察参数获取单元ll能够从该存储设备获取观察参数。在此情况中，该 存储设备可以集成到用于显示立体图像的三维图像显示设备200中，并且 观察参数获取单元11能够经由三维图像显示设备200和接口来获得观察参 数。
作为替代，观察参数获取单元ll能够从连接到网络(例如因特网)的 外部数据库设备等等、经由连接到该网络的通信设备获取用于显示立体图 像的三维图像显示设备200的观察参数。此外，可以由用户经由诸如键盘 之类的输入设备(未示出)的输入来获得观察参数。
以下，将解释三维图像显示设备200。如图3所示，三维图像显示设备 200包括显示屏210和光线控制元件220。显示屏210显示从三维图像处理 装置10Q (未示出)输入的多视点图像。光线控制元件220例如为透镜片， 用于控制来自显示屏210的光线。显示屏210包括显示设备(例如液晶显 示器(LCD))的图像显示元件211以及滤色器层212。以下，将显示屏210 和光线控制元件220 —起称为立体显示单元230。
图像显示元件211显示从三维图像处理装置100输入的多视点图像。 通过滤色器层212和光线控制元件220来观察所显示的多视点图像，从而 将与多视点图像相对应的立体图像以视觉方式呈现给观察者的眼睛。在第 一实施例中，三维图像处理装置100和三维图像显示设备200是分开的。然而，本发明并不局限于此，而是也可以将三维图像处理装置100集成到
三维图像显示设备200中。
当三维图像显示设备200显示立体图像中，在实际中，在立体显示单 元230的表面上的空间(光线空间)中显示多视点图像的光(以下称为多 视点图像光)。当显示多视点图像光时，在图像显示元件211上所显示的多 视点图像中包含的每个像素位置和在光线空间中所显示的多视点图像光的 每个像素位置之间并不存在镜像关系，即并不存在于同一位置。其理由在 于，滤色器层212和光线控制元件220叠置在三维图像显示设备200的图 像显示元件211上，并且从图像显示元件211发出的光线的方向由于这些 组件的特征而发生改变。
图4是用于解释在立体显示单元230上的像素位置与显示屏210上的 像素位置之间的关系的示意图。在图4中，滤色器层212包括多个像素， 每个像素都具有3比1的长宽比(3Pp:Pp)。在滤色器层212上，像素以矩 阵形式排列在横向直线和纵向直线上。每个像素都包括红色(R)、绿色(G) 和蓝色(B)，它们在横向方向上在同一行中交替排列。另外，将每个像素 排列为使R、 G和B在纵向方向上在同一列中交替出现。滤色器层212被 配置为呈现由在纵向方向上排列的三个子像素构成的一个颜色。由于在一 个透镜间距(图4中的Ps)中横行排列了 18组这种纵向排列的三个子像素， 因此实现了给出18个视差的立体图像。
假设在立体显示单元230上即在光线空间中，观察在特定位置P上存 在的像素。在此刻，在显示屏210上与位置P相对应的像素包括三个子像 素，例如在区域P，中存在的纵向排列的三个子像素。然而，在通过光线控 制元件220观察到的像素位置与在显示屏210上的像素位置之间的关系并 不局限于图4中所示的示例。
图5是用于解释在显示屏210上每个子像素的像素位置与在视点图像 组中每个子像素的像素位置之间的关系的示意图。在图5所示的示例中， 在显示屏210上的区域P，中存在的三个子像素由视点图像组的视点图像m 中的三个横向相邻的像素构成，其中该视点图像组由n个视点图像组成(m 和n都是整数，并且nKn)。图5还示出了这样的一种状态BP，在显示屏 210上纵向排列的三个子像素(R、 G和B)被变换在在视点图像m中横向
10相邻的三个子像素。
这样，在根据滤色器层212的特性和光线控制元件220的特性而确定 的具体规则之下，执行从视点图像中包含的每个子像素的每个像素位置到 形成显示在显示屏210上的图像(即多视点图像)的每个子像素的每个像 素位置的映射。因此，通过在该具体规则之下创建多视点图像，能够将多 视点图像的立体图像提供给观察者。
滤色器层212的布置并不局限于图5中所示的示例。例如，如果滤色 器层212具有特殊的布置，能够将包含在每个视点图像中的像素划分为各 自的RGB元素，并且能够在从该原始像素划分出多个像素的状态下，在显 示屏210上观察该像素。
返回到图l，规定参数获取单元12获取用于指示三维图像显示设备200 所包括的立体显示单元230 (滤色器层212、光线控制元件220和图像显示 元件211)的规格和特性的参数(以下称为"规定参数")。该规定参数包括 例如滤色器层的布置和子像素的纵向-横向大小，光线控制元件220的透镜 间距和焦点距离、以及图像显示元件211的大小和分辨率，这些参数表示 根据诸如产品规格而定义的信息。
规定参数获取单元12能够使用任何方法获得规定参数。例如，能够将 与三维图像显示设备200的各个单元相关的多种规定参数预先存储在诸如 非易失性存储器之类的存储设备中，然后规定参数获取单元12能够从该存 储设备中获取相关的规定参数。在该情况中，可以将存储设备集成到三维 图像显示设备200中，并且规定参数获取单元12能够经由三维图像显示设 备200和接口获得规定参数。如果规定参数本身并未存储在存储设备中， 则规定参数获取单元12能够获取构成三维图像显示设备200的每个组件的 规格(以下称为"设计数据")，并通过执行算术运算、物理运算等等来根 据设计数据获取规定参数。
作为替代，规定参数获取单元12能够从连接到网络(例如因特网)的 外部数据库设备等等、经由可连接到该网络的通信设备获取规定参数。例 如，如果光学组件的制造商在网站上公开了光学组件的规格，则规定参数 获取单元12就能够经由网络搜索设计数据，并且能够用搜索到的设计数据 计算规定参数，然后能够获取规定参数。此外，规定参数获取单元12可以由用户经由诸如键盘之类的输入设备(未示出)输入的设计数据来获得规 定参数。
变换信息计算单元13计算表示逆映射的变换信息，该逆映射是用于基
于规定参数获取单元12所获取的规定参数从视点图像组创建多视点图像的 映射的逆操作。以下将解释变换信息计算单元13的操作原理。
当II系统的三维图像显示设备200显示立体图像时，其基于规定参数 获取单元12所获取的规定参数来确定呈现立体图像所需的视差数量，具体 而言是滤色器层212的结构与光线控制元件220的透镜间距之间的关系。 在确定了视差数量之后，基于视差数量和规定参数来确定构成视点图像组 的视点图像总数量以及每个视点图像的图像大小。基于由此确定的总数量 和大小，通过使用相机阵列进行拍摄或者通过使用CG处理进行绘制，来创 建视点图像组。
然后，通过使用指示三维图像显示设备200所包括的滤色器层212、光 线控制元件220、图像显示元件211等等的特性的规定参数，来确定用于创 建要在实际显示面板上显示的立体图像的条件。具体而言，通过根据规定 参数对在所准备的视点图像组中包含的像素的各个子像素进行重新排列， 来创建要显示的多视点图像。
换而言之，当确定了三维图像显示设备200的规定参数时，就唯一地 确定了用于将像素位置从视点图像组重新排列(变换)到多视点图像中的 映射。相反地，能够计算逆映射。逆映射是用于根据最终进行显示以在实 际显示面板上呈现立体图像的多视点图像中的每个子像素而推导出在视点 图像组的视点图像中的原始像素位置。变换信息计算单元13通过使用由规 定参数获取单元12获取的规定参数，来计算与逆映射相对应的变换信息。
观察参数变换单元14通过使用变换信息计算单元13所计算的变换信 息，来变换(逆映射)由观察参数获取单元ll所获取的观察参数。换而言 之，通过使用变换信息计算单元13所计算的变换信息来变换观察参数，从 而将观测参数(例如在立体图像中所包含的像素位置)的维度变换为视点 图像组的维度(例如在每个视点图像中的像素位置)。
根据第一实施例，解释了当在显示表面上显示立体图像时的像素位置 的示例，然而本发明并不局限于此。通常，当显示立体图像时，能够计算
12立体图像中的像素(构成三维形状的顶点上的像素，精确地说，其是基于 不同于二维像素的概念，这是因为立体图像是三维空间中的图像)所对应 的在视点图像组中的位置。
图像处理控制单元15基于观察参数变换单元14所变换的观察参数以 及规定参数获取单元12所获取的规定参数，来针对每个视点图像而控制在 HDD4中所存储的特定图像处理过程。
具体而言，图像处理控制单元15基于根据规定参数获取单元12所获 取的规定参数而确定的视点总数量，针对每个视点将由观察参数变换单元 14变换的参数输出到图像处理条件设定单元16。
图6是根据第一实施例的图像处理控制单元15所执行的操作流程图。 开始，图像处理控制单元15执行初始设置，以设定计数器N，该计数器将 视点数量计数为初始视点，即N二O(步骤Sll)。然后，图像处理控制单元 15将在由规定参数所确定的全部视点之中与当前计数器值(视点)N相对 应的视点图像设定为要进行图像处理的对象(步骤S12)。
然后，图像处理控制单元15将与进行图像处理的视点N的视点图像相 关的信息以及观察参数变换单元14所变换的参数(以下称为"变换参数") 输出到图像处理条件设定单元16 (步骤S13)。
接下来，图像处理控制单元15等待由图像处理单元17输入的用于通 知处理结束的通知信号(步骤S14中为"否")。当输入了该通知信号时(步 骤S14中为"是")，图像处理控制单元15转移到步骤S15中的处理。
在步骤S15，图像处理控制单元15确定是否用规定参数所确定的数量 的所有视点都已经通过步骤S12到S14进行了处理。如果确定还没有对所 有视点都完成处理(步骤S15中为"否")，则图像处理控制单元15将计数 器N递增"1"，以便转移到下一个视点(步骤S16)，然后返回到步骤S12。
另一方面，如果确定已经对所有视点都完成了处理(步骤S15中为 "是")，则该处理结束。
返回到图1，图像处理条件设定单元16基于从图像处理控制单元15输 入的信息，设置要由图像处理单元17执行的图像处理的处理条件(以下称 为"图像处理条件")。具体而言，图像处理条件设定单元16接收与进行处 理的视点图像相关的信息以及经变换参数，然后基于该信息设置要应用于在进行处理的视点图像中包含的各个像素的图像处理条件。
作为图像处理条件设定单元16所执行的处理的一个示例，参考图7解
释了被执行来减小帧效应的图像处理的情况。图7示出了在立体显示单元 230上的像素位置与在视点图像组中的子像素的像素位置之间的关系。在 此，(x， y)表示观察者所观察的立体显示单元230上的立体图像的像素位置。 另夕卜，(xml，yml,cl)、 (xm2， ym2,c2)和(xm3， ym3,c3)表示观察参数变换单元 14对像素位置(x， y)进行变换得到的像素位置。此外，xml、 ym2等等表示 在视点m上的x-y坐标，而cl、 c2和c3表示在该坐标上的相应子像素。 例如，如果用RGB 24比特来表示视点图像，则存在三个子像素，即R: 8 比特，G: 8比特，以及B: 8比特，并且cl、 c2和c3分别对应于这些子 像素。换而言之，(xml, yml，cl)表示在视点图像m中、坐标(xml， yml)上 的像素中包含的子像素cl。
为了简化解释，在如上所解释的示例中，将立体显示单元230上的像 素位置变换为在同一视点图像m中的多个子像素上，然而本发明并不局限 于此。通常，观察参数变换单元14能够将在三维图像显示设备200中立体 显示单元230上所显示的像素位置(x， y)变换(逆映射)为在各个不同视点 图像m、 n和1中的(xml, yml,cl)、 (xn2， yn2,c2)和(x13, yl3，c3)。
在该逆映射期间，为了减小帧效应，执行图像处理，该图像处理根据 与立体显示单元230的显示区域的外边缘之间的距离来改变透明度。用等 式表示了该图像处理所需的过程，例如等式(1)如下
1 l.O(其中cKB)
在此，dist(x， y)是用于获取在坐标(x， y)上的像素与显示区域外边缘之间的距 离(或者与立体显示单元230上所显示的图像的边缘之间的距离)的函数。 "A"和"B"分别是按照需要确定的常数。基于从这些值获得的透明度"a" 的值，可以改变每个视点图像中包含的像素的透明度。当a是"O"时，像 素是完全透明的，而当其是"1"时，像素是完全不透明的。当a是"0" 或"1"之外的值且在坐标(x，y)上的像素的颜色为"c"时，经变换的"c，" 被表示为c，-axc + (l-a)xcO，其中c0是背景颜色。
14如上所述，在立体显示单元230中观察到的像素的像素坐标(x， y)在视 点图像中由三个子像素，艮P(xml， yml，cl)、 (xm2, ym2，c2)和(xm3， ym3，c3) 来表示。在该情况中，分别用dist(xml, yml)、dist(xm2， ym2)和dist(xm3， ym3)
获得了在视点图像中的坐标与显示区域外边缘之间的相应距离。然而，由 于在视点图像中与在立体显示单元230中单个像素相对应的三个子像素的 像素位置是不同的，因此如果基于关于不同位置的距离来执行图像处理， 则这三个像素的透明度的相应值彼此不同。
为此，图像处理条件设定单元16根据等式(1)，通过使用距离d来计 算在视点图像中的每个像素的透明度a，其中该距离d是在显示区域外边缘 与在视点图像中与在立体显示单元230上所显示的单个像素相对应的三个 像素之间的距离，该距离d是观察参数变换单元14根据在立体显示单元230 上的单个像素与显示区域外边缘之间的距离进行变换得到值，并且其是作 为观察参数而获取的。
因此，图像处理条件设定单元16将通过以上处理所创建(计算)的针
对每个子像素的图像处理条件(例如在子像素级别上的巻积、滤波等等) 输出到图像处理单元17。
在第一实施例中，作为图像处理的一个示例，解释了用以减小帧效应 的透明度处理，然而本发明并不局限于此。可以类似地执行其他图像处理， 例如噪声降低滤波或者低通滤波。
此外，在第一实施例中，解释了分别对每个像素或者每个子像素执行 的图像处理，然而本发明并不局限于此。例如当使用在一个特定像素周围 的像素的信息时，类似地执行图像处理。然而，在此情况中，需要针对每 个子像素来执行处理。此外，由于并非必须要将在立体显示单元230中观 察到的两个相邻像素变换到同一视点图像中，因此该图像处理能够使用存 在于多个视点图像中的子像素的信息。
图像处理单元17基于由图像处理条件设定单元16设置的图像处理条 件，针对在要进行处理的视点图像中包含的每个像素，对该视点图像执行 特定的图像处理。
具体而言，图像处理单元17基于从图像处理控制单元15或图像处理 条件设定单元16输入的与视点图像相关的信息，从HDD 4中获取要进行处理的视点图像。图像处理单元17基于图像处理条件设定单元16所设置 的图像处理条件，针对在所获取的视点图像中包含的每个像素，对该视点
图像执行特定的图像处理。在完成了处理之后，图像处理单元17将经过图 像处理的视点图像覆写到HDD 4上，并向图像处理控制单元15输出用以 通知该处理结束的信号。
如上所述，根据第一实施例，能够将用于指示与立体图像相关的观察 值的观察参数变换为具有与视点图像相同维度的经变换参数，然后基于该 经变换的观察参数和规定参数来控制对每个视点图像的图像处理。因此， 能够对立体图像执行合适的图像处理，从而能够提高在立体显示单元上所 显示的立体图像的质量。
根据第一实施例，通过关注于某个具体视点图像来解释图像处理的流 程，然而，可以类似地对所有视点图像执行图像处理。此外，当观察者改 变该观察者观察三维图像显示设备的位置时，或者当多个观察者观察三维 图像显示设备时， 一个(或多个)观察者进行观察的位置(视点)是不同 的，从而针对用于观察的每个视点类似地执行图像处理。换而言之，针对 三维图像显示设备所提供的所有视差方向，即所有视点图像类似地执行图 像处理。
接下来，以下将解释根据第二实施例的三维图像处理装置。对与第一 实施例中类似的各个组件给予了相同的参考数字，并省略了对其的解释。
图8是根据第二实施例的三维图像处理装置101的功能框图。在图8 中所示的三维图像处理装置101中，CPU 1通过根据三维处理程序控制各 个单元而在主存储器上创建观察参数获取单元11、规定参数获取单元12、 变换信息计算单元13、观察参数变换单元14、图像处理控制单元15、图像 处理条件设定单元16、图像处理单元17、经变换参数存储单元18以及经 变换参数获取单元19。
根据第二实施例的观察参数变换单元14响应于从图像处理控制单元15 输入的请求信号，基于变换信息来变换与该请求信号相关的观察参数，并 将经变换的观察参数输出到图像处理控制单元15。
经变换参数存储单元18将由观察参数变换单元14变换得到的经变换 的观察参数(以下称为"经变换参数")存储到HDD 4中的特定存储区域中。在第二实施例中，将经变换参数存储在HDD 4中，然而本发明并不局 限于此。例如，可以将经变换参数存储在RAM3中，其是一个临时存储区 域。此外，可以将经变换参数存储在连接到网络(例如因特网)上的计算 机中。
经变换参数获取单元19响应于从图像处理控制单元15输入的该请求 信号，从HDD4中获取该请求信号所指示的经变换参数，并将所获取的经 变换参数输出到图像处理控制单元15。如果经变换参数获取单元19不能从 HDD4获取到图像处理控制单元15所指示的经变换参数，精确而言，如果 图像处理控制单元15所请求的经变换参数并没有被观察参数变换单元14 所变换，则经变换参数获取单元19向图像处理控制单元15输出一个指示 所请求的经变换参数无法获取的指示信号。
根据第二实施例的图像处理控制单元15从经变换参数获取单元19或 者观察参数变换单元14接收经变换参数，并与第一实施例相类似地控制图 像处理条件设定单元16和图像处理单元17。
图9是根据第二实施例的图像处理控制单元15所执行的操作的流程 图。开始，图像处理控制单元15向经变换参数获取单元19输出一个请求 信号，其请求与要由图像处理条件设定单元16和图像处理单元17执行的 图像处理相关的经变换参数(步骤S21)。
然后，图像处理控制单元15确定是否从经变换参数获取单元19输入 了经变换参数(步骤S22)。如果输入了经变换参数(步骤S22中为"是")， 则图像处理控制单元15与第一实施例相类似地基于该经变换参数来控制图 像处理条件设定单元16和图像处理单元17，然后结束该处理。
另一方面，如果输入了一个指示无法获取经变换参数的指示信号时(步 骤S22中为"否")，图像处理控制单元15向观察参数变换单元14输出用 于请求经变换参数的请求信号(步骤S24)。当从观察参数变换单元14输入 了经变换参数时(步骤S25)，图像处理控制单元15随后移动到步骤S23， 与第一实施例相类似地控制图像处理条件设定单元16和图像处理单元17， 然后结束该处理。
如上所述，根据第二实施例，该三维图像处理装置能够指示与立体图 像相关的观察值的观察参数变换为具有与视点图像相同维度的经变换参
17数，并且能够基于该经变换的观察参数以及规定参数来控制对于每个视点 图像的具体图像处理。因此，该三维图像处理装置能够对立体图像执行适 当的图像处理，从而提高在立体显示单元上所显示的立体图像的质量。此 外，由于该三维图像处理装置能够再次利用所存储的经变换参数，因此能 够省略冗余计算，从而能够提高处理速度。
在第二实施例中，如果图像处理控制单元15请求了观察参数变换单元 14未变换的经变换参数，则经变换参数获取单元19向图像处理控制单元 15输出用以指示所请求的经变换参数无法获取的指示信号。然而本发明并 不局限于此。例如，经变换参数存储单元18可以重新尝试向观察参数变换 单元14请求由图像处理控制单元15所请求的经变换参数。
接下来，以下解释根据第三实施例的三维图像处理装置。对与第一实 施例中类似的各个组件分配了相同的参考数字，并省略了对其的解释。
图IO是根据第三实施例的三维图像处理装置102的功能框图。在图10 中所示的三维图像处理装置102中，CPU 1通过根据三维处理程序控制各 个单元，在主存储器上创建观察参数获取单元11、规定参数获取单元12、 变换信息计算单元13、观察参数变换单元14、图像处理控制单元15、图像 处理条件设定单元16、图像处理单元17和观察位置信息获取单元20。
观察位置信息获取单元20获取观察位置信息，该信息指示观察三维图 像显示设备200 (立体显示单元230)的观察者的观察位置。该观察位置信 息是指示三维图像显示设备200与三维图像显示设备200的观察者之间的 相对或绝对位置关系的信息。例如，该观察位置信息包括观察者的存在位 置、观察者身体的方向(例如视线方向)、以及在观察者与三维图像显示设 备200之间的距离。
在此情况中，观察位置信息获取单元20能够使用任何方法来获得观察 位置信息。例如，通过使用头部跟踪系统或眼睛跟踪系统来检测观察者的 头部或眼睛的位置，然后，观察位置信息获取单元20能够从该检测结果之 中获得在观察者与三维图像显示设备200之间的位置关系作为观察位置信 息。可替代地，拍摄观察者，例如使用相机进行拍摄，然后观察位置信息 获取单元20能够通过使用已知的计算机视觉技术分析所拍摄的图像，来获 取观察位置信息。在另一情况中，要求观察者佩戴发射机，然后观察位置信息获取单元20能够通过检测从该发射机发射的信号来获取观察位置信
息。假设预先检测了三维图像显示设备200所在的位置。
根据第三实施例的观察参数变换单元14基于变换信息计算单元13所 计算的变换信息以及观察位置信息获取单元20所获取的观察位置信息，来 变换由观察参数获取单元11获取的观察参数。以下将解释观察参数变换单 元14的操作原理。
可以根据由观察位置信息获取单元20所获取的观察位置信息来检测在 观察者与三维图像显示设备200之间的位置关系。通过将对立体图像的显 示限定在观察者所在的方向上而不是围绕三维图像显示设备200的所有方 向上，就能够实现立体图像质量的提高。其原因在于，立体图像能够被偏 转到观察者所在的方向上，具体而言，在显示立体图像的光线空间中的光 束(lightflux)能够被偏转到观察者所在的方向上。由此，就能够使得在立 体显示单元230上所显示的立体图像的显示密度变得较高(高分辨率)。
当观察者根据如上所述的观察位置来偏转光线空间的密度时，除了三 维图像显示设备200 (立体显示单元230)的特性之外，观察者还需要推导 出与观察位置相对应的新的变换信息。根据第三实施例的观察参数变换单 元14基于观察位置信息，计算用于扭曲从中形成立体图像的光线空间的映 射(通常，除了一对一之外，还可以一对多或多对一地执行映射)。然后， 观察参数变换单元14通过将由变换信息计算单元13所计算的变换信息添 加到该映射中，来计算新的变换信息。然后，观察参数变换单元14通过使 用该新的变换信息，来变换由观察参数获取单元11所获取的观察参数。
具体而言，观察参数变换单元14基于由观察位置信息获取单元20获 取的观察位置信息来计算矢量V (从三维图像显示设备200到观察者所在 的方向)，该矢量V是从在观察者与三维图像显示设备200之间的相对位置 关系得到的。在变换信息计算单元13所计算的变换信息中，定义了显示立 体图像的光线空间中的光束，以便将其均匀地配置到立体显示单元230上， 这是因为要求将视域(能够看到立体图像的区域)设置的较宽。
另外，观察参数变换单元14基于由变换信息计算单元13所计算的变 换信息，指定在从形成光线空间的立体显示单元230照射的多视点图像的 光束之中的、与在基本等同于矢量V的方向上的光束相对应的、多视点图
19像(视点图像)上的像素位置。然后，观察参数变换单元14计算用于将立 体图像的像素位置映射到指定像素位置上的新的变换信息(以下称为"观 察位置变换信息")，并基于观察位置变换信息来变换由观察参数获取单元 ll所获取的观察参数。
能够通过以下过程来确定与矢量V方向基本上相同的光束方向。例如，
当从立体显示单元230照射的光束的行进方向表示为矢量W时，通过使用 矢量V与矢量W之间的内积(V'W叫V卜IWIcose)，来计算矢量V与矢量W
所形成的角度e，并且如果e的值小于某个阈值，则将光束确定为基本等同。 然而本发明并不局限于此方法。
当根据以上方法获得在与矢量v的方向基本等同的方向上的多个光束 时，为了使用这些光束来显示立体图像，能够通过使用由观察参数获取单 元ii所获取的变换参数，来计算用于将每个视点图像中包含的每个像素位 置与在立体图像中包含的每个像素位置相关联的映射。在此，所计算的映 射的逆映射相当于观察位置变换信息。
如上所述，根据第三实施例，能够根据观察者的观察方向来执行图像 处理，从而能够提高从观察位置观察的立体图像的质量。
用于将每个视点图像中包含的每个像素位置与在立体图像中包含的每 个像素位置相关联的映射能够预先计算，或者可以在每次需要时对其进行 计算。
使用在与矢量v的方向基本等同的方向上的多个光束所显示的立体图 像的任何显示密度都是可接受的。例如，能够使用观察位置变换信息来定 义显示密度，以使得使显示密度均匀。此外，能够使用观察位置变换信息 来定义显示密度，以使得显示密度随着由矢量v与矢量w形成的角度e的 增加而成比例地递减。
图像处理控制单元15能够进行控制，从而能够仅对视点图像组中与观 察者的观察位置相关的像素执行图像处理。由此，能够部分地省略不对观 察者的观察方向产生影响的图像处理，从而能够提高处理速度。
此外，根据第三实施例，由观察参数变换单元14计算观察位置变换信 息，然而本发明并不局限于此。例如，将观察位置信息获取单元20所获取 的观察位置信息输入到变换信息计算单元13中，然后能够由变换信息计算单元13计算观察位置变换信息。在此情况中，观察参数变换单元14基于 由变换信息计算单元13所计算的观察位置变换信息来变换观察参数。
对于本领域技术人员而言，其他优点和修改将会变得显而易见。因此， 本发明在其更为宽泛的范围内并不局限于在此所和描述的具体细节和代表 性实施例。因此，在不由附带的权利要求以及等同物所定义的整体发明性 概念的精神或范围的情况下，可以作出各种修改。
权利要求
1、一种用于处理三维图像的装置，该装置包括规定值获取单元，其获取立体显示单元的特性作为规定参数，所述立体显示单元显示多视点图像，所述多视点图像是通过根据所述立体显示单元的所述特性来映射在多个视点图像中所包含的每个像素位置而创建的；观察值获取单元，其获取观察参数，所述观察参数表示在所述立体显示单元上所显示的立体图像的观察值；计算单元，其基于所述规定参数来计算表示所述映射的逆映射的变换信息；观察值变换单元，其基于所述变换信息，将所述观察参数变换为具有与所述视点图像相同维度的经变换参数；以及控制单元，其基于所述经变换参数，针对每个所述视点图像而控制对该视点图像执行的与所述立体图像的每个像素位置相对应的图像处理。
2、 如权利要求l所述的装置，进一步包括存储单元，其存储由所述观察值变换单元所变换的经变换参数；以及 参数获取单元，其获取存储在所述存储单元中的所述经变换参数，其中，所述控制单元基于由所述观察值变换单元所变换的所述经变换参数以 及所述参数获取单元所获取的所述经变换参数两者之一，针对每个所述视 点图像而控制对该视点图像执行的与所述立体图像的每个像素位置相对应 的图像处理。
3、 如权利要求l所述的装置，进一步包括位置获取单元，其获取观察所述立体图像的观察者的观察位置信息， 其中，所述观察值变换单元基于所述变换信息和所述观察位置信息，将所述 观察参数变换为对应于所述观察位置信息的值，并且将经变换的所述观察 参数变换为具有与所述视点图像相同维度的经变换参数，并且所述控制单元基于所述经变换参数，针对每个所述视点图像而控制对 该视点图像执行的与所述立体图像的每个像素位置相对应的图像处理。
4、 如权利要求1所述的装置，进一步包括条件设定单元，其基于所述控制单元执行的控制，为每个所述视点图 像中包含的每个像素设定图像处理条件；以及图像处理单元，其基于所述条件设定单元所设定的图像处理条件，对 在每个所述视点图像中包含的每个像素执行图像处理。
5、 如权利要求l所述的装置，其中，所述立体显示单元包括用于显示所述多视点图像的图像显示元件、 叠置在所述图像显示元件上的滤色器层、以及用于控制来自所述图像显示 元件的光线的光线控制元件，并且所述规定参数获取单元获取所述图像显示元件、所述滤色器层以及所 述光线控制元件中至少一个的特性作为规定参数。
6、 如权利要求5所述的装置，其中，所述光线控制元件是叠置在所述 图像显示元件上的透镜片。
7、 如权利要求l所述的装置，其中，所述观察值获取单元获取在所述立体显示单元上所显示的立体图像的位置。
8、 如权利要求l所述的装置，其中，所述观察值获取单元获取在所述立体显示单元上所显示的立体图像与所述立体显示单元的外边缘之间的距 离。
9、 如权利要求3所述的装置，其中，所述位置获取单元获取在所述立 体显示单元与所述观察者之间的位置关系。
10、 如权利要求3所述的装置，其中，所述位置获取单元获取所述观察者朝向所述立体显示单元的观察方向。
11、 如权利要求3所述的装置，其中，所述位置获取单元获取在所述 立体显示单元与所述观察者之间的距离。
12、 一种用于处理三维图像的方法，该方法包括获取立体显示单元的特性作为规定参数，所述立体显示单元显示多视 点图像，所述多视点图像是通过根据所述立体显示单元的所述特性来映射 在多个视点图像中所包含的每个像素位置而创建的；获取观察参数，所述观察参数表示在所述立体显示单元上所显示的立体图像的观察值；基于所述规定参数来计算表示所述映射的逆映射的变换信息； 基于所述变换信息，将所述观察参数变换为具有与所述视点图像相同维度的经变换参数；以及基于所述经变换参数，针对每个所述视点图像而控制对该视点图像执行的与所述立体图像的每个像素位置相对应的图像处理。
13、 一种具有计算机可读介质的计算机程序产品，该计算机可读介质 包含用于处理三维图像的编程指令，其中，所述指令当由计算机执行时使 该计算机执行下列步骤获取立体显示单元的特性作为规定参数，所述立体显示单元显示多视 点图像，所述多视点图像是通过根据所述立体显示单元的所述特性来映射 在多个视点图像中所包含的每个像素位置而创建的；获取观察参数，所述观察参数表示在所述立体显示单元上所显示的立 体图像的观察值；基于所述规定参数来计算表示所述映射的逆映射的变换信息；基于所述变换信息，将所述观察参数变换为具有与所述视点图像相同 维度的经变换参数；以及基于所述经变换参数，针对每个所述视点图像而控制对该视点图像执 行的与所述立体图像的每个像素位置相对应的图像处理。
全文摘要
一种用于处理三维图像的装置，该装置包括规定值获取单元，其获取立体显示单元的特性作为规定参数，所述立体显示单元显示多视点图像，所述多视点图像是通过根据所述特性来映射在多个视点图像中所包含的每个像素位置而创建的；观察值获取单元，其获取观察参数，所述观察参数表示在立体显示单元上所显示的立体图像的观察值；计算单元，其基于所述规定参数来计算表示所述映射的逆映射的变换信息；观察值变换单元，其基于变换信息将观察参数变换为具有与所述视点图像相同维度的经变换参数；以及控制单元，其基于经变换参数，针对每个视点图像而控制对该视点图像执行的与立体图像的每个像素位置相对应的图像处理。
文档编号H04N13/00GK101491108SQ20078002613
公开日2009年7月22日 申请日期2007年3月16日 优先权日2006年9月26日
发明者三原功雄, 沼崎俊一 申请人:株式会社东芝