专利名称：用于在3－d图像显示屏上显示3－d图像的系统和方法
技术领域：
本发明涉及一种系统，包括具有显示屏的3-D显示设备，用于对该显示屏进行寻址的装置；以及呈像器，具有用于3-D模型的输入和用于至少一个观看点的输入，其用于提供供给寻址装置的图像信息。
本发明还涉及一种供显示设备中使用的呈像器。
本发明还涉及一种呈像器，其用于产生信息从而作为显示设备的寻址装置的输入。
本发明还涉及一种用于提供将要供给3-D显示设备的寻址装置的数据的方法。
背景技术：
近来，对在3-D图像显示屏上提供3-D图像有很大的兴趣。人们相信3-D将是成像领域中继彩色成像之后的又一个大的革新。
3-D显示设备通常具有在其上显示图像的显示屏。
由呈像器来提供显示图像所需的信息(数据)，该呈像器包括用于3-D模型的输入和用于观看点的输入。
基本上，可以通过利用立体像对(对准观看者双眼的两个不同图像)、全息技术或显示器中的多平面来产生三维印象。利用多平面技术，构造体图像(volumetric image)，其中用3-D体积的所谓体素来代替3-D像素。大多数多平面显示器的缺点在于体素产生光，但是不阻挡光。这引起透明的目标，对于所显示的图像给出相当朦胧且令人不愉快的外观。
利用显示屏的显示器、立体显示器不会受到这种问题的影响。有几种方法来产生立体图像。图像可以是时间多路重叠在3-D显示器上，但是这需要观看者戴上具有例如LCD光闸的眼镜。当同时显示立体图像时，可以通过利用头戴式显示器或者通过利用偏振眼镜(然后利用正交偏振光产生图像)来将图像对准适当的眼睛。观察者佩戴的眼镜有效地将视图传送到每只眼镜。眼镜中的光闸或偏振片与帧频同步以控制传送。为了防止闪烁，相对于二维等效图像帧频必须加倍或者分辨率必须减半。利用这种系统的缺点在于两个图像仅仅产生有限的“环顾”能力。而且，必须佩戴眼镜来产生任何效果。这对于不常佩戴眼镜的那些观察者来说是不愉快的，并且对于已经佩戴眼镜的那些观察者来说这也是潜在的问题，因为附加的这对眼镜不一定合适。
代替在观看者的两只眼睛附近分离图像，也可以借助于如视差挡板的分离屏而在显示屏上分离这两个立体图像，如在US 5969850中所示。
尽管在不需要专用眼镜来观看3-D图像的意义上在显示屏处分离视图的视图显示是自动立体的，但是它们经常只为处于空间中固定位置的一个观看者工作。观看区域非常窄。在该观看区域之外，观察者看到多个图像或者立体反转，导致非常不愉快的观看。实际上，这意味着对于许多应用来说，例如在起居室中，观看区域非常小从而观看者必须坐在能够看到3-D图像的一个特殊地点。
从美国专利US5969850获知的设备提供了通过利用动态视差挡板来解决窄观看区域的解决方案，动态视差挡板即其中挡板狭缝按照产生自动立体显示设备的方式在屏上移动的视差挡板。
上面描述了用于提供3-D图像的不同类型和方法，每个都具有其优点和缺点。本发明不限于任何特殊类型的3-D设备，尽管可能一些类型的设备比其他类型的设备用得更多。本发明涉及呈像器，即提供图像信息(数据)的部分系统。存在朝具有能够在显示屏上提供N个视图即大量视图的显示设备的系统发展的趋势。这些设备能够在显示屏上提供3-D图像，该图像对几个观看者来说在相对较大的视角内可见。不同视图的数量通常为从10个到100个视图。对于那些类型的3-D图象显示器而言，本发明特别令人感兴趣。
提供多个图像的一种方法是使用与图像一样多的照相机。但是，这一技术是非常昂贵经常不实用并且非常不适合人机交互的游戏。因此，实际上，经常计算或构造图像信息，其中计算或构造的基础可能部分地基于由照相机收集的信息。
为了显示图像，特别是在3-D游戏中，使用呈像器。呈像器必须为图像提供数据。对于简单的立体显示器而言，即其中观看点的数量N＝2，呈像器两个图像提供数据，而对于更复杂的3-D，例如自动立体显示器，视图的数量相当大地增大，目前达到N～10，对于将来的3-D显示器，期望达到N～100，需要该呈像器提供更多的视图并因此提供更多的数据。该呈像器可以是显示设备本身的一部分，或者可以是独立的设备，其用于提供图像信息从而将其供给图像设备作为显示设备的寻址装置的输入或者显示设备的输入。在这方面，最为重要的是，不仅必须生成许多视图信息，特别但不专门针对3D游戏，对于每个观看点的图像质量还优选基本上相等。目前的呈像技术利用呈像器，其根据3-D模型和所述单独视图的观看点来为每个单独的视图提供图像信息，即数据。尽管这些方法对于N＝2的3-D成像是有用的，但是存在这样一种趋势，即需要提供数量日益增长的观看点，以便增大视场并允许从许多不同的观看点看到图像。这是真实的，特别是不专门地针对3-D游戏。例如，当多个对手(即观看者)在显示屏上彼此交战时，所有对手平等地交战是很重要的。为了满足这一条件，必须提供具有基本上相等的图像质量并具有高速和高清晰度的大量观看点。对于人机交互的游戏而言，应该实时提供所有的数据，因此需要在线提供多个大型数据集合。利用现有技术很难获得这些条件。
发明内容
因此，本发明的目的是提供能够快速、精确且详细地提供例如自动立体的3-D显示设备的图像并提高效率的已知设备的可替换方案。
为此，依照本发明的系统的特征在于呈像器包括初始部分，其具有用于3-D模型和用于主观看点的输入，用以按照主观看点Z叠置组件的形式提供目标，该Z叠置组件包括一叠层，每一层都包括含有彩色信息和Z值的阵列，该呈像器进一步包括Z叠置组件(Z-stack)构造器，用于根据初始阶段产生的主观看点Z叠置组件为附加的观看点构造Z叠置组件，还包括另一个图像信息阻塞语义学阶段，用于根据Z叠置组件产生图像信息。
该呈像器包括初始部分，其以一组具有彩色(RGB)和深度值(Z)的像素的形式来提供在将要显示的图像中包括的目标。初始阶段具有用于3-D模型和用于主观看点的输入。该初始阶段的输出是包括多个叠层的Z叠置组件，这些叠层包括用于主观看点的彩色(RGB或单色)信息和Z值。该呈像器在下面的Z叠置组件构造器中使用主观看点Z叠置组件，其中，根据包括用于主观看点的彩色信息(RGB或单色)信息和Z值的主观看点Z叠置组件来构造包括用于额外观看点的颜色信息(RGB或单色)和Z值的Z叠置组件。然后在下一个图像信息阻塞语义学阶段中，各个Z叠置组件被转换为提供给寻址装置的图像信息。
当产生目标时，这些目标具有RGB坐标(彩色，或者在单色像的情况下是单色)以及X-Y-Z坐标(空间位置)，有时还有不透明度(α)的值。构造观看点的图像基本上限定了将目标投射到对应于观看点的平面上。在提供中最突出的特征之一在于在前面的目标阻挡了其他更远的目标。该呈像器应该考虑这一点，将所有目标简单地投射到屏幕上将导致更远离前景目标的目标透过这些前景目标发光，这将完全导致前景目标的鬼影一样的外观。
已经知道，可以通过所谓的帧/Z缓冲器方法在呈像管中(这是呈像器的另一个称谓)产生图像。在3-D模型中的每个目标留下以(至少)具有颜色(RGB)和深度值(Z)的一组像素形式的初始纹理阶段。在阻挡语义学阶段，每个目标像素的Z值与Z缓冲器中的适当像素进行比较。如果目标Z值小于(比当前的目标更接近于观看者的目标)，那么分别在帧和Z缓冲器中的适当像素中复制目标的RGB和Z值。这一方案以黑色帧缓冲器和充满-∞的Z缓冲器开始，之后所有目标通过该呈像管进入。最后，该帧缓冲器包含用作呈像管输出的图像。Z缓冲器的最后内容不被使用。原则上，帧和Z缓冲器一起形成所谓的‘图像+深度’数据结构，意味着每个像素都具有彩色数据RGB和深度Z。可以根据帧缓冲器中的RGBZ数据利用中等数量的处理来提供一些其他观看点的图像。但是，这种类型的额外观看点提供具有很大的缺点为其余观看点提供的图像的质量低于主观看点。在帧缓冲器中的图像包含从该主观看点看到的大量目标，尽管可以计算这些相同的目标在另一个观看点的图像中的位置，因此计算来自该观看点的图像，这仍然有一个问题，即从其余观看点可以(因此应该)看见主观看点看不到的其他目标。这些目标不存在于帧/Z缓冲器中，因此不能够在额外观看点的图像中正确地提供这些目标。同样，即使如从主观看点看见的图像中的目标也可以具有从主观看点看不见但从其他观看点看得见的部分。
在本发明中，初始阶段的输出不是帧/Z缓冲器而是主观看点Z叠置组件。尽管特别对于主观看点来说，该Z叠置组件包括根据所有其余观看点产生图像所必须的几乎所有有关信息，接近和更远离该主观看点。在本发明的概念中，Z叠置组件是具有数据(RGB-(或单色)和Z值，可能还有α值)的元素阵列的叠置组件(即许多层)，其中，第一层包括许多元素以及如首先从主观看点看见的那些(部分)目标，第二层包括如从观看点看到的位于第一层的目标或部分目标之后的目标或部分目标，第三层包括在叠置组件的第二层中的目标或部分目标之后的目标。对本领域的技术人员来说很明显，尽管现在通常借助于一些计算机或计算机程序来常规地进行计算，但是“叠置组件”解释该光，即解释为在计算机产生和/或存储的数据排列的描述。在主观看点看不见的目标(或部分目标)，即被其他目标或部分目标隐藏而看不到的目标(如上所述在帧/Z缓冲器中不存在)在主视图Z叠置组件中仍然存在，即在该叠置组件的第二、第三等层中仍然存在。要注意，单个目标的多个部分可以分布在叠置组件中的不止一层上。
依照本发明的设备包括Z叠置组件构造器，在初始阶段之后的额外的3-D提供阶段，用于根据主观看点的Z叠置组件为每个额外的观看点提供Z叠置组件。因此，根据主观看点Z叠置组件为每个额外的观看点制造新的Z叠置组件。一个观看点，即主观看点，进入呈像管，并按照正常的方式进行处理，而额外的N-1个观看点在附加的阶段进入该呈像器的内部。按照这种方式，呈像管的最大部分保留单像，即为一个观看点保留单像，并通常用于所有N个图像，如下面的阻挡语义学阶段。
初始的主视图Z叠置组件包括根据所有其余观看点产生图像所需的几乎所有的有关信息，接近主观看点和更远离该主观看点。根据该主观看点Z叠置组件，为额外的观看点产生新的Z叠置组件。这些Z叠置组件也包括它们自身以及几乎所有的信息，因此，额外观看点的图像具有与主观看点图像基本上相同的图像质量。
按照这种方式，与独立地构造N个不同的观看点相比，速度大大提高并且算法得以简化，并且，与为主观看点产生帧/Z缓冲器并根据该主观看点帧/Z缓冲器构造其他观看点的图像相比，大大提高了质量。
理想的是，在所有提供进行之后，所有Z叠置组件包含如从对应于每个Z叠置组件的观看点看到的前景目标。代表目标的元素的数量在不同的Z叠置组件中可以不相等，如目标可以呈现出如从不同观看点看到的不同尺寸。因此，在Z叠置组件之间的元素之间不存在一一对应，而只要与存在的目标有关，那么就存在一一对应。当根据一个主观看点Z叠置组件构造额外的Z叠置组件时，可以一个接一个地来复制目标，但是一个接一个地来复制目标是不够的。后者在例如由100个元素表示在主Z叠置组件中的目标但是应该用110或90个元素来表示在新的Z叠置组件中的目标时会产生很多问题。本发明人了解到，一个目标接一个目标的方法与例如通过外插或收缩来使目标中元素的数量进行缩放相结合在一个元素接一个元素的基础上是优选的。
因此，该呈像器优选包括用于从Z叠置组件中析取目标的目标析取器。在本发明的框架中的析取意味着根据分组准则将Z叠置组件的元素分成几个组。属于一个和同一个目标的元素通常具有相同或相似的Z值(或者如果它们不具有在从一个元素到邻近元素的Z值的清楚而正常的变化)。而且，它们可以具有相同或相似的RGB值。
有利的是，将主观看点Z叠置组件的元素集合成目标。这能够一个接一个地将主观看点Z叠置组件的目标复制到额外观看点的新的Z叠置组件。收缩和外插操作是计算机图形领域中公知的基本重新取样的操作。在优选实施例中，仅仅为主观看点进行目标析取，从而确保与额外观看点的数量N-1无关的效率。关于在构造额外观看点之前的目标尺寸和形状的知识能够高质量地实现在外插和收缩所需的目标中的元素的重新取样。
优选的是，呈像器包括DOF提供阶段。DOF(景深)与对准目标的焦平面有关，而远离该焦平面的目标或多或少地模糊。可以通过在目标纹理中和目标的边缘周围空间地重新分配RGB值，或者通过目标的不透明度的小变化而引起模糊。DOF模糊可以在每个额外的观看点Z叠置组件上进行，但是优选的是在主观看点Z叠置组件上进行。结果是主观看点的Z叠置组件的RGB和Z值(可能还具有不透明度)数据考虑了由于DOF引起的模糊。焦平面对于额外观看点几乎总是粗略地相同。因此，用于主观看点的DOF模糊然后利用“模糊的”主观看点Z叠置组件作为基础为所有额外观看点产生Z叠置组件提供了与利用主观看点Z叠置组件、为额外观看点产生Z叠置组件、然后为所有额外观看点Z叠置组件执行DOF模糊一样好的最终结果(在质量上)，同时大大提高了速度。
Z叠置组件构造器可以顺序地(或一个接一个地)或并行地构造额外观看点Z叠置组件。优选的是，平行地进行。当逐一顺序进行时，Z叠置组件构造器可以根据主观看点构造第一额外观看点的Z叠置组件，并将其用于构造另外的Z叠置组件。但是，这种顺序处理带有小错误累积的风险。因此，优选的是，不管顺序处理还是并行处理，都根据主观看点Z叠置组件计算每个额外的Z叠置组件。
优选的是，主观看点Z叠置组件数据包括关于不透明度的数据，Z叠置组件构造器还包括用于在目标析取之后修改目标的不透明度的装置。
上面讨论了目标的阻挡。除了阻挡(即当一个目标在另一个目标之后时从观看点看不到前者)之外，不透明度也起到一定的左右。一些目标可以是(半)透明的。位于这些目标之后的目标在某种程度上是可见的。不透明度的概念，即使目标不透明能够考虑这些效果。基本上，不透明度(例如在0和1之间的数)测量其他布置的目标的强度为多少才可见。当不透明度为0时，目标是不透明的(即，位于该目标之后的目标不能透过)，当不透明度为1时，目标是完全透明的，其他目标确实透过。如果在主观看点Z叠置组件中表示不透明度(通常用α来表示)，则能够获得更逼真的图像提供。仅仅将这些不透明度的数据传送给额外观看点Z叠置组件是有用的。但是，目标的不透明度可取决于观看点，例如对于平板来说，不透明度随着通过该平板的视角而增大。通过修改该不透明度，可以获得更加逼真的图像提供。
在将不透明度数据分成因不同颜色而不同的不透明数据的情况下，这一方面的重要性甚至更大。
优选的是，Z叠置组件构造器还包括用于在目标析取之后修改目标的RGB值的装置。
主观看点Z叠置组件包括彩色信息，例如RGB值。在本发明的实施例中，当观看点改变时，这些RGB值可以保持不变。但是，对于一些目标来说，由于视角改变，颜色也发生变化，经常由于改变观看点而变亮或变暗或颜色改变。在优选实施例中，Z叠置组件构造器允许这些改变。
优选的是，该系统包括用于关于额外观看点的数据的输入。Z叠置组件构造器构造用于额外观看点的数据。这也可以是自动进行的，在这种情况下，可以例如构造与在3-D显示设备中存在的视图一样多的Z叠置组件的数据，即覆盖所有显示设备的很大数量。这需要大量将要构造的额外观看点的Z叠置组件。但是，优选的是，该系统包括用于向额外观看点Z叠置组件构造器提供关于额外观看点的数据的输入。根据显示设备的类型，额外观看点的数量可以改变。通过提供用于提供关于额外观看点的特定数据(相对于主观看点的数据和/或位置/定向)的输入，Z叠置组件构造器能够依照要求提供额外观看点Z叠置组件，同时提高效率。在简单的实施例中，关于观看点的数据能够例如是将要产生的视图的数量和最大视角范围。在优选实施例中，该系统包括用于建立与用户的优先选择对应的观看点的装置，或者提供有与用户的观看点对应的数据的装置。例如，当多于一个玩家参与3-D游戏时，使用眼镜、头戴耳机、激光枪、徽章等，如果向这些属性提供了例如借助于IR或超声传感器建立这些属性相对于显示设备的位置的装置，那么使用这些属性能够使系统建立玩家相对于显示设备的显示屏的精确或近似位置。向额外Z叠置组件构造器提供这种信息能够以高精度和刷新率来处理与玩家对应的观看点，而不处理或以低精度或刷新率处理其他观看点。对于那些实际处理的观看点来说这允许速度和图像质量的相当大的提高，即与玩家有关的观看点，而不需要大量增加成本。
本发明的这些和其他方面将从下文中描述的实施例显而易见并进行说明。
在附图中图1说明了显示设备的基本原理；图2说明了分离出两个立体像的视差挡板的基本原理；图3A和3B说明了挡板和微透镜屏的原理；图4说明了利用基本的视差挡板显示器所遇到的问题；图5说明了已知的多视图(multi-view)设备；图6说明了当前的呈像方法；图7示意性地说明了依照本发明的显示设备和方法的呈像管；图8说明了用于显示设备和方法的呈像管的细节；图9说明了依照本发明的呈像管和方法的细节；以及图10说明了依照本发明方法的进一步的细节。
这些附图没有按比例绘制。通常，在图中相同的部件用相同的附图标记来表示。
具体实施例方式
图1说明了一种显示设备。对于三维电视来说需要大量的观察方向，在各个方向上独立地发光。在家庭应用中，观察距离大约为3米，人们坐在大约3米宽的沙发上，参见图1。因此需要至少60度的视角。两眼之间的距离是6∶5厘米。为了使每只眼睛看到不同的画面，显示器需要在至少3m/6.5厘米＝300/6∶5＝50个方向上发光。为了使人在移动其头部时看到没有不连续过渡的三维画面，三维电视应该在比50多得多，例如至少100个方向上发光。形成大量视图(view)的一种方法是利用视差挡板，但本发明并不限于此。
图2说明了分离出两个立体图像的视差挡板的基本原理。利用背光源在例如空间光调制器(例如LCD)上交替地显示两个立体图像的垂直线。视差挡板7的光栅结构确保了观察者4的每只眼睛都看到适当的图像(5，6)。这仅仅是为了说明3-D成像系统而示出的，并不视为对本发明范围的限制。
图3A说明了视差挡板的用法。在常规的挡板自动立体显示系统中，挡板31置于显示阵列32之前。立体图像对的左右图像被分成多个垂直条。左图像的条32L和右图像的条32R交替地置于阵列32上。在挡板31中形成狭槽31A。狭槽31A设置为使观察者的左眼4L只能看到图像对中左图像的条32L，右眼4R只能看到图像对中右图像的条32R。观察者重建三维的完整图像。
现在参考图3B，用具有垂直柱面透镜33A的阵列的微透镜屏33代替挡板31来解释类似的原理，每个垂直柱面透镜都对应于不同的一对左图像条32L和右图像条32R。在操作中，每个透镜将观察者的左眼4L对准左图像条32L，并将观察者的右眼4R对准右图像条32R。
图4说明了基本的立体设备的问题。未坐在右观看区内的观看者感觉混乱。观看区非常窄。在该观看区之外，观察者看到多个图像或者立体反转，从而使观看非常不舒服。实际上，这意味着对于许多应用来说，例如在起居室中，观看区非常小使得观看者不得不只有坐在一个特殊位置才能够看到景物。对于起居室用途来说，这远不是最佳的，因为只有一个观看者能够看到3-D图像，并且该观看者仅仅当坐在一个位置时才能够看到该3-D图像。
图5示意性地说明了如从美国专利US5969850获知的设备。在该设备中，通过利用动态视差挡板51，即其中挡板狭缝在屏上移动的视差挡板，来解决观看区窄的问题。当在屏上扫描视差挡板移动时，产生大量的视图(N个视图)。为了提供大量的视图，必须产生这些图像的数据。上面的附图通过举例的方式说明了一些类型的3-D显示设备，但是它们不被视为对本发明范围的限制。已经提出了提供3-D图像的其他技术，特别是提供N个视图的显示器的其他技术。
但是，所有技术和系统必须产生大量的视图(通常是10到100个)才能够提供足够大的观看区并使多个观看者观看到图像。对于3-D游戏(gaming)来说，观看者与所显示的图像之间常常存在一种交互作用，因此需要很宽范围的可能的观看点(如果在放映电影，那么常常对观看者相对于目标的观看点进行限制，而在3-D游戏中，更不用说是这种情况)，该系统还必须能够对观看者的动作作出反应。对于3-D游戏来说，所有观看者和参与者看到同等质量的视图是极重要的，否则，这个游戏就不能作为“多用户”游戏来销售，因为如果刚好坐在屏幕前面的人具有较高精度或速度的视图，那么他/她赢得这个游戏的机会就更大，这是不能接受的(或许除了获胜者之外)。
因此必须提供大量相同质量的视图，并且以实时和对于不同视图具有相同等质量的方式来提供。这是本发明所涉及的目的，特别是涉及为N个图像提供数据。
图6示出目前在3-D游戏中的用于3-D和3-D显示器的呈像方法。在游戏过程中，3-D模型61包含在特定状态下处于特定位置的所有目标，其动态地改变。该模型连同照相机观看点(camera viewpoint)或多个观看点(view points)63供给呈像管(呈像器)62。对于普通3-D显示器来说，呈像管61产生单个的图像。呈像管所呈现的图像数据64被发送到显示设备65。
对于3-D显示器来说，呈像管产生N个图像。对于简单的立体显示器而言，N＝2，而对于自动立体的3-D显示器而言，N较大(N～10)，对于未来的3-D显示器而言，预期是N～100。本发明尽管在其最广泛的意义上来说可适用于N＝2，但是本发明对于N视图(N～10，至100或更多)的显示设备是特别有利的。
目前的呈像管不包含两个或多个完全的单像(monoscopic)管，而是在暂时的多路传输(multiplex)中使用单个的单像管。这是以帧频(每秒的图像数)为代价的，或者任何计算折衷都是可能的(例如降低分辨率来保持一定的帧频)。
高N的呈像管的负担是极大的。在3-D呈像中，普遍只使用N＝2的情况来支持基于3-D眼镜的仅在市场上可买到的3-D显示器。
在呈像中最突出的特征之一是在前面的目标遮住其他的、更远的目标。如今，通过所谓帧/Z缓冲器(Z-buffer)的方法在呈像管中实现了这一点。3-D模型中的每个目标都以具有(至少)一种颜色(RGB)和深度值(Z)的一组元素的形式离开纹理阶段(texture stage)。语义学的遮住阶段将每个元素的Z值与Z缓冲器中的适当元素相比较。如果元素的Z值较小(比当前目标更接近观看者的目标)，那么分别在帧和Z缓冲器中复制该元素的RGB和Z值。这一方案以黑色帧缓冲器和充满-∞的Z缓冲器开始，之后使所有目标通过管而进入。最后，该帧缓冲器包含用作该呈像管的输出的图像。不使用Z缓冲器的最后内容。原则上，帧和Z缓冲器共同形成所谓的“图像+深度”数据结构，意味着每个元素或像素都具有彩色数据RGB和深度Z。可以根据帧缓冲器中的RGBZ数据进行适量的处理来为一些其他观看点提供图像。但是，这种类型的额外观看点呈像具有相当多的缺点为其余观看点呈现的图像的质量低于为主观看点呈现的图像的质量，其余观看点与主观看点的差距越大，用于其余观看点的数据的质量就越低。帧缓冲器中的图像包含从主观看点看到的大量目标。可以计算这些相同目标在来自另一个观看点的图像中的位置，因此计算来自该观看点的图像。但是，可以从其余观看点看到从主观看点看不到的其他目标，这是出于一个简单的原因，即这些目标在帧/Z-缓冲器中不存在，因此不能正确地呈现这些目标。同样，甚至当从主观看点观察时图像中可以看见的目标也可能具有从主观看点看不见但是从其他观看点看得见的部分。
(通常通过可见部分的外插)在某种程度上可以猜测出似乎有多少个“丢失部分”，这可能是有帮助的，但是仅仅对于接近该主观看点的观看者来说有帮助。例如，如果部分地示出臂，那么可以猜测臂的剩余部分的位置，可以相对地确信在臂的端部是手，但是手里有什么武器以及相对于该臂的位置如何都是未知的。
因此，留下了一个急待解决的问题，即提供不需要过多计算能力就呈现出基本上相同图像质量的N个图像的系统和方法。
图7说明了用于依照本发明的显示设备和依照本发明的方法的呈像器(呈像管)62。
呈像器62包括用于为主观看点产生Z叠置组件的第一部分70。该部分在本实例中包括用于主观看点的输入63和用于3-D模型的输入61。依照主观看点将所有的几何形状(目标的形状和形式)在几何变换器71中进行变换，将数据在像素化装置(pixelizer)72中进行像素化(pixelize)，即，将所有目标变换成具有X、Y、Z、彩色(RGB)和可能还有α(不透明度或透明度)值的像素，并且在纹理形成器73中增加纹理。对于主观看点来说，在DOF呈像器74中添加DOF(景深)。这是为与主观看点有关的数据而进行的。因此，为主观看点仅进行一次，而不管额外观看点的数量N-1。此后，用于主观看点的数据(如下面将要解释的，呈Z叠置组件的形式)用作3-D呈像阶段75中的基础，其具有用于涉及其余N-1个额外观看点的数据的输入，并且呈现作为输出的用于N-1个额外观看点的N-1个Z叠置组件。在语义学的遮住阶段76中，借助于Z跟踪将N-1个额外观看点的Z叠置组件中的数据(连同主观看点的Z叠置组件中的数据)转变为来自N个不同观看点的N个图像的N个帧缓冲器。计算的要求相对较少，因为仅仅为主观看点进行通常需要最大数量的计算能力的这种处理的第一部分(一直到并包括步骤74)。所生成的主观看点Z叠置组件(在该例子中具有DOF)是所有其他观看点的基础。
依照本发明的方法和依照本发明的系统能够有效地计算N个高质量视图，而基于帧/Z缓冲器的现有方法只提供低质量的视图，并且基于完全独立地产生N个视图的现有方法不是很有效。
图8进一步说明了Z叠置组件的构成以及用于不同观看点的帧缓冲器。
3-D模型80包括所有信息，即所有目标及其相互定向。根据完整的3-D模型，产生主观看点的3层Z叠置组件81。这通过图8中示意性示出的Z叠置组件构造器来进行，该构造器构造出包括元素的三个顺序缓冲器的分层结构(在该例子中)，其中，为每个元素(在该例子中)存储Z、I(代表颜色)、α(代表不透明度因数)。基本上，Z叠置组件的第一叠层包括首先从观看点看到的所有元素的RGB(彩色信息)和Z坐标(并且还可以是α信息，也可以是其他信息)。因此，Z叠置组件的第一层包括首先看到的那些目标和那些目标的多个部分，即最接近观看点的元素。这样，在该例子中，Z叠置组件沿着中心线I-I的第一层S1包括目标D的多个部分，目标A的一些部分，以及目标F的外边缘，沿着同一条线的第二层S2包括目标B和C的多个部分，目标F的多个部分，以及目标A的多个部分(在目标D之后的多个部分)，第三层包括目标F(在目标B和C之后的那些部分)和目标E的多个部分。注意，一个且同一个目标可以形成Z叠置组件中几个层的一部分，这是由于当从主观看点看时，其是将被看到的第一、第二或第三目标。在构造Z叠置组件之后，可以构造帧缓冲器，如果在第一叠层中显示的目标全是不透明的，那么该帧缓冲器基本上包括Z叠置组件的第一叠层S1的数据。如果这些目标具有透明度(即，α的数值小于1，其中α的值在0(不透明)至1(完全透明)的范围)，那么图像缓冲器包括来自各个层S1至S3的数据的组合。来自图像缓冲器82的数据被直接或在进一步处理之后发送到3-D显示器。在图的B部分中，示出了3-D模型80，该模型最终导致帧缓冲器82仍然包括构成原始3-D模型的所有不同目标A至E上的至少一些数据。从帧缓冲器82开始，在某种程度上可以产生不同视图的图像，假如必须根据在该帧缓冲器中可见的目标B、C、E的那些部分来猜测在目标A之后的B、C、E目标的形状。但是，这未必总是可能的。为了对此进行说明，图8的C部分与图8的B部分中所表示的情况的不同之处仅仅在于现在将目标D放置在目标A之后。Z叠置组件81′反映出了表示目标D的那些元素不再形成第一层S1的部分而是形成层S2的部分的这种变化。图像缓冲器82′不再包括目标D的任何轨迹，目标D完全不再出现在帧缓冲器82′中。根据主观看点的图像(或帧)缓冲器82′，可以产生不同观看点的图像，但是这些图像不能包括目标D，仅仅因为在图像缓冲器82′中不存在关于目标D上的信息(元素)。即使根据先前的图像可以推知应该或者很可能存在这样一个目标，但是必须推测出该目标的实际位置和/或形状。但是，目标D从不同的观看点可以是非常清晰可见的。这一问题的一种解决方案是为每个额外观看点计算(步骤61-73(74))Z叠置组件，即为每个观看点使用完全独立的呈像管。但是这需要相当大的计算能力。然而，本发明的基础是在主观看点的3-或更多、一般是n层Z叠置组件81′中存在关于“隐藏”目标的信息，如在该例子中的目标D。为主观看点使用Z叠置组件81′能够保持在前景目标之后的大量目标的轨迹。即使发送到该显示器的最后一个图像显示出位于同一个像素的多个目标，也能够正确地呈现半透明目标。在这种方法中，首先将整个3-D模型中的所有场景目标(scence object)提供到Z叠置组件中。然后，这里采用的单个公知方法如Z跟踪方法从Z叠置组件中析取要发送到显示器的帧或图像缓冲器。根据简单的协议构造出Z叠置组件的每个像素(per-pixel)的输出图像信息。如果所有目标都是不透明的目标，那么仅仅复制Z叠置组件的第一层。对于透明目标，可以合并几层。
图9中进一步说明本发明。
图9示出DOF和3-D呈像块的内部结构的例子。每一个都具有额外的缓冲器叠置组件(buffer-stack)，其中存储了前面阶段的结果。此外，两者都采用了新的单元作为目标析取单元。
纹理阶段(基本上是3-D模型)的输出在Z叠置组件91中呈现的第一Z叠置组件构造器中。为主观看点制造这一Z叠置组件91。将主视图Z叠置组件91用作目标析取92的起始点。目标析取是从Z叠置组件91析取属于同一个目标的那些元素的程序。如图8中所见，目标可以分布在S1至S3的几个层上。目标析取单元搜索该叠置组件并重新组合这些目标。可以利用同一个目标的元素具有共同的特性的情况来重新组合这些目标，所述共同的特性如RGB值、Z值和/或不透明度。
在本实例中，在目标析取之后，DOF呈现主观看点的数据(93)。在没有DOF(景深)呈现的情况下，以相同的清晰度对所有目标成像。但是，这会产生不自然的图像。在自然的图像中存在图像清晰的焦点区域，更接近观看者或更远离观看者的目标在焦点外，因此是模糊的。模糊可能由例如以下原因产生，通过目标析取、随后使目标的纹理和边缘散焦，即在目标中使该纹理空间地重新分布并将一定的强度传递到目标边界之外，和/或使外部的大部分目标半透明。DOF呈像阶段具有用于该目标的模糊单元。DOF单元的结果又是Z叠置组件94，其包括在焦平面中用于主观看点的稍微模糊的焦点未对准的目标和清晰的目标。在该优选实施例中，对主观看点的Z叠置组件91中的数据进行DOF模糊。这是优选的，因为主观看点图像仅仅需要对于DOF模糊所需的计算能力。严格地讲，当对于每个观看点进行了DOF模糊并且对一切可能的观看点都进行了DOF模糊时，可以获得与DOF的模糊效应有关的较好性能。但是，额外观看点的DOF与主观看点的DOF没有不同或几乎没有不同，因此在优选实施例中，对主观看点的Z叠置组件91进行DOF。将DOF模糊目标重新组合成主观看点的新的Z叠置组件94。该Z叠置组件94是用于析取目标的目标析取器95的输入。对于N个其余观看点中的每一个，依照主观看点与各个其余观看点之差而在移位器96中移动析取的目标。然后将经移动的目标重新组合成新的Z叠置组件(在Z叠置组件构造器97中)，从而产生N-1个Z叠置组件。最后，3-D呈像阶段具有Z跟踪单元(98)。在本发明的框架中，最重要的一点是为额外观看点中的每一个，根据主观看点的Z叠置组件91，为额外观看点构造Z叠置组件97。目标析取95是任选的。但是，目标析取是非常有用的概念。当转变主观看点的原始Z叠置组件91的数据来构造额外观看点的Z叠置组件时，相对较小目标(例如在小角度下看到的那些目标)的尺寸可以相当大地增长。当一个像素接一个像素地进行变换时，尺寸增长(例如从3个像素到10个像素)的目标必定发生像素丢失。这些丢失的像素例如可以通过目标析取和重构来重新构造，即找到形成一组的像素，检测这组像素中存在的(一个或多个)空洞，尽可能准确地确定用于拟合(一个或多个)空洞中的元素并填充这些空洞的值(RGB，Z)，从而重构该组的中间、丢失的元素，由此“修正”该目标。这可以在移位操作之后进行(阶段96)。但是，然后该重构工序必须重复N-1次，也就是对于由移位步骤96产生的Z叠置组件中的每一个，即对于额外观看点的Z叠置组件96中的每一个(为简单起见，这里有时候为各个方法步骤的结果提供属于特殊步骤的附图标记)。通过在目标移位96之前进行目标析取95，只需要将目标析取进行一次，即只对主观看点Z叠置组件94进行，从而降低程序的复杂性并提高速度。
将要计算的观看点的数量以及这些观看点相对于主观看点的位置/定向可以是固定的，或者优选取决于从该显示器接收到的数据。优选的是，该系统包括用于有关额外观看点的数据的输入(参见图7)。Z叠置组件构造器75构造额外观看点的数据。可以自动地进行构造，在这种情况下，例如可以构造与自动立体设备中存在的视图一样多的Z叠置组件95，即可以是覆盖所有显示设备的大数量。这将需要构造大量额外观看点Z叠置组件。但是，优选的是，该系统包括用于向额外观看点Z叠置组件构造器提供有关额外观看点的数据的输入。根据显示设备的类型，额外观看点的数量可以改变。通过提供输入，该输入用于提供关于额外观看点的特定数据(数量和/或相对于主观看点的位置/定向)，Z叠置组件构造器能够依照要求来提供额外观看点的Z叠置组件，同时提高效率。在简单的实施例中，关于额外观看点的数据可以是将要被产生的视图的数量和最大视角范围。
在优选实施例中，该系统包括建立对应于用户的观看点的装置、或者提供有对应于用户观看点的数据的装置。例如，当多于一个玩家参与3-D游戏时，使用眼镜、头戴耳机、激光枪、徽章等可以使系统能够建立玩家相对于显示设备的显示屏的精确或近似位置，前提是向上述属性提供用于例如借助于IR或超声传感器来建立这些属性相对于显示设备的位置的装置。向额外的Z叠置组件构造器提供这种信息将能够以高精度或刷新率来处理与玩家对应的观看点，而不处理其他观看点的数据，或者以低精度或刷新率来处理这些数据。这允许大大提高速度和实际上有关系的那些观看点的图像质量，即与玩家有关的观看点，而不需要增加成本。
图10说明依照本发明的方法。将主观看点的DOF模糊的Z叠置组件94馈送到目标析取器。在本实例中，目标是房屋H、两个棚S1、S2、围栏Fe，其中具有孔(例如打开的门d)，大树T和森林F。在目标析取95过程中，从主观看点(VP1，观看点1)的Z叠置组件94中析取目标。这些目标被移位(基本上改变x、y、z值，根据主观看点和相关的额外观看点可以很容易地计算这些值)。根据新的经移位的目标数据来计算新的Z叠置组件97。该Z叠置组件97是额外观看点(VP2，观看点2)的图像缓冲器的基础。在原始观看点(VP1)中，通过开口d可看见一部分森林，在经移位的观看点(VP2)中，通过围栏中的开口可以看见一部分树(T)。这样在本实例中，示意性示出了通过围栏中的开口对额外观看点可见的一部分树T。根据主观看点(VP1)的Z叠置组件和简单的移位操作来计算VP2的Z叠置组件，这样可以快速地并为许多观看点来进行计算。
应该注意，尽管本发明允许为额外观看点产生图像，并且与提供N次新图像相比有力地降低了对于为额外观看点产生图像的计算能力的要求，速度增大并未带来成本的增加。Z叠置组件层包括许多层，在本实例中是3层。如果一个位于另一个后面地放置多于三个目标，那么一些目标将不在Z叠置组件层中，因为它们是从主观看点看时的第四个、第五个等目标。这样，可能出现数据丢失。优选的是，Z叠置组件包括2至5层，更优选的是3至4层。在Z叠置组件中存在的层越多，则数据丢失的变化就越小，但是，需要的计算能力就越高。本发明人已经认识到，在指示范围的层中，即2-5，优选为3-4，最优选为3，可以达到最好的折中。
当目标定向为从主观看点看其占据仅仅一个或仅仅少量像素时，可能发生数据的进一步丢失，。能够从其他观看点提供给视图的细节数量因此非常受限制，如果完全存在的话。在优选实施例中，呈像器包括初始部分，其具有用于3-D模型和用于大量n个主观看点的输入，用于以n个主观看点Z叠置组件的形式来提供目标，该Z叠置组件包括彩色信息(RGB)和Z值的叠置组件层，该呈像器进一步包括Z叠置组件构造器，其中根据由初始阶段产生的n个主观看点Z叠置组件来构造N-n个额外观看点的Z叠置组件，其中Nn，还包括用于从Z叠置组件产生图像信息的另一个图像信息遮蔽语义学阶段。
具有n个主观看点的优点在于允许选择最佳的主观看点来构造额外观看点的目标。这种选择基于主观看点包含最高清晰度的目标，即由最多的元素呈现的(represent)的目标。并且，例如通过在n个主观看点中插入目标的表示来进行组合。在大多数目前的3-D显示器中，需要在水平线上排列的多个观看点位置的多个试图，从而获得水平环顾能力。因此，优选n＝2。
第一阶段需要的计算能力是两倍的，但是对于随后的阶段，或多或少保持相同。可以将n＝2个主观看点选择为极左或右的观看点。按照这种方式，确保在比每个额外观看点所需更多细节的两个主观看点之一中表示每个目标。
类似地，将来的3-D显示器可以提供在水平和垂直位置的坐标网中排列的N＝NxNy个视图以提供垂直环顾能力。然后，优选n＝4，具有与该坐标网的四个角对应的主观看点左上部、右上部、左下部、右下部。
由于Z叠置组件的有限的水平和垂直尺寸，可能发生数据的进一步丢失。由于目标具有在每个Z叠置组件中的不同位置，因此可能对于不再出现在该Z叠置组件中的一些观看点发生这种情况它们落到视线之外。可能碰巧目标刚好超出主观看点的边界，不能在额外的观看点中进行其构造。这可以通过上面描述的具有n个主观看点的方法来解决。如果在主观看点之一看不到目标，那么很可能在其他主观看点之一看到该目标。当使用n＝1时，优选的其他解决方案是用Q个附加的元素来增加主Z叠置组件的水平(和/或)垂直尺寸，而所有额外的Z叠置组件保留其原始尺寸。这确保了主要的Z叠置组件包含仅仅对于额外观看点来说移位到视场中的目标。在这种情况下，主观看点帧缓冲器也具有原始的、未增加的尺寸。或许使用增大尺寸的解决方案和n个主观看点的解决方案的组合。
由于从主观看点到额外观看点对目标的重新取样，可能发生数据的进一步丢失。这可以通过向分辨率提高例如两倍的主观看点提供沿水平和/或垂直方向的多个元素来解决。按照这种方式，数据丢失是可忽略的。在n个主观看点的解决方案中，可以通过公知的超分辨率技术从n个正常的分辨率Z叠置组件析取更高分辨率的目标。但是，目前用于这方面的技术不能确保所有情况下的性能，例如在n个主观看点精确地包含一个目标的相同信息的退步情况下。分辨率增大的方法确保在所有情况下的性能。
在本发明的概念中进行许多变化是显而易见的。本领域的技术人员将理解，本发明不限于在上文特别示出和描述的。本发明在于每个和各个新颖的特征和这些特征的各种和一切可能的组合。权利要求中的附图标记不限制其保护范围。使用的动词“包括”及其动词变化不排除在该权利要求中还存在所指出的那些元素之外的元素。元素之前所使用的冠词“一”或“一个”不排除存在多个这种元素。
本发明还能够具体化为任何计算机程序，该计算机程序包括用于当在计算机上运行所述程序时进行依照本发明的方法的程序代码装置，以及任何计算机程序产品，该计算机程序产品包括在计算机可读媒体上存储的用于当在计算机上运行所述程序时进行依照本发明的方法的程序代码装置，以及任何程序产品，其包括供依照本发明的系统中使用的程序代码装置，用于进行本发明特有的动作。依照本发明的方法不限于给定的例子。例如，提到提供给寻址装置的数据，不排除数据在供给寻址装置之前经历某一种类的计算不周。例如，可以存在一些步骤来将“原始图像数据”79变为最适合特殊类型的显示器或者特殊类型的格式，或者可以将数据加密。因此，术语“供给寻址装置”不被限制性地解释为意味着必须将数据按照其离开呈像器时的原样直接馈送到寻址装置，该数据用于馈给寻址装置，即作为在显示屏上显示图像的基础。
本发明还包括用于根据本发明的系统中的呈像器。本发明还包括用于按照不同视图的Z叠置组件的形式呈现数据的呈像器，作为寻址3-D显示设备的显示屏幕。该呈像器可以与该系统本身分离地工作，例如在远程计算机上工作。
权利要求
1.一种系统，包括具有显示屏的3-D显示设备，用于对该显示屏进行寻址的装置，以及呈像器，该呈像器具有用于3-D模型的输入和用于至少一个观看点的输入，用以为供给寻址装置而提供图像信息，其中该呈像器包括初始部分(70)，其具有用于3-D模型和用于主观看点的输入，用以按照主观看点的Z叠置组件(91，94)的形式提供目标，所述主观看点Z叠置组件包括含有彩色信息和Z值的多个叠层(S1，S2，S3)，该呈像器进一步包括Z叠置组件构造器，其中根据初始阶段产生的主观看点Z叠置组件(91，94)来构造用于额外观看点的Z叠置组件(97)，该呈像器还包括另一个图像信息阻挡语义学阶段，用于根据Z叠置组件(97)产生图像信息(79)。
2.如权利要求1所述的系统，其中该呈像器包括目标析取器(95)，用于从观看点Z叠置组件(91，94)析取目标。
3.如权利要求2所述的系统，其中该目标析取器(95)设置为从主观看点Z叠置组件(91，94)提取目标。
4.如权利要求1的系统，其中该呈像器包括DOF提供阶段(92，93)。
5.如权利要求4的系统，其中该DOF提供阶段设置为将主观看点Z叠置组件(91)DOF处理为包括DOF模糊的主观看点Z叠置组件(94)。
6.如权利要求2的系统，其中主观看点Z叠置组件(91，94)数据包括关于不透明度(α)的数据，并且Z叠置组件构造器包括用于在目标析取之后修改目标的不透明度的装置。
7.如权利要求2所述的系统，其中Z叠置组件构造器还包括用于在目标析取之后修改目标的RGB值的装置。
8.如权利要求1所述的系统，其中该系统包括用于关于额外观看点的数据的输入。
9.如权利要求1所述的系统，其中额外观看点的数量等于或大于10。
10.用在如权利要求1所述系统中的呈像器。
11.用于为供给3-D显示设备的寻址装置而提供Z叠置组件的呈像器。
12.一种用于提供将要供给3-D显示设备的寻址装置的数据的方法，其中，为主观看点提供包括多个叠层(S1，S2，S3)的主观看点Z叠置组件(94)形式的目标，其包括RGB和Z值，并根据主观看点Z叠置组件(94)构造用于额外观看点的Z叠置组件(97)，根据用于额外观看点的Z叠置组件(97)借助于Z跟踪产生供给寻址装置的数据(79)。
13.如权利要求12的方法，其中对主观看点Z叠置组件(91)进行DOF提供(74)从而提供具有DOF模糊的主观看点Z叠置组件(94)。
14.如权利要求12或13的方法，其中对主观看点Z叠置组件(91，94)进行目标析取(95)。
15.计算机程序产品，包括在计算机可读介质上存储的程序代码装置，用于在计算机上运行所述程序时执行依照本发明的方法。
16.计算机程序产品，包括在依照本发明的系统中所用的程序代码装置，用于执行本发明特有的功能。
全文摘要
一种包括3－D显示设备的系统，该3－D显示设备具有显示屏、用于对该显示屏进行寻址的装置，以及呈像器，该呈像器具有用于3－D模型的输入和用于至少一个观看点的输入，用以为供给寻址装置而提供图像信息，其中该呈像器包括初始部分(70)，其具有用于3－D模型和用于主观看点的输入，用以按照主观看点的Z叠置组件(91，94)的形式提供目标，所述主观看点Z叠置组件包括含有彩色信息和Z值的多个叠层(S1，S2，S3)，该呈像器进一步包括Z叠置组件构造器，其中根据初始阶段产生的主观看点Z叠置组件(91，94)来构造用于额外观看点的Z叠置组件(97)，该呈像器还包括另一个图像信息阻挡语义学阶段，用于根据Z叠置组件(97)产生图像信息(79)。
文档编号G06T15/40GK1853200SQ200480026700
公开日2006年10月25日 申请日期2004年8月31日 优先权日2003年9月17日
发明者P·-A·雷德特 申请人:皇家飞利浦电子股份有限公司