用于生成用于显示器的信号的方法和设备的制作方法

用于生成用于显示器的信号的方法和设备的制作方法
【专利摘要】本发明涉及一种用于生成用于显示器（103）的图像信号的设备，其包括接收视频信号的接收器（105），所述视频信号包括对应于图像序列的三维数据。图像生成器（107）根据所述三维数据和呈现视点生成对应于所述图像序列的显示器图像。镜头转换检测器（111）检测所述图像序列中的镜头转换，并且视点控制器（113）与镜头转换同步地改变呈现视点。信号生成器（109）生成包括所述显示器图像的图像信号。所述设备还可以跟踪观看者移动并且相应地适配呈现。此外，所述系统可以把视点朝向标称视点偏置。由于跟踪而导致的视点改变可以是非同步的，而由于偏置而导致的视点改变则可以与镜头转换同步。
【专利说明】用于生成用于显示器的信号的方法和设备
【技术领域】
[0001]本发明涉及生成用于显示器的信号，并且特别(而非排他地)涉及根据观看者的视点呈现二维图像彳目息。
【背景技术】
[0002]近年来，对于提供图像和视频内容的三维(3D)感知的兴趣日益增加，从而导致引入了可以通过向观看者的双眼提供不同视图来提供3D效果的3D显示器。这样的显示器包括按照时间顺序方式向右眼和左眼投影图像的时间顺序立体显示器。观看者佩戴包括LCD元件的眼镜，所述LCD元件交替地阻断去到左眼和右眼的光，从而确保每一只眼睛只看到对应于该只眼睛的图像。另一种类型的显示器是不需要观看者配戴眼镜的自动立体显示器。这样的显示器通常在不同的视锥中呈现相对较大数目的图像。举例来说，自动立体显示器通常可以实施九个不同视锥，其中的每一个对应于一个不同的视点集合。这样的显示器从而同时展现九幅不同图像。
[0003]作为另一个实例，可以从实施运动视差功能的传统二维显示器获得3D效果。这样的显示器跟踪用户的移动，并且相应地适配所展现的图像。在3D环境中，观看者的头部移动导致近处对象的相对较大数量的相对透视移动，后方较远处对象的移动则将逐渐更少，并且无限远深度处的对象实际上将不移动。因此，通过基于观看者的头部移动提供二维显示器上的不同图像对象的相对移动，可以实现可感知的3D效果。
[0004]为了满足对于3D图像效果的期望，产生包括描述所捕获场景的各个3D方面的数据的内容。举例来说，对于计算机生成的图形，可以开发三维模型并且使用所述三维模型来计算来自给定观看位置的图像。这样的方法例如常被用于提供三维效果的计算机游戏。
[0005]作为另一个实例，越来越多地生成包括一些3D信息的例如电影或电视节目之类的视频内容。这样的信息可以利用专用3D摄影机来捕获，所述专用3D摄影机从略有偏移的摄影机位置捕获两幅同时图像。在某些情况下，可以从偏移更多的位置捕获更多同时图像。举例来说，可以使用相对于彼此偏移的九台摄影机生成对应于九视锥自动立体显示器的九个视点的图像。
[0006]但是一个严重的问题在于，附加的信息导致大为增加的数据量，这对于视频数据的分发、传送、处理和存储来说是不切实际的。相应地，对于3D信息的高效编码至关重要。因此，已经开发出可以大大降低所需的数据速率的高效的3D图像和视频编码格式。
[0007]一种这样的编码格式对给定观看者位置的左眼图像和右眼图像进行编码。通过相对于彼此编码两幅图像可以提高编码效率。例如可以使用图像间预测，或者可以把一幅图像简单地编码为与另一幅图像的差异。
[0008]另一种编码格式提供一幅或两幅图像连同表明相对图像对象的深度的深度信息。还可以通过遮挡信息来补充这种编码，所述遮挡信息提供被更加处于前景中的其他图像元素所遮挡的图像对象的信息。
[0009]所述编码格式允许直接编码图像的高质量呈现，也就是说其允许与为之编码图像数据的视点相对应的图像的高质量呈现。所述编码格式还允许图像处理单元为相对于所捕获图像的视点存在位移的视点生成图像。类似地，可以基于与图像数据一起提供的深度信息在所述(多幅)图像中移位图像对象。此外，可以利用遮挡信息(如果此类信息可用的话)填入并非由所述图像代表的区域。
[0010]因此，基于所接收到的数据，图像处理单元可以生成对应于其他视点的图像。举例来说，图像处理单元可以生成用以表示当用户移动其头部时的运动视差的视图，或者可以生成对应于九视锥自动立体图像的所有九个视点的视图。这样的处理允许生成可以使得观看者例如能够“环顾”对象的图像。
[0011]但是一个问题在于，相对于原始编码图像，也就是说相对于为原始摄影机位置生成的图像，对应于除了原始编码图像的视点之外的其他视点的图像的质量有所降低。举例来说，图像对象的相对偏移量可能仅仅是近似正确的，或者对于作为视点改变的结果而被解除遮挡的图像对象，遮挡信息可能简单地不可用。实际上已经发现，所感知到的质量降低会随着视点的位移而非线性地增加。因此双倍的视点偏移量通常会被感知为导致远多于双倍的质量降低。
[0012]因此，一种改进的方法将是有利的，特别是一种允许更高的灵活性、更高的感知图像质量、更好的空间体验、更好的视点适配和/或更佳的性能的方法将是有利的。

【发明内容】

[0013]相应地，本发明尝试优选地单独或者以任意组合缓解、减轻或者消除前面所提到的一个或更多缺点。
[0014]根据本发明的一个方面，提供一种用于生成用于显示器的信号的设备，所述设备包括:用于接收视频信号的接收器，所述视频信号包括对应于图像序列的三维数据；用于根据所述三维数据和呈现视点生成对应于所述图像序列的显示器图像的图像生成器；用于检测所述图像序列中的镜头转换的镜头转换检测器；用于与镜头转换同步地改变呈现视点的视点控制器；以及用于生成包括所述显示器图像的信号的信号生成器。
[0015]本发明可以提供改进的观看体验，并且特别在许多情形中可以感知到改进的平均图像质量。本发明可以对于观看3D图像内容的用户允许更加自然的用户体验。所述方法可以允许所展现图像的视点改变对于用户来说较不明显，从而允许所述系统在改变视点方面有更高的自由度和灵活性。
[0016]可以按照任何适当的格式提供三维数据，比如对应于不同视角的多幅图像、与深度信息相组合的一幅或更多幅图像或者例如这些方法的组合。
[0017]根据本发明的一项可选特征，所述设备还包括:用于接收对应于显示器的观看者的位置的位置指示的输入；用于响应于位置指示确定观看者视点估计的处理器；并且其中视点控制器被设置成响应于观看者视点估计确定呈现视点。
[0018]可以实现改进的用户体验。举例来说，用户在移动其头部时可以感知到真实且自然的运动视差，并且与此同时允许系统适配于新的半静态位置。所述适配可以允许相对于场景改变用户的视点，其中这一改变对于用户来说较不明显。所述方法可以提供针对把所展现的图像动态地适配于观看者头部移动的期望与针对呈现对应于优选视点的图像的期望之间的改进折中。[0019]所述位置指示可以是关于用户的三维、二维或者设置一维位置特性的指示。举例来说，所述位置指示可以表明从显示器到观看者视点的角度，或者沿着与显示器平行的水平轴的某一位置。
[0020]根据本发明的一项可选特征，视点控制器被设置成调节呈现视点，以便与镜头转换非同步地跟踪观看者视点估计的改变。
[0021]这样就允许将图像平滑地并且看起来自然地适配于用户移动，同时还允许系统在对于用户来说较不明显的情况下对呈现视点引入其他改变。所述方法可以特别允许生成自然的运动视差体验，从而提供较强的3D线索。
[0022]根据本发明的一项可选特征，呈现视点朝向标称视点的偏置取决于以下各项的至少其中之一:呈现视点与标称视点之间的差异；观看者视点估计与标称视点之间的差异；对应于所述图像序列的内容特性；对应于所述图像序列的深度特性；镜头转换频率估计；镜头持续时间；以及对应于呈现视点的质量降低指示。
[0023]这样可以允许改进性能并且/或者可以允许改进用户体验。
[0024]根据本发明的一项可选特征，视点控制器被设置成结合镜头转换对呈现视点引入步进改变。
[0025]这样可以允许改进的用户体验，并且例如可以降低视点改变的显著性和/或速度。视点控制器还可以被设置成在镜头转换之间的时间间隔内施行呈现视点对于观看者移动的连续且平滑的适配。
[0026]根据本发明的一项可选特征，视点控制器被设置成朝向标称视点偏置呈现视点，这是通过与镜头转换同步地朝向标称视点改变呈现视点而实现的。
[0027]这样可以允许改进所呈现图像的质量，并且与此同时允许系统跟随观看者头部位置的动态改变。通常来说，对于与标称视点相对应的视点，图像质量更高。标称视点例如可以对应于创作视点，比如为之提供3D数据的视点。当偏离该标称视点时，图像生成通常会引入一些图像质量降低和伪像。当观看者改变位置时，观看者的视点也会改变。通过对呈现进行适配从而使得呈现视点跟随观看者视点，可以提供非常真实的3D体验，其例如包括运动视差并且允许观看者“环顾”对象。但是视点的改变通常可能会导致一些图像质量降低。所述系统可以相应地把呈现视点从观看者视点朝向标称视点偏置，以便提高所展现图像的图像质量。此外还将该视点改变与镜头转换同步，从而导致视点改变对于用户的可感知度大为降低。由此获得了改进的图像质量，并且同时仍然允许对于用户移动的自然响应。
[0028]在一些实施例中，可以只在位置指示的变化特性满足标准时才引入偏置。举例来说，当用户头部移动在给定时间间隔内小于给定数量时，可以引入偏置。但是如果在该例中检测到高于给定水平的用户移动，则不引入偏置，并且呈现视点跟随观看者视点。
[0029]所述偏置可以是预定偏置。举例来说，可以引入呈现视点朝向标称视点的给定的预定改变。
[0030]标称视点可以是相对于显示器的标称视点，比如对称地处于显示器正前方并且处于给定的预定高度的某一位置。标称视点可以特别对应于显示器的中心观看位置。标称视点可以对应于所接收到的视频信号的创作视点，比如在捕获或生成视频信号的图像时的摄影机视点。
[0031 ] 根据本发明的一项可选特征，所述显示器是单视显示器。[0032]本发明可以对于在单视显示器上观看3D内容的用户允许改进的用户体验。具体来说，所述方法可以允许3D效果，这是通过对所呈现的图像实施运动视差适配并且同时允许系统(至少部分地)不可感知地反转到更高质量图像而实现的。
[0033]所述信号生成可以被设置成生成包括单视图像的驱动信号。所述显示器图像可以是单视图像。
[0034]根据本发明的一项可选特征，所述显示器是立体显示器。
[0035]本发明可以对于在立体显示器上观看3D内容的用户允许改进的用户体验。具体来说，所述方法可以允许3D效果，这是通过立体呈现对应于左眼和右眼的不同图像以及可选地对所呈现的图像实施运动视差适配而实现的。所述方法可以允许降低视点改变的可感知度，并且可以特别允许以较不明显的方式反转到对应于所展现的立体图像的优选视点。
[0036]所述信号生成可以被设置成生成包括立体图像的驱动信号。所述显示器图像可以是立体图像。
[0037]所述立体显示器可以特别是自动立体显示器。
[0038]根据本发明的一项可选特征，所述设备还包括被设置成对所述图像序列引入镜头切换的镜头切换生成器。
[0039]这样可以在许多情形中提供改进的用户体验。举例来说，即使在所展现的内容不包含非常频繁的镜头转换时，也可以降低视点改变的可感知度。所述系统可以特别把呈现视点改变适配成对应于所述图像序列中的镜头转换，并且在其不允许这样的适配时对所述图像序列引入附加的镜头转换，以便提供呈现视点的适当改变。
[0040]根据本发明的一项可选特征，镜头切换生成器被设置成响应于以下各项的至少其中之一引入镜头切换:镜头持续时间特性满足标准；呈现视点满足标准；质量降低指示满足标准；以及对于自动立体显示器检测到观看者跨越视锥边界。
[0041]这样可以在许多情形中并且对于许多不同的视频信号和视频内容提供改进的用户体验。
[0042]根据本发明的一项可选特征，视点控制器被设置成响应于标准被满足而切换到第二操作模式，视点控制器在处于第二操作模式时被设置成把呈现视点朝向对应于显示器的标称视点偏置，这是通过与镜头转换非同步地把呈现视点朝向标称视点改变而实现的。
[0043]这样可以对于更广范围的视频内容允许改进的适用性。举例来说，如果特定图像序列的特性不允许呈现视点的适当改变，则可以使用一种不同的模式，其中不把呈现视点改变同步到镜头转换。举例来说，对应于观看者看到图像朝向与标称视点相对应的视图的缓慢旋转，可以使用呈现视点的缓慢连续改变。
[0044]所述偏置在第二操作模式下可以慢于镜头转换同步模式。
[0045]根据本发明的一项可选特征，视点控制器被设置成相对于标称视点限制呈现视点。
[0046]这样可以在许多情形中提供改进的图像呈现，并且可以特别被用来确保图像质量与视点改变特性之间的所期望的折中。
[0047]根据本发明的一个方面，提供一种生成用于显示器的信号的方法，所述方法包括:接收包括对应于图像序列的三维数据的视频信号；根据所述三维数据和呈现视点生成对应于所述图像序列的显示器图像；检测所述图像序列中的镜头转换；与镜头转换同步地改变呈现视点；以及生成包括所述显示器图像的信号。
[0048]根据本发明的一个方面，提供一种包括计算机程序代码装置的计算机程序产品，当在计算机上运行所述程序时，所述计算机程序代码装置被适配成施行所述方法的所有步骤。
[0049]根据本发明的一个方面，提供一种显示器，其包括:用于接收视频信号的接收器，所述视频信号包括对应于图像序列的三维数据；用于根据所述三维数据和呈现视点生成对应于所述图像序列的显示器图像的图像生成器；用于检测所述图像序列中的镜头转换的镜头转换检测器；用于与镜头转换同步地改变呈现视点的视点控制器；显示器面板；以及用于驱动显示器面板呈现显示器图像的显示器驱动器。
[0050]参照后文中描述的(多个)实施例，本发明的前述和其他方面、特征和优点将变得显而易见并且将对其进行阐述。
【专利附图】

【附图说明】
[0051]下面将参照附图仅以举例的方式来描述本发明的实施例，其中:
图1示出了根据本发明的一些实施例的显示器系统的实例；
图2示出了三维场景；
图3-9公开了图1的三维场景的各种二维表示；
图10示出了在显示器上展现三维场景时的投影的一个实例；以及 图11示出了根据本发明的一些实施例的显示器系统的实例。
【具体实施方式】
[0052]下面的描述专注在本发明的一些实施例上，所述实施例适用于尝试对于展现在显示器上的三维场景的观看者保持正确透视的显示器系统。但是应当认识到，本发明不限于这种应用，而是可以同样适用于例如尝试引入或保持艺术性的、失真的或者人为的透视的应用。
[0053]图1示出了根据本发明的一些实施例的显示器系统。所述系统包括耦合到显示器103的图像处理单元101。在一些实施例中，图像处理单元101和显示器103可以是分开的实体，并且例如图像处理单元101可以是单独的机顶盒或其一部分(比如个人视频记录器、家庭影院放大器等等)，并且显示器103可以是例如电视、视频监视器或计算机显示器之类的单独实体。在这样的实施例中，图像处理单元101和显示器103可以通过任何适当的通信介质耦合在一起，其中例如包括直接线缆、直接无线连接或者例如基于W1-Fi的网络之类的通信网络。
[0054]在其他实施例中，图像处理单元101可以是显示器的一部分，并且实际上图像处理单元101可以包括用于直接为显示器面板(例如IXD或等离子显示器面板)生成驱动信号的功能。
[0055]图像处理单元101包括接收视频信号的接收器105。所述视频信号包括对应于一个图像序列的三维(3D)数据。所述3D数据从而允许通过对于3D数据的适当处理而生成3D图像。
[0056]在一些实施例中，所述3D数据可以简单地包括对应于相同场景的不同视点的多幅图像(其通常是同时的)。举例来说，可以提供对应于左眼视图的图像，并且可以提供对应于右眼视图的相应图像。所述两幅图像从而从不同的视点表示同一场景，并且提供所述场景的立体3D表示。在其他实施例中，可以提供多于两幅相应的图像。
[0057]作为另一个实例，可以提供作为图像数据的3D数据连同深度数据。举例来说，可以提供单一图像连同表明不同图像区域和对象(或者实际上各个单独的像素)的相应深度的数据。深度数据例如可以作为像差或z分量而被给出。此外，可以提供遮挡图像数据，其表示对应于被其他图像区域完全或部分地遮挡的图像对象的图像信息。
[0058]接收器105可以从任何适当的内部或外部来源接收视频信号。举例来说，可以从外部通信或分发网络接收视频信号，直接从例如外部BlurayTM播放器、个人视频记录器等适当来源接收视频信号，或者从例如内部光盘读取器、硬盘或实际上本地图像生成器(例如通过适当的处理平台实施的图形模型)之类的内部来源接收视频信号。
[0059]接收器105耦合到图像生成器107，其被设置成基于3D数据和呈现视点生成对应于输入图像序列的显示器图像。图像生成器107被设置成生成可以由显示器展现并且对应于场景的给定呈现视点的图像。从而生成表示将从位于呈现视点处的观看者/摄影机看到的视图的显示器图像。呈现视点可以不同于为之生成或参照输入图像序列的内容或创作视点。
[0060]举例来说，输入信号包括对于给定创作视点生成的一个图像序列。创作视点可以是对应于记录图像的实际摄影机的视点，或者例如可以是由图形模型所使用的虚拟摄影机视点。除了对应于这些图像的图像数据之外，所述3D数据还可以包括例如具有像差数据的形式的深度信息。图像生成器107随后可以利用深度数据处理图像，以便生成反映出将如何从不同视点看到所述场景的图像。因此，图像生成器107生成从可以与输入数据的原始或标称视点不同的一个视点呈现的显示器图像。
[0061 ] 图像生成器107耦合到输出电路109，其生成包括由图像生成器107呈现的图像的输出信号。应当认识到，输出信号的具体形式取决于具体实施例和显示器的特性。举例来说，在一些实施例中，可以生成包括已编码图像的输出信号。所述编码例如可以是根据已知的编码标准，比如MPEG编码标准。在其他实施例中，输出信号可以直接包括用于适当的显示器面板的特定驱动信号。
[0062]所述系统从而可以相对于输入图像数据的视点改变所呈现图像的视点。在该具体实例中，所述系统被设置成以不同方式并且出于不同目的改变视点。实际上，一些视点改变被引入是为了向用户提供明显并且有利的3D效果，而其他视点改变则意图对于用户来说较不明显。
[0063]具体来说，所述系统可以引入意图不被用户注意到的一些视点改变。
[0064]为了支持这样的视点改变，图1的系统包括镜头转换检测器111，其被设置成检测所接收到的图像序列中的镜头转换。
[0065]镜头是连续图像序列，其中的视觉改变足够小从而会被感知为对于单一所描绘场景的单次连续观察。镜头可以被视为在(可能正在连续移动的)视点处接连捕获的一系列相互关联的连续画面，并且代表时间和空间上的连续动作。通常来说，如果出现场景改变并且/或者对应于给定场景的视点突然改变则认为发生镜头转换，例如当给定时间间隔内的视点改变超出给定阈值时就认为发生镜头转换。[0066]镜头转换可能较为突然，其中所述转换从一幅图像(帧)到下一幅图像发生，或者至少在几帧内发生。在其他情况下，镜头转换可能更加渐进，并且在更多图像/帧上延伸。在这样的情形中，所述转换可以包括来自两个镜头的图像的渐进合并连同前一个镜头的渐出和新镜头的渐入。
[0067]应当认识到，在不背离本发明的情况下可以使用用于检测镜头转换的任何适当标准或算法。
[0068]举例来说，在某些情形中，所接收到的视频信号可以包括表明在图像序列中何时发生镜头转换的元数据。举例来说，在电影剪辑期间，可以生成表明何时发生从一个电影片段到下一个电影片段的转换的数据。该数据可以被包括在已编码信号中。在这样的情形中，镜头转换检测器111可以简单地提取出表明镜头转换的元数据。
[0069]但是通常来说，镜头转换检测器111被设置成分析所述图像序列以便估计镜头转换在何处发生。这样的检测通常可以是基于检测所包含图像的特性的改变。因此，镜头转换检测器111可以连续地生成各种图像特性，并且在某一特性的改变满足给定标准时认为发生镜头转换。
[0070]举例来说，当平均亮度和颜色分布在给定数目的帧内改变超出给定阈值时可以认为发生镜头转换。
[0071]关于现有技术镜头转换检测方法的总览以及对于其工作的分析可以在此处获得:Alan F.Smeaton 的“Video shot boundary detection: Seven years of TRECVidactivity (视频镜头边界检测:TRECVid 活动的七年)”，Computer Vision and ImageUnderstanding 114 (2010)，411-418，2010 年。
[0072]作为镜头转换检测的一个更加具体的实例，考虑一种基于计算连续各帧的相似度的方法，所述方法是通过:把所述各帧缩小到缩略图尺寸，把缩略图重新解释为矢量，并且随后计算各个连续矢量的L2范数。在且仅在所计算的范数高于预定阈值的情况下才检测到镜头转换。可以通过包括更加复杂的帧相似度度量并且/或者通过不仅比较连续各帧而且还比较一个窗口内的多帧来扩展所述方法。后一种情况将允许正确地解释渐进转换并且忽略例如闪光之类的假转换。
[0073]应当认识到，在一些实施例中，镜头转换检测器111可以包括多种并行的检测算法或标准。举例来说，其可以不仅检测镜头转换，而且还检测这些镜头转换是硬转换还是渐进转换。
[0074]镜头转换检测器111耦合到视点控制器113，其还耦合到图像生成器107。视点控制器113确定由图像生成器107使用来生成输出显示器图像的呈现视点。因此，视点控制器113确定为之呈现图像的视点。
[0075]在某些情况下，意图使得观看者注意到视点被改变。举例来说，通过相应地移动呈现视点，可以获得观看者环顾前景对象以便看到背景元素的印象。但是在其他情形中则意图在不被用户注意到的情况下移动视点。因此，在某些情形中希望降低呈现视点改变的可感知度。
[0076]图1的视点控制器113被设置成通过(至少在有些时候)把呈现视点的改变同步到所检测到的镜头转换而实现这一点。作为一个具体实例，可以把视点改变限制到仅在镜头转换期间发生。这样将导致视点改变与所展现内容中的转换相关联地发生，从而使得这些视点改变不会被观看者注意到。
[0077]举例来说，输入图像序列可以包括从正面看去的雕像的第一镜头。可以把当前呈现视点偏移到一侧，以便提供在正面视图中被雕像遮挡的背景元素的视图。可以在整个镜头当中保持该视点。当在输入图像中发生镜头转换以便例如示出完全不同的场景时，该镜头转换被镜头转换检测器111检测到，其作为响应可以把呈现视点移动回到输入图像的视点。这将不会被用户注意到是因为场景已经完全改变，因此对于这两个镜头没有共同的或连续的视点基准。在后来的某一阶段(例如在下一次镜头转换时)，场景可以切换回到所述雕像。但是呈现视点现在已经切换到输入流的视点，因此现在将不会从正面呈现雕像。但是与在雕像的镜头期间发生的转换相比，从偏移视点到输入视点的这一视点转换在感知方面的显著程度和不适程度都低得多。所述方法例如可以允许改进的用户体验，其中用户可以对于较短时间人工偏移视点(例如通过按下遥控器上的一个按钮以表明希望环顾某一前景对象)，并且当系统自动返回创作视点时，向回切换的感知影响得以降低。
[0078]在图1的具体实例中，所述系统还包括用于接收关于显示器观看者的位置的位置指示的输入115。所述位置例如可以是表明观看者相对于显示器103的位置的准确三维位置。在其他实例中，所述位置指示可以是用户相对于显示器平面的角度的粗略指示。在一些实施例中，所述位置指示可以简单地表示观看者相对于显示器中心的水平偏移量。
[0079]应当认识到，可以使用用于生成位置指示的任何装置，并且在一些实施例中，所述用于生成位置指示的装置可以是显示器系统的一部分，并且例如可以与图像处理单元101或显示器103集成在一起。
[0080]所述系统例如可以包括头部跟踪或用户跟踪系统。作为一个实例，可以把一台摄影机放置在显示器103上并且指向观看区域。可以对由该摄影机捕获的图像进行分析，以便检测对应于用户头部的图像对象，并且可以生成位置指示以反映其位置。作为另一个实例，用户可以佩戴例如红外传送器之类的装置，其辐射出可以被检测到并且可以被用来确定位置的信号。作为另一个实例，用户可以佩戴位置确定装置(例如具有GPS能力的移动电话)，其确定位置并且将其传送到显示器系统。
[0081]确定关于用户的位置指示的系统的具体实例可以在以下文献中找到:CarlosMorimoto 等人的 “Pupil Detection and Tracking Using Multiple Light Sources (利用多个光源的瞳孔检测和跟踪)”，Journal of Image and Vision Computing, 18 (4), pp.331-335，Elsevier, 2000年3 月；Marco La Cascia等人的“Fast, Reliable Head Trackingunder Varying Illumination: An Approach Based on Registration of Texture-Mapped3D Models (变化照明下的快速、可靠的头部跟踪:一种基于纹理映射的3D模型的配准的方法)，，，IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI),22 (4), 2000 年 4 月；以及 Johnny Chung Lee 的 “Hacking the Nintendo Wii Remote (破角军 Nintendo Wii 遥控器)，，，IEEE Pervasive Computing magazine, volume 7, number 3,pp.29-45,2008 年。
[0082]位置输入115耦合到位置处理器117，其被设置成基于所接收到的位置指示确定观看者视点。观看者视点估计在某些情况下可能与位置指示相同，但是在许多实施例中，可以使用对于位置指示的某种处理来生成观看者视点估计。举例来说，可以使用某种滤波或平均，或者可以使用几何评估来确定相对于显示器109的观看位置。[0083]位置处理器117还耦合到视点控制器113，观看者视点估计被馈送到视点控制器113。视点控制器113随后可以响应于观看者的视点确定呈现视点。
[0084]这种方法允许获得非常有利的观看体验。实际上，随着观看者移动其头部，可以对所呈现的图像进行动态连续适配，以反映出用户的当前位置。举例来说，可以实施运动视差，从而当用户在一个方向上移动其头部时，所展现图像的图像对象在所展现图像中被移动，以便反映出视点的改变。因此，呈现视点跟踪所估计的观看者视点以便提供自然的体验，并且特别提供观看实际上存在于屏幕后方的三维场景的效果。具体来说，对于观看者头部移动的跟踪可以提供显示器作为一个窗口的感知，透过所述窗口看到真实的三维场景。
[0085]举例来说，如果用户向左移动头部，根据适当的透视和运动视差规则，(显示器平面后方的)图像对象被向左移位。所述移位的程度取决于图像对象的深度，从而使得处于不同深度的图像对象具有不同的位移。由于图像生成器107具有对应于输入图像的3D信息，因此有可能确定对应于所展现图像的适当移位。这样的方法可以特别允许从单视2D显示器提供3D体验，这是因为当用户移动其头部时，显示器上的各个图像对象的取决于差分深度的移动会为观看者提供显著的3D线索。换句话说，通过对于所展现图像实施运动视差，可以由2D显示器提供3D效果。
[0086]因此希望使得显示器系统知晓观看者的位置，因为这样将允许对于3D内容的更加沉浸式的显示而不管是否存在立体视觉。
[0087]但是在许多系统中，随着呈现视点偏离输入图像的视点，图像质量往往会降低。举例来说，对于通过视点改变而被解除遮挡的图像对象或区域，可能完全无法获得所需的图像数据。在这样的情形中，利用诸如外插和内插之类的估计技术，对于经过修改的视点图像的呈现会填入图像中的间隙。此外，呈现算法可能会引入错误和误差，从而导致例如图像伪像或失真的透视。
[0088]举例来说,对于当前的3D格式(比如Blu-ray和DVB 3D),已经发现随着观看者的位置变得越来越离心从而从输入信号的视点偏离更多，呈现伪像也会增多。实际上，对于这些格式除了标称的左、右视图之外完全没有图像数据，因此对于场景中的从这些视点当中的任一个都不可见的所有内容都必须进行估计。对于例如MPEG MVD和图像+深度格式之类的其他格式也会出现类似的结果。
[0089]因此，除了希望从不同视点呈现图像之外，还希望从标称视点呈现图像。
[0090]在图1的系统中，这一冲突通过以下措施得以解决:允许呈现视点跟随并适配于观看者视点，同时还把呈现视点朝向特别可以对应于输入图像的视点的标称视点进行偏置。因此，所述系统可以允许连续地适配于并且跟踪观看者的视点，并且同时引入呈现视点回到标称视点的缓慢偏置。因此当用户移动其头部时，所展现的图像跟随该移动以便提供运动视差效果和自然的3D体验。但是引入偏置从而使得呈现视点缓慢地反转到标称视点。因此实际的呈现视点是观看者视点的改变与朝向标称视点的缓慢偏置的组合。
[0091]此外，与所检测到的镜头转换同步地施行视点偏置。因此，取代引入呈现视点的与观看者无关的连续移动，与镜头转换同步地施行呈现视点的与观看者无关的改变。这样就提供了去向标称视点的可感知度低很多的偏置和移动。其特别可以避免或者缓解把呈现视点的缓慢连续改变感知为场景的缓慢摇动/旋转的情况。这样的与用户移动无关的摇动/呈现通常会被感知为是不合期望的，并且甚至可能引发例如运动眩晕之类的后果。[0092]在所述系统中，对于呈现视点的偏置因此是与观看者无关的运动分量，其与镜头转换同步地引入呈现视点的改变。具体来说，可以在每当镜头转换发生时对呈现视点引入步进改变。由于镜头转换通常与场景改变相关联或者至少与对应于相同场景的一个显著不同的视点相关联，因此这些步进改变通常不会被用户感知到。在该例中，可以镜头转换之间的镜头间隔期间可以不施加对于呈现视点的偏置，也就是说在镜头转换之间不对呈现视点引入与观看者无关的改变。
[0093]与此同时，可以跟踪由于观看者视点的改变而导致的呈现视点的改变。此外，可以连续地施行这一跟踪并且不同步到镜头转换。因此在(镜头转换之间的)镜头期间，呈现视点连续地改变以跟随观看者头部的移动，从而提供例如具有较强运动视差效果的自然用户体验。
[0094]所述方法从而允许呈现视点的不同改变之间的区分。具体来说，其允许与观看者有关的改变被用户清楚地感知到，同时允许大大降低与观看者无关的改变对于用户的显著程度。所述方法可以允许提供自然的3D效果以匹配头部移动，同时允许大大提高平均感知图像质量。
[0095]可以通过考虑一个具体场景以及如何在显示器上呈现该场景来阐明前面所描述的问题和原理。图2示出了将在显示器上展现的场景200。所述场景包括汽车、树木和房屋，并且透过在理想情况下充当一个窗口的显示器看到所述场景，其中透过该窗口观看所述场景。在该例中，所述显示器是单视显示器。
[0096]图3从靠近所述窗口的位置301和更加远离所述窗口的位置302示出了所述场景的中心视图。因此图3示出了将从中心视点展现在显示器上的内容。
[0097]图4示出了四个不同的视点以及所述场景的相应的正确的透视图401、402、403、404。图5示出了在施行了正确的透视调节(即视点调节/运动视差)的情况下将在显示器上展现的图像501、502、503、504。在图1的系统中，该调节由视点控制器113施行，其调节呈现视点以跟踪用户移动。
[0098]图6示出了对于不包括任何透视调节的传统显示器将由观看者从不同视点看到的视图 601、602、603、604。
[0099]图7和8示出了关于图1的系统如何可以调节呈现视点以反映出观看者视点的改变的一个实例。图7示出了当观看者处在对应于标称位置(其通常对应于中心创作位置)的观看位置时的中心图像700。观看者现在水平移动到其中部分地从侧面观看显示器的一个位置。图1的视点控制器113跟踪该移动并且改变所显示的图像，以便反映出如图8中的图像800所示出的移动。
[0100]可以看到，所述显示器系统做出反应以便提供对应于其中透过窗口看到3D场景的情形的自然体验，也就是说显示器仿佛是场景上的一个窗口。但是对应于该新视图的所展现图像非常不同于中心视点(即标称输入视点)的图像，并且可能需要未被包括在中心视图的编码中的信息。举例来说，在图8的图像中部分地看到汽车的正面，但是在图7的图像中看不到。可能无法获得正确显示汽车的正面所需的信息，因为其未被包括在对应于中心视图的输入图像中。呈现器于是可能例如尝试利用孔洞填充技术来近似或估计争取的图像数据，但是这样通常会导致呈现伪像。作为另一个实例，改变后的视点导致房屋右侧(从正面看去，即图8的右侧)的一个较大区域在图8的视图中可见但是在图7的视图中不可见。呈现算法通常将通过外插来填充这样的区域，也就是说将会把相邻的区域延伸到新的区域中。但是如果所述场景包含该区域内的任何对象，所述对象将不会在图8的视图中被呈现，从而导致呈现伪像。
[0101]此外，对于更大的视点偏移量，处理和算法缺陷往往也会增加。
[0102]因此，图8中展现的视图的图像质量可能会降低，相应地图1的系统把呈现视点朝向标称视点偏置。因此，如果观看者保持静止在相同的位置处(处于侧面)，图像处理单元101将切换呈现视点，从而使其最终对应于标称视点。这一移位与镜头转换同步进行。
[0103]在图9中例示了所述方法，该图示出了在观看者保持在侧面位置时为其展现的图像。第一图像901示出了对应于图8的视图，即紧接在观看者移动之后的视图。这样就为用户提供与其移动相当的透视改变。所述图像序列于是可以包括一次或更多次镜头转换并且展现其他场景。当视频返回到所述场景时，呈现视点已发生移位，因此呈现视点不再与观看者的视点相同，而是朝向标称(或基准)中心视点被移位。这一视点移位是在镜头转换期间发生的，因此无须用户具有固定的连续视点基准。因此，其对于用户不是十分明显。可能会发生另外的场景改变，并且在每一次镜头转换时，可以发生呈现视点的较小改变，从而使得呈现视点朝向标称视点向回移动。因此，在这一处理结束时，会为观看者展现对应于中心视图的视图，尽管观看者基本上位于显示器的侧面。
[0104]通过按照前面的方式应用本发明，所显示的图像将在观看者运动期间提供运动视差，从而得到非常平滑且自然的体验。但是当观看者“永久地”选择了沙发上的某一位置时，其将很可能优选仿佛坐在对应于“原始视点”(也就是导演最初所意图的视点)的位置上那样来观看视图。此外，尽管存在一些透视失真，观看者随后还将体验到最小的呈现伪像，这是因为呈现视点与标称视点相同。反转到标称视点的进一步有利之处在于，其给出了用于提供进一步的动态运动视差的最佳起点。
[0105]后面将提供关于在不同视点处呈现图像时由图像生成器107使用的原理的更加详细的描述。
[0106]在图10中示出了投影的原理。给定被建模为针孔并且位于xC = (?,?,?)处(即创作或内各视点)的摄影机、对象点7iQ =以及(在不损失一般性的情况下)显示器平面Z = O ,从而使得^ = (? A)是该平面的2D坐标系，则下面的透视关系式成立，并且特别应当注意到通常4 <0:
【权利要求】
1.一种用于生成用于显示器(103)的信号的设备，所述设备包括: 用于接收视频信号的接收器(105)，所述视频信号包括对应于图像序列的三维数据；用于根据所述三维数据和呈现视点生成对应于所述图像序列的显示器图像的图像生成器(107)； 用于检测所述图像序列中的镜头转换的镜头转换检测器(111); 用于与镜头转换同步地改变呈现视点的视点控制器(113);以及 用于生成包括所述显示器图像的信号的信号生成器(109)。
2.权利要求1的设备，其还包括: 用于接收对应于显示器的观看者的位置的位置指示的输入(115); 用于响应于位置指示确定观看者视点估计的处理器(117);并且 其中，视点控制器(113)被设置成响应于观看者视点估计确定呈现视点。
3.权利要求2的设备，其中，视点控制器(113)被设置成调节呈现视点以便与镜头转换非同步地跟踪观看者视点估计的改变。
4.权利要求2的设备，其中，呈现视点朝向标称视点的偏置取决于以下各项的至少其中之一: -呈现视点与标称视点之间的差异； -观看者视点估计与标称视点之间的差异； -对应于所述图像序列的内容特性； -对应于所述图像序列的深度特性； -镜头转换频率估计； -镜头持续时间；以及 -对应于呈现视点的质量降低指示。
5.权利要求1的设备，其中，视点控制器(113)被设置成结合镜头转换对呈现视点引入步进改变。
6.权利要求1的设备，其中，视点控制器(113)被设置成朝向标称视点偏置呈现视点，这是通过与镜头转换同步地朝向标称视点改变呈现视点而实现的。
7.权利要求1的设备，其中，显示器(103)是单视显示器。
8.权利要求1的设备，其中，显示器(103)是立体显示器。
9.权利要求1的设备，其还包括被设置成对所述图像序列引入镜头切换的镜头切换生成器(1101)。
10.权利要求9的设备，其中，镜头切换生成器(1101)被设置成响应于以下各项的至少其中之一引入镜头切换: -镜头持续时间特性满足标准； -呈现视点满足标准； -质量降低指示满足标准；以及 -对于自动立体显示器检测到观看者跨越视锥边界。
11.权利要求1的设备，其中，视点控制器(113)被设置成响应于标准被满足而切换到第二操作模式，视点控制器在处于第二操作模式时被设置成把呈现视点朝向对应于显示器的标称视点偏置，这是通过与镜头转换非同步地朝向标称视点改变呈现视点而实现的。
12.权利要求1的设备，其中，视点控制器(113)被设置成相对于标称视点限制呈现视点。
13.—种生成用于显示器(103)的信号的方法，所述方法包括: 接收包括对应于图像序列的三维数据的视频信号； 根据所述三维数据和呈现视点生成对应于所述图像序列的显示器图像； 检测所述图像序列中的镜头转换； 与镜头转换同步地改变呈现视点；以及 生成包括所述显示器图像的信号。
14.一种包括计算机程序代码装置的计算机程序产品，当在计算机上运行所述程序时，所述计算机程序代码装置被适配成施行权利要求13的所有步骤。
15.—种显不器,其包括: 用于接收视频信号的接收器(105)，所述视频信号包括对应于图像序列的三维数据；用于根据所述三维数据和呈现视点生成对应于所述图像序列的显示器图像的图像生成器(107)； 用于检测所述图像序列中的镜头转换的镜头转换检测器(111); 用于与镜头转换同步地改变呈现视点的视点控制器(113); 显示器面板(103);以及 用于驱动显示器面板以呈现显示器图像的显示器驱动器(109)。
【文档编号】H04N13/04GK103609105SQ201280030467
【公开日】2014年2月26日 申请日期:2012年6月18日 优先权日:2011年6月22日
【发明者】B.克鲁恩 申请人:皇家飞利浦有限公司