基于突出性的视差映射的制作方法
【专利摘要】对三维[3D]图像信号进行处理以便在特定3D显示器（例如自动立体显示器）上再现3D图像数据（33）。确定第一深度图（34）和3D图像数据的突出性。确定3D显示器的可用深度范围（36）的显示深度子范围（35），并且该显示深度子范围为观看者提供比跨可用深度范围的3D图像质量更高的3D图像质量。根据突出性数据确定深度映射函数。该深度映射函数将第一深度图映射成第二深度图以便生成用于3D显示器的视图。有利的是，将突出深度值范围映射到显示深度子范围。
【专利说明】基于突出性的视差映射
【技术领域】
[0001]本发明涉及一种处理三维[3D]图像信号以便在3D显示器上基于多个显示视图再现3D图像数据的方法。
[0002]本发明进一步涉及一种3D视频设备、3D图像信号和计算机程序。
[0003]本发明涉及处理3D图像数据以便改进3D显示设备上的再现的领域。特别地，对可用的或者生成的深度图进行处理以便改进特定3D显示器上的3D体验。这里的图像数据包括视频数据，并且通常在两个空间维度下进行处理，而视频数据中的时间可以用作第三维度。
【背景技术】
[0004]文件“Adaptive3D Rendering based on Region-of-1nterest, by ChristelChamaret, Sylvain Godeffroy, Patrick Lopez, Olivier Le Meur, at ThomsonCorporate Research, I Avenue de Belle-Fontaine 35576 Cesson-Sevigne France，，公开了 3D视频处理技术，尤其是高视差管理。高视差当前对于在立体屏幕上观看3D场景具有强烈的影响。场景的突出区在图像处理域中通常称为感兴趣区。3D体验通过应用与感兴趣区有关的一些效果而加以修正。特别地，适应性调节两个视图之间的移位以便在场景中的感兴趣区域上具有零视差。
【发明内容】
[0005]上面的文件公开了通过应用左右视图之间的视差移位而修改图像数据中的视差，使得主要感兴趣区具有零视差。由于所述移位的原因，图像数据中的其他区域将得到比原始数据更高的视差。这样的视差可能超出人类视觉系统在3D体验中可以舒适地处理的视差范围，并且可能导致视觉不适、疲劳或者复视(双视觉)。该文件提出应用模糊，例如，选择性地模糊图像的背景部分，以便隐藏这样的令人不舒适的区域。再者，由于将高视差感兴趣区移至零视差的原因，需要应用相对较大的移位。因此，该已知方法的一个问题在于，图像的3D体验降低。
[0006]本发明的目的是提供3D图像数据的处理以便改进对于具有高视差的3D图像数据的再现，同时避免降低图像质量。
[0007]为此目的，依照本发明的第一方面，如开篇段落中所描述的方法包括:根据3D图像信号导出包括第一深度值的第一深度图，根据3D图像信号导出表示3D图像数据量中的突出性的突出性数据，突出性指示突出元素具有突出深度值范围，确定显示深度子范围，该显示深度子范围为3D显示器的可用深度范围的子范围并且为观看者提供比跨可用深度范围的3D图像质量更高的3D图像质量，根据突出性数据确定用于3D图像数据量的深度映射函数，使得突出范围内的第一深度值映射到显示深度子范围，通过深度映射函数将第一深度图转换成第二深度图，以及根据第二深度图生成显示视图。
[0008] 为此目的，依照本发明的另一方面，一种用于处理3D图像信号以便在3D显示器上基于多个显示视图再现3D图像数据的3D视频设备包括:输入装置，其用于根据3D图像信号导出包括第一深度值的第一深度图，并且用于根据3D图像信号导出表示3D图像数据量中的突出性的突出性数据，突出性指示突出元素具有突出深度值范围；以及视频处理器，其被布置用于确定显示深度子范围，该显示深度子范围为3D显示器的可用深度范围的子范围并且为观看者提供比跨可用深度范围的3D图像质量更高的3D图像质量，根据突出性数据确定用于3D图像数据量的深度映射函数，使得突出范围内的第一深度值映射到显示深度子范围，通过深度映射函数将第一深度图转换成第二深度图以便根据第二深度图生成显示视图。
[0009]为此目的，依照本发明的另一方面，一种用于在3D显示器上基于多个显示视图再现3D图像数据的3D图像信号包括元数据，该元数据包括表示3D图像数据量中的突出性的突出性数据，突出性指示突出元素具有突出深度值范围，用于在3D视频设备中允许:根据该3D图像信号导出包括第一深度值的第一深度图；确定显示深度子范围，该显示深度子范围为3D显示器的可用深度范围的子范围并且为观看者提供比跨可用深度范围的3D图像质量更高的3D图像质量；根据突出性数据确定用于3D图像数据量的深度映射函数，使得突出范围内的第一深度值映射到显示深度子范围；并且通过深度映射函数将第一深度图转换成第二深度图以便根据第二深度图生成显示视图。
[0010]这些措施具有修改视差的效果，使得在特定显示器上再现的视图之间的视差处于可用视差范围内。该可用范围也可以称为立体视觉舒适区，即立体视觉再现中可以由人类视觉系统舒适地处理成3D体验的视差值范围。而且，3D图像数据中的突出性数据用来确定图像中的感兴趣元素的突出范围，并且这样的元素在具有高3D图像质量的3D显示器的深度子范围上映射。
[0011]所述方法用于处理3D图像信号以便在3D显示器上基于多个显示视图再现3D图像数据。这样的显示器可以例如为在观看束中生成多个视图、尺寸确定为向观看者的左右眼提供一对视图的自动立体显示器。第一深度图根据3D图像信号而导出。再者，表示3D图像数据量中的突出性的突出性数据根据该图像信号而导出。所述量可以是单幅图像或视频帧，或者视频场或帧序列，诸如例如与预定时间段、快照(shot)、诸如图片组(MPEG编码中的G0P)之类的编码单位等等相应的帧。使用若干连续帧或者表示快照的若干非连续帧，例如起始帧或者起始和结束帧，可以获得突出和非突出数据的更好的近似。
[0012]突出性数据可以作为元数据包含在信号中，或者可以通过局部地处理3D图像数据量而导出。突出性指示突出元素，即受到人类观看者的注意的图像的部分。图像的突出部分具有突出深度值范围，即具有受到观看者的注意和重视的高概率的那些图像部分的深度值范围。突出性例如可以基于视亮度、对比度和/或色差，并且部分地基于深度差，例如突起。再者，对象(例如人脸)的类型可以被检测并且用于突出性。就其本身而言，用于确定图像数据中的突出元素的各种不同的方法对于本领域技术人员是已知的。
[0013] 本发明也基于以下认识。发明人已经看到，对于特定显示器而言，存在对应3D显示器的可用深度范围的显示深度子范围，该显示深度子范围对于观看者而言具有比跨整个可用深度范围的3D图像质量更高的3D图像质量。该子范围可以是显示器类型固有的，或者可以针对特定观看者(例如儿童)进行调节，或者可以是观看者设置的偏好。再者，该子范围可以被选择为在视图之间具有低水平串扰，而跨可用范围的串扰可能较大。[0014]确定所述深度映射函数以便根据突出性数据映射所述3D图像数据量。这样对深度映射函数确定尺寸，以便将所述另外的深度值(即用于图像的非突出部分的非突出值)映射为基本上保持在显示器的可用范围内。将深度映射函数应用到原始的第一深度值并且生成适应的深度值，使得突出范围内的第一深度值朝显示深度子范围内的深度值变化。在实际情况下，根据实际图像内容，可以将基本上所有深度值映射到选择的子范围内，或者对于突出深度值的至少一部分至少实现朝子范围的移位。通过所述映射，突出元素在深度方向上移向对应显示器的高质量范围，而图像的其他部分基本上将深度值保持在显示器的可用范围内。最后，将深度映射函数应用到3D图像数据量以便将第一深度图转换成第二最终深度图，并且根据该第二深度图生成显示视图。有利的是，避免了将主要突出对象移至零视差，因为这样的对象的深度值仅仅被移向所述子范围，并且因而不会一直被强制为零视差。
[0015]应当指出的是，在本文中，深度值和深度图也包括视差值和视差图。深度的实际表示可以是由特定系统使用的视差值范围或者深度值范围内的值，例如0-255，其中高值靠近观看者并且零为无限远。可替换地，可以使用围绕零的视差值范围，例如-512至+511，其中负数字值可以表示显示屏幕前面的视差并且零为屏幕平面。可替换地，通过使用以下关系，正视差d可以表示远处的对象:XR = xL - dL。视差值可以与实际的像素移位相应，或者可以具有不同的尺度或分辨率。因此，在提及基于深度的值和/或处理的情况下，这样的术语应当被解释为也覆盖基于视差的表示。通常，视差典型地基于1/Z，Z为深度。详细地说，与Z的关系是公知的，但是复杂的(例如基于具有平行照相机的对极几何)。对于典型内容的典型(小)输入视差范围，深度与视差之间的关系接近线性。例如，通过深度映射函数将第一深度图转换成第二深度图以及根据第二深度图生成显示视图的步骤可以通过直接生成具有修改的映射的视差而组合。
[0016]可选地，突出性数据为指示图像像素的突出性程度的突出性图。突出性程度可以在二进制标度上，例如O或1，或者可以使用中间值。可以对于各突出像素确定深度值范围。可选地，突出性数据为突出性深度范围。该范围可以例如在3D图像数据或3D视频的产生或预处理期间单独地确定。
[0017] 可选地，导出突出性数据包括根据3D图像信号导出元数据，该元数据表示3D图像数据的突出性数据。有利的是，3D图像数据的源(例如电影工作室)可以确定突出性并且将关于突出性的元数据包含在3D视频信号中。
[0018]可选地，深度映射函数包括为突出像素制作第一直方图且为非突出像素制作第二直方图；以及基于第一直方图确定突出深度范围并且将突出深度范围映射到显示深度子范围内且将第二直方图映射到可用深度范围上。直方图在各面元中收集具有基本上相等的深度的像素数量，并且因此量化深度分布。突出范围通过考虑直方图中的边界深度值而确定，使得至少大多数(例如90%)的值处于该范围内。
[0019]可选地，深度映射函数包括为突出像素和非突出像素制作组合直方图，突出像素具有第一输入转换并且非突出像素具有第二输入转换，第一输入转换具有依赖于关于可用范围的子范围的校正函数；以及将组合直方图深度范围映射到显示器可用深度范围内，校正函数使得突出范围内的第一深度值朝显示深度子范围变形(warp)。在应用不同的输入转换的同时，突出和非突出值二者均进入组合直方图中。例如，只有非突出像素进入直方图中，即应用单一输入转换，当例如子范围为0.25 X可用范围(即可用范围的25%)时，第一输入转换可以具有线性校正函数4。随后，映射基于在可用范围内具有组合直方图深度。有利的是，通过事实上按照所述校正函数放大突出深度，突出深度将基本上落在子范围内。
[0020]可选地，3D图像数据量为一定时段的3D视频信号，并且深度映射函数取决于跨时间的突出性数据。深度映射函数针对所述一定时段而确定，或者至多在所述一定时段期间缓慢地变化。有利的是，人类视觉系统不受深度视角的频繁变化干扰。特别地，深度映射函数可以包括将快照确定为所述一定时段的3D视频信号，并且设置用于该快照的映射函数，或者使用具有前瞻的移动窗口并且设置用于该窗口的映射函数。
[0021]可选地，视频处理器被布置用于根据第二深度图生成显示视图。可选地，所述设备包括用于显示用于观看者的对应左右眼的显示视图的3D显示器。可选地，视频处理器被布置用于通过从连接到3D视频设备的3D显示设备获取显示能力信息而确定显示深度子范围。
[0022]可选地，导出突出性数据包括根据3D图像信号导出元数据，该元数据表示3D图像数据的突出性数据。
[0023]其公开通过引用合并于此的所附权利要求书中给出了依照本发明的方法、3D设备和信号的另外的优选实施例。
【专利附图】
【附图说明】
[0024]本发明的这些和其他方面根据在以下描述中通过实例的方式且参照附图描述的实施例将是清楚明白的，并且将参照这些实施例进一步进行加以阐述，在附图中
图1示出了用于显示3D图像数据的系统中的用于处理3D图像数据的设备，
图2示出了视差映射的系统概览，
图3示意性地示出了现有技术的视差映射，
图4示意性地示出了增强的视差映射，
图5示出了非线性视差映射，
图6示出了最大增益约束，以及 图7示出了增强的非线性视差映射。
[0025]在图中，与已经描述的元素相应的元素可以具有相同的附图标记。
【具体实施方式】
[0026]应当指出的是，本发明可以用于任何类型的3D图像数据，不管其是静止图片还是运动视频。所述系统处理3D图像数据中提供的深度图。该深度图可以最初存在于系统的输入处，或者可以如下文中所描述的例如根据立体(L+R)视频信号中的左/右帧或者根据2D视频生成。假设3D图像数据作为电子的、数字编码的数据而可用。本发明涉及这样的图像数据并且在数字域操纵图像数据。
[0027]存在可以格式化并且传输3D视频数据(称为3D视频格式)的许多不同的方式。一些格式基于使用2D通道以便也携带立体信息。例如，左右视图可以隔行扫描，或者可以并排上下放置。可替换地，可以传输2D图像和深度图，以及可能地另外的3D数据，比如遮蔽或透明度数据。提供或者传输3D图像数据的任何方法(例如互联网或者蓝光光盘(BD))都可以提供3D视频数据。[0028]图1示出了用于显示3D图像数据的系统中的用于处理3D图像数据的设备。称为3D源的第一 3D视频设备40向另一 3D图像处理设备50提供和传输3D视频信号41，所述另一 3D图像处理设备耦合到3D显示设备60以便传输3D显示信号56。
[0029]图1进一步示出了作为3D视频信号的载体的记录载体54。该记录载体为盘状并且具有轨道和中心孔。由物理上可检测的标记的图案构成的轨道依照螺旋形或者同心的圈图案布置，该图案构成一个或多个信息层上的基本上平行的轨道。记录载体可以是光学可读的，称为光盘，例如CD、DVD或BD (蓝光光盘)。信息通过沿着轨道的光学可检测的标记(例如凹坑和凸台)而包含在信息层上。轨道结构也包括用于指示通常称为信息块的信息单元的地点的位置信息，例如头部和地址。记录载体54承载以像DVD或BD格式那样的预定义记录格式表示例如依照MPEG2或MPEG4编码系统编码的像视频那样的数字编码的3D图像数据的信息。
[0030]3D源具有用于处理经由输入单元47接收的3D视频数据的处理单元42。输入3D视频数据43可以从存储系统、记录工作室获得，从3D照相机获得，等等。视频处理器42生成包括3D视频数据的3D视频信号41。该源可以被布置用于经由输出单元46将来自视频处理器的3D视频信号传输至另一 3D视频设备，或者用于提供例如经由记录载体分发的3D视频信号。3D视频信号基于例如通过经由编码器48对3D视频数据编码并且依照预定义格式对其格式化而处理输入3D视频数据43。
[0031]3D源可以是服务器、广播器、记录设备或者用于制造像蓝光光盘那样的光学记录载体的创作和/或制作系统。蓝光光盘提供了一种用于为内容创建者分发视频的交互式平台。关于蓝光光盘格式的信息可以从蓝光光盘协会网站关于视听应用格式的论文(例如http://www.blu-raydisc.com/Assets/Downloadablefile/2b_bdrom_audiovisualapplication_0305-12955-15269.pdf)中获得。光学记录载体的制作过程进一步包括步骤:在轨道中提供物理标记图案，该图案体现可能包括3D突出性元数据的3D视频信号；以及随后依照该图案对记录载体的材料定形以便在至少一个存储层上提供标记的轨道。
[0032] 3D图像处理设备50具有用于接收3D视频信号41的输入单元51。例如，该设备可以包括耦合到输入单元的光盘单元58，该光盘单元用于从像DVD或者蓝光光盘那样的光学记录载体54获取3D视频信息。可替换地(或者此外)，该设备可以包括用于耦合到网络45 (例如互联网或者广播网络)的网络接口单元59，这样的设备通常称为机顶盒。3D视频信号可以从远程网站或者如由3D源40所指示的媒体服务器获取。3D图像处理设备可以是将图像输入信号转换成具有所需的视差的图像输出信号的转换器。这样的转换器可以用来将用于特定类型的3D显示器的不同输入3D视频信号(例如标准3D内容)转换成适合于特定类型或供应商的自动立体显示器的视频信号。在实践中，该设备可以是3D光盘播放器，或者卫星接收器或机顶盒，或者任何类型的媒体播放器。
[0033]3D处理设备具有耦合到输入单元51的处理单元52，该处理单元用于处理3D信息以便生成要经由输出接口单元55传输至显示设备的3D显示信号56，例如依照HDMI标准的显不信号，参见“High Definition Multimedia Interface; Specification Version 1.4aof March 4, 2010，，,其 3D 部分在 http://hdm1.0rg/manufacturer/specification.aspx处可供公共下载。处理单元52被布置用于生成包含在3D显示信号56中的图像数据以便在显示设备60上显示。[0034]3D显示设备60用于显示3D图像数据。该设备具有输入接口单元61，该输入接口单元用于接收传输自3D播放器50的包括3D视频数据的3D显示信号56。传输的3D视频数据在处理单元62中进行处理以便在3D显示器63 (例如双IXD或者多视图1XD)上显示。显示设备60可以是任何类型的立体显示器，也称为3D显示器。
[0035]3D视频设备中的视频处理器，即3D视频设备50中的处理器单元52被布置用于执行以下用于处理3D视频信号的功能。3D视频信号由输入装置51、58、59接收，该输入装置提供至少包括第一深度图和图像数据的3D图像数据。再次应当指出的是，在本文中，视差图也被认为是一种类型的深度图。例如，第一深度图可以通过视差估计从立体(L+R)输入信号生成。第一深度图具有第一深度值以及图像包括二维像素阵列中的图像值。应当指出的是，该深度图也具有二维像素阵列，并且与图像相应，尽管该深度图可能具有不同的分辨率。
[0036]3D显示设备60中的视频处理器62被布置用于处理3D视频数据以便生成用于再现多个视图的显示控制信号。这些视图可以使用深度图从3D图像数据生成。
[0037]在所述系统的第一实施例中，视频处理器62被布置用于处理3D图像信号以便在3D显示器上基于多个显示视图再现3D图像数据。输入处理包括根据3D图像信号导出包括第一深度值的第一深度图，以及根据3D图像信号导出表示3D图像数据量中的突出性的突出性数据。突出性指 示具有突出深度值范围的突出元素。深度图和/或突出性数据可以在3D图像数据的源(例如电影工作室)处生成，并且然后利用3D图像信号传输，或者可以在3D播放器设备中或者在3D显示设备中生成。
[0038]突出性指示突出元素，即受到人类观看者的注意的图像的部分。图像的突出部分具有突出深度值范围，即具有受到观看者的注意和重视的高概率的那些图像部分的深度值范围。突出性例如可以基于视亮度、对比度和/或色差，和/或基于深度差，例如突起。再者，对象(例如人脸)的类型可以被检测并且用于突出性。如此，用于确定图像数据中的突出元素的各种不同的方法是已知的。
[0039]例如，为了检测脸部，可以应用已知的脸部检测器，参见例如“P.Viola andM.Jones, Robust Real-time Object Detection, Second International WorkshopOn Statistical And Computational Theories Of Vision - Modeling, Learning,Computing, and Sampling; Vancouver, Canada, July 13, 2001，，。特别地，可以检测大的脸部，因为它们最突出；可以忽略较小的脸部。对于正面的脸部，这样的检测典型地相当稳健，这意味着这样的正面脸部将在大多数帧中被检测到。
[0040]也可以包括与脸部检测器不同的其他突出性措施。这可以是特定对象检测器，但是也可以是指示观看者的注意力被吸引的图像的部分的“标准”突出性措施。多个检测器的输出在这些检测器与相同突出深度范围(
4 )关联的情况下可以加以组合，或者在其不关联的情况下单独地处理。在余下
的描述中，将假设单个突出深度范围，但是所有描述同样很好地适用于一般情况。
[0041]为了将突出性元数据包含在3D图像数据中，对应3D格式可以通过限定要在诸如上面提到的HDMI接口格式或者BD视频格式之类的3D格式的约束内传输的附加数据结构或消息而增强。例如，突出性元数据可以包括突出深度或视差值范围，或者图像数据中的一个或多个突出区的指示，例如突出性图。可选地，突出性元数据可以包括要用于如下文中所描述的增强的视差映射的特定参数或者特定映射函数。例如，可以提供特定关系、多个子范围或偏移值之一以便在映射期间使用。突出性元数据也可以针对3D图像数据的特定时段，例如针对一定数量的帧、编码的图片组(MPGE编码中的G0P)、3D视频信号的场景或快照等等进行规定，并且可以包括与其中可以调节视差映射的时间边界或过渡性时刻或者映射必须保持固定或可以根本不应用映射的时段相关的数据。可以针对若干不同的目标3D显示系统包括偏移元数据，例如对于具有相对较小的子范围的自动立体显示器包括第一突出数据集合，并且对于具有较大子范围的 立体显示器包括第二集合。
[0042]此外，所述处理包括确定显示深度子范围。该显示深度子范围为3D显示器的可用深度范围的子范围并且为观看者提供比跨可用深度范围的3D图像质量更高的3D图像质量。该子范围可以是针对对应类型的显示器而确定的预定范围，并且可以经由到显示器的数字接口或者经由查找表获取。例如，该子范围可以作为显示器EDID数据的部分而传输。因此，显示深度子范围可以通过从连接到处理设备，例如以便接收修正的深度图或多个视图的3D显示设备60获取显示能力信息而确定。
[0043]可选地，所述子范围可以针对特定观看者(例如儿童)进行设置或调节，或者可以是观看者输入的用户偏好。例如，该子范围是其中对象具有高清晰度的范围，而超出该子范围之外的对象具有较小的清晰度或者可能模糊不清。自动立体显示器通常具有这样的子范围。再者，该子范围可以被选择为在视图之间具有低水平串扰，而跨过可用范围的串扰可能较大。例如使用主动快门眼镜的立体显示器可能容易遭受这种串扰。
[0044]所述处理进一步包括根据突出性数据确定用于3D图像数据量的深度映射函数，使得突出范围内的第一深度值映射到显示深度子范围。最后，通过深度映射函数将第一深度图转换成第二深度图，并且根据第二深度图生成显示视图。
[0045]可替换地，3D播放器设备50中的视频处理器52或者3D源设备中的处理单元42可以被布置成执行所述深度图处理。针对规定的3D显示器生成的突出性数据和/或第二深度图和/或所述多个视图可以利用3D图像信号朝所述3D显示器传输。
[0046]3D图像信号处理可以进一步包括根据2D视频信号生成第一深度图，以用于将2D视频转换成同样已知的3D视频。所述提供3D视频信号包括:接收包括2D视频帧序列的2D视频信号，以及基于对2D视频帧序列的处理生成第一深度图。应当指出的是，这样生成的深度图经常具有有限的质量，并且对深度图过滤和增强可以大幅改进所述质量。生成深度图的功能可以在3D播放器的输入单元51中或者在3D显示设备60的视频处理器62中或者在3D源设备的处理单元42中实现。
[0047]在一个实施例中，第一深度图例如由3D播放器设备50中的视频处理器52或者3D显示设备中的处理单元62生成。在操作中，深度图生成器接收立体3D信号，该立体3D信号也称为左右视频信号，具有表示要为观看者的对应眼睛而显示以便生成3D效果的左视图和右视图的左帧L和右帧R的时间序列。该单元然后通过左视图和右视图的视差估计生成第一深度图，并且可以进一步基于左视图和/或右视图提供2D图像。视差估计可以基于用来比较L和R帧的运动估计算法。对象的L和R视图之间的大的差值根据差值的方向被转换成显示屏幕之前或之后的深度值。生成器单元的输出是第一深度图。应当指出的是，其他输入单元可以用来提供第一深度图和相应的2D图像数据。
[0048]图2示出了视差映射的系统概览。视差估计器21基于3D图像数据提供第一视差图28。突出性检测器22基于检测3D图像数据中的突出元素而提供突出性数据23。在视差映射单元24中，基于针对3D显示器27检测的目标视差子范围25修改第一视差图。该子范围可以针对特定类型的显示器(例如特定的自动立体显示器)预先确定，并且可以经由接口传送，或者可以由观看者基于偏好设置或调节。最后，视图再现器26生成多个视图，即对于立体显示器至少生成左右视图，或者对于自动立体类型的显示器生成连续视图集合。应当指出的是，图2中示意性指明的功能与例如当在信号处理系统或者通用计算机上执行时的计算机程序中实现的用于处理3D视频的方法中的步骤相应。
[0049]视差估计本身例如根据“D.Scharstein and R.Szeliski, A taxonomy andevaluation of dense two-frame stereo correspondence algorithms, InternationalJournal of Computer Vision, 47 (1/2/3): 7-42, April-June 2002” 是已知的。当精确地估计和存储时，视差值允许为立体视觉内容适应性调节深度效果。这可能例如在适应性调节立体视觉内容以便在具有不同尺寸的显示器上观看或者以便在多视图自动立体显示器上观看中是有用的。“M.Lang, A.Hornung, 0.Wang, S.Poulakos, A.Smolic, andM.Gross, Nonlinear Disparity Mapping for Stereoscopic 3D, Proc.ACM SIGGRAPH,2010”中研究了没有视差图的显式计算的视差范围的变形。
[0050]目前，已经认识到，当在自动立体显示器上观看3D内容时，重要的是将输入深度范围变形为所述深度范围，使得结果在特定类型的显示器上看起来是良好的。已经指出，仅仅特定的子范围可能对于透镜状显示器上的舒适观看就足够清晰了。清晰度随着离开屏幕平面的深度的增加而逐渐衰减，同时仍然跨可用深度范围产生可用的3D效果。
[0051]同时，当在这样的显示器上观看内容时，变得清楚的是，视频的一些对象或部分在其变得比其他对象或部分更模糊时更令人烦扰。或者换言之，针对突出对象(例如脸部)的清晰度要求比针对较不/不突出对象(例如背景中的森林)的要求更严格。
[0052]图3示意性地示出了现有技术的视差映射。顶部部分示出3D图像30，其具有三个元素:具有很少视差的圆形，具有正视差(d2>0)的三角形以及具有负视差(+〈Ο)(即最靠近观看者)的星形。中间部分示出视差值的输入范围31，该输入范围大于在底部部分中示出的、由dmin至dmax指示的显示器的视差值的可用范围32。现有技术的视差映射只是压缩输入范围以适合可用范围。
[0053]如通过引用合并于此的T.Shibata 等人的 “The zone of comfort: Predictingvisual discomfort with stereo displays”， Journal of Vision 2011, 2011 年 7 月 21日，第11卷，第8号，文章11中所指明的，在自然观看与立体3D观看之间存在差异。在自然观看中，辐辏刺激和聚焦刺激是一致的，而对于立体3D观看而言，情况并非如此。立体3D观看产生辐辏距离与焦距之间的不一致，因为辐辏距离根据图像内容而变化，而焦距保持恒定。
[0054]上面的论文进一步指明，尽管电影摄影师倾向于使用限制显示视差的规则，但是在实践中，关于舒适带的确切定义不存在真正的共识。例如，百分比规则被提及，该规则声明比屏幕更近的交叉视差不应当超过屏幕宽度的2-3%，而非交叉视差不应当超过屏幕宽度的1-2%。该论文的作者进一步注意到该百分比规则的某种改进可能是合适的，并且进一步指明边界不是硬边界，而事实上是连续的。
[0055] 关于自动立体显示器，本发明人注意到，当在尽可能接近2D图像的3D立体图像处开始增加立体图像的深度时，有可能在不显著地影响立体图像的感知的清晰度的情况下增大一定间隔上的视差(并且由此增大3D效果)。当进一步增加视差时，立体图像的清晰度恶化，但是感知的3D效果增大。在某个点处，显示视差的进一步增加不再增大3D效果，而是事实上可能降低感知的3D效果。
[0056]本发明人进一步注意到上文中针对突出对象和非突出对象的差异。本发明人注意到，不管舒适带的精确定界如何，在用于突出对象和非突出对象的可接受视差的容差下，差异看起来是存在的。基于这种见识，有可能在将突出对象映射到具有更小视差值(朝向零)的区块，即映射到允许更清晰的图像再现的深度范围上时获得3D立体图像的立体感知的感知改进。对于非突出对象而言，这没有表现为紧要的，结果，可以将非突出对象映射到更大的视差值上，即映射到整个舒适带，对感知的质量的影响有限。
[0057]复述一下，优选地将突出对象映射到舒适带的子范围上。该子范围可能被感知为舒适带的具有比舒适带更严格的质量要求的子集。通过将突出对象置于显示视差范围的该子集中，可以以比非突出对象更高的感知的清晰度再现突出对象。
[0058]图4示意性地示出了增强的视差映射。顶部部分示出3D图像33，其具有四个元素:具有很少视差的圆形，具有正视差(d2>0)的三角形和具有负视差(+〈Ο)(即最靠近观看者)的星形，以及靠近三角形的脸部。中间部分示出视差值的输入范围34。底部部分示出第二视差图，即基于突出性的视差映射之后的视差图。现在，确定了显示器的视差值的可用范围36，该可用范围可用于在底部部分中示出的、由dNSmin至dNSmax指示的图像的非突出部分。子范围35适合于由dsmin至dsmax指示的图像的突出部分。假设脸部被检测为突出元素。如下文中所描述的基于突出性的映射使用将脸部的视差值朝所述子范围映射的视差映射函数。第二视差图表明，脸部现在在子范围35内显示。
[0059]因此，所述增强的映射基于激发了针对视差映射的可变要求的对象突出性。代替使用单一可用视差范围以变形的是，将特定子范围用于映射突出部分。在实践中，两个深度范围(即所述子范围和整个可用范围)的使用已经给出非常好的改进，而要使用的深度范围基于一个或多个突出性估计器而确定。
[0060]在一个实施例中，使用两个深度范围，其中一个为用于所述更突出的区块(例如典型地为脸部)的子范围，并且另一个用于诸如风景之类的不太突出的区块。假设限定了这两个视差范围:
(rf?，dZ )，其可用于非突出(NS)区，
，dL )子范围，其用于突出(S)区(例如脸部)。
[0061]典型地，子范围(远)小于第一范围。应当理解的是，对于使用中间深度表示的显示系统而言，可用范围可以在该中间表示中规定。当例如显示设置被调节成使得整个深度范围可以用于非突出区时，那么应当限定=0和=255步骤。在这种情况下，对于突出
区，它可以例如是=64和=192步骤。在实践中，这些范围可以基于对于代表性内
容的观看测试而确定。在深度再现显示器内，可以将中间深度表示转换成视差，作为视图合成过程的部分。
[0062]来自突出和非突出区的输入视差值/和6严可以如下组合成单个直方图。转换通过限定算子0 {d)而完成，该算子将来自突出范围d尤)的视差变换成非突出范围
d d:)，使得并且0、=d=。通常，视差范围以零为中心，
并且该算子可以为?(必=?/<为常数。应当指出的是，可以适当地选择其他的函数。对于按顺序的帧序列而言，考虑像素突出性而更新视差直方图。对于具有视差的每个像素P:h{d) +=I 即h(d)= h(d)+l，如果/7为非突出像素，? (Φ (cf)) +=I 如果为突出像素。
[0063]然后，通过从直方图选择低(例如2)和高(例如98)百分点来朝目标视差范围映射，并且将所述范围映射到目标范围。
[0064]在另一实施例中，针对深度转换的时间稳定性增加。计算直方图并且如上面所描述的一样使用，但是附加地，用于当前帧&的直方图递归地与用在前一帧中的直方图的加权版本进行组合:
Hf a HN-1+hN,
其中α对于快照内的帧而言接近或者等于1，并且在拍摄转场之后立即接近或等于O。在一种可选的改进中，α的值取决于自最后的拍摄转场以来的帧数，可能地考虑图像变化量以及过去的或者即将到来的拍摄转场的估计概率。
[0065]一个实际的实施例具有以下功能；所有的值都是实例。例如，假设拥有具有深度/视差的输入视频，并且检测到像脸部那样的突出元素。因此，将图像划分成突出像素和非突出像素。假设3D显 示器(立体或者自动立体)具有“可用”视差范围[-40，40]，以及“清晰/令人愉悦的”视差子范围[-10，10]。映射函数必须将输入深度值([0，255])映射为显不视差。
[0066]常规上，不使用突出性而将输入范围[0，255]映射到[-40，40]上。这种常规映射的一个问题在于，该范围的极端部分典型地观看起来不是非常令人愉悦的/舒适的。例如，对于自动立体显示器而言，它们变得不太清晰。如果这时脸部获得这样的“极端”视差值，那么得到的3D图像看起来不是非常令人愉悦的。
[0067]对于所述增强的映射而言，我们知道突出区及其输入深度值。映射函数被确定尺寸为使得这些值被变形到“清晰/令人愉悦的”视差范围([-10，10])，因为人们将专注于那些部分。对于图像的其余部分而言，将视差映射为“可用的”[-40，40]范围。
[0068]这样做的一种方式是创建输入视差值的联合直方图。突出区之外的像素直接添加到视差直方图:
h (oO +=1如果P为非突出像素，
该公式指示用于值d的直方图“面元(bin)”加I。对于突出区中的像素，使用不同的转换。它被添加到直方图的不同面元。组合直方图用来执行所述映射。
[0069]在该实例情况下并且使用线性映射，得到 h (4o0 +=I如果P为突出像素，
该公式指示用于值4d (4倍的d)的“面元”加I。因此，突出像素在进入组合直方图中之前被校正函数转换。通过所述校正函数，突出像素深度范围朝四倍于其原始值的值变形。通过这样的计算，形成用于突出像素和非突出像素的组合直方图，突出像素具有第一输入转换并且非突出像素具有第二输入转换。用于突出像素的第一输入转换具有校正函数，其根据关于可用范围的子范围进行设置。
[0070]按照这种方式，对于所有像素一起获得单个直方图。然后，我们可以确定我们想要将某些百分点映射到可用范围上，例如，可以将视差直方图的5%的百分点映射到-40上，将95%的百分点映射到40上，并且对于中间值执行线性映射。应当指出的是，少量(在该实例中大约10%)视差值将处于显示器的可用范围之外，但是大多数将被映射到[-40，40]。在实践中，可以剪切所述少量视差值以落入可用范围内。因此，组合直方图深度范围被映射到显示器可用深度范围内，并且校正函数有效地实现将突出范围内的第一深度值朝显示深度子范围变形。
[0071]在另一实例中，突出数据以度，例如I与O之间的小数值表示。各直方图面元可以通过所述小数修改。例如，可以通过调节Φ((1)或者优选地通过将像素/7作为部分突出的像素对待而考虑对象检测器的置信度值# e [O, I]:
h {d) +=1-W 对于所有/?，
A (Φ ((6/)) += w 对于所有P。
[0072]在另一实例实施例中，计算用于突出值和非突出值的单独的直方图。根据突出直方图例如按照5%和95%百分点确定用于突出范围的边界值。随后，将突出视差范围映射到“清晰/令人愉悦的”范围，同时将剩余范围映射到“可用”范围。剩余范围通常包括两个子范围:比突出范围的上边界更高的非突出值的第一子范围，其被映射到范围[10，40]上；以及比突出范围的下边界更低的非突出值的第二子范围，其被映射到范围[-40，-10]上。这样的映射于是可以为分段线性映射或者非线性映射。下文中描述了非线性映射的一个实例。
[0073]可选地，只有突出像素进入直方图中。随后，将突出深度值的直方图映射到显示器的高质量子范围上。然后，将深度值的剩余范围映射到可用范围内，即不确定实际出现的非突出深度值的量。
[0074]在实际情况中，以下选项可以被考虑用于增强时间稳定性。
[0075]对于离线处理而言，有可能决定每快照的目标范围。时间边界可能是已知的或者使用本身已知的检测算法自动地确定。上面的直方图可以针对快照的总长度计算，例如针对该快照进行单次映射。可替换地，在快照期间可以允许出现小的差异。较大的差异将出现在快照边界处，但是很可能跨拍摄转场而不可见。因此，该视差映射将导致稳定且可接受的3D体验。
[0076]对于在线处理而言，使用适当的缓冲，有可能朝前看几帧并且使目标范围基于帧(移动)窗口。
[0077]对于在线处理而言，当帧不能延迟时，时间稳定性可以通过在快照期间只允许减小范围(降低深度)而增强。在拍摄转场之后，立即重置该范围。可替换地，在快照内也可以允许范围的小而逐渐的增加。
[0078] 图5示出了非线性视差映射。左示图501示出了视差值的直方图。该直方图是如上面所描述的具有各自不同的输入转换函数的突出和非突出深度值的组合直方图。中间示图502示出了通过针对连续数据估计相对频率而获得的归一化直方图，也称为概率密度函数(PDF)。右示图503示出了通过积分或者累积求和而获得的累积密度函数(⑶F)的估计。非线性映射的一种朴素的方式是如下将CDF缩放到可用目标范围，例如[Clmin, dmax] = [-40,40]:
Φ (d) = CDF (d) X (dmax - dmin) + dmin = 80 * CDF (d) - 40朴素映射的影响在于，对象内的视差可能被拉伸，并且可能造成可见的失真。一种解决方案是例如通过下式限制映射的斜率的约束映射Φ' (d) <= maxgain
其中maxgain为被选择用于向所述失真设置限制的常数。
[0079]图6示出了最大增益约束。X值为目标深度值，并且y值为输入/输出密度比例增益值。朴素映射601表现出所述增益的非常高的峰值。最大增益值603由虚线指示。约束映射602不延伸到所述最大增益603之上。在没有峰值的区域中，约束映射602高于朴素映射601。
[0080]图7示出了增强的非线性视差映射。该图示出了非线性映射函数的结果。朴素曲线701表现出没有最大值约束的基本非线性映射Φ (d)，而约束映射曲线702表现出具有最大值约束的增强的非线性映射Φ’ (d) ο
[0081]下面的部分在4个步骤中提供了映射函数Φ’ (d)的样本伪代码:
I.输入:
a.朴素映射phi_naive,希 望的输出范围[d_min, d_max]和最大增益约束maxgain
2.初始化:
a.phi’:= phi，_naive i以朴素映射的导数开始)
b.last: = {}
3.迭代:
a.saturated:= {d|phi， (d) >= maxgain}
b.当saturated = last 时，转到 4
c.last:= saturated
d.phi’ (d):= maxgain,对于saturated中的所有d {针对饱和区调节映身f)
e.correction: = (sum (phi ’ _naive) - sum_saturated (phi ’))/ sum_notsaturated (phi，))(针对非饱和区计算校正增益、
f.phi’ (d):= correction phi’对于不在saturated中的所有d {针对非饱和区i周节映射、
4.完成:
a.ph1:= integrate phi’ + d_min
b.ph1:= phi + (d_max - phi ( 00 )) / 2 (使映射范围在规定的范围内居中)。
[0082]应当指出的是，在源图像材料中没有或者具有很少的视差的情况下(例如在电影的片头字幕期间)，条件4b发生。此外，该样本算法将中值视差映射到希望的子范围的中心附近，这通常是优选的。
[0083]总的说来，为了特定3D显示器上的最佳3D观看条件，必须将视差变形到可用范围上。单个变形范围被发现是次优的，导致太受限的范围(很小的深度效果)或者太宽的范围(突出对象的令人烦扰的模糊)。因此，我们提出输入视差范围的基于突出性的变形，其中将突出区变形到更受限的输出视差子范围，而非突出区可以使用完整的、更大的可用视差范围。[0084]本发明可以特别地应用于自动立体显示设备，例如透镜状或者基于屏障的多视图显示设备，其中本发明用来将单视场/立体内容转换成供这样的显示器使用的多个视图。
[0085]尽管主要通过使用经由像BD那样的光盘的3D图像信号传输的实施例解释了本发明，但是本发明也适合于经由数字信道(例如DVB广播或互联网)的3D视频的任何分发。
[0086]应当理解的是，为了清楚起见，上面的说明参照功能单元和处理器描述了本发明的实施例。然而，应当清楚的是，可以使用不同功能单元或处理器之间的任何适当的功能分布而不减损本发明。例如，被图示为由单独的单元、处理器或控制器执行的功能可以由相同的处理器或控制器执行。因此，对于特定功能单元的引用应当仅仅视作对于用于提供所描述的功能的适当装置的引用，而不是指示严格的逻辑或物理结构或组织。本发明可以以任何适当的形式实现，包括硬件、软件、固件或者这些的任意组合。
[0087]尽管在上文中大多数实施例针对设备而给出，但是相同的功能由相应的方法提供。这样的方法可选地可以至少部分地被实现为运行在一个或多个数据处理器和/或数字信号处理器上的计算机软件。本发明的实施例的元件和部件可以以任何适当的方式在物理上、功能上和逻辑上实现。
[0088]如果特征看起来结合特定实施例而被描述，那么本领域技术人员应当认识到，依照本发明可以组合所描述的实施例的各种不同的特征。单独的特征可以有利地加以组合，并且包含于不同的权利要求中并不意味着特征的组合不可行和/或不是有利的。再者，特征包含于一种权利要求类别中并不意味着限于该类别，而是指示该特征同样可适当地应用于其他权利要求类别。此外，权利要求中特征的顺序并不意味着其中特征必须起作用的任何特定顺序，并且特别地，方法权利要求中各步骤的顺序并不意味着这些步骤必须按照该顺序来执行。相反地，这些步骤可以以任何适当的顺序执行。此外，单数引用并没有排除复数。因此，对于“一” 、“一个”、“第一”、“第二”等等的引用并没有排除复数。权利要求中的附图标记仅仅作为澄清的实例而被提供，不应当以任何方式被视为限制了权利要求的范围。
【权利要求】
1.一种处理三维[3D]图像信号以便在3D显示器(27)上基于多个显示视图再现3D图像数据的方法，该方法包括: -根据3D图像信号导出(21)包括第一深度值的第一深度图(28)， -根据3D图像信号导出(22)表示3D图像数据量中的突出性的突出性数据(23)，突出性指示突出元素具有突出深度值范围， -根据突出性数据确定用于3D图像数据量的深度映射函数(24)，使得突出范围内的第一深度值映射到显示深度子范围，该显示深度子范围为3D显示器的可用深度范围的子范围并且为观看者提供比跨可用深度范围的3D图像质量更高的3D图像质量， -通过深度映射函数将第一深度图转换成第二深度图以便根据第二深度图生成(26)显示视图。
2.如权利要求1所述的方法，其中 -突出性数据为指示图像像素的突出性程度的突出性图，或者 -突出性数据为突出性深度范围。
3.如权利要求1所述的方法，其中导出突出性数据包括根据3D图像信号导出元数据，该元数据表示3D图像数据的突出性数据。
4.如权利要求1所述的方法，其中深度映射函数包括: -为突出像素制作第一直方图且为非突出像素制作第二直方图； -基于第一直方图确定突出深度范围并且将突出深度范围映射到显示深度子范围内且将第二直方图映射到可用深度范围上。
5.如权利要求1所述的方法，其中深度映射函数包括: -为突出像素和非突出像素制作组合直方图，突出像素具有第一输入转换并且非突出像素具有第二输入转换，第一输入转换具有依赖于关于可用范围的子范围的校正函数， -确定组合直方图深度范围， -将组合直方图深度范围映射到显示器可用深度范围内，校正函数使得突出范围内的第一深度值朝显示深度子范围变形。
6.如权利要求1所述的方法，其中3D图像数据量为一定时段的3D视频信号，并且深度映射函数取决于跨时间的突出性数据。
7.如权利要求6所述的方法，其中深度映射函数包括 -将快照确定为所述一定时段的3D视频信号，并且设置用于该快照的映射函数，或者 -使用具有前瞻的移动窗口并且设置用于该窗口的映射函数。
8.一种3D视频设备(40，50)，用于处理三维[3D]图像信号以便在3D显示器上基于多个显示视图再现3D图像数据，该设备包括: 输入装置(47，51，58，59，61，71)，其用于 -根据3D图像信号导出包括第一深度值的第一深度图(28)，并且用于-根据3D图像信号导出表示3D图像数据量中的突出性的突出性数据(23)，突出性指示突出元素具有突出深度值范围；以及视频处理器(42，52，62 )，其被布置用于 -根据突出性数据确定用于3D图像数据量的深度映射函数，使得突出范围内的第一深度值映射到显示深度子范围，该显示深度子范围为3D显示器的可用深度范围的子范围并且为观看者提供比跨可用深度范围的3D图像质量更高的3D图像质量， -通过深度映射函数将第一深度图转换成第二深度图以便根据第二深度图生成显示视图。
9.如权利要求 8所述的设备，其中视频处理器(42，52，62)被布置用于 -根据第二深度图生成显示视图，和/或 -所述设备包括用于显示用于观看者的对应左右眼的显示视图的3D显示器(63)，和/或 -视频处理器被布置用于通过从连接到3D视频设备的3D显示设备(60)获取显示能力信息而确定显示深度子范围。
10.如权利要求8所述的设备，其中所述导出突出性数据包括根据3D图像信号导出元数据，该元数据表示3D图像数据的突出性数据。
11.如权利要求8所述的设备，其中输入装置包括: -光学记录载体单元(58 )，其用于从光学记录载体获取视频信息。
12.3D图像信号，用于在3D显示器上基于多个显示视图再现3D图像数据， 该信号包括: -元数据，该元数据包括表示3D图像数据量中的突出性的突出性数据,突出性指示突出元素具有突出深度值范围， 用于在3D视频设备中允许: -根据该3D图像信号导出包括第一深度值的第一深度图(28)， -根据突出性数据确定用于3D图像数据量的深度映射函数，使得突出范围内的第一深度值映射到显示深度子范围，该显示深度子范围为3D显示器的可用深度范围的子范围并且为观看者提供比跨可用深度范围的3D图像质量更高的3D图像质量，并且 -通过深度映射函数将第一深度图转换成第二深度图以便根据第二深度图生成显示视图。
13.光学记录载体(54)，包括光学可读标记的轨道，其中这些标记表示如权利要求12所述的3D图像信号。
14.计算机程序，包括计算机程序代码装置，该计算机程序代码装置在计算机程序运行于计算机上时操作来使得处理器执行依照权利要求1-9中任何一项的方法的各步骤。
15.计算机可读介质，包括如权利要求14所述的计算机程序。
【文档编号】H04N13/00GK104025585SQ201280053632
【公开日】2014年9月3日 申请日期:2012年10月23日 优先权日:2011年11月1日
【发明者】W.H.A.布鲁斯, B.克鲁恩, P.L.E.范德瓦勒 申请人:皇家飞利浦有限公司