用于hdr图像编码和解码的装置和方法
【专利摘要】为了使得具有强烈改进的可用性的HDR图像编码机制可用，描述了一种被布置成编码高动态范围图像（IM_HDR-in）的图像编码单元（301），该图像编码单元包括：-LDR选择器（311），其用于标识由高动态范围图像覆盖的总辉度范围（Range_HDR）内的低动态辉度范围（R_Norml_LDR）或者相应的亮度代码值范围（R_LDR）；-HDR选择器，其用于选择总辉度范围（Range_HDR）内的至少一个互补范围（R_above），该互补范围主要包括未被低动态辉度范围（R_Norml_LDR）覆盖的辉度；-代码映射单元（315），其被布置成在具有包括N比特码字的亮度分量的第一图像（Im_1*）中依照第一映射（CMAP_L）将落入低动态辉度范围（R_Norml_LDR）内的高动态范围图像（IM_HDR-in）的像素辉度编码为代码值（Y_out），并且依照第二映射（CMAP_H）将落入所述至少一个互补范围（R_above）内的高动态范围图像（IM_HDR-in）的像素辉度编码为代码值（Y_out），其中第一和第二映射映射到第一图像的亮度代码值范围（RcTot_Im1）的分离的子范围。
【专利说明】用于HDR图像编码和解码的装置和方法
【技术领域】
[0001]本发明涉及用于图像，尤其是HDR场景的改进编码的装置和方法以及得到的像数据存储产品那样的产品或者编码信号。
【背景技术】
[0002]近来，出现了关于(不论捕获的场景的还是计算机图形的)图像/视频编码的新发展，即，希望的是更好地捕获自然出现的物体辉度(luminance)和颜色的整个范围，其高达可能在外部阳光环境下或者在强烈人造光附近出现的像例如25000尼特(nit)那样的大辉度值，以及经常也有像0.01尼特那样的低值，这称为HDR (高动态范围)编码。在内容创建侦牝例如照相机(并且甚至诸如移动电话照相机之类的移动器件照相机尤其是在所有种类的环境中随意且简单地被使用时将希望更好地捕获实际的场景，而不管捕获的图像以后将在哪个再现系统上再现以及从其解耦)或者像在再现侧那样的计算机游戏或特效的人工计算机颜色空间，均存在推进(push)。从目前起出现了越来越高峰值视亮度(brightness)的显示器，其本身没有限定什么是HDR再现链所需的，但是促进对此加以引入。当前，典型的HDR显示器为LED背光LCD，但是如果例如放松颜色饱和的条件，那么也可以例如将单色背光源置于OLED之后(泄漏通过的光创建RGBW再现)。出于若干原因，至少在未来若干年，可以希望某种形式的后向兼容性，这意味着所谓的低动态范围(LDR)编码的数据必须可用或者至少可容易确定，使得例如升级的视频处理箱可以将LDR信号输送至较低动态范围显示器。而且，如本文中将示出的，甚至长期来看，使良好LDR表示可用也可以证明是有用的。本发明人认识到，具有LDR编码的一个原理在于，尽管正在出现动态范围不断增加的显示器(高端)，但是也存在相当部分的低动态范围显示器(例如在外部环境中的移动器件、投影等等)。事实上，可能存在为若干可能的成像或再现方案自动地重新确定如图像信号中所捕获的灰度值的需要，正如人们将在几何学上对画面缩放以便将其显示于不同分辨率的显示器上那样。
[0003]HDR捕获链不只是将照相机对着在最暗与最亮物体之间具有大的辉度对比率的场景并且线性地记录所存在的东西(诸如例如CCD之类的捕获IC典型地为部分(近似)线性的)。HDR图像技术与所有物体的确切中间灰度值是什么有关，因为这传达了例如电影的情绪(已使场景中的一些物体变暗可以传达灰暗的情绪)。并且这是一个复杂的心理过程。可以例如想象，亮光是否确切地以与其余再现灰度值成比例地在显示器上再现在心理上不是那么重要，所述比例正如场景辉度与其余场景物体辉度的比例。相反地，如果像素以“某个”高的显示器输出辉度再现，只要该辉度充分高于画面的其余部分，那么人们将拥有真实灯的忠实印象。可能存在几个“灯光”白色水平，但是它们一充分地分开，它们的确切代码水平或者最终显示器再现的输出辉度可能经常就不那么关键了。(在场景的各个不同的光照区域中的)自发光物体与反射物体之间的灰度值分配也是一个关键任务，其取决于显示器色域和典型的观看条件。也可以想象，优选地进行较暗区域的编码，使得它们可以容易地用于不同的再现方案中，例如不同的平均环绕照明水平(即它们可以局部地亮化)。通常，由于这是困难的心理任务，艺术家们将参与创建最佳的图像，这称为颜色分级。特别地，艺术家们形成单独的LDR分级时是非常得心应手的，即使那是在“纯HDR编码策略”中完成。换言之，在这种方案中，当编码仅有的HDR照相机RAW (原始)信号时，我们也将生成LDR图像，这不一定因为它要用于视频消费市场的大的LDR部分，而是因为它传达了关于场景的重要信息。即，在场景中总是会存在更加重要的区域和物体，并且通过将这些置于LDR子结构(其可以在概念上看作自动曝光算法的艺术配对物)中，这使得进行所有种类的到中间范围表示(MDR)的转换更加容易，所述中间范围表示适合于驱动具有特定的再现和观看特性的显示器。特别地，可以依照若干准则调整该LDR部分，所述准则例如是该LDR部分在标准参考LDR显示器上以良好的质量再现，或者传达总的捕获的信息的一定百分比，等等。
[0004]不存在那么多的编码HDR信号的方式。通常，在现有技术中，人们只是原生地对HDR信号编码，即人们将像素(线性地)映射到例如16比特字，并且然后出于类似于LDR编码的理念，最大的捕获的辉度值为HDR白色(尽管在心理视觉(psychovisually)上,这通常不是场景中的反射性白色，而是灯的明亮颜色)。人们也可以经由某个“最佳”亮度(Iuma)变换函数将全范围HDR信号映射为8比特LDR范围,所述函数典型地为伽玛函数或者类似函数。这尤其是在接收侧可期望诸如局部亮化之类的图像处理的情况下可能使丢失颜色精度与相应的再现质量问题密切相关，然而，图像物体的主导灰度值分级大致被保留(即它们的相对/感知売度关系)。
[0005]现有技术也教导了一些将两个画面数据集用于HDR的、典型地基于一种可伸缩编码概念的HDR编码技术，其中通过某种预测，典型地通过缩放LDR辉度来改进“LDR”编码的局部纹理的精度，或者更准确地说将其投影到该纹理的HDR版本(LDR在那些技术中通常不是好看的LDR等级，而是典型地对HDR输入的简单处理)。然后，在希望的程度上将原始HDR图像与预测之间的差异共同编码为增强画面。例如，可以利用被8除将HDR灰度值1168表示为值146。该HDR值可以通过再次乘以8而重新创建，但是由于值1169将量化为相同的基层值146，因而需要等于I的能够重新创建高质量HDR信号的增强值。专利EP2009921[LiuShan et al.Mitsubishi Electric: Method for inverse tone mapping (by scalingand offset)]中描述了这种技术的一个实例。在用于这些编解码器的理论中，逆色调映射预测模型(其是标准乘法器的更智能的等效物)应当准确得足以已经给出合理精确的HDR外观，在该外观上施加微小的修正(事实上，如果通过使用非线性函数将可能值的范围投影到另一个范围，那么除去精度问题之外，原始范围值应当是可恢复的)。
[0006]目前尚未公布的申请US61/557461中描述了另一种双画面编码，该文献的所有教导在此通过引用加以合并。
[0007]该系统也对LDR和HDR图像起作用，并且也具有一些对于本发明有用的相似认识，即例如以下认识:在HDR信号中，总是可以找到非常重要的LDR子区域，并且使得该LDR成为用于LDR再现的实际可用信号(例如专用LDR等级)可能是有意义的。并且，HDR信息典型地不仅在辉度轴上是非线性分开的(即，例如在场景中灯具有比白色高得多的辉度)，而且它也具有不同的含义。例如，人们可能经常谈起HDR效果，即他们不一定需要精确地对像场景的主要内容(即其LDR部分)那样的物体纹理编码，而是取决于它是哪个HDR区域/效果，可以利用不同的准则(比如降低的精度)对其编码，或者让其完全消失。这具有这样的结果:经常可以为场景的HDR部分节省许多比特预算。此外，在这样的LDR+HDR效果中编码部分双画面格式具有以下优点:二者可以非常容易地分开。仅仅需要LDR的旧式或者较低能力系统可以直接提取LDR，忽略其余部分。但是，也具有作为分开编码的画面的HDR非常容易地使得根据实际再现显示器的实际色域能力以调整的方式，例如通过将缩放的HDR效果添加到经过辉度变换的LDR部分上，来施加它们。
[0008]然而，尽管该格式例如通过重新使用通常可用于3D编码的结构而对于已经被配置用于双画面编码的系统完美地起作用，但是在我们只有单一画面编码占位符可用的情况下，我们将希望类似的能力。随着视频点播领域的成长，人们可以想象，那些系统中的至少一些系统会宁愿将一切编码到单一画面信号中。
[0009]然而，当前实施例中的至少一些的目的是仍然具有将这样的最佳的LDR在HDR内的框架编码到单一画面中的益处，而不管以下事实:将两幅画面编码到一幅画面中看起来是奇怪的。应当指出的是，上面描述的其他类别的方法虽然在数学上/技术上以LDR画面格式强制执行一些数据(作为占位符)，但是并没有对真实的LDR图像(即在LDR观看系统上看起来良好的图像)(共同)编码，因为它们为了其LDR外观而被仔细分级(至少被选择，经常是被进一步地颜色分级变换)(相反地，人们可以拥有具有正确物体几何结构的“LDR”画面，但是如果其被直接再现，则表现出严重修改的物体纹理灰度值，例如错误的对比度或平均视亮度)。
[0010]
【发明内容】
[0011]HDR图像的一种简单且可容易使用的编码可以通过本文给出的遵循与图像编码单元(301)有关的原理的实施例构思而实现，该图像编码单元被布置成对高动态范围图像(IM_HDR-1n)编码，其包括:
-LDR选择器(311)，其用于标识由高动态范围图像覆盖的总辉度范围(Range_HDR)内的低动态辉度范围(R_Norml_LDR)或者相应的亮度代码值范围(R_LDR)；
-HDR选择器，其用于选择总辉度范围(Range_HDR)内的至少一个互补范围(R_above)，该互补范围主要包括未被低动态辉度范围(R_Norml_LDR)覆盖的辉度；
-代码映射单元(315)，其被布置成在至少具有包括N比特码字的亮度分量的第一图像(Im_l*)中依照第一映射(CMAP_L)将落入低动态辉度范围(R_Norml_LDR)内的高动态范围图像(M_HDR-1n)的像素辉度编码为代码值(Y_out)，并且依照第二映射(CMAP_H)将落入所述至少一个互补范围(R_above)内的高动态范围图像(IM_HDR-1n)的像素辉度编码为代码值(Y_out )，其中第一和第二映射映射到第一图像的亮度代码值范围(RcTot_Iml)的分尚的子范围。
[0012]有时，最佳LDR信号的创建(例如在典型的LDR显示器上仍然在图像的较暗部分中显示足够的细节)可能涉及典型地由人类艺术家所做的像素辉度的某种重新映射，其称为颜色分级者(或者分析图像的各种不同的属性的智能算法，所述属性诸如例如由其导出各种不同的对比度度量的部分直方图属性)。然而，经常可以从较大的辉度HDR范围画面内恢复良好的LDR变型。于是，只需选择最好的LDR画面，但是这通常可能是一件困难的任务，因此可能要求人类艺术家的介入。他可以选择感兴趣物体的像素辉度的子范围R_Norml_LDR,该子范围应当被良好地编码并且因此在标准LDR显示器上良好地再现。为了简单起见，我们将假设该LDR编码可以例如通过以下方式而或多或少直接地用作用于LDR显示器的驱动信号:施加所需的无论哪个硬件校准的变换以便使得该LDR显示器在LDR范围R_Norml_LDR内绝对地或者相对地再现原始辉度。但是，当然可能涉及更加复杂的关系，因为在理论上LDR不一定需要显示器再现的辉度的直接编码，而是可以是捕获的场景中的某些辉度的任何单独的表示。然而，我们将仍然假定，LDR信号被调适(condition)成使得良好质量的LDR信号可以(容易地)从其获得(例如不是对应当可见的一些部分进行剪切，并且因此这些部分永远不能被转换到好看的区域，即使显示器具有高级图像处理能力)。可能存在例如涉及的以后可以逆转的简单线性对比度压缩，但是该自动重新格式化还没有所有或者一些像素灰度值的实际分级那么复杂，所述分级可能涉及局部区域重新着色等等。所述选择典型地也涉及选择可以以(非常)低质量的方式编码的区域，例如可以剪切在特定辉度以下至零的所有区域，因为它们无论如何都不会非常好地在LDR观看系统上显示(该系统包括具有由于例如光泄漏和/或诸如在室外观看情形中的高视亮度反射之类的差观看条件而造成的低对比度的显示器)。这些区域可以简单地从(密封的)LDR编码中排除，并且因此它们将在HDR部分中以某种方式被编码。典型地，因此将存在包含例如光源(或者也许还有室外阳光环境的某个部分)的至少一个互补范围，并且分级者然后将典型地决定如何表示它们。即，他可以考虑对于光源而言，不需要这么多的灰度水平，但是仍然需要超过一个灰度水平，因为至少一些HDR显示器可能想要再现光源的内部结构。典型地，他可以在设计这些颜色的映射CMAP_H中使用这些考虑。通常，软件在很到程度上将是自动的，允许他以最小的努力交互。例如，他可以使用椭圆粗略地包围灯，并且然后根据对画面中其余物体编码所需的数据量，软件可以自动地为该灯分配例如两个最高的代码值(通过设计相应的CMAP_H)。然而，这些值可能不传达分级者将在其HDR标准监视器上看见的足够的内部细节。他也可以通过例如降低该区域的平均明度(lightness)以粗略地模仿在甚至更明亮的HDR显示器上的东西看起来如何而检查另外的情形。如果分级者认为该表示对于仅仅为光源(普通观看者典型地可能不长时间观察以研究其成分的某种东西，相反地，当跟随情节时，他将看着演员或者新闻广播员的脸部等)的物体是足够的，那么他将至少接受映射CMAP_H的该部分。否则，他可以通过进一步的交互，例如规定在输出图像Im_l*中将需要5个亮度代码值￥_0机以充分准确地表示该区域。经常，所需的少于编码的这种准确的局部细调，并且事实上，像例如伽玛函数那样的函数 可以用来采样(即更准确或者不那么准确地表示)可用图像物体像素(可以把每个变换表示为将输入画面的总范围的至少一个区间映射到标准区间[0，I]，并且然后依照任何希望的非线性分配函数将许多数字辉度采样点放置在那里)。
[0013]类似地，可以通过选择用于LDR子选择CMAP_L的适当映射而做许多事情，但是可以依照诸如伽玛2.2函数之类的预先存在的技术表示该部分，因为于是无需传递关于使用了什么特定映射(代码定义)的附加信息，并且因此不检查和更新这点的旧式系统可以按原样仅仅使用所述编码。然而，除了将编码定义到输出图像的映射(CMAP_L，CMAP_H)之外，诸如色调映射之类的另外的颜色映射变换(TRF_LDR，TRF_HDR)创建附加的灰度值效果(例如，代替已经高质量分级的HDR输入图像，可以输入照相机RAW捕获，在这种情况下，分级者将在他编码的同时分级)。这允许容易地分开纯粹出于诸如压缩效率之类的技术原因而进行的灰度值修改(例如依照视觉原理分配代码，所述视觉原理例如是不同可编码值之间的JND)和例如使得雷暴云看起来 更加来势汹汹的艺术性修改。应当指出的是，尽管互补范围通常包含尚未被R_Norml_LDR覆盖的大多数或者全部像素亮度，但是可能存在一定的重叠。例如，分级者可以决定将一些明亮的(HDR)辉度包括在LDR表示中，尤其是如果映射CMAP_L不是(伪)线性映射，但是如果他设计特定的软剪切分级策略。这可能例如导致苍白的有阳光的外部(其不仅仅是我们在LDR中所使用的，而且经常是用于较高动态范围的良好的映射策略)，然而这些外部远没有被足够准确地表示以便可用于高质量HDR再现。用于互补范围的HDR部分编码于是可以更精确地再次对这些值中的至少一些重新编码(例如将更多的值分配给太阳下的反射物体，而降低可用于光源的代码数量)。这对于正常的单画面编码而言是违反直觉的，在单画面编码中，定义了简单的编码，如果不是连续的(并且甚至利用定义代码与捕获的场景辉度之间的关系的简单色调映射传递函数)，那么当然不是非单调的。但是，利用当前实施例，其不仅容易可做，而且增加的自由度提供了编码数据的有利简单使用，例如重新分级以便调整到显示器和观看环境的实际物理细节(我们称其为可调整性要求，这是诸如例如ITU-R.601或709之类的严格定义的单链端到端显示器相关编码中不存在的属性)。有利的是，画面编码可以使用已经到位的技术以用于亮度样本，比如10比特码字，但是当然本发明可以对其他值起作用。应当指出的是，出于保持正文和权利要求简单的原因，我们没有总是深究一种特定的实现是否对辉度或亮度起作用，因为在知道变换定义时这些辉度或亮度可以容易地彼此转换。因此，当我们描述例如在辉度表示下选择范围(就像例如将YUV编码重新变换为像实际场景辉度的线性XYZ那样的原始场景表示或者其像照相机捕获的图像那样的任何近似)时，也可以在相应的亮度(Y)表示或者任何相关的表示下选择范围。再者，可以在概念上解释得就像利用中间步骤朝向通用相联系的颜色空间的变换在实际实现中可以立即实现为组合所有步骤的一个操作(即使像在非线性颜色空间中那样是近似的)。技术人员在理解这点上应当没有困难，因为类似地他应当理解，如果我们简单化地将任何事情解释为仿佛像素具有自然颜色表示，在实际中可能存在涉及的另外的子步骤，比如MPEG标准中的DCT变换或者类似的压缩图像或视频编码。
[0014]应当理解的是，简单变型实施例也将作为等效物落入我们的权利要求书的范围内。代替在像YCrCb那样的基于亮度的颜色空间中编码的是，当然可以在等效的颜色空间中在LDR和HDR子范围内做类似的划分。例如，可以在R’ G’ B’颜色空间中例如在代码40与750之间保留三个不等或者相等的区域(典型地可以考虑它们对亮度的知觉贡献以及每个通道的希望的精度等等)，这在这种情况下由于这两个颜色空间之间的线性矩阵关系而是容易的。在那种情况下，代替特性灰度值的是，典型地将存在特性颜色值，比如例如RU、Gt3等等。
[0015]更高级的实施例可以进一步包括变换单元(312)，该变换单元被布置成向具有落入低动态辉度范围(R_Norml_LDR)内的辉度的高动态范围图像(IM_HDR_in)的像素颜色施加色度变换，以获得用于那些像素颜色的修改的像素辉度(Y*_L)。
[0016]并且这并不仅仅为了能够做到这点，而是依照以下技术哲理而非常有利。人们可以选择在HDR输入信号中良好分级(即看起来很好)的某个范围。然而，那不一定需要在LDR系统上具有最好的外观(当然尤其是在涉及简单映射的情况下，比如简单化地只是利用压缩因子I选择辉度在一定范围内的所有像素)。可以例如想象，选择LDR部分中的暗颜色，并且因此其在编码图像的数学代码中良好地表示，但是将它们转换成在任何LDR系统上良好地再现的表示不是非常容易(再现和编码是不应当混淆的两个不同的条件，并且二者非常重要，因此理想情况下任何(编码)系统都应当允许优美地处理这二者)。在该实例中，分级者可以决定施加任何复杂的分级变换，使得暗颜色在LDR显示器上看起来良好(典型地，闪电(lightening)可能涉及分配LDR亮度范围的过多部分)。然而，于是有意义的是容易地能够将这些转换回用于HDR再现的良好表示。因此，典型地，人们将以元数据MET共同编码在图像的该子部分上使用的变换，使得人们可以在接收侧逆转它。如前面所述的，也可以将一些信息(潜在地部分冗余地)编码到Im_l*的HDR范围部分中，例如允许查看暗部分，这与逆变换的LDR编码区域不相似。
[0017]可能有利的是，如果LDR选择器(311)包括基于输入LDR分级图像(GRD_LDR_in)和/或表征该LDR分级图像的元数据(TM_G1 (gl, gh))标识总辉度范围(Range_HDR)的低动态辉度范围(R_Norml_LDR)的标识单元。
[0018]当仅仅存在(预先分级的或者原始的)HDR图像M_HDR_in时或者当也已经存在相同捕获的场景的LDR版本GRD_LDR_in(例如已经预先分级的图像、计算机图形学再现图像、来自另一个照相机的图像等等)时，可以使用当前实施例系统。在那种情况下，必须存在通常在该LDR版本中最好地表示的场景物体的在HDR图像中(被不同地表示)的标识。尽管尤其是在复杂冗余编码或分级(应当指出的是，可能有利的是可调整性能够使用关于相似场景物体的信息，然而依照例如LDR与HDR分级者的不同分级哲理)的情况下，可以使用复杂的算法(既用于标识相应的双重编码部分，又用于混合场景数据的两种编码以获得Im_l*的最终表示)，但是较简单的变型可以仅仅定义LDR分级的极限gl和gh。在那种情况下，无论在辉度具有LDR范围(R_Norml_LDR)的IM_HDR_in中像素颜色值是什么，它们现在都用LDR版本输入GRD_LDR_in中的颜色值代替(可能地依照共同编码的或者通过在与该代替的LDR范围R_Norml_LDR相应的代码区间R_LDR内当前定义了另外的非线性映射的本地分级者)。即，通常，可能存在基于LDR版本GRD_LDR_in，例如通过使用图像编码单元确定Im_l*中为该LDR范围中的像素编码的最终颜色值的更加复杂的策略，其中代码映射单元(315)被布置成依照LDR分级图像(GRD_LDR_in)中编码的像素颜色值映射落入低动态辉度范围(R_Norml_LDR)内的高动态范围图像(IM_HDR_in)的像素辉度。
[0019]对于依照本发明的任何实施例非常有用的是包括图像信号格式化器(320)的图像编码单元，该图像信号格式化器被布置成除了第一图像(Im_l*)之外还输出特性辉度水平(gt4)或者特性亮度代码值(gC4)中的至少一个。
[0020]再一次地，如所述的，存在与人们是想要在(原始)辉度域中还是在亮度代码值域中还是在类似的代码域中定义特性灰度值的数学一致性。对于若干应用而言，定义这些特性灰度值中的一个或多个具有若干优点。如前面所述的，当划界诸如例如较明亮辉度的HDR效果区域之类的区域时，它们可以用来从一种表示剪贴到另一种表示，比如例如Im_l*。这允许定义代码的含义。可以免除它们并且仅仅定义这样的映射函数，其可以涉及不存在的代码，因为它们由于它们在互补范围R_above以下并且处于LDR范围中而在利用CMAP_H的HDR部分映射中未被选择(或者可以在该映射函数中隐含地编码边界灰度水平)。但是，也可以使用简单映射(例如线性)并且明确地从该特殊灰度值(例如辉度gl)启动它。这允许将一般的线性映射策略转换为特定的映射策略，即允许最佳地调整到当前图像，(因为可以由此跳过图像中不存在的辉度区域，并且利用可用的物体辉度波瓣不连续但是高效地(重新)启动编码。但是，定义若干这样的特性灰度值也允许定义若干HDR波瓣(其在现实中可能不总是像在我们的简单化图2中那样很好地分开，但是尽管如此，它们仍然是可分开的，但是典型地需要人类颜色分级者的智能)。这允许定义若干HDR效果，允许根据再现显示器的物理能力(例如其可用辉度范围)例如更强烈地增强爆炸并且减弱室外阳光区域的视亮度，所述物理能力可能取决于诸如可用led背光源及其避免光晕的驱动约束之类的硬件限制。但是同样在单波瓣内，例如R_Norml_LDR内的LDR部分，可以定义有意义的灰度值，例如画面的暗部分，其为由人类分级者选择的具有情节相关特定含义的区域。它可以例如是其中不太多的动作在进行的区域，比如通过门看见的暗的室内。可以将其涂抹成单个(或者感知为单个)黑色值，但是可替换地，尽管对于情节而言不是关键的，可能希望的是在其中至少具有某种结构。通过将该暗区域与应当更严格地再现的区域划界，再现侧可以更好地决定如何实际地再现它。例如，如果用户在其遥控器视亮度按钮上指明他发现场景太暗，并且不能很好地看见某些部分(其应当至少为最暗的部分)，那么电视可以决定亮化该部分。即，它可以增加所有那些像素的亮度，并且软移动上方的亮度区域的颜色或者甚至与其重叠。另外的元数据可以解释这些区域之间的关系并且进一步帮助接收侧处理，例如，内容提供商可以强制该暗区域应当总是比上方的区域更暗(不论作为暗区域和更亮的区域的平均视亮度，最高的辉度降至上面的范围的最低值以下等等)。
[0021]通常，这样的特性值可能对于所有种类的应用是有用的，但是尤其是在HDR系统中，用于更好地协调接收侧(在像机顶盒或计算机那样的图像处理盒中或者在显示器中等等)图像处理操作，尤其是用于创建视觉上更好的再现的最佳色调映射。在LDR系统中，虽然一些特性点可能存在，但是它们不是所需的。白点正是最大辉度/亮度值。然而，在HDR中，若干白色可能存在(存在于阴影中或者外面的太阳下的白纸，并且甚至更亮的光源颜色不是真正的白色(白色应当为反射颜色)，而是“高亮度”)。当然，可以存在甚至更加有趣的黑色和灰色，以非常简单的方式允许对场景进行语义定义。这在接收侧想要使用全局图像颜色/亮度变换的情况下是特别有用的，不过典型地需要调节它们以与实际的图像内容，尤其是捕获和编码的物体纹理颜色分布密切地相应。
[0022]因此，这些特性灰度值对于单幅(或者若干相关)画面中，尤其是在主导LDR部分中或者在其协调周围的任何HDR定义是有用的。更加有意义的是，可以给予这些区域更具语义的数据，诸如名称代码或者允许的操作，比如“暗区域”，“被允许为了更好的物体可见性而亮化”，但是应当保持在总的再现图像中在心理上再现为微暗的”。应当指出的是，后者取决于再现图像中存在的其他颜色以及导致观看者看见某些颜色的另外的观看条件，但是由于这不是本发明的主要组件，因而我们在这里将不会不必要地对此进行进一步的详细说明。
[0023]上面的编码单元装置可以实现的类似的技术变换可以以其他的技术方式完成，其允许实现一种高动态范围图像(M_HDR-1n)的图像编码方法，该方法包括:
-选择由高动态范围图像覆盖的总辉度范围(Range_HDR)内的低动态辉度范围(R_Norml_LDR)或者相应的亮度代码值范围(R_LDR)；
-选择总辉度范围(Range_HDR)内的至少一个互补范围(R_above)，该互补范围主要包括未被低动态辉度范围(R_Norml_LDR)覆盖的辉度；
-朝着至少具有包括N比特码字的亮度分量的第一图像的亮度代码，依照第一映射(CMAP_L)将落入低动态辉度范围(R_Norml_LDR)内的高动态范围图像(IM_HDR_in)的像素辉度映射为代码值(Y_out)，并且依照第二映射(CMAP_H)将落入所述至少一个互补范围(R_above)内的高动态范围图像(IM_HDR_in)的像素辉度映射为代码值(Y_out)，其中第一和第二映射映射到第一图像的亮度代码值范围(RcTot_Iml)的分离的子范围。
[0024]所述高动态范围图像(IM_HDR_in)的图像编码方法可以进一步包括对于具有低动态辉度范围(R_Norml_LDR)内的辉度的像素执行颜色分级等等，特别地用于产生作为产品的图像编码的、具有技术上实现的方法的附属物的任何上述子技术。
[0025]发送器侧的镜像技术可以在任何接收侧(不管是最终目的地还是中间物)构建，接收侧比如例如图像解码单元(651)，该图像解码单元被布置成根据高动态范围图像编码(Im_l*)获得高动态范围图像(M_HDR_out)，包括:
-LDR复原单元(656)，其被布置成确定由高动态范围图像覆盖的总辉度范围(Range_HDR)内的低动态辉度范围(R_Norml_LDR)或者相应的亮度代码值范围(R_LDR)，并且被布置成根据高动态范围图像编码获得低动态范围图像(Im_LDR_o)；
-HDR复原单元(655)，其被布置成确定总辉度范围(Range_HDR)内的至少一个互补范围(R_above)，该互补范围主要包括未被低动态辉度范围(R_Norml_LDR)覆盖的辉度，并且被布置成根据高动态范围图像编码确定与该至少一个互补范围(R_above)相应的至少一个高动态范围子图像(ImP_HDR_o)；
-图像组成单元(657)，其被布置成根据低动态范围图像(Im_LDR_o)和所述至少一个高动态范围子图像(ImP_HDR_o)组成高动态范围图像(IM_HDR_out)，其中低动态范围图像(Im_LDR_o)和所述至少一个高动态范围子图像(ImP_HDR_o)大致覆盖高动态范围图像(IM_HDR_out)的非重叠辉度子范围。
[0026]Im_l*内的特定编码结构可以帮助将LDR子部分与HDR子部分分开，并且正确地重构最终的HDR图像IM_HDR_out，例如用于直接驱动像电视或者便携式显示器那样的显示器，或者其他用途，比如可能地具有进一步的颜色图像处理的存储。
[0027]我们愿意指出的是，尽管我们在辉度域限定了接收侧，解码器的一个实施例典型地可以在亮度域标识LDR和HDR部分(在亮度域，它们通常是分离的)，但是这可以容易地与辉度规范来回转换(即，解码器通常也映射到辉度范围，尤其是如果该格式用于HDR图像的最终输出，或者至少经由其颜色映射而相关)。
[0028]在简单的技术变型中，编码器和解码器二者可以知道(不仅仅在嵌入式系统中，而且例如电视传输标准)LDR子图像驻留在哪个子部分中，例如总是介于0与CLDRh(例如850)之间。为了驱动旧式显示器，图像接收盒(为了简单起见，我们可以作为转喻将其也称为机顶盒，该机顶盒也表示像IC或板那样的具有图像处理能力的任何其他中间或最终装置或者部件，比如例如为无线链接移动电话再现最终画面进行格式化的便携式计算机)于是可以仅仅选择LDR子图像并且将其用于驱动最终的显示器(潜在地具有另外的颜色映射)。在将HDR部分编码到无需被所有系统识别和使用的基本信号的扩展版本中的情况下，可以在直接使用LDR部分中欺骗甚至更旧式的机顶盒，(例如，更旧的系统认为信号可能仅仅从0到800，并且认为所有其他的代码都为错误或者至少与其不相关的代码，并且只是丢弃它们，但是更新或者更智能的机顶盒还知道如何使用该智能地编码的超范围数据(例如在整个10比特范围0-1023或者其更小的子范围内，允许另外的“other_relevance”代码)。
[0029]如上面已经提到的，当图像解码单元(651)包括被布置成从输入元数据(MET)中提取特性辉度水平(gt4)或者特性亮度代码值(gC4)中的至少一个的特性灰度值标识单元(661)时，它可以对解码图像施加智能得多的图像处理应用。这些灰度值可以不仅用于将Im_l*中编码的图像去格式化成最佳的输出HDR图像M_HDR_out，而且(如果例如为此不必要的话)允许另外的变换，比如例如子区域或者效果的可选的增强或者亮化，或者为了显示环境可调整性更容易地对编码区域插值。
[0030]另外的有意义的修改是例如:图像解码单元(651)，其中LDR复原单元(656)被布置成基于特性辉度水平(gt4)或者特性亮度代码值(gC4)确定低动态辉度范围(R_Norml_LDR);或者图像解码单元(651)，其包括色调映射单元(658)，该色调映射单元被布置成至少在像素颜色的辉度或亮度落入分别由特性辉度水平(gt4)或者特性亮度代码值(gC4)所定义的高动态范围图像(IM_HDR_out)的辉度或亮度子范围内时变换像素颜色；或者如权利要求11所述的图像解码单元(651)，其中色调映射单元(658)被布置成优选地根据来自光传感器(688)的环绕光照(Surr_IL)的测量对至少具有在特定阈值以下的辉度或亮度的像素颜色施加亮化变换。
[0031]如上面所述的，具有表征较暗的区域的一个或多个特性灰度值允许例如根据在特定观看环境中显示器可以实际地使得什么可见而更好地调整其最终的再现。再者，如果存在若干暗区域，那么可以利用另外的特性灰度值关于其颜色再现特性更好地协调它们(例如在两个区域之间的重叠可能开始的地方)。
[0032]所有以上所述和以下所述也可以在像根据高动态范围图像编码获得高动态范围图像aM_HDR_out)的图像解码方法那样的方法中实施，该方法包括:
确定由高动态范围图像覆盖的总辉度范围(Range_HDR)内的低动态辉度范围(R_Norml_LDR)或者相应的亮度代码值范围(R_LDR)，并且根据高动态范围图像编码(Im_l*)获得低动态范围图像(Im_LDR_o)；
确定总辉度范围(Range_HDR)内的主要包括未被低动态辉度范围(R_Norml_LDR)覆盖的辉度的至少一个互补范围(R_above)，并且根据高动态范围图像编码(Im_l*)确定与该至少一个互补范围(R_above)相应的至少一个高动态范围子图像(ImP_HDR_o)；
根据低动态范围图像(Im_LDR_o)和所述至少一个高动态范围子图像(ImP_HDR_o)组成高动态范围图像(IM_HDR_out)，其中低动态范围图像(Im_LDR_o)和所述至少一个高动态范围子图像(ImP_HDR_o)大致覆盖高动态范围图像(IM_HDR_out)的非重叠辉度子范围。
[0033]并且它可以在其他已知的技术部件中实施，所述技术部件比如例如:包括软件的计算机程序产品，该软件对使得处理器能够实现它的方法6编码；或者包括软件的计算机程序产品，该软件对使得处理器能够实现它的方法13编码；或者图像信号，其对高动态范围图像(IM_HDR_in)编码，特征在于，它至少包括这样的编码，该编码对二维亮度画面编码化(codify),具有亮度代码值(Y_out)到要再现的辉度(Lum_in_scene)的映射,其中低动态辉度范围(R_Norml_LDR)覆盖关于其颜色特性而被调适以便在低动态范围显示系统上再现的低动态范围图像(Im_LDR_o)的编码，并且非重叠互补子范围(R_above+R_beloW)覆盖可用于在高动态范围显示系统上再现动态范围图像(IM_HDR_in)的高动态范围像素颜色。
[0034]或者，如权利要求16所述的图像信号，进一步包括特性辉度水平(gt4)或者特性亮度代码值(gC4)中的至少一个，其可以包含在诸如例如可移除数据载体(诸如例如蓝光光盘)之类的各种不同的存储器硬件部件中。[0035]在图像信号的定义中，我们通过对二维亮度画面编码化的编码来意指，亮度画面不必是相同位置的像素的辉度的直接编码，而是可以为其典型变换，比如DCT变换(但是新的画面仍然对潜在的原始像素亮度画面编码化)。对于依照其LDR图像的颜色特性的调适，我们典型地意指分级，其通常以这样的方式进行，使得当在LDR显示系统上再现时LDR (子)图像看起来很好(足够的对比度，没有奇怪的颜色，仍然包括像爆炸那样的足够的HDR效果，等等)。因此，当前实施例的技术新颖性可以在以LDR和HDR部分在亮度定义中交错的方式的各种不同的信号实现中立即看出。该亮度范围的LDR子范围可以在标准信号中预先约定了(例如介于12与1400之间)，或者可以借助于特性灰度值而传送。它允许实现对于所述部分的通用的另外的编码/变换。当然，典型地共同编码的映射函数CMAP_L和CMAP_H也可以标识所述子部分。
[0036]以下描述的实施例的许多另外的变型当然是可能的，并且技术人员应当理解，它们可以例如在不同的装置中在世界的不同几何区域中实现，在不同的时刻应用它们的部分功能或者在彼此之后应用若干次，等等。
【专利附图】
【附图说明】
[0037]依照本发明的方法和装置的这些和其他方面根据以下描述的实现方式和实施例并且参照附图将是清楚明白的，并且将参照这些实现方式和实施例以及附图进行阐述，附图仅仅用作例示更一般的构思的非限制性特定图示，并且在附图中，虚线用来指明部件是可选的，非虚线部件不一定是必不可少的。虚线也可以用于指明被解释为必不可少的元件隐藏在物体的内部，或者用于不可触摸的事物，诸如例如物体/区域(以及它们可以如何在显示器上显示)的选择。
[0038]在附图中:
图1示意性地图示出具有高动态辉度范围的场景；
图2示意性地图示出根据场景区域的线性辉度要表示的该场景看起来像什么；
图3示意性地图示出可以依照本发明的原理编码HDR图像的编码器实施例；
图4示意性地图示出阐明本发明的某些原理的辉度-亮度关系，其允许在单画面亮度结构中编码LDR表示以及HDR表示的至少HDR信息部分二者；
图5示意性地图示出可以由颜色分级者操作的编码侧系统；
图6示意性地图示出解码侧系统，其可以是例如包括诸如主电视和便携式图像观看器之类的装置的消费者家庭显示系统；以及
图7示意性地图示出依照本发明的一个实施例，其允许在一个信号(例如10比特)中编码对于未来的电影编码重要的三个分级(用于影剧院的主等级，LDR显示器家庭等级以及HDR家庭等级)。
【具体实施方式】
[0039]图1示出了一个典型的场景，其引起将高动态范围(HDR)图像编码为能够合理地再现该场景的良好代表的需要。即使典型地在不能够确切地复现场景颜色(因为这不仅涉及显示器限制，而且涉及人类观看者的视觉系统的适应)时，再现器也仍然需要关于原始场景的尽可能准确的信息。[0040]不仅仅存在以足够的精度(其可以例如被选择成使得对于像辉度拉伸那样的预期显示侧变换，我们停留在安全侧，即存在足够的代码，使得没有可察觉的像条带那样的伪像出现)编码场景辉度/颜色的问题，而是相反地，存在具有特定质量的可实现范围的一种表示层级。这可以看作一种“曝光聚焦”，就像电影导演或者摄影师可以选择聚焦的物体并且模糊所有其余部分，他可以出于物理限制或者艺术区域的原因而选择需要理想地复现或者至少编码的一定范围的辉度(例如由于它包含主演101)以及在一些再现中可能被涂抹、但是在其他再现中以特定方式表示的另外的区域。
[0041]在该实例中，我们具有带有一些东西的商店，一些东西在其中发生主要动作的桌子上。这些主要区域物体111应当良好地表示，即其或者处于像LDR图像那样的任何较低质量编码中，或者处于像HDR图像那样的另一种编码中。
[0042]在电视节目产品中，这些主要物体典型地通过照明设计者良好地照射。在即时(on-the-fly)报告中，照相师将调节其照相机光圈，使得主要物体将大致落在他的LDR范围的中间附近。
[0043]在图2中，我们看见场景的计数n (L_Sc)与辉度L_sc的等效辉度直方图(或者至少高质量照相机如何近似地测量它们)。主要物体(辉度用主波瓣211示意性地表示)应当全部良好地大致落入LDR辉度范围R_Norml_LDR内(即，取决于实际场景对比度，这可能意味着它们落入用于低对比度物体的该范围的子集中，通常，具有1%与100%之间的反射率的、具有合理均匀的光照的物体也应当适合在范围R_Norml_LDR内，并且对于较高的范围而言一向例如JPEG或MPEG编码提供照相机的软剪切是不够的一微小量的主要物体像素可以剪切到LDR代码的外部值，即例如0和255)。典型地，LDR区域以在8比特LDR表示中映射到255的某种白色W*结束(并且典型地也可以使得该白色存在于所捕获的图像中，例如照相机自动曝光功能可以除了进行像灰度世界假设那样的一般计算之外，还查找最亮的物体并且将这些映射到255白色)。在其中，可能存在具有关键灰度值x%G的区域，例如，主演的波瓣201不应当太暗(也不太苍白)。
[0044]在利用图1例示的种类的场景中，也存在辉度远高于主要区域的区域，例如通过窗口在外面阳光下所看见的明亮区域102。它的指明其物体的反射率的直方图落入总的HDR辉度范围Range_HDR的另一个区域内(如可以在场景中利用光度计测量的，或者来自利用高动态范围照相机的捕获的近似，或者计算机图形学表示等等)，即明亮范围R_above。如果场景中只有明亮物体，那么该范围R_above与R_Norml_LDR互补,这不一定按照连续/相邻的方式，而是在于它包含场景中存在的所有其他的物体像素辉度。在该实例中，R_above包含甚至更亮区域的辉度，该更亮区域即商店中的灯的光区域103，具有光直方图203。低质量通常会剪切这样的较高辉度区域，或者至少不正确地(例如以苍白的去饱和的彩度)表示它们。
[0045]经常也存在非常暗的区域，比如在这种情况下在桌子底下的阴影中的物体的暗区域104。它具有落入暗范围R_Below中的暗直方图波瓣204。再一次地，在图像的较粗略的版本中，它们可能没有这么相关。例如，在其中从外部拍摄的另一个HDR场景中，可以将房屋的内部(如例如通过微开的门所看见的)再现为(接近)黑色，并且观看者可能看不见它。然而，可以想象，比于是也糟糕地对它编码更好的是(尤其是在照相机可以很好地捕获该数据的情况下)，也可以利用足够数量的分配的代码很好地表示那些暗的内部物体像素。不能忠实地与较亮区域有关地再现那些暗区域的LDR系统上的LDR再现于是可以根据该(附加的)数据决定施加颜色变换，该颜色变换在保持足够的微暗外观的同时，通过亮化确实显示出房屋门后的暗室中的一点物体结构。这是利用HDR编码所能做的，HDR编码原则上可以编码场景中的无论什么极端的辉度像素，不管它是否或者如何将在以后使用。
[0046]图2也示出了本发明的思想可以如何适应这样的编码，这将利用图4进一步阐明。如果例如使用已经预定义为数据结构的10比特数据字，那么可以在HDR范围[0-1023]内的某处包含直接可用(！)的LDR信号，并且其将最佳地编码HDR范围的该部分(不管它如何被编码，例如非线性对比度修改，以及对HDR范围的其余部分确切地做什么)。现在违反直觉的是对HDR范围的其余部分所做的。通常意义将指示人们只是以相同的编码方式在LDR子部分之外继续，直到10比特“占位符”亮度数据结构的范围允许的程度。即，定义代码的映射传递函数将是(通常像伽玛函数那样的简单函数的)简单继续，并且不是间断(更不用说我们的发明在某些方案中发现非常有用的非单调分配)。其思想是，于是如果由于相邻代码的相应场景辉度含义的微小差异的原因而形成某种误差(某种舍入误差或者由于某种图像处理而引起的亮度值向下的移动)，那么不会出现显著的视觉修改。我们认为，在当前数字时代，应当有可能确切地将一个子范围与另一个划界，并且因此完全避免任何这样的问题，即使相邻亮度代码(例如951与950)包含非常不同的含义的数据，即非常不同的场景物体辉度。此外，由于HDR颜色编码的特定性质，即使问题会出现，通常也不会这么严重。错误地(或者故意地)将某些HDR明亮辉度数据置于LDR范围R_Norml_LDR的较高代码中应当不是这样的问题，因为无论如何LDR图像针对高视亮度物体都被剪切(并且亮度253与255之间的差异也几乎不可察觉)。并且如果在HDR部分中出现错误，通常处理该数据的那些装置应当足够智能以发现和纠正它(例如通过检测因为映射到应当为LDR编码区域的区域而不协调的梯度)。
[0047]不管怎样，该原理允许对HDR外观仍然需要或希望的确切的那些像素辉度进行智能的非线性编码。即，可以例如为暗区域保留少量的亮度值0-11。这应当是允许复杂的非线性映射函数创建一个或若干个很好的暗区域再现的足够信息。由于暗区域从来不会是至关重要的，因而可以例如施加再现，使得暗辉度变成恰可察觉差异，或者在其他情况下(例如更高的亮化)，可能存在导致某种色调分离的更大的步长，但这对于微不足道的这种阴影区域通常仍然是可接受的。由于在该实例中不存在特殊意义的另外的场景辉度(如果对具有较高平均辉度的某个微暗房间成像，情况可能如此，这可以考虑到其再现需要更多亮度代码的子直方图编码)，因而可以以(12)正上方的亮度代码、具有重要意义的LDR范围的定义开始。并且这不管是否存在与暗区域的辉度间隙，或者是否存在重叠(在这种情况下，一些像素可能甚至也在LDR部分中被冗余地编码，例如，用于HDR编码的与R_below相应的亮度中的最亮像素11可能根据其场景辉度的更精确的量化而获得三个最低LDR代码之一的重新编码，即利用像素值12、13和14创建另外的物体纹理定义)。类似地，根据场景内容，与亮度951相应的场景辉度可以是与亮度950相应的辉度的两倍高(而不是例如高2%)，或
去二 /立宮坐坐
"0 ~J口间寸寸。
[0048]通常，可能有用的是共同编码对这样的区域划界的特殊灰度值。S卩，比固定用于LDR部分的固定的子区域更通用的是，可以与特性灰度值(在这种情况下为亮度值)gl=951通信，在那里编码的(第一)HDR部分开始，并且优选地进一步典型地在与画面编码关联的元数据MET中共同编码，该亮度值951与例如2000尼特的场景辉度相应。显示器侧然后可以确定如何在视觉上最佳地将其再现于具有比如3000尼特的局部峰值视亮度的显示器上，即也为甚至更高的视亮度的图像区域保留足够的空间。并且潜在地考虑用户设置，例如用户偏好对于其眼睛不太明亮或者为了节能的目的使用不足3000尼特的图像。
[0049]图3示意性地示出了可以存在于编码器中的一些实施例。总是存在允许标识LDR范围并且典型地表征它的某种LDR选择器。假定它尚未单独地分级，即存在例如仅仅来自HDR照相机的原始照相机图像，或者依照导演和DOP的偏好的最佳HDR主分级。我们将用输入的高动态范围图像IM_HDR_in表示这点。典型地,人类(或者智能算法)至少将标识哪个是该图像中的LDR部分，即应当在标准LDR观看系统上最佳地再现的那些场景区域，即具有良好的对比度、可能地也在一些较暗部分中的结构的可见性、用于人脸的正确颜色等等。典型地，也需要做出牺牲，至少隐含地标识未很好地被LDR编码/子部分覆盖的区域。即例如，一些较亮的区域可能有害地被软剪切，从而减少仍然表征那里的物体纹理的亮度代码的数量，或者甚至被硬剪切，即根本未被表示。但是，人类可以为例如暗阴影区域或者明亮的街灯合理地考虑这点。可选地，在编码单元301的许多实施例中，也可以存在颜色/辉度变换单元312，其允许分级者在将阴影区域的某个部分填入到LDR子部分的最低亮度中之前仍然例如非线性地亮化它。即，具有用于在创建编码时进行这种单独的颜色分级的单元允许很好地解耦合自捕获物体的原始辉度到要输出的单图像Im_l* (至少就需要单个视图而言是单个的，当然对于每个时刻可以存在例如多个3D视图，或者甚至可以存在另外的图像，其可以是可替换的HDR编码或者中间动态范围(MDR)分级等等)中的最终亮度代码的最终技术映射。通过这种方式,可以例如将标准的伽玛2.2映射CMAP_L用于LDR部分。在这种情况下，任何旧式LDR系统可以直接使用LDR子范围一通过仅仅阈值操作隔离它一并且因此通过适当地分级到LDR范围R_Norml_LDR中而实现HDR场景编码的某种智能性。
[0050]在任何情况下，分级者典型地将选择智能HDR映射(第二映射CMAP_H)以用于将HDR部分编码到该范围中剩余的部分中。对于例如10比特图像而言，仍然剩余1024-256=768个亮度代码，这对于相当一部分HDR方案应当是足够的。然而，如果要以8比特总亮度范围的7比特近似地编码LDR图像(通过另外的智能映射或者通过缩放牺牲I比特精度)，那么剩余代码数量为256-128=128。这应当仍然足以生成与主要区域相同精度的外部阳光区域，然而，减少的代码数量可能已经要求进行HDR效果的更智能的管理。例如，人们可能决定保留:那些代码中的120个用于阳光区域(102);仅仅2个亮度代码用于灯(103)，其于是被粗略地表示；并且仅仅6个用于暗区域(104)，其于是也不再以高精度表示。不过，优点在于，整个HDR信号可以适应8比特格式，并且不管是对于旧式系统还是HDR系统，任何解码器都可以容易地隔离128个代码的最佳LDR (7比特)范围(例如启动亮度7)，将其缩放到8比特以用于直接再现，在需要的情况下容易地撕开各个不同的HDR区域编码，并且然后例如在用于创建明亮灯区域再现等等的视亮度增强方案中映射它们以便获得最终的HDR图像Im_HDR_out (为了简单起见我们将考虑直接驱动图像，技术人员会理解另外的修改，比如考虑不同的显示器伽玛、显示器校准等等)。
[0051 ] 类似地，它可能在包括HDR选择器313的情况下是有用的，这可以允许分级者经由用户接口单元330 (典型地专用分级板和软件)例如对一些HDR区域(不太重要而不编码)去选择，或者将它们分开到特殊语义含义的不同部分中等等。通过这种方式，他可以例如调整HDR第二映射CMAP_H以便最佳地在亮度中编码明亮模式202与光模式203。可能有用的是具有可选的HDR颜色变换单元314以便比照由LDR颜色变换单元312利用LDR色调映射TM_L进行的色调映射，向各个不同的HDR区域像素颜色/辉度值施加一个或多个色调映射(或者一般而言颜色映射)TM_H。
[0052]代码映射单元315经由映射CMAP_L和CMAP_H施加编码，这些映射可以预定义(例如在特定【技术领域】中约定)或者由分级者最佳地设计并且共同编码到输出图像信号S的元数据中。该图像信号也可以包括一个或若干个有意义的灰度值，所述灰度值可以编码为特性辉度值(例如gt4)和/或特性辉度值(gC4)，并且如前面所提到的，帮助例如潜在地以例如用户可调整的方式解码应当最终将亮度代码951再现为哪个输出辉度。格式化器320将格式化在信号S中的图像Im_l*，并且技术人员会理解，这可能通过兼容性涉及这样的诸如DCT变换等等之类的常见技术以获得符合MPEG的流、分组化、依照蓝光光盘规范的结构化等等，而不管实现本发明构思的技术要求什么。
[0053]在LDR分级GRD_LDR_in已经存在的情况下，它典型地将被共同输入。另外的输入的元数据可以帮助利用HDR范围Range_HDR内的特定范围标识它，例如，使用的映射TM_G1的规范可以帮助获得LDR分级。典型地，LDR选择器311于是将包括LDR标识单元340，该单元被布置成在输入LDR等级与输入HDR图像之间进行映射。最复杂的实施例可以进行完整的空间颜色图像分析，例如标识相似的物体(例如经由边界检测和匹配)，分析分级如何在两幅图像中，提出或者实现自动的进一步的颜色/辉度映射变换(例如使得要编码的最终的LDR等级成为输入的LDR等级与HDR等级的中间变型)等等。在一些实施例中，到在其显示器上观看图像的分级者的反馈可以以例如伪彩色的形式给出以便示出HDR再现中的哪些物体与LDR输入(或者当前要输出)编码相应，并且允许显示潜在地夸大的、不同地比较等等的颜色变换。
[0054]尽管根据LDR编码如何确切地与HDR图像相关(例如是用来已经结合阳光室外的明亮区域202的大部分的智能色调映射)可以设想各种不同的高级构思，但是简单的系统可以仅仅定义在HDR图像中的何处切断并且替换的亮度(或者可以由彼此计算的辉度)的两个阈值gl和gh。在该方案中，LDR分级可以直接绕开或者穿过而不处理LDR颜色变换单元312，而不是从例如通过单元312计算修改的HDR图像M_HDR_in*实施的M_HDR_in生成修改的低动态范围区域，所述修改的HDR图像在HDR区域中具有未改变的辉度，但是在LDR区域中具有不同的辉度。
[0055]HDR图像编码，尤其是当前实施例，允许创建例如传达不同的情绪的视觉上完全不同的场景。自然范例总是至少让场景中的主要动作很好地再现(即最佳地可见)，这典型地导致将主要物体置于“聚光灯下”。然而，在文艺复兴中，发现其在宇宙中的次要地位的人们已经产生像微暗的瓦尼塔斯(vanitas)绘画那样的新图像种类。十九世纪人工照明的发现导致艺术家们发挥这个奇迹。除了日光世界之外，现在也发现了黑夜。并且这样的黑夜图像中的灰度值取决于场景如何被照亮。例如，像蜡烛那样的小弱点源可能具有这样的效果:在整个再现中，或多或少的物体区域将被照亮。应当指出的是，在心理上，暗的体验可能已经通过仅仅使得图像的一些物体或部分为暗，同时保持其余部分较亮而创建。因此，将存在从光源上的非常明亮逐渐变弱到理论零值的辉度范围。现在，问题是动作在何处发生。一个演员可能被蜡烛合理良好地照亮，但是第二动作(尤其是在恐怖电影中)可能发生在较暗的区域中。利用本发明，可以决定不选择很好地围绕第二演员的脸中的所有颜色的LDR范围，而是将他的像素颜色置于LDR范围的底部，甚至例如将其脸的较暗的较少受照射的半边剪切为零(LDR值，即例如单图像Im_l* HDR编码中的12)。在那种情况下，他的脸在LDR再现中将正确地再现为非常模糊。于是，可以在HDR部分(R_below)中编码这些暗的半边脸像素，使得HDR系统可以决定如何利用更多的纹理显示它们(例如，HDR显示器可能能够准确地生成暗得多的像素辉度，即使在特定光照下它们看起来不能被人类观看者辨别，因此实现与在LDR显示器上相同的、也许来自远处的模糊外观，而当更靠近地观看时，所述纹理才开始显现)。
[0056]图4示出了可以如何利用当前实施例编码输入范围的“灰度相关值”的示意性实例，这些值我们将再次假定为线性场景辉度(因此，像例如利用非线性亮度的特定编码或者例如来自计算机图形学设备的在数学上定义为在颜色空间中灰度相关的无论什么总是可以以这种等效的辉度(Lum_in_SCene)表示被变换)成为在10比特的实例中跨越1024个值的总HDR亮度范围RcTot_Iml的输出图像Im_l*的亮度Y_out (我们仅仅阐述目前最流行的在图像编码中灰度相关的亮度的概念，但是在那里，也可以容易地利用以线性辉度度量定义例如颜色的编码理解我们的发明)。在该代码定义实例中，我们允许负的亮度值。LDR部分可以利用标准2.2伽玛映射0祖?_1在LDR代码子范围R_LDR中找到，其也与特性辉度gt2与gt3之间的场景辉度相应。元数据可以简单地传送这些特性辉度gt2和gt3，使得需要图像编码以生成用于LDR旧式显示器的驱动值的系统只需选择该范围内的值，并且它们在它们以亮度Y_out零开始并且以亮度255结束的情况下已经被正确地归一化(即如果这些值用于对LDR范围cLDRl和cLDRh划界的特性亮度，那么它们在原则上甚至无需被传送或者共同存储)。负值可以在这里用于利用(总的HDR映射的)第一 HDR映射CMAP_H1表示暗模式204的暗区域。第二 HDR (子)映射可以映射更亮的HDR/场景图像像素，并且它可能涉及任何有用的函数形式(适当地映射到输出图像亮度的可用HDR子区域，即HDR范围R_LEffs_HDR)，该形式例如通过将最佳数量的亮度代码分配用于以其自身的最佳精度表示若干区域的内部纹理或者通过考虑对于这些子区域而言接收侧再现典型地将看起来像什么并且已经将它们置于近似正 确的亮度子范围内等等而确定。gt4为重要的事情开始的特性辉度，例如，它可以像阳光室外像素辉度停止并且光源辉度开始的地方那样简单(例如，可以以这样的方式进行HDR分级，使得这些区域在要编码的颜色变换的HDR画面M_HDR_in*中不重叠并且相邻)。对于接收侧而言，该特性辉度是非常有用的，因为它现在可以最佳地调整其明亮区域的再现，例如再现具有过分高的输出辉度的灯，如果显示器辉度范围允许这样的话，或者反之亦然，如果在LDR部分的再现上方没有许多明亮的颜色可用，则最佳地将显示器辉度分配给阳光室外像素和灯二者。该gt4可以帮助接收侧的图像分析方法(因为这是人类确定的有意义的值)，但是它也可以参数化接收侧的简单颜色变换函数，比如拉伸或者偏移。也看出，由于取消了编码的简单连续性属性，因而可以编码所有种类的间隙(如gtl与gt2之间的)和重叠，或者其他多个冗余编码等等。
[0057]另外的有用特性灰度值注释可以包含在输出信号S中，例如特性亮度gCdk可以形成利用LDR部分编码的两个语义图像子区域之间的划界。这可以用在例如用于例如在观看者控制下改进较暗区域的视亮度的算法中。
[0058]也示出了通过例如典型地也具有色调或颜色映射单元的代码转换器选择另一个LDR范围R_OTHSEL_LDR的可能性。在该实例中，我们例如通过应用软剪切策略包括了稍微更多的暗区域和亮区域。这具有例如最终的心理视觉效果:更多的暗区域变得可见，并且尽可能好的一些附加的明亮HDR效果被包括(例如虽然经常在LDR图像中彻底地剪切外部阳光区域，但是如果它太去饱和的话，可以仔细地选择以包括更多的颜色)。
[0059]图5示出了在电影创建系统中实施本发明的一些构思的示例性系统。HDR场景利用能够捕获HDR范围Range_HDR的大动态范围照相机501捕获，并且捕获的图像可以在照相机显示器503 (优选地也有HDR，尽管它可能例如通过使用滑动尺度或者某种色调映射或者伪彩色等等模仿HDR)上观看。从其上面，通过信号连接505 (网络或者无线(卫星)等等)将图像发送至图像处理设备510。取决于使用方案，对于现实生活广播而言，这可以是导演棚或卡车中的装置。在这种情况下，分级可以降至最少，映射可以是简单的并且仅仅在少数时刻施加:例如，在节目开始之前生成CMAP_L和CMAP_H的单个校准步骤，以及在与现实的偏离变得太极端并且在审阅的再现图像开始看起来不那么合意的情况下，在商业广告期间的升级。在电影创建方案中，它可以是(在颜色分级工作室中在后面的时刻离线的)分级者520的分级装置。在前一情况下，可以进行纯粹自动的图像分析。在后一方案下，它可以作为人类分级的起点而应用，即在当前实例中，我们假定进行半自动处理，通过分级者520终结。应当指出的是，相同的原理可以应用于任何中间的或者另外的步骤(例如重新制作先前分级的信号以用于新的应用)中。例如，在捕获侧，DOP可能已经(预先)规定得到的图像Im_LDR和Im_HDR中的场景的LDR/HDR组成，然而，分级者520可以重新规定该组成。例如，他可以经由适当的到中间32比特线性表示的色调映射将比如亮区的编码数据的一些辉度水平从LDR图像移动(或者拷贝)到HDR图像，或者反之亦然，从而获得修改的LDR和/或HDR编码图像。典型地，他可以例如通过切换或者并排查看HDR参考显示器531上的HDR版本和LDR参考显示器530上的LDR版本来查看相同场景的若干分级和/或编码。于是，他可以最优化每个典型类别的最终观看者将所能看到的，并且例如通过改变输出Im_l*的子范围而平衡这些信号中的每一个的编码质量。他可以将最终的分级图像Im_l*存储在数据载体511上。可能的是，他也可以比如通过规定映射函数Trf数学形式或者LUT等等而存储描述Y代码的含义的另外的元数据。
[0060]在图像处理设备510内部是进行实际的每像素计算工作并且产生最终的输出并且引导和帮助分级者的成像处理子单元。当然，会存在图像编码单元551，其被布置成根据照相机输入信号CSI和(典型地经由UI模块处理的)分级者偏好导出编码图像Im_l*。
[0061]此外，典型地将存在图像分析单元550，其分析图像，从而帮助编码。该单元可以查看直方图模式的属性以及像HDR输入图像那样的输入图像的某个子区域上的颜色分布，可能地进一步由像纹理或运动分析、参数化几何物体模型估计等等那样的其他图像分析部件帮助。它可以(再一次典型地通过人类介入帮助)输出表征它认为HDR信号中的LDR贡献像什么样的、在简单实施例中可能与范围一样简单的、数据结构SEL_LDR，以及可能地还有一些另外的关于灰度值如何在该范围内分布的信息(例如依赖于落入LDR范围内的、HDR图像区域中的、像素颜色的发生统计的函数)。在更复杂的实施例中，它可以是这样的复杂描述数据结构，使得它也包括LDR区域的语义信息，例如脸驻留在何处(这可与其颜色相联系或者与其相联系)等等。
[0062]该实例的图像处理设备510 (和分级者)也具有到像例如旧电影那样的旧内容580的访问链接581 (当然，技术人员理解，该功能可以在不同的装置中实施，并且由不同的分级者或者计算机图形学艺术家在成像链的不同阶段执行)。利用当前实施例，分级者可以将HDR效果添加到老的LDR电影，并且当前实施例非常有用在于LDR编码无需被改变(“被破坏”)，因为它可以编码为Im_l*的LDR部分，或者至少其非常简单的微小且很大程度上可逆的变换。然后，所有的HDR区域或效果可以编码到Im_l*的剩余范围内。此外，示出了另一个输出582，其用于经由互联网584为便携式显示器提供另一个编码Im_2*，例如用于另一个通信路径的不同编码，该编码可以是例如较低质量的编码，所述便携式显示器一方面可能具有对于LDR部分的降低的质量需求，并且另一方面将对HDR部分施加严重的变换以便在一定程度上仍然再现它，但是在很大程度上是失真的(然而与高质量系统基于本发明的编码实施例导出其需要的最终编码同样容易)。
[0063]沿着所述链进一步向下，可以存在视频改进服务(例如在远程服务器上)，这些服务可以例如在订阅时(通过适应性调节LDR和/或HDR部分，例如通过重新映射)改进Im_l*中的编码数据以便调适用于特定再现环境的图像。可以例如考虑以HDR区域为代价为不管怎样大多数是LDR的显示系统(比如移动电话)增大范围R_Norml_LDR。
[0064]天线512可以接收任何数据，或者进一步发射它，例如图像、操作指令等等。
[0065]图6示出了接收侧的再现系统的一个实例。它可以包括例如视频处理盒651 (其可以例如为机顶盒或者通用PC计算机，所述盒可以包括BD读取单元等等)和显示器，该显示器在该实例中为LED背光IXD电视602，但是它也可以是0LED、投影仪、简单LDR显示器
坐坐寸寸o
[0066]视频处理盒651具有输入，该输入取决于系统而可以例如为盘读取器、用于存储卡和连接的存储管理单元的插槽、连接外部装置的总线、具有解调器的天线和接收器、网络连接(不管是电缆还是无线的)等等。典型地，接收器将进行所有的信号去格式化(包括描述和必要的事情)，但是这正变成另一个【技术领域】的一般知识，我们将简单地假设编码图像Im_l*作为RAW图像而进入，无论它具有特定的亮度代码映射定义。如上面所描述的，元数据MET可能非常复杂，并且它可以进一步定义编码如何确切地发生并且因此应当如何进行解码，但是也可能的是，它可以进一步定义一旦图像被解码，可以对其做什么(该图像我们示意性地用Im_HDR_out显示，为了简单起见，可以假定它处于线性辉度表示，尽管也可以使用某种其他的主代码/颜色空间定义)。
[0067]特性灰度值标识单元661可以被包括以便从元数据MET提取那些特定代码(或者甚至基于图像分析进一步导出它们)，并且然后该信息可以用于例如色调重新映射中。
[0068]LDR复原单元656被布置成应用所有必要的函数以便确定编码图像Im_l*中的LDR部分，因此典型地，它将确定低动态辉度范围(R_Norml_LDR)，该范围然后可以用于从Im_l*中切出LDR图像。典型地，图像组成单元657将生成最终的HDR图像Im_HDR_out，因为它也将从HDR复原单元655接收HDR部分，并且这些部分(例如实施为LDR图像Im_LDR_O +HDR部分图像ImP_HDR_o)然后可以在施加适当的逆映射(CMAP_L_i和CMAPJT1)之后一起组成例如线性辉度域。也可以存在在将HDR图像发送至显示器(作为直接驱动信号或者需要显示器进一步变换的编码)之前涉及的、由色调映射单元658进行的另外的色调映射。该色调映射单元可以为了更好的观看质量而调适信号，例如利用变换函数TM_dk对亮度在gCdk以下的(或者事实上在由单元657映射到Im_HDR_out之后的相应辉度)的像素施加亮化变换。所述映射可以取决于例如由所述盒或电视或者观看者的地点处(例如在遥控器上)等的辉度计688记录的观看环境的属性的度量Surr_IL。当然，可以存在最终的格式化器659，其例如依照像例如HDMI标准那样的连接规范(连接的一个实例例如电缆650)调适信号。此外，为了允许显示器进行其自身的智能变换，格式化器也可以发送另外的图像编码，比如LDR信号的变型Im_LDR，其在线性HDR图像M_HDR_out中不再易于可辨。这允许显示器例如在用户控制下进行其自身的颜色映射(通过包括的图像处理单元620)。可以传送另外的元数据MET_2 (HDR)，其描述至少传送的HDR信号，诸如例如它如何由单元658重新调适。电视可以例如根据其是主要图像还是小的PIP而不同地使用该信息。
[0069]解码单元651也可以包括或者连接到天线699并且将相同或者另一个HDR输出图像传送至例如便携式显示装置630。
[0070]作为当前实施例与容易的重新再现如何工作的一个实例，用户接口可以被示出具有“信息察觉视亮度控制”，例如遥控器上的改进的视亮度按钮641。代替在按压该按钮时盲目地将偏移添加到Im_HDR_out的所有像素辉度，视频处理盒651或者电视可以应用新的色调映射策略，该策略例如重新映射与其余像素不同的暗波瓣204的信息，因此获得暗物体的好得多的可见性。各个不同的特性灰度水平可以通过参数化这样的动作，通过定义必须对不同的子范围做什么(更强的亮化、协调的较少亮化量、身份变换)而强烈帮助。
[0071]当前实施例允许在再现侧实现改进的用户接口命令。更智能地适应性调节的重新点燃按钮642或者更智能的对比度改进按钮643可以不仅利用所有的元数据，而且也利用编码子范围。例如，该对比度按钮可以应用到处于黑暗中且不良照射的脸部区域。甚至当正确地照射时，利用特性灰度值对该范围划界也可以允许不同地处理它。例如，要施加到脸部区域的修改伽玛函数可以依赖于元数据。
[0072]应当指出的是，本发明并没有排除除了 LDR范围(或者潜在地原则上甚至数个LDR范围或子范围)之外还具有超过I个的HDR范围或子范围，并且特别地，它可以如将利用图7的实例来阐述的使用该自由合并若干等级。特别地，沿着所述范围的灰度值或者其任何变换之间不再具有简单连续非线性关系的自由是个巨大的优点。人们可以将所有经典的色调映射变换看作一种将某些灰度值区域推送至某处的“弹簧”，这可能是或者可能不是所希望的。例如，伽玛函数是这样的简单化变换的一个实例。它基本上保持白色固定，并且主要对辉度尺度的较暗区域起作用。它可能使得一些中间灰度太暗，或者为较暗区域保留了太多的代码。具有由连续分配函数定义的单一辉度范围并且没有另外的精确子控制总是涉及到精确地平衡剪切白色或黑色。应当指出的是，(甚至对于例如在变换到不同的颜色表示系统时出现的那些简单连续“弹簧型”变换而言)必须区分颜色/辉度编码和再现。除非当例如在经典电视链(比如PAL或MPEG2)中发生的直接施加到显示器时，否则亮度代码值无需直接地对应于确切要再现的用于图像区域的辉度，因为可能总是存在实现诸如显示和/或观看环境特性之类的再现要求的中间变换，但是应当存在足够的代码值以便合理地表征存在的物体。即，当可以将图像中编码的场景的基于照明的“外观”从捕获的场景物体纹理的编码中解耦合时。即，本发明可以标识例如若干光照区域(一些照亮的区域、中间区域、暗区域)，然而将它们编码成好像它们全都理想地被照射(其中它们在照相机捕获期间可能不是这样)，即具有最佳的足够的代码值范围/数量。再后来，可以应用所需的再现外观。例如，LDR显示器或者装置可以决定它是想要将暗像素辉度的暗区域显示得有点亮化，还是显示为不能辨别的黑色。例如，当利用电视电影扫描电影时，该电影的趾部(toe)以及尤其是肩部(shoulder)的宽大斜率(forgiving slope)可以包含大量信息。S卩，例如,甚至当暗区域包含大量噪声时，扫描的暗区域也可以例如在智能降噪或者普通物体改进算法(其可以涉及复杂的操作，比如例如对暗物体上的数学纹理进行图像修复的计算机图形学特效)之后利用用于该暗区域的大量代码值将该暗区域编码到最终的数字HDR编码中。或者，可以基于在用途方面(例如再现方面)仍然可能对这样的暗区域做什么的预期确定最佳数量的代码值，这可能不那么重要。LDR系统于是可以例如亮化该区域，直到它落入其亮度代码范围的中间，具有比其以仅仅少数最暗的代码值被编码少得多的伪像。
[0073]图7现在示意性地示出了可以如何将用于电影制作者的三个重要的分级(当然，可以例如为电视新闻报告或者游戏创建构建类似的方案)集成到单个HDR图像编码结构中，作为本发明实施例的一个实例。假定(尽管当然可以在经典的赛璐珞上摄制电影)电影RAW信号摄制在数字照相机上，例如ARRI或者RED。第一等级是用于电影院的主分级(不管是印制在经典的胶片上还是数字地投影)。该等级可以被看作HDR等级，因为首先创建者将把它看作高质量等级，其次电影院具有合理良好的再现特性。再现可以在黑暗中执行，但是对此的视觉适应可以在很大程度上通过简单的数学映射函数来进行。尽管画面内对比度可以由于诸如投影装备(以及当然还有影剧院中的诸如安全灯之类的灯)之类的因素而降低，但是画面间动态对比度可以是良好的，并且典型地可以以令人信服的方式再现黑暗的恐怖环境和阳光室外二者。编码典型地考虑到例如赛璐珞电影的灰度值行为。因此，在该主分级中，人们可能想要以良好的精度编码从黑暗环境中的黑色物体(其可以在适应黑暗环境时被分辨，但是最重要的不是这么多的实际辉度或者其任何代码表示，而是其心理影响，即黑色区域在明亮再现中从来不会像它在暗再现中看起来那样看起来这么暗)到诸如向观察者闪耀的闪光灯之类的明亮灯光(其在电影院中将大致为高度明亮的心理解释，但是在一些HDR显示器上人们可以真实地创建非常明亮的区域)的一切事物。第二分级可以是用于家庭环境中的电子显示器的HDR分级(我们将把它称为“家庭HDR分级”)，例如可以经由HDR电视付费频道提供。它可以大致与主等级相符合(因为它们典型地可以通过在不同的再现环境中近似地维持外表的简单映射函数而相关)，然而它可以例如包含较少的暗代码以及较多的亮代码。应当指出的是，一些区域的任何细调可以利用元数据变换函数进行编码，但是对于像素值的重新编码，尤其如此，在这种情况下，利用本发明可以在比如某个明亮像素区域的HDR信号中存在双编码。例如，在主等级中其亮度可能被减弱的灯的像素值范围可以编码到用于电影院等级的CMAP_H2_CIN范围中，并且再一次地以不同的方式编码到CMAP_H2_DISPL范围中，这可以例如以像素交错的方式(即棋盘图案，其可以在再现之前被滤波)进行。
[0074]然而，典型地，第一类别的灯将落入为用于电影剧院的主等级的明亮区域而分配的范围(即CMAP_H2_CIN)内，并且其他非常明亮的灯可以编码到在用于家庭HDR分级的最终HDR信号中分配的另一个较高的范围中。一种典型的实现可以例如仅仅在家庭HDR子范围CMAP_H2_DISPL中编码这些非常明亮的区域(在任何场景假设表示中，例如也创建最终HDR信号表示的分级装置中的中间线性辉度颜色空间)。影剧院中的电子影院放映机然后将施加将该代码改变为可用值的最终的再现变换，这实际上相当于好像在CMAP_H2_IN的上部编码图像区域的相同事情。也可以这样定义该范围CMAP_H2_DISPL，使得它具有例如非常陡的斜率，允许非常明亮的光区域，但是具有较少的细节。这意味着例如甚至可以编码超新星，所述超新星实际上不能忠实地在任何不久的将来的显示器上再现，不过该显示器可以使用这些不同的物体代码值以转换到适当的可再现的显示空间驱动值。
[0075]我们也利用CMAP_H1和CMAP_H2分别给出了暗区域编码的两个实例。第一个实例可以例如与可能想要用于电子家庭显示器的可再现值的不太暗的区域相应(典型地在较亮的观看环境中)。不必将这些包括在典型的LDR光照范围中，但是可以将它们编码到较低的子范围中，因为事实上它们不再完全是LDR。不过，旧式LDR成像系统在其切除LDR部分的情况下(在该情况下这些值将被再现为最暗的黑色)将合理地表现，但是更智能的LDR系统(至少具有LDR显示能力)可以例如通过局部地将那些不那么暗的代码值映射为更亮的可显示的驱动值而构建新的LDR驱动信号(典型地利用平衡纹理变化的可分辨性与总的图像外观所需的暗度的算法)。CMAP_H2区域于是可以包含甚至更暗的区域，这些区域主要对于电影院放映有意义。我们因此看到，该系统允许在显示/解码侧以及在创建/编码侧非常容易地使用信号。在解码侧，只要作为LDR显示器等级(例如人们现在典型地针对DVD或者BD创建所进行的)的第三等级处于CMAP_L部分中，那么LDR系统可以容易地提取它，不管它是想要仍然对HDR信号中的剩余信息做些什么还是忽略它(即将所有较低的值作为例如0对待)。HDR家庭显示器可以解释并且使用除了 CMAP_H2区域以外的一切事情。再者，内容创建者将在简单化的工作流中以及协调和一起保存一切东西的可能性中非常受益于该系统(尽管该系统当然也允许在以后的时间进行代码转换，不过尤其是如果利用该系统共同编码关于选择和变换的另外的元数据，那么至少所有的分级专业技术已经在信号中以用于以后的优化)。例如，他可以使用无论什么策略以达到LDR部分。取决于他的质量准则，他可以仅仅例如固定LDR部分的某个映射策略，并且同时在某个LDR显示器上看看LDR等级是否看起来合理(或者将其注释为例如“对于主等级是良好的，以后要在改进的家庭LDR等级中优化”;我们的系统然后可以生成要存储在BD上的第二分离HDR信号，但是也可以仅仅细调原始主分级，使得这三个等级仍然合理地包含在一个HDR编码中，即通过定义用于最小化如单幅HDR图像中编码的(可复原)等级的失真的质量准则)。同事可以在放映室中看看主等级看起来如何，并且也检查LDR等级的分级者可以同时看看HDR参考监视器，诸如例如SM2。对于所有子区域、那里的定义和嵌入具有完全且复杂的控制允许一起实现所有这三个分级的强大编码，不管人们具有松弛的还是严格的质量准则。例如，LDR部分可以智能地定义为“正常照亮的环境”(R_Norml_Lit_EnV)并且分级者可以根据与在HDR质量方面他可以侥幸做成什么相比，他可以将什么映射到LDR范围，而对此选择。但是应当指出的是，映射(其将被共同编码)可能非常复杂。因此，不仅仅是应当将亮点剪切到LDR子范围内，这在复原HDR信号时可能引入伪像。由于无论如何都必须降低亮点的辉度以用于LDR再现，这可以利用这样的映射进行，使得尤其是在与例如上面的范围CMAP_H2_CIN中编码的HDR物体整齐协调的映射之后，那些明亮的HDR解码仍然可复原为正确的明亮。因此，分级者具有很大的自由以选择如在其子范围中编码的主要LDR情节。即，他可以例如纯粹在诸如代码量之类的信息论原理上选择该映射CMPA_L&用于比如非优化光照下的脸部的精确再现，或者以后更容易地使用信号(通过明确地排除剪切的一些物体，例如暗区域，其是语义声明共同编码)等等。可以例如计算有多少用于场景的特定子区域的代码值是所希望的(例如如果它为暗并且没有这么多的高度复杂的空间物体纹理)，并且然后智能地分配例如[0-255]的某个区域。作为比特数的在任何信号定义中需要存储分配的码字长度以及含义(任何“场景表示”，例如参考显示空间{16bit_defintion_gamma_l，0.1-5000尼特}中的辉度)现在最佳地被解耦且可控。
[0076]本文中公开的算法组件可以(全部地或者部分地)在实践中实现为硬件(例如专用IC的部分)或者实现为运行在专用数字信号处理器或者通用处理器等等上的软件。它们可以在以下意义上是半自动的:至少某用户输入可能/可能已经(例如在工厂中或者消费者输入或者其他人类输入)存在。
[0077]技术人员根据我们的介绍应当可理解哪些部件可以是可选的改进并且可以与其他部件组合地实现，以及(可选的)方法步骤如何与装置的各构件相应，以及反之亦然。一些部件在本发明中以特定的关系(例如在单幅附图中以特定的配置)被公开这一事实并不意味着其他的配置不可能作为本文中公开以申请专利的相同发明思想下的实施例。再者，出于务实的原因仅仅描述了实例的有限谱这一事实并不意味着其他的变型不能落入权利要求书的范围下。事实上，本发明的部件可以在沿着任何用途链的不同变型中实施，例如，像编码器那样的创建侧装置的所有变型可以与分解系统的消费侧的相应装置(例如解码器)类似或者相应，并且反之亦然。例如在诸如总的处理链中存在的本发明各个不同部件之间的技术功能协调之类的用途中，在编码器与解码器之间的任何传输技术中等等，所述实施例的若干部件可以被编码为用于传输的信号中的特定信号数据。在本申请中，措词“装置”在其最广泛的意义上使用，(即允许实现特定目的的一组构件)，并且因此可以例如为IC (的小部分)或者专用器具(例如具有显示器的器具)或者联网系统的部分等等。“布置”或“系统”也被预期在最广泛的意义上使用，因此它可以除别的以外还包括单个物理的可购买的装置，装置的部分，协作装置(的部分)的集合等等。
[0078]计算机程序产品外延应当被理解为涵盖命令集合的任何物理实现，这些命令在将命令输入到处理器中的一系列加载步骤(其可以包括中间转换步骤，例如翻译成中间语言和最终的处理器语言)之后使得通用或专用处理器能够执行发明的任何特有功能。特别地，计算机程序产品可以实现为诸如例如盘或带之类的载体上的数据、存储器中存在的数据、经由网络连接(有线的或者无线的)行进的数据，或者纸上的程序代码。除了程序代码之外，程序所需的特性数据也可以实施为计算机程序产品。这样的数据可以以任何方式(部分地)提供。
[0079]本发明的任何实施例或者依照当前实施例的任何哲理可用的任何数据(比如视频数据)也可以实施为数据载体上的信号，所述数据载体可以为可移除存储器，比如光学盘、闪存、可移除硬盘、经由无线构件可写的便携式设备等等。
[0080]操作任何给出的方法所需的一些步骤可能已经存在于本发明的处理器或者任何装置实施例的功能中，而不是在本文描述的计算机程序产品或者任何单元、装置或方法(具有本发明实施例的细节)中描述，例如数据输入和输出步骤，公知的典型地结合的处理步骤，例如标准显示器驱动，等等。我们也希望保护得到的产品和类似的结果，比如例如所述方法的任何步骤或者所述装置的任何子部分中涉及的特定新颖信号以及这样的信号的任何新的用途或者任何相关的方法。
[0081]应当指出的是，上述实施例说明了而不是限制了本发明。在技术人员可以容易地实现给出的实例到由权利要求书覆盖的其他区域的映射的情况下，我们为了简洁起见没有深入地提及所有这些选项。除了如在权利要求书中组合的本发明的元件的组合之外，这些元件的其他组合也是可能的。元件的任何组合可以在单个专用元件中实现。
[0082]在权利要求中，括号之间的任何附图标记并不预期用于限制该权利要求，附图中的任何特定符号也如此。措词“包括”并没有排除存在权利要求中未列出的元件或方面。元件之前的措词“一”或“一个”并没有排除存在多个这样的元件。
【权利要求】
1.一种图像编码单元(301)，被布置成对高动态范围图像(IM_HDR_in)编码，包括: -LDR选择器(311)，其用于标识由高动态范围图像覆盖的总辉度范围(Range_HDR)内的低动态辉度范围(R_Norml_LDR)或者相应的亮度代码值范围(R_LDR)； -HDR选择器(313)，其用于选择总辉度范围(1^叩6_册10内的至少一个互补范围(R_above)，该互补范围主要包括未被低动态辉度范围(R_Norml_LDR)覆盖的辉度； -代码映射单元(315)，其被布置成在至少具有包括N比特码字的亮度分量的第一图像(Im_l*)中依照第一映射(CMAP_L)将落入低动态辉度范围(R_Norml_LDR)内的高动态范围图像(M_HDR_in)的像素辉度编码为亮度代码值(Y_out)，并且依照第二映射(CMAP_H)将落入所述至少一个互补范围(R_above)内的高动态范围图像(M_HDR_in)的像素辉度编码为亮度代码值(Y_out)，其中第一和第二映射映射到第一图像的亮度代码值范围(RcTot_Iml)的分离的子范围。
2.如权利要求1所述的图像编码单元，包括变换单元(312)，该变换单元被布置成向具有落入低动态辉度范围(R_Norml_LDR)内的辉度的高动态范围图像(IM_HDR_in)的像素颜色施加色度变换，以获得用于那些像素颜色的修改的像素辉度(L*)。
3.如上面的权利要求之一所述的图像编码单元，其中LDR选择器(311)包括基于输入LDR分级图像(GRD_LDR_in)和/或表征该LDR分级图像的元数据(TM_G1 (gl, gh))标识总辉度范围(Range_HDR)的低动态辉度范围(R_Norml_LDR)的标识单元(340)。
4.如权利要求3所述的图像编码单元，其中代码映射单元(315)被布置成依照LDR分级图像(GRD_LDR_in)中编码的像素颜色值映射落入低动态辉度范围(R_Norml_LDR)内的高动态范围图像(IM_HDR_in)的像素辉度。
5.如上面的权利要求之一所述的图像编码单元，包括图像信号格式化器(320)，该图像信号格式化器被布置成除了第一图像之外还输出特性辉度水平(gt4)或者特性亮度代码值(gC4)中的至少一个。
6.一种高动态范围图像(IM_HDR_in)的图像编码方法，包括: -选择由高动态范围图像覆盖的总辉度范围(Range_HDR)内的低动态辉度范围(R_Norml_LDR)或者相应的亮度代码值范围(R_LDR)； -选择总辉度范围(Range_HDR)内的至少一个互补范围(R_above)，该互补范围主要包括未被低动态辉度范围(R_Norml_LDR)覆盖的辉度； -朝着至少具有包括N比特码字的亮度分量的第一图像的亮度代码，依照第一映射(CMAP_L)将落入低动态辉度范围(R_Norml_LDR)内的高动态范围图像(IM_HDR_in)的像素辉度映射为亮度代码值(Y_out)，并且依照第二映射(CMAP_H)将落入所述至少一个互补范围(R_above)内的高动态范围图像(M_HDR_in)的像素辉度映射为亮度代码值(Y_out)，其中第一和第二映射映射到第一图像的亮度代码值范围(RcTot_Iml)的分离的子范围。
7.如权利要求6所述的高动态范围图像(IM_HDR-1n)的图像编码方法，包括对于具有低动态辉度范围(R_Norml_LDR)内的辉度的像素执行颜色分级。
8.一种图像解码单元(651)，被布置成根据高动态范围图像编码(Im_l*)获得高动态范围图像(IM_HDR_out),包括: -LDR复原单元(656)，其被布置成确定由高动态范围图像覆盖的总辉度范围(Range_HDR)内的低动态辉度范围(R_Norml_LDR)或者相应的亮度代码值范围(R_LDR)，并且被布置成根据高动态范围图像编码获得低动态范围图像(Im_LDR_o)； -HDR复原单元(655)，其被布置成确定总辉度范围(Range_HDR)内的至少一个互补范围(R_above)，该互补范围主要包括未被低动态辉度范围(R_Norml_LDR)覆盖的辉度，并且被布置成根据高动态范围图像编码确定与该至少一个互补范围(R_above)相应的至少一个高动态范围子图像(ImP_HDR_o)； -图像组成单元(657)，其被布置成根据低动态范围图像(Im_LDR_o)和所述至少一个高动态范围子图像(ImP_HDR_o)组成高动态范围图像(IM_HDR_out)，其中低动态范围图像(Im_LDR_o)和所述至少一个高动态范围子图像(ImP_HDR_o)大致覆盖高动态范围图像(IM_HDR_out)的非重叠辉度子范围。
9.如权利要求8所述的图像解码单元(651)，包括被布置成从输入元数据(MET)中提取特性辉度水平(gt4)或者特性亮度代码值(gC4)中的至少一个的特性灰度值标识单元(661)。
10.如权利要求9所述的图像解码单元(651)，其中LDR复原单元(656)被布置成基于特性辉度水平(gt4)或者特性亮度代码值(gC4)确定低动态辉度范围(R_Norml_LDR)。
11.如权利要求9所述的图像解码单元(651)，包括色调映射单元(658)，该色调映射单元被布置成至少在像素颜色的辉度或亮度落入分别由特性辉度水平(gt4)或者特性亮度代码值(gC4)所定义的高动态范围图像(IM_HDR_out)的辉度或亮度子范围内时变换所述像素颜色。
12.如权利要求11所述的图像解码单元(651)，其中色调映射单元(658)被布置成优选地根据来自光传感器(688)的环绕光照(Surr_IL)的测量对至少具有在特定阈值以下的辉度或亮度的像素颜色施加亮化变 换。
13.一种根据高动态范围图像编码(获得高动态范围图像(IM_HDR_out)的图像解码方法，包括: -确定由高动态范围图像覆盖的总辉度范围(Range_HDR)内的低动态辉度范围(R_Norml_LDR)或者相应的亮度代码值范围(R_LDR)，并且根据高动态范围图像编码(Im_l*)获得低动态范围图像(Im_LDR_o)； -确定总辉度范围(Range_HDR)内的主要包括未被低动态辉度范围(R_Norml_LDR)覆盖的辉度的至少一个互补范围(R_above)，并且根据高动态范围图像编码(Im_l*)确定与该至少一个互补范围(R_above)相应的至少一个高动态范围子图像(ImP_HDR_o)； -根据低动态范围图像(Im_LDR_o)和所述至少一个高动态范围子图像(ImP_HDR_o)组成高动态范围图像(IM_HDR_out )，其中低动态范围图像(Im_LDR_o )和所述至少一个高动态范围子图像(ImP_HDR_o)大致覆盖高动态范围图像(IM_HDR_out)的非重叠辉度子范围。
14.一种计算机程序产品，包括软件，该软件对使得处理器能够实现它的方法6编码。
15.一种计算机程序产品，包括软件，该软件对使得处理器能够实现它的方法13编码。
16.一种图像信号，对高动态范围图像(IM_HDR_in)编码，特征在于，它至少包括这样的编码，该编码对二维亮度画面编码化，由亮度代码值(Y_out)到要再现的辉度(Lum_in_scene)的映射(CMAP)定义，其中低动态辉度范围(R_Norml_LDR)覆盖关于其颜色特性而被调适以便在低动态范围显示系统上再现的低动态范围图像(Im_LDR_o)的编码，并且非重叠互补子范围(R_above+R_below)覆盖可用于在高动态范围显示系统上再现动态范围图像(IM_HDR_in)的高动态范围像素颜色。
17.如权利要求16所述的图像信号，进一步包括特性辉度水平(gt4)或者特性亮度代码值(gC4)中的至少一个。
18.一种存储器硬件部件，诸如例如可移除数据载体，诸如例如蓝光光盘，包含如权利要求16或17所述的信号。
【文档编号】H04N19/00GK103493487SQ201280020672
【公开日】2014年1月1日 申请日期:2012年4月23日 优先权日:2011年4月28日
【发明者】M.J.W.梅坦斯 申请人:皇家飞利浦有限公司