包括变化的元数据等级的用于控制颜色管理的可缩放系统的制作方法

包括变化的元数据等级的用于控制颜色管理的可缩放系统的制作方法
【专利摘要】本公开涉及包括变化的元数据等级的用于控制颜色管理的可缩放系统。实施例公开了通过一组元数据来处理用于目标显示器的图像数据的方法，所述一组元数据与图像内容相关联，该方法包括：接收和解码图像数据；确定是否接收到与所述图像数据相关联的一组元数据；如果接收到与所述图像数据相关联的一组元数据，则根据与所述图像数据相关联的所述一组元数据来计算颜色管理算法的参数，其中，所述一组元数据至少包括：a.白点，表示为x、y色度坐标，b.三原色，每个都表示为x、y色度坐标，c.最大亮度级，以及d.最小亮度级。
【专利说明】包括变化的元数据等级的用于控制颜色管理的可缩放系统
[0001]本申请是申请日为2012年5月17日、题为“包括变化的元数据等级的用于控制颜色管理的可缩放系统”的发明专利申请201280025742.9的分案申请。
[0002]相关申请的交叉引用
[0003]本申请要求2011年5月27日提交的美国临时专利申请N0.61/494014的优先权，该申请通过引用整体合并于此。
【技术领域】
[0004]本发明涉及图像处理，更特别地，涉及利用元数据(更特别地，各种元数据层的元数据)对图像和视频信号进行编码和解码。
【背景技术】
[0005]已知的可缩放视频编码和解码技术允许根据目标视频显示器的能力和源视频数据的质量来扩展或收缩视频质量。
[0006]然而，可以在使用和应用单个等级或各种元数据等级的图像元数据时作出图像和/或视频呈现以及观众体验的改善。

【发明内容】

[0007]此处公开了可缩放的图像处理系统和方法的若干实施例，其中，根据变化的元数据等级来改变将要在目标显示器上显示的源图像数据的颜色管理处理。
[0008]在一实施例中，公开了一种通过一组元数据等级来处理图像数据并且在目标显示器上呈现图像数据的方法，其中元数据与图像内容相关联。该方法包括:输入图像数据；确定与所述图像数据相关联的一组元数据等级；如果没有元数据与所述图像数据相关联，则执行一组图像处理步骤中的至少一个步骤，所述一组图像处理步骤包括:切换到默认值并且相适应地计算参数值；如果元数据与图像数据相关联，则根据与图像数据相关联的一组元数据等级来计算颜色管理算法的参数。
[0009]在又一实施例中，公开了一种解码图像数据并且通过一组元数据等级来在目标显示器上呈现图像数据的系统。该系统包括:视频解码器，所述视频解码器接收输入图像数据并且输出中间图像数据；元数据解码器，所述元数据解码器接收输入图像数据，其中所述元数据解码器能够检测与所述输入图像数据相关联的一组元数据等级并且输出中间元数据；颜色管理模块，所述颜色管理模块从所述元数据解码器接收中间元数据，从所述视频解码器接收中间图像数据，并且基于所述中间元数据对所述中间图像数据执行图像处理；以及目标显示器，所述目标显示器接收并且显示来自所述颜色管理模块的所述图像数据。
[0010]下面的“【具体实施方式】”在与本申请内给出的附图一起阅读时呈现了本系统的其他特征和优点。
【专利附图】

【附图说明】[0011]在附图的参考图示中示出了示例性实施例。此处公开的实施例和图示旨在视为示范性而非限制性的。
[0012]图1A、图1B和图1C示出了从视频信号的创建、分发到消费的当前视频管道(pipeline)的一实施例。
[0013]图2A描绘了根据本申请的教导包括元数据管道的视频管道的一实施例。
[0014]图2B描绘了元数据预测块的一实施例。
[0015]图3示出了使用等级I元数据的S形曲线的一实施例。
[0016]图4示出了使用等级2元数据的S形曲线的一实施例。
[0017]图5示出了基于可用于调节映射到目标显示器上的图像/视频的图像/场景分析的直方图的一实施例。
[0018]图6示出了包括图像/视频数据的第二基准显示器分级的基于等级3元数据的调节了的图像/视频映射的一实施例。
[0019]图7示出了在目标显示器与用于对图像/视频数据进行颜色分级的第二基准显示器基本良好匹配时可能发生的线性映射的一实施例。
[0020]图8是根据本申请的原理作出的视频/元数据管道的一实施例。
【具体实施方式】
[0021]贯穿以下说明，阐述了具体细节以向本领域技术人员提供更透彻的理解。然而，可能没有示出或详细描述已知元素以避免不必要地模糊本发明。相应地，描述和附图应被视为示范性的，而不是限制性的。
[0022]概览
[0023]视频质量的一个方面考虑以图像或视频的创建者想要的那样的相同或基本相同的保真度在目标显示器上呈现图像或视频。希望具有颜色管理(CM)方案，其试图在带有不同能力的显示器上保持视频内容的原始外观。为了实现该任务，希望这样的CM算法能够在最终完成视频的后期制作环境中预测视频在观众看起来是什么模样。
[0024]为了说明与本申请和系统密切相关的问题，图1A、1B和IC描绘了当前视频管道100的一实施例，跟踪视频信号从视频信号的创建、分发到消费。
[0025]视频信号的创建102可以伴随有视频信号被颜色分级员106进行颜色分级104，颜色分级员106可以分级信号的各种图像特性，例如输入视频信号的亮度、对比度、显色性。颜色分级员106可以分级信号以产生图像/视频映射108，这样的分级可以对可能具有例如伽马响应曲线112的基准显示设备110进行。
[0026]一旦信号已被分级，就可以通过分发114来发送视频信号，这样的分发应从广义上来考虑。例如，分发可以通过因特网、DVD、影院展示等。在本例子中，图1A将分发示为将信号传送到最大亮度100尼特且具有伽马响应曲线124的目标显示器120。假设基准显示器110具有与目标显示器基本相同的最大亮度和基本相同的响应曲线，那么应用于视频信号的映射可以简单的是1:1映射122那样，并且根据例如用于颜色管理118的Rec709STD进行。假定所有其他因素都等同(例如，比如目标显示器处的环境光条件)，那么，在基准显示器处看到的基本上是将在目标显示器处看到的。
[0027]该情况可能会发生变化，例如，如图1B所示，目标显示器130在多个方面不同于基准显示器110，例如，最大亮度(500尼特，而非基准显示器的100尼特)。在此情况下，映射132可能是1:5映射，以在目标显示器上呈现。在这种情况下，映射是通过Rec709CM块的线性拉伸。从基准显示器视图到目标显示器视图的任何潜在失真可能令观众不悦，也可能不会令观众不悦，这取决于个人辨识力水平。例如，暗和中色调被拉伸，但有可能是可接受的。另外，可能使MPEG成块伪像更显著。
[0028]图1C示出了更极端的示例。这里，目标显示器140可以具有与基准显示器更大的区别。例如，目标显不器140具有1000尼特的最大売度,而不是基准显不器的100尼特。如果对去往目标显示器的视频信号应用相同的线性拉伸映射142，那么对观众而言，可能存在显著得多并且令人不悦的失真。例如，视频内容可能以高得多的亮度级(1:10比率)来显示。暗和中色调可能被拉伸到这样的程度:原始捕捉的摄像机噪声是明显的，图像的暗区中的成带(banding)变得更显著。另外，MPEG成块伪像可能更显著。
[0029]在没有彻底地研究可以向观众呈现有多令人不悦的伪像的所有可能示例的情况下，讨论更多一些可能是有益的。例如，假设基准显示器具有比目标显示器(比方说100尼特)更大的最大亮度(比方说600尼特)。在此情况下，如果映射再次是6:1线性拉伸，那么内容可能以总体更低的亮度水平显示，图像可能看起来显得暗，图像的暗细节可能具有明显的破坏性。
[0030]在又一示例中，假设基准显示器具有与目标显示器(比方说1000尼特)不同的最大亮度(比方说600尼特)。应用线性拉伸，即使可能只有小的比率差异(即，接近于1:2)，最大亮度的大小差异也可能是大并且有害的。由于大小差异，图像可能过于太亮，可能看起来不舒服。中色调可能不自然地拉伸，可能看起来像褪了色。另外，摄像机噪声和压缩噪声两者都可能明显和令人不悦。在又一示例中，假设基准显示器具有等于P3的色域，目标显示器具有小于REC.709的色域。假设内容在基准显示器上进行颜色分级，但是呈现的内容具有相当于目标显示器的色域。在此情况下，将内容从基准显示器色域映射到目标色域可能不必要地压缩内容并且使外观不饱和。
[0031]在没有目标显示器上的图像呈现(image rendering)的某种智能(或至少更准确)的模型的情况下，某些失真或有害伪像有可能对图像/视频的观众而言将变得明显。事实上，观众体验到的有可能不是图像/视频的创建者想要的。虽然论述专注于亮度，但是可以理解，相同的考量也将适用于颜色。事实上，如果在源显示器的颜色空间和目标显示器的颜色空间之间有差异，并且该差异没有被正确地解决，那么颜色失真也将是明显的伪像。相同的概念对于源显示器和目标显示器之间的周围环境的任何差异也成立。
[0032]元数据的使用
[0033]在阐述这些示例时，期望理解基准显示器、目标显示器和源内容的本质和功能，以便创建对于最初计划的视频尽可能高的保真度。有描述各方面并且传输原始图像数据的信息的其他数据，称为“元数据”，用于这样的忠实呈现中。
[0034]尽管色调和色域映射器一般对于为特定显示器处理的图像的大致80-95%适当地执行操作，但是，使用这样的通用解决方案来处理图像是有问题的。通常，这些方法不能保证屏幕上显示的图像匹配导演或初始创作者的意图。还要注意，不同的色调或色域映射器可能对不同类型的图像更有用，或更好地保留图像的基调。另外，还应注意，不同的色调和色域映射器可能会导致细节的截限(clipping)和损失，或者颜色或色调的偏移。[0035]当对已经颜色分级了的图像序列进行色调映射时，诸如内容的最小黑度水平和最大白度水平之类的颜色分级参数可能是驱动将已经颜色分级了的内容色调映射到特定显示器上所期望的参数。颜色分级员已经使内容(基于每个图像以及时间)看起来如他/她想要的那样。当将它转移到不同显示器时，可能期望保留所感受的图像序列的观看体验。应理解，随着元数据的等级增多，可以改善外观的这种维持。
[0036]例如，假设拍摄了日出序列，并由专业人员在1000尼特的基准显示器上进行颜色分级。在此示例中，内容将被映射以供在200尼特的显示器上显示。太阳升起之前的图像可能不使用基准显示器的整个范围(例如，最大200尼特)。一旦太阳升起，图像序列可以使用整个1000尼特的范围，这是内容的最大值。在没有元数据的情况下，许多色调映射器使用最大值(诸如亮度)作为如何映射内容的准则。如此，应用于日出前的图像的色调曲线(1:1映射)可以不同于应用到日出后的图像的色调曲线(5倍的色调压缩)。目标显示器上显示的所得图像可能在日出之前和之后具有相同的峰值亮度，这是创作意图的失真。艺术家希望图像在日出之前暗一些，而在日出过程中亮一些，如在基准显示器上所产生的那样。在此情况下，可以定义完全描述场景的动态范围的元数据；而该元数据的使用可以确保艺术效果得以保持。也可以用它来最小化从场景到场景的亮度时间问题。
[0037]作为再一个示例，考虑上面给出的情况的相反情况。假设场景I是针对350尼特分级的，场景I是在室外自然光下拍摄的。如果场景2是在黑暗的房间中拍摄的，并在相同范围中示出，那么，场景2看起来太暗。此情况下元数据的使用可以用于定义适当的色调曲线，并且确保场景2适当地可见。在再一个示例中，假设基准显示器具有等于P3的色域，目标显示器具有小于REC.709的色域。假设内容在基准显示器上被颜色分级，但是呈现的内容具有相当于目标显示器的色域。定义内容的色域和源显示器的色域的元数据的使用可以使映射能够作出智能决策并且1:1地映射内容色域。这可以确保内容颜色饱和度完整无损。
[0038]在本系统的某些实施例中，色调和色域无需当作一组图像/视频的单独实体或条件。“记忆颜色”是即使观众可能不清楚初始意图，但是如果不正确地调节，他们也看起来错误的图像颜色。皮肤色调、天空以及草是记忆颜色的良好示例，当进行色调映射时，它们的色调可能会被改变从而看起来是错误的。在一个实施例中，色域映射器具有图像中受保护颜色的知识(作为元数据)，以确保其色调在色调映射过程中得以保持。此元数据的使用可以定义并标记图像中受保护的颜色，以确保对记忆颜色的正确处理。定义局部色调和色域映射器参数的能力是元数据的示例，其不一定是基准和/或目标显示器参数的唯一产物。
[0039]健壮的颜色管理的一实施例
[0040]在本申请的若干实施例中，公开了用于提供健壮的颜色管理方案的系统和方法，其中使用元数据的多个源来提供匹配内容创作者的最初意图的更好的图像/视频保真度。在一个实施例中，可以根据某些元数据的可用性，向处理中添加元数据的各种源，如此处将更详细地论述的那样。
[0041]只作为一个示例，图2A示出了使用元数据的图像/视频管道200的高级框图。在框202中可以进行图像创建和后期制作。将视频源208输入到视频编码器210中。将捕捉到的以及视频源的元数据204输入到元数据编码器206中。前面已经讨论了元数据204的示例；但是，可以包括诸如源和/或基准显示器的色域边界和其他参数、基准显示器的环境以及其他编码参数之类的项。在一个实施例中，元数据伴随视频信号，因为元数据的子集可能与计划在给定时间呈现的视频信号在时间上和空间上定位在一起。元数据编码器206和视频编码器210 —起可视为源图像编码器。
[0042]然后，通过分发212以任何适当方式(例如，多路复用、串行、并行或通过某些其他已知方案)分发视频信号和元数据。应理解，分发212应从广义上理解以用于本申请的目的。合适的分发方案可以包括:因特网、DVD、有线、卫星、无线等。
[0043]将如此分发的视频信号和元数据输入到目标显示器环境220中。元数据和视频解码器222和224分别接收它们相应的数据流，并提供适合于目标显示器的特性以及其他因素的解码。此时，元数据可以优选被发送到第三方颜色管理(CM)块220和/或本申请的CM模块228的实施例之一。在通过CM块228处理视频和元数据的情况下，CM参数生成器232可以把来自于元数据解码器222以及元数据预测块230的元数据作为输入。
[0044]元数据预测块230可以基于先前图像或视频场景的知识来作出较高保真度呈现的某些预测。元数据预测块从传入的视频流收集统计信息，以便估计元数据参数。图2B示出了元数据预测块230的一个可行实施例。在此实施例中，可以为每帧计算图像亮度的对数的直方图262。可选的低通滤波器260可以在直方图之前以(a)降低直方图对噪声的敏感度和/或(b)部分解决人类视觉系统中的自然模糊(例如，人将抖动图案感受为单色的块)。从其捕获最小值266、最大值274。还可以基于百分比设置(如5%和95%)来捕获趾部268和肩部272的点。还可以计算几何平均270 (对数平均)并用作中间点。可以在时间上过滤这些值，以便例如它们不会太快地猛跳。如果需要，这些值也可以在场景变化期间复位。可以从黑帧插入或直方图中的极端激进的跳动或任何其他这样的技术来检测场景变化。可以理解，场景变化检测器264可以从直方图数据(如图所示)或者直接从视频数据检测场景变化。
[0045]在再一个实施例中，该系统可以计算图像强度值(亮度)的平均值。然后，图像强度可以通过感知加权(诸如对数、幂函数或LUT)来缩放。然后，该系统可以从图像直方图的预定百分比(例如，10%和90%)估计高亮区域和阴影区域(例如，图5的头顶净空(headroom)和脚底净空(footroom))。替代地，该系统可以根据直方图的斜率何时在某一阈值之上或之下来估计高亮区域和阴影区域。许多变型是可行的，例如，该系统可以计算输入图像的最大和最小值，或根据预定百分比(例如，1%和99%)。
[0046]在其他实施例中，值可以随时间(例如，从一帧到另一帧)而稳定，诸如有固定的上升速率和下降速率。突然变化可能指示场景变化，如此，值可能不会随时间而稳定。例如，如果变化是在某一阈值以下，则系统可以限制变化速率，否则，就采用新的值。替代地，系统可以拒绝某些值影响直方图的形状(诸如尺寸设定(letterbox)或零值)。
[0047]另外，CM参数生成器232可以将诸如显示器参数、周围显示环境和用户偏好因素之类的其他元数据(即，不一定基于创建内容)用于对图像/视频数据的颜色管理中。可以理解，显示器参数可以通过标准接口例如EDID等经由接口(诸如DDC串行接口、HDM1、DVI等)而可用于CM参数生成器232。另外，周围显示环境数据可由测量环境光条件或来自目标显示器的环境光的反射率的环境光传感器(未示出)来提供。
[0048]接收到任何合适的元数据之后，CM参数生成器232可以设置下游的CM算法234中的参数，CM算法234可以负责图像/视频数据在目标显示器236上的最终映射。应理解，如在CM参数生成器232和CM算法234之间所示，不需要有功能分叉。事实上，在某些实施例中，这些特征可以组合成一个框。
[0049]同样，可以理解，从本实施例的观点来看，形成图2A和图2B的各种框是可选的，可以设计有或没有所述这些框的许多其他实施例，它们都在本申请的范围内。另外，CM处理可以在图像管道200中的不同点进行，不一定如图2A所示。例如，可以将目标显示器的CM置于并且包含在目标显示器本身内，或者这样的处理可以在机顶盒中执行。替代地，根据什么等级的元数据处理可用或被认为合适，目标显示器的CM可以在分发或后期制作时进行。
[0050]使用变化的元数据等级的可缩放颜色管理
[0051]在本申请的若干实施例中，公开了提供可缩放的颜色管理方案的系统和方法，其中元数据的若干源可以布置在一组变化的元数据等级中，以提供对内容创作者的最初意图甚至更高等级的图像/视频保真度。在一实施例中，根据某些元数据的可用性，可以向处理中添加各种元数据等级,如此处将更详细地论述的那样。
[0052]在本系统的许多实施例中，合适的元数据算法可以考虑多种信息，诸如，例如:
[0053](I)所编码的视频内容，
[0054](2)将编码内容转换为线性光的方法
[0055](3)源内容的色域边界(亮度和色品二者)，以及
[0056](4)关于后期制作环境的信息。
[0057]可能需要用于转换到线性光的方法，以便可以计算由内容创作者观察到的实际图像的外观(亮度、色域等)。色域边界有助于预先指定最外的颜色可能是什么，以便这样的最外颜色可以被映射到目标显示器中而没有截限或留下太多开销。可能需要关于后期制作环境的信息，以便可以模拟可能影响显示外观的任何外部因素。
[0058]在当前视频分发机制中，只有编码了的视频内容被提供给目标显示器。假设使用符合Rec.601/709和各种SMPTE标准的基准显示器，在基准工作室环境中制作内容。通常，假设目标显示器系统符合Rec.601/709，很大程度上忽略目标显示环境。由于假设后期制作显示器和目标显示器两者都符合Rec.601/709，所以显示器中没有一个可以在不产生某种程度的图像失真的情况下升级。事实上，由于Rec.601和Rec.709在它们的原色选择方面稍微不同，所以可能已经引入了某些失真。
[0059]此处公开了元数据等级的可缩放系统的一实施例，其允许使用具有较宽且增强能力范围的基准和目标显示器。各种元数据等级允许CM算法调整源内容以适应具有各种精度等级的给定目标显示器。下面的章节描述了所提出的元数据的等级:
[0060]等级O
[0061 ] 等级O元数据是默认情况，基本上意味着零元数据。由于多个原因，元数据可能不存在，原因包括:
[0062](I)内容创建者没有放入元数据(或者元数据在后期制作管道中的某点丢失)；
[0063](2)显示器在内容之间切换(B卩，频道切换或商业广告节目)；
[0064](3)数据损坏或丢失。
[0065]在一实施例中，可能期望CM处理通过基于视频分析来估计等级O或者通过采用默认值来处理等级O (即，没有元数据存在时)。
[0066]在这样的实施例中，颜色管理算法可能能够以至少两种不同的方式来在不存在元数据的情况下操作。
[0067]切换到默认值
[0068]在此情况下，显示器将非常像现今的分发系统那样操作，其中采用了后期制作基准显示器的特性。根据视频编码格式，所采用的基准显示器可能潜在地不同。例如，可以为8比特RGB数据采用Rec.601/709显示器。如果在600尼特模式下在专业监视器(诸如ProMonitor)上进行颜色分级，则可以为较高比特深度的RGB数据或LogYuv编码数据采用P3或Rec709色域。如果对于较高动态范围内容,只有一个标准或事实上的标准,这可能作用良好。然而，如果在自定义条件下创建较高动态范围内容，则结果可能不会大大地改善，并可能会差。
[0069]适应性地计算参数值
[0070]在此情况下，CM算法可能以某些默认假设开始，并且基于通过分析源内容获得的信息来精炼这些假设。通常，这可能涉及分析视频帧的直方图来确定如何最好地调节传入源的亮度，有可能通过为CM算法计算参数值来进行。在这样做时，可能风险在于它可能会给视频产生“自动曝光”类型的外观，其中每个场景或帧都被平衡到相同的亮度级。另外，某些格式还可能带来某些其他挑战，例如，如果源内容是RGB格式，那么当前没有自动确定色域的方式。
[0071]在另一个实施例中，可以实现两种方案的组合。例如，可以假设色域和编码参数(诸如伽马)是标准化默认值，可以使用直方图来调节亮度级。
[0072]等级I
[0073]在本实施例中，等级I的元数据提供描述如何创建和封装源内容的信息。此数据可以允许CM处理预测视频内容在内容制作者看来实际上是什么模样。等级I的元数据参数可以分组为三个区域:
[0074](I)视频编码参数，
[0075](2)源显示器参数，
[0076](3)源内容色域参数，以及
[0077](4)环境参数。
[0078]视频编码参数
[0079]由于大多数颜色管理算法至少部分地在线性光空间中起作用，所以可能期望具有一种将编码视频转换为线性(但相关)的(X，Y，Z)表示(或者是编码方案固有的，或者作为元数据本身被提供)的方法。例如，诸如LogYuv、OpenEXR、LogYxy或LogLuv TIFF之类的编码方案都固有地包含转换到线性光格式所需的信息。然而，对于许多RGB或YCbCr格式，可能需要诸如伽马以及原色之类的额外信息。作为示例，为了处理YCbCr或RGB，可以提供下列各条信息:
[0080](I)用于编码源内容的原色和白点的坐标。这可以用于生成RGB到XYZ颜色空间变换矩阵，红、绿、蓝以及白中的每一个的(x，y)。
[0081](2)最小和最大代码值(例如，“标准”或“完全”范围)。这可以用于将代码值转换为规范化的输入值。
[0082](3)每种原色的全局或每通道响应曲线(例如，“伽马”)。这可用于通过撤消可能已经由接口或基准显示器应用的任何非线性响应来使强度值线性化。[0083]源显示器色域参数
[0084]颜色管理算法知道源显示器的色域可能是有用的。这些值对应于用于对内容进行分级的基准显示器的功能。优选地在完全黑暗的环境中测量的源显示器色域参数可以包括:
[0085](I)原色，诸如提供为具有指定的最大亮度的CIE X, y色度坐标或XYZ ；
[0086](2)用于白和黑的三色值，诸如CIE XYZ。
[0087]源内容色域参数
[0088]颜色管理算法知道在生成源内容时所使用的色域边界是有用的。通常，这些值对应于对内容进行分级的基准显示器的功能；然而，由于软件设置，或者如果只使用了显示器的能力的子集，所以它们可能不同。在某些情况下，源内容的色域可能不匹配编码视频数据的色域。例如，可以以LogYuv(或某种其他编码)来编码包含整个可见光谱的视频数据。源色域参数可以包括:
[0089](I)原色，诸如提供为具有指定的最大亮度的CIE X, y色度坐标或XYZ ；
[0090](2)用于白和黑的三色值，诸如CIE XYZ0
[0091]环境参数
[0092]在某些情况下，只知道由基准显示器产生的光等级可能不足以确定在后期制作中源内容向观众“呈现”为如何。关于由周围环境所产生的光等级的信息也可以是有用的。显示光和环境光的组合是冲击人眼并产生“外观”的信号。可能希望通过视频管道保留此外观。优选地在普通颜色分级环境中测量的环境参数可以包括:
[0093]( I)作为绝对XYZ值提供的基准监视器周围颜色。可以使用该值来估计观众对他们的环境的适应等级。
[0094](2)普通颜色分级环境中基准监视器的黑度水平的绝对XYZ值。环境照明对黑度水平的影响可以使用该值来确定。
[0095](3)作为屏幕正前的白反射样本(诸如纸)的绝对XYZ值提供的环境光的色温。可以使用该值来估计观众的白点适应性。
[0096]注意，等级I的元数据可以提供源内容的色域、编码和环境参数。这可以允许CM解决方案预测当批准时源内容呈现得如何。然而，它可能不会提供有关如何最好地调节颜色和亮度以适应目标显示器的许多指导。
[0097]在一个实施例中，全局性地应用到RGB空间中的视频帧的单个S形曲线可以是在不同的源和目标动态范围之间进行映射的简单而稳定的方式。另外，可以使用单个S形曲线来独立地修改每个通道(R、G、B)。这样的曲线也可以在某种感受空间中是S形的，诸如对数或幂函数。图3示出了示例性曲线300。可以理解，其他映射曲线也可以是合适的，诸如线性图(如图3、4和6所示)，或其他图，诸如伽马。
[0098]在此情况下，从等级I元数据和有关目标显示器的信息知道曲线上的最小值和最大值的点。曲线的准确形状可以是静态的，基于输入和输出范围平均看起来作用良好。还可以基于源内容进行适应性修改。
[0099]等级2
[0100]等级2元数据提供关于源视频内容的特性的额外信息。在一实施例中，等级2元数据可以将源内容的亮度范围分为特定亮度区域。更具体而言，一实施例可以将源内容的亮度范围分割为五个区域，其中区域可以通过沿着亮度范围的点来定义。这样的范围和区域可以通过一幅图像、一组图像、一个视频场景或多个视频场景来定义。
[0101]为了说明方便，图4和图5描绘了等级2元数据的使用的一实施例。图4是目标显示器上输入亮度到输出亮度的映射400。这里映射400被描绘为包括沿其曲线的一组断点的基本S形曲线。这些点可以对应于图像处理相关值,标记为minin、footin、midin、headin和 maxino
[0102]在此实施例中，maxin可以对应于一场景的最小和最大亮度值。第三点midin可以是对应于感知“平均”亮度值或“中间灰度”的中间值。最后的两个点作0\?和headin可以是脚底净空和头顶净空值。脚底净空和头顶净空值之间的区域可以定义场景的动态范围的重要部分。希望这些点之间的内容应被尽可能多地保留。如果需要，可以消灭脚底净空之下的内容。头顶净空之上的内容对应于高亮(highlight)，如果需要，可以被截限。应理解，这些点倾向于定义曲线本身，因此，另一实施例可能是这些点的最佳拟合曲线。另外，这样的曲线可能采取线性、伽马、S形或任何其他合适的和/或所希望的形状。
[0103]进一步针对此实施例，图5示出了在直方图500上示出的最小值、脚底净空、中间值、头顶净空和最大值的点。这样的直方图可以基于图像、视频场景或者甚至一组视频场景而产生，取决于需要直方图分析的哪一等级的粒度来帮助保留内容保真度。在一个实施例中，可以以与视频数据相同的编码表示在代码值中指定五个点。注意，最小值和最大值通常可以对应于与视频信号的范围相同的值，但并非总是如此。
[0104]取决于这样的直方图的粒度和频率，可以使用直方图分析来动态地重新定义沿图4的亮度图的点，并且因此随时间而改变曲线。这也可以有助于改善目标显示器上向观众显示的内容保真度。例如，在一实施例中，周期性地传递直方图可使解码器有可能获得比最小值、最大值等 更多的信息。编码器也可以在有显著改变时仅包括新的直方图。这可以节省解码器为运行中的每个帧计算它的工作。在再一个实施例中，可以使用直方图来估计元数据，以替换丢失的元数据或者补充现有的元数据。
[0105]等级3
[0106]在一实施例中，对于等级3元数据，等级I和等级2元数据参数可以用于源内容的第二基准分级。例如，可能已经使用P3色域在600尼特的亮度下在基准监视器(例如，ProMonitor)上执行了源内容的初步分级。利用等级3元数据，也可以提供有关例如可能在CRT基准显示器上执行的二次分级的信息。在此情况下，额外信息将指出Rec.601或Rec.709原色以及较低的亮度，诸如120尼特。对应的最小值、脚、中间、头顶以及最大值水平也将被提供给CM算法。
[0107]等级3元数据可以添加额外数据，例如，色域、环境、原色等以及亮度级信息以用于源内容的第二基准分级。然后，可以将此额外信息组合以定义将把初级输入映射到基准显示器范围的S形曲线600 (如图6所示)。图6示出了如何将输入和基准显示器(输出)水平组合以形成合适的映射曲线的示例。
[0108]如果目标显示器的能力是二次基准显示器的良好匹配，那么此曲线可以直接用于映射初级源内容。然而，如果目标显示器的能力在初级和二次基准显示器的能力之间的某处，那么二次显示器的映射曲线可以用作下边界。然后，用于实际目标显示器的曲线可以是不缩小(例如，如图7所示的线性映射700)和使用基准水平所生成的全范围缩小曲线之间的内插。
[0109]等级4
[0110]等级4元数据与等级3元数据相同，除了第二基准分级的元数据针对实际目标显示器被调整之外。
[0111]等级4元数据还可以在过顶OTT情况下实施(B卩，Netflix，移动流式播放或某种其他VOD服务)，其中实际目标显示器将其特性发送到内容提供者，内容以可用的最合适的曲线来分发。在一个这样的实施例中，目标显示器可以与视频流式播放服务、VOD服务等进行通信，目标显示器可以向流式播放服务发送诸如其EDID数据或可用的任何其他合适的元数据之类的信息。这样的通信路径在图2A中描绘成虚线路径240，到视频和/或元数据编码器(分别是210和206)，如在本领域中诸如Netflix等之类的服务已知的那样。通常，Netflix和其他这样的VOD服务监视输送到目标设备的数据量和数据速度，不一定是元数据，以用于颜色管理。但是，对于本实施例的目的而言，元数据通过分发212或以别的方式(实时或预先地)从目标数据发送到创建或后期制作以改变提供给目标显示器的图像数据的颜色、色调或其他特性就足够了。
[0112]利用等级4元数据，所提供的基准亮度级是专门针对目标显示器的。在此情况下，S形曲线可以如图6所示的那样构建，并被直接使用，而无需任何内插或调节。
[0113]等级5
[0114]等级5元数据通过标识诸如下列各项的重要特征来增强等级3或等级4。
[0115](I)受保护的颜色一图像中已经被标识为公共记忆颜色的不应被处理的颜色，诸如皮肤色调、天空和草等的颜色。图像的具有受保护颜色的这种区域可以将它们的图像数据不变地传递到目标显示器上。
[0116](2)重要高亮显示一标识光源、最大发射和镜面高亮。
[0117](3)色域外颜色一图像中被故意颜色分级到源内容的色域外的特征。
[0118]在某些实施例中，如果目标显示器能够实现更高亮度，则这些标识对象可以被人工映射到显示器的最大值。如果目标显示器能够实现更低亮度，则可以将这些对象截限到显示器最大值，而不补偿细节。然后，可以忽略这些对象，可以将所定义的映射曲线应用于剩余内容，并保持较高的细节量。
[0119]还应理解，在某些实施例中，例如在试图将VDR向下映射到较低动态范围的显示器的情况下，知道光源和高亮可能是有用的，因为可以截限它们而不会有太多的损害。举一个例子，另一方面，被照亮的脸(即，毫无疑问不是光源)可能不是希望被截限的特征。替代地，这样的特征可以被更缓和地压缩。在再一个实施例中，如果目标显示器能够实现更宽的色域，则这些内容对象可以被扩展并扩展到显示器的全部功能。另外，在另一个实施例中，系统可能忽略所定义的任何映射曲线以确保高度饱和的颜色。
[0120]应理解，在本申请的若干实施例中，等级本身可以不是元数据处理的严格层次结构。例如，等级5可以应用到等级3或等级4的数据。另外，某些较低编号的等级可以不存在；但是系统可以处理较高编号的等级，如果存在的话。
[0121]采用多个元数据等级的系统的一实施例
[0122]如上所述，变化的元数据等级提供增多的有关源材料的信息，其允许CM算法针对目标显示器提供更准确的映射。图8示出了使用这样的可缩放且变化的元数据等级的一实施例。
[0123]如所示，系统800通过五个框示出了整个视频/元数据管道:创建802、容器808、编码/分发814、解码822和消费834。可以理解，不同实现的许多变化是可行的，某些具有更多框，某些具有更少框。本申请的范围不应局限于此处的各实施例的叙述，事实上，本申请的范围包含这些各种实现和各实施例。
[0124]创建802广义地获取图像/视频内容804并且如前所述通过颜色分级工具806来处理它。将经过处理的视频和元数据置于合适的容器810中，例如本领域已知的任何合适的格式或数据结构，以用于随后的传播。举一个例子，视频可以作为VDR颜色分级视频来存储和发送，元数据作为VDR XML格式化的元数据来存储和发送。如812中所示，此元数据被分割为前面所讨论的各种等级。在容器框中，可以将数据嵌入到格式化的元数据中，其编码了哪些元数据等级可用并与图像/视频数据相关联。应理解，并非所有的元数据等级都需要与图像/视频数据相关联；但是无论什么元数据和等级被关联，下游的解码和呈现都能够适当地确定和处理这些可用的元数据。
[0125]编码后可以继续进行到获取元数据并将它提供到算法参数确定框816，而视频可以提供到AVCVDR编码器818，其也可以包括CM框，以用于在分发820之前处理视频。
[0126]一旦分发(从广义上来讲，通过例如因特网、DVD、有线、卫星、无线等)，就可以到AVCVDR解码器824 (或可任选地，到旧式解码器826，如果目标显示器没有启用VDR的话)进行视频/元数据的数据解码。从解码恢复视频数据和元数据两者(分别作为框830、828，如果目标显示器是旧式的，可能还有832)。解码器824可以获取输入图像/视频数据并将输入图像数据恢复和/或分离为供进一步处理和呈现的图像/视频数据流和用于计算用于稍后对要呈现的图像/视频数据流进行处理的CM算法的参数的元数据流。元数据流还应包含关于是否有与图像/视频数据流相关联的任何元数据的信息。如果没有元数据相关联，那么该系统可以执行如上文所讨论的等级O处理。否则，该系统可以如上文所讨论的那样根据元数据的一组变化的等级，根据与图像/视频数据流相关联的任何元数据来执行进一步处理。
[0127]可以理解，可以实时地确定是否有与要被呈现的图像/视频数据相关联的任何元数据。例如，对于视频流的某些部分，有可能没有元数据与这些部分相关联(无论是由于数据损坏还是内容创建者计划没有元数据)，而在其他部分中，可能有元数据，或者有带有丰富元数据的变化等级的组，现在可用并且与视频流的其他部分相关联。这就内容创建者而言可能是故意的；但是本申请的至少一个实施例应能够实时地或基本动态地就是否有任何元数据与视频流相关联或者什么元数据等级与视频流相关联作出判断。
[0128]在消费框中，算法参数确定框836可以恢复在分发之前可能已完成的先前的参数，或者可以基于来自目标显示器和/或目标环境(或许来自标准接口例如EDID或新兴VDR接口，以及来自观众的输入或者目标环境中的传感器的输入，如前面在图2A和/或2B的实施例的上下文中所讨论的那样)重新计算参数。一旦计算或恢复了参数，就可以将它们发送到CM系统中的一个或多个(838、840和/或840)，以用于根据此处所公开的多个实施例，最后将源和中间图像/视频数据映射到目标显示器844上。
[0129]在其他实施例中，图8的实现框不需要精细划分。例如，并广义地说，涉及算法参数确定和颜色管理算法本身的处理不需要一定如图8所示的那样分支；而是可以构思和/或实现为颜色管理模块。
[0130]另外，尽管这里描述了一组变化等级的元数据由视频/图像管道使用，但是应理解，在实践中，系统不需要按元数据的等级被编号的准确顺序来处理图像/视频数据。事实上，可能有这样的情况:元数据的某些等级在呈现时可用，而其他等级不可用。例如，第二基准颜色分级可以执行，也可以不执行，等级3元数据可以在呈现时存在，也可以不存在。根据本申请作出的系统考虑了不同等级的元数据的存在或不存在，并用当时可行的最佳元数据处理来继续执行。
[0131]给出了与附图一起阅读的本发明的一个或多个实施例的详细描述，其示出了本发明的原理。应理解，关于这样的实施例描述了本发明，但是本发明不限于任何实施例。本发明的范围只由权利要求来限定，本发明涵盖了很多替代方案、修改方案和等效方案。在本描述中阐述了很多具体细节，以便全面地理解本发明。这些细节是作为示例提供的，本发明可以根据权利要求，在没有这些具体细节中的某些或全部的情况下实施。为了清楚起见，没有详细描述在与本发明相关的【技术领域】内已知的技术材料，以便不会不必要地模糊本发明。
【权利要求】
1.一种用于通过一组元数据来处理用于目标显示器的图像数据的方法，所述一组元数据与图像内容相关联，所述方法包括: 接收和解码图像数据； 确定是否接收到与所述图像数据相关联的一组元数据； 如果接收到与所述图像数据相关联的一组元数据，则根据与所述图像数据相关联的所述一组元数据来计算颜色管理算法的参数， 其中，所述一组元数据至少包括: a.白点，表示为x、y色度坐标， b.三原色，每个都表示为X、y色度坐标， c.最大売度级，以及 d.最小売度级。
2.如权利要求1所述的方法，其中，确定是否接收到与所述图像数据相关联的一组元数据进一步包括: 对输入的图像数据进行解码以恢复图像数据和相关联的元数据。
3.如权利要求2所述的方法，其中，对输入的图像数据进行解码进一步包括: 将所述输入的图像数据分离成图像数据流和元数据流。
4.如权利要求1所述的方法，其中，所述一组元数据中的白点、三原色、最大亮度级和最小亮度级表示用于对所述图像数据的源内容进行颜色分级的基准显示器。
5.如权利要求1所述的方法，其中，所述一组元数据还包括如下组中的一个，所述组包括:在对源内容进行颜色分级时的环境光条件、基准监视器周围的颜色、基准监视器的绝对黑色值、以及在进行颜色分级时环境光的色温。
6.如权利要求1所述的方法，其中，根据与所述图像数据相关联的所述一组元数据来计算颜色管理算法的参数进一步包括: 判断源内容是否已经使用第一基准显示器和使用第二基准显示器被颜色分级； 使用利用所述第二基准显示器的颜色分级的参数，改变图像数据映射。
【文档编号】H04N1/60GK103873738SQ201410138876
【公开日】2014年6月18日 申请日期:2012年5月17日 优先权日:2011年5月27日
【发明者】N·W·迈斯莫尔, R·阿特肯斯, S·马格尔姆, P·W·朗赫斯特 申请人:杜比实验室特许公司