具有颜色恒定性的亮度改变图像处理的制作方法

本发明涉及用于将具有拥有第一亮度的像素颜色的图像转换成具有拥有更低或者更高的第二亮度的像素颜色的图像的装置和方法，以及结果得到的产品，比如数据存储或传输产品或者信号。

背景技术：

在颜色处理技术中，颜色映射的有用类别是这样的一种类别，其中像素颜色的亮度改变，但是固有颜色本身（其可例如利用比如cie1976（u'，v'）的色度表征）对于结果得到的输出颜色和要被处理的输入颜色而言是相同的。事实上，这在本质上是对应于照明改变的颜色映射：利用具有某个光谱的更多光照亮对象光谱产生具有增大的亮度（或者其他亮度关联，比如例如在转换到该关联之后的明度（luma））但具有相同色度的颜色。这种最近变得重要的技术处理即是用于（多个）图像和视频的动态范围映射。目前，显示器正得到比旧有的所谓低动态范围（ldr）显示器更高的峰值明亮度（pb）值，所述低动态范围显示器具有大约100nit的pb。如果具有至少1000nit的pb的话，可以说是高动态范围（hdr）显示器，并且对于不远的将来设想了典型地例如2000、5000或者10000nit的显示器。

相同图像不能被再现在ldr显示器和hdr显示器两者上并且不能在两者上都外观良好。例如，如果hdr图像（其是典型地可以具有拥有至少1000:1的亮度比的对象像素亮度、并且典型地具有拥有大量亮像素和大量暗像素（即，大约比亮像素暗1000倍）两者的亮度分布的图像）在ldr显示器上被再现为未被映射，则场景的一部分将产生不可辨别的黑色对象。并且反之亦然，ldr图像可以具有这样的对象，其在被直接再现在比如3000nitpb的显示器上时看起来不合期望地明亮。所以，必须将所捕获的（或者计算机生成的）场景的hdr分级图像（其对应于hdr参考监视器，并且适合于在较高pb（高于例如1000nit或者相关联的最小可用pb）的显示器上再现）颜色映射到与ldr参考监视器相关联的ldr图像（并且这些图像的动态范围、或者更精确地它们的参考监视器相差至少1.5的因子，换言之大约至少一个光圈数（stop）或因子2，但是也可以是例如因子4或10或更大）。可以指出，利用ldr和hdr图像（或者其参考监视器），还可以存在不同的所定义的标准电光传递函数（eotf），其决定用于图像传输的技术明度编码与在参考监视器上再现时对应于那些明度的实际亮度之间的关系。ldr可以使用例如旧有的rec.709gamma类型eotf，并且（多个）hdr图像/视频可以典型地按照在其函数形状定义方面具有至少部分地指数（逆对数）特性（例如，遵从人类视觉特性，如barten对比度敏感函数）的eotf进行编码。顺便，我们想要强调的是，这也意味着hdr图像不一定具有比ldr图像更大量的每颜色分量比特。它们两者都可以以例如3x10比特rgb格式（其可以被解释为[0-1.0]缩放的分量定义，我们假设其将是颜色映射之前对图像的编码（codification），而无论用于要传输的结果的原始和最终格式如何）进行定义，差别仅在于必须如何解释已编码颜色，即，按照利用给定的相应eotf定义的亮度或明度分布（以及最优地，被分级为产生良好的对应外观的颜色，即，在两种分级中针对相同对象利用不同的对象亮度）。

最佳的用于阐述本发明及其技术贡献的现有技术是来自申请人的对于具有hdr能力的视频编解码器的先前研究，我们在此对其进行进一步改进。申请人已经创建了允许对场景的至少两个（或者更多）分级编码的编码系统，一个分级典型地是ldr分级，并且第二个分级具有更高的动态范围，其通常是hdr分级。编码通过将两个分级之一编码为实际图像来起作用，这典型地可以通过使用来自比如例如mpeg-hevc的视频编码标准的经典视频编码容器来完成。在一些变体中，以不兼容方式来重新格式化数据，例如，利用yu'v'数据填充ycrcb颜色平面，但是只要数据适合可用的存储器空间量，并且可以解码原始图像，就可以使用这样的原理，且其至少对于不需要进行最终解码的那些技术组件（比如例如，卫星传输系统等）而言是与旧有的技术兼容的。

图1示出了这样的编码装置100的示例。图像源120（比如硬盘）递送第一亮度动态范围的输入图像im_r1，所述第一亮度动态范围比如是hdr分级（分级是对图像中的对象亮度的确定以使得对于正在创建的艺术家而言它们在相关联的参考显示器上再现时看起来是正确的，相关联的参考显示器的pb典型地与图像一同编码为图像种类的描述性元数据）。借助于颜色映射器121，分级者可以经由用户数据ui从例如颜色分级键盘和在分级软件中选择一个或者多个函数及其参数，以导出对于每个hdr图像（即，im_r1）的第二分级图像，比如ldr图像。比如，他通过应用某个s曲线创建了例如ldr图像，我们称该函数为f，f将im_r1的所有输入颜色ci变换到结果得到的图像im_o的结果得到的输出颜色co中（当然，可以完成各种颜色映射，例如饱和度校正等等）。在输出到我们的编码器101时，两个图像im_r1和im_o之一被选择为场景的基本图像编码，即对所有对象的几何外观进行编码，并且此外具有用于一个对应的参考监视器的正确的比色外观。而且，对唯一规定颜色变换所需的所有数据被传输到编码器101作为函数元数据f，其对于s曲线的示例可以是例如中间倾斜部分的端点，即，2x2坐标。编码器101按照指定格式将该数据表示为数字，例如，其做出im_r2的基于dct的图像分量，并且将函数元数据存储在sei消息中，或类似地，并且经由数据输出端130将其发送给数据通信技术131（其在图中例如是bd盘，但是这也可以是用于vod的互联网服务器等等）。

然而，这样的动态范围变换远远不够明显。在真实的物理世界中，这仅将涉及如上所述的缩放亮度，但是实际技术必须处理技术上的限制。代替于纯粹的缩放，用于rgb显示器的颜色变换几乎不能以简单方式缩放任何事物。实际显示器不仅由于其固定的最大量的背光（或者用于非背光显示器的驱动）而具有有限的色域（其是帐篷形的，但是是高度歪斜的帐篷，其在蓝原色处比接近黄色处低得多），而且甚至所有的数学rgb空间都具有相同的属性。所以单纯缩放面临这样的风险：得到非可重现的颜色，其在没有小心处理的情况下典型地导致裁剪，并且导致颜色误差（至少是饱和度改变，但很可能还有色调改变）。在艺术上，这可能不是分级者期望的：他为比如海星仔细选择的带橙色的颜色在其他分级中突然变成了主要带黄色的。理想地，分级者即便较强烈地预期也将不在意亮度改变，但是他想要那个特定的小心选择的橙色在从他的主分级（比如hdr主分级）开始的所有已计算分级中保持相同。

在wo2014/056679中，申请人描述了一种允许规定对于输入图像（im_r1）中的各种可能对象亮度的亮度映射策略的亮度改变变换，其产生不同的输出亮度但是是相同的颜色色度。即，这是用以规定函数f的特定变体的框架。本专利的图2重新概括了该原理的关键方面。任何输入像素颜色被变换成线性rgb表示。我们仅示出了用于阐述本原理的核心分量，并且当然，在确定红（r）、绿（g）和蓝（b）色分量（例如，基本图像（im_r2）的那些分量可以已经进行过饱和度处理等等）之前可以存在各种颜色变换。颜色映射器200可以是解码器的组件（当分级者为了最佳外观而仍在尝试各种可能的亮度映射函数（f）并且最终通过数据输出端130输出用于该最佳外观的数据时，所述解码器基于接收到的基本图像和至少一个函数f的函数颜色映射元数据来计算（多个）原始图像），但是其可以类似地被合并在编码器中。最大值计算单元201计算：三个分量中的哪个分量对于该像素而言是最高的、如果像素驻留在其中的对象是蓝色的，则哪个分量可能例如是蓝色分量。这产生最大值m。然后，将预定函数f（其就明亮度部分而言实现了动态范围改变所需的颜色映射）应用于m，产生f(m)。在图2的示例中，该函数增强了最暗的颜色，然后将中间颜色保持在大致等于其原始值，并且在某种程度上再次增强了明亮值。这可以是用于例如将hdr映射到ldr分级的有用函数。代替将该函数应用于亮度本身，明亮度映射器202将该函数（其可以由部分函数构成，或者被实现为lut）应用于m。缩放参数计算器203通过将f(m)除以m来计算缩放参数a。最终，乘法器204使用该缩放参数a来将其与每个颜色分量（r、g和b）相乘，产生适当缩放的颜色分量（rs，gs，bs）。通过这一动作，获得了用于结果得到的像素颜色的正确输出亮度，但是其中保留了原始色度。明亮度映射器通过使用该原理稍微对rgb色域的帐篷形状进行了去歪斜。只要确保映射函数205是被确定使得对于最大输入输出（m=1.0）而言输出f(m)不高于1，那么对于所有色度而言，处理被正确缩放到上色域边界，使得不可能发生由于裁剪导致的比色误差。

因此，这是一种赋予分级者对于他的图像外观的绝佳比色控制的强大系统。然而，该系统确实具有小问题。虽然对于许多图像而言结果良好，但是可以看出，对于一些图像而言，存在噪声问题。从电影胶片扫描的电影具有胶片颗粒。这会例如在底片的暗处发生，并且对于正片的亮处也是如此（即，即便在底片到正片计算之后扫描了主底片（masternegative））。而且，固有预期的（并且由此人类视觉系统已共同进化成较不敏感的）依赖于亮度的光子噪声由于逆变和任何亮度映射而被重新分布到其他灰色值。简言之，可能在本不期望的各种对象中存在噪声。这在旧有的ldr显示器上不是恼人地可见，但是由于hdr显示器的高pb使得所有事物变得美丽而且也更加可见，所以颗粒有时将变得令人讨厌地高度可见。但是同样在ldr显示器上，有时产生ldr分级的颜色映射的hdr分级的噪声可能会变得高度可见。

这个问题会发生是因为缩放参数a会拾取主颜色分量中的噪声，并且因此自身会变成带噪声的。比如，我们有一块相对均匀的区域（其对于显而易见的噪声而言永远是糟糕的区），比如空气，或者微蓝的近中性区域。对于那些像素的所有或者大多数而言最大分量将因此是蓝色分量，其典型地对于若干类型图像而言可能是带噪声的。m值然后将在比如0.7的值周围变动。函数映射可以对应于比如乘以3。但不仅如此，如果在函数f中存在大约0.7的明显不连续，则较高的m值可以被增强3，并且低于0.7的值的m值可以例如乘以1。这示出了对于缩放的颜色（rs，gs，bs）的噪声效应，其有时使得相当程度的明亮度得以增强，并且有时并不如此，而是在分散式的逐像素基础上。即，有时噪声可以变得被增强到不可接受的水平，但是在所有其他方面，图像的比色外观是完美的。并且当然，理想地，内容创建者不想要接收到的显示执行空间模糊，因为这也可能降低图像的期望部分的锐度。该问题的解决方案并不那么简单明了。人们可能会想到例如可以对缩放参数本身进行平滑，但是这看起来没有给出良好的结果。以下，我们提出了用于该噪声问题的解决方案。

技术实现要素：

通过一种图像颜色处理装置（200）实现了得到具有减小的噪声敏感性的大部分色度保留的亮度映射的目标，所述图像颜色处理装置（200）被布置成将由具有第一亮度动态范围的输入图像（im_r2）的像素的红、绿和蓝色分量定义的输入颜色（r,g,b）变换成具有第二亮度动态范围的输出图像（im_res）的像素的输出颜色（rs,gs,bs），所述第一和第二动态范围就程度而言相差至少乘法因子1.5，包括：

-最大值计算单元（201），其被布置成计算输入颜色的至少三个分量的最大值（m）；

-明亮度映射器（202），其被布置成将函数（f）应用于最大值，产生输出值（f(m)），由此函数被预定为具有约束：用于最大值（m）的最高值的输出值不能高于1.0；

-缩放参数计算器（203），其被布置成计算等于输出值（f(m)）除以最大值（m）的缩放参数（a）；以及

-乘法器（204），其被布置成将输入颜色（r,g,b）的红、绿和蓝色分量乘以缩放参数（a），产生输出颜色的颜色分量，

其中颜色处理装置（200）包括至少一个分量乘法器（303），其被布置成在将输入颜色的分量（b）输入最大值计算单元（201）中之前将该分量乘以权重（wb），所述权重是产生经缩放的分量（bw）的实数，并且其中至少三个分量包括红、绿和蓝色分量中的每一个的相应加权或者未加权函数。权重将典型地在0.0和1.0之间（含）。

我们已经测试了具有权重的若干组合可以是有用的。原则上，仅需要设置一个权重（其中其他权重典型地默认是1.0；这对于装置构造而言可以意味着不存在实际乘法器），例如，即便在亮度不用作第四输入时，可以将蓝色通道的权重设置为0.5或者0.75，并且红色和绿色权重设置为1.0。对于电影的特定场景而言，可以对亮度（或者当在伽马空间中时是明度）输入1.0设置较高的权重，并将rgb权重设置为低。但是在其他场景中，可能有用的是将亮度权重降低到例如0.25，并且将颜色分量权重设置为高。这3或4个输入或者附加输入也可以是r、g、b颜色分量的非线性函数和/或组合。所以对于最大值计算器的一个或者多个输入分量可以是1.0，并且其他分量可以具有其他值的权重，其典型地低于1.0。在我们说到加权函数的情况下，读者应当理解的是，单位函数也适用，并且无加权的单位函数意味着原始的例如红色分量本身，但是输入中的至少一个应当在进行最大值化之前由非单位值进行加权。

与我们的wo2014/056679的基本变体一样，我们有用以确定典型地红、绿和蓝分量的最大值m的最大值计算单元。该最大值不仅给出了关于颜色的明亮度的信息（其以依赖于色度的方式，但是这是想要的以适配于色域的方式处置明亮度处理），最大值还确保了知道对于特定颜色的明亮度的可用范围，并且不应当发生裁剪，除非明确设计了裁剪明亮度映射函数（也即至少在红、绿和蓝分量自身是用于最大值计算的确切输入时，即，其中wr=wg=wb=1.0）。尤其在线性颜色表示中，缩放然后可以进行在本质上类似于线性重照明的明亮度处理，并且分级者可以设计他期望的任何明亮度映射函数205，例如为了情绪效果而使得房间角落变暗，以及增加例如桌子和其上的物品的灰色值的对比度。

然而，现在不同的是，输入分量中的至少一个可以在利用其评判颜色的明亮度位置之前被加权。例如，如果图像的噪声特性使得蓝色对于噪声引入而言是危险通道，那么蓝色的系数可以被设置为低，例如0.25或者甚至0.1。这确保了（加权的）蓝色分量在最大值运算中将很少被选择，并且例如将选择绿色分量，这通常不会带来问题。对于近中性而言，各颜色分量大致相等，所以选择哪个分量都无所谓。而且，对于例如青色而言，也可以利用其绿色分量作为其蓝色分量，并且红色将在正常情况下具有作为最大值的红色分量，而无论蓝色缩放因子是什么。仅对于一些颜色而言，比如纯蓝色（例如，(0,0128)*4），即便对于小的wb而言，蓝色将仍然被选择为最大值分量，但是那些颜色并不频繁出现，并且于是噪声问题可能不是可见的问题。

权重因子可以典型地由分级者针对例如电影中的场景（即，具有相同色度的图像镜头）或者甚至整个电影基于其捕获技术噪声特性（先前的每场景方法具有如下优点：分级者可以基于他想对该场景进行的颜色处理的类型来处置噪声的严重性，这可能会或者可能不会严重地增强某种噪声）进行预先设置。分级者可以查看噪声行为，并且利用滑块测试若干权重设置，或者他可以得到基于噪声特性的自动权重设置算法的帮助，并且然后微调。例如，自动分析可以找出具有严重噪声问题的特定颜色区，并且然后使它们闪烁以将分级者的注意指向它们。例如，对于被数字扫描的基于电影胶片的电影材料而言，良好的权重集合可以是wr=0.55、wg=1.0、wb=0.25。如果我们仅仅对三个颜色分量进行加权，则将一个权重固定为1是有利的，因为关系于是将保持被利用像素亮度正确地缩放。

图5示意性地示出了用以从接收到的hdr分级基本图像导出ldr分级（其中分级者主要决定增强中间范围的对比度，并且允许可能是灯的灯光中的一些裁剪）的映射可以是怎样的示例。我们来看具有围绕图像区的平均蓝色分量散布的蓝色高值b1和b2的一些颜色。如果蓝色被选择为最大值，则将得到在下方图上的位置b1和b2处的因子。取决于两个图的形状，因子对于具有b1的颜色相对于具有b2的颜色可以变化相当大，并且因此即便应当看起来相当均匀的区也可能拾取相当多的噪声模式（其变得可见，因为相对深的蓝色分量中的噪声被渗到明亮的绿色分量中，因为红色和绿色分量被乘以该相同的噪声因子）。通过使用经缩放的蓝色分量，它们将可能不被选择。如果我们具有例如稍微发蓝的明亮的发白天空，则那些像素的绿色分量将具有与b1和b2大致相同的值，但是绿色分量将具有较少噪声，所以对于相邻的像素在可能的所选最大值g1、g2、g3、…之间将存在较小的分散，因此通过映射图的连续性，因子方面的差异也将典型地更小。然而，如果蓝色分量被选择为最大值，则在我们当前的实施例中，经缩放的蓝色分量被选择为映射曲线205的输入。所以我们于是得到了在这个较低位置处的因子。虽然我们的现有技术方法确保了不论最大值分量的值是什么，其不能被缩放为高于其理论最大值（例如，1023，并且另两个分量根据比色定义仅可能是一样高或者更低），但是现在在这样的较低的区中，取决于分级者选择了什么函数，可以存在远高于1.0的因子缩放。将这样的因子应用于输入图像中的明亮像素颜色（例如，(240,180,55)*4）可以导致至少一个分量的裁剪。所以现在可以存在一些颜色移位，但是分级者利用设置权重的新技术而具有在噪声度与颜色准确度之间的权衡控制（最坏的情况是，他可以通过将所有权重设置为1.0来恢复旧行为）。

当图像颜色处理装置（200）包括用于输入颜色的三个分量中的每一个的乘法器并且所述分量是红、绿和蓝时是有利的。通常，利用作为线性rgb的颜色表示来工作将是有益的。技术上，可以设计用于每个颜色通道的乘法器，使得可以优选地由分级者设置权重，或者通过自动图像分析软件设置权重。可能的是，各乘法器中的至少一个被设置为1.0。在该情况下，其也可以不存在（例如，被短路或者旁路），但是有利的是存在乘法器。

有利地，图像颜色处理装置（200）从与输入图像（im_r2）相关联的数据源获得三个权重（wr、wg、wb）。在内容创建装置中的编码器侧，分级者可以在查看视频的至少一些图像的特征或者如果要被处理的仅是单个静止图像的情况下的该图像的特征时在软件中设置权重。在解码侧（例如，在机顶盒（stb）、计算机、电视、电影院中的数字电影接收机等等中），典型地已经确定了权重，并且解码器从源读取它们。例如，它们可以作为元数据被存储在bd盘或者其他存储器产品上，可以作为传输的电视信号中的数据字段被接收等等。数据可以包括用以在接收机处计算各权重中的一些权重的数学方案，但是正常情况下，希望在编码器和解码器处获得的结果是相同的。

有利地，图像颜色处理装置（200）的实施例包括亮度计算单元（306），其被布置成从红、绿和蓝色分量计算亮度作为输入颜色的第四分量，并且包括亮度乘法器（304），其被布置成将亮度（y）乘以亮度权重（wy），产生作为第四输入被输入到最大值计算单元（201）的输出结果。技术人员知道如何计算亮度作为具有固定因子的rgb颜色分量的线性组合，其取决于所选择的表示的比色法，即，原色的色度和所选择的白点。基于亮度进行缩放对应于真实照明，所以可能期望例如至少对于未饱和颜色或者对于颜色平面的上色域边界与白色相比没有下降太多的那些区域（即，例如黄色和青色，但不是蓝色）进行缩放。通过选择适当的权重，例如wy=1.0并且wr、wg、wb较低，那么至少对于颜色空间的某个区域而言，亮度将典型地被选择为乘法因子确定量，并且因此处理将主要表现为亮度缩放。颜色分量的权重可以取决于在最大值确定中想要它们在何处接管（例如，在0.5或者更低处）而进行设置。

有利地，图像颜色处理装置（200）的实施例包括至少一个非线性函数应用单元（401），其被布置成将非线性函数应用于红、绿和蓝色分量中的至少一个，并且其中最大值计算单元（201）具有除了将非线性函数应用于该颜色分量的结果（nr）之外的至少两个其他颜色分量作为输入，所述至少两个其他颜色分量包含未被选择用于由所述至少一个非线性函数应用单元（401）处理的红、绿和蓝分量中的两个的颜色信息。这具有几种可能的应用。一方面，其允许分级者设计不处于线性域但是例如处于伽马域中的映射函数205。在此情况下，这三个函数可以应用例如红、绿和蓝分量的平方根。缩放可以在函数设计其本身中完成。但是也可以只将非线性函数应用于仅一个分量，例如，蓝色分量。这允许创建更紧密且简单地遵循色域形状的明亮度估计。另两个分量则将典型地是红和绿，无论是经过线性还是非线性函数。关于技术实现，可以例如设计具有到这些单元的单独连接的ic，所以例如最大值计算单元中的7个输入。当不需要这些输入中的一些输入时，它们的权重可以被设置为0。其中设计者认为不需要这些连接中的一些连接的可替换实施例也可以例如仅具有到rgb分量的经处理版本的三个连接，其中例如如果期望的话则将处理函数设置为线性函数。

图像颜色处理装置（200）的有利实施例包含颜色分析单元（410），其被布置成分析输入颜色，并且从其确定至少红、绿和蓝色分量的权重（wr、wg、wb）。可以例如存在开始权重的集合，但是可能有利的是，如果编码器和解码器可以（以类似的方式）使用某种颜色分析算法，例如至少对当前像素的颜色是什么进行分类，来从其确定适当的权重。例如，如果颜色的饱和度低于阈值s_t，那么权重wr、wg、wb对于满足该条件的像素而言可以被设置为低值，以使得亮度来自于最大值。如果例如存在易于带噪声的大量天空或者类似颜色，则进入最大值计算器中的蓝色分量的权重可以被设置为相当地低于1.0、被设置为在实验室中预定的值等等。无论这在ic中被实现为具有连续更新权重的一个分量，还是两个分量（其中之一具有例如用于处理低饱和度颜色的固定权重）的并行传递，都仅仅是一种设计问题。

有利地，图像颜色处理装置（200）的实施例包含颜色分析单元（410），其被布置成分析输入颜色，并且从其确定所述至少一个非线性函数应用单元（401）的至少一个非线性函数中的至少一项的函数形状。类似地，可以在当前处理颜色的颜色的比色条件下选择不同函数。例如，对于不饱和颜色而言，可以使用线性方案，其中亮度总是或者通常在强烈的蓝色的颜色部分中在最大值确定中胜出，可以选择某个非线性函数，其产生例如至少蓝色非线性输入nb等等。可以设计非线性形状，使得例如至少对于色域的特定区而言，最大化计算器的蓝色输入典型地来得低，导致亮度来自于最大值选择。

有利的变体还有例如：一种用以将具有第一亮度动态范围的输入图像（im_r2）的像素的输入颜色（r,g,b）变换成具有第二亮度动态范围的输出图像（im_res）的像素的输出颜色（rs,gs,bs）的图像颜色处理的方法，所述第一和第二动态范围就程度而言相差至少乘法因子1.5，包括：

-计算输入颜色的至少三个分量的最大值（m）；

-将函数（f）应用于最大值，产生输出值（f(m)），由此函数被预定为具有约束：用于最大值（m）的最高值的输出值不能高于1.0；

-计算等于输出值（f(m)）除以最大值（m）的缩放参数（a）；以及

-将输入颜色（r,g,b）的三个颜色分量乘以缩放参数（a），产生输出颜色的颜色分量，

其中在执行最大值计算之前至少三个分量中的至少一个分量被乘以权重作为该最大值计算的输入，所述权重是产生经缩放的分量（bw）的实数。在实践中，实数当然可以被表示（例如，被传输）为具有足够量比特的整数，以使得它们可以被转换成具有足够精度的实数。这些权重的精度可能不那么关键，并且因此例如1%的准确度将很好。

一种图像颜色处理的方法，其中最大值从除了三个红、绿和蓝色分量之外还有利用亮度权重（wy）缩放的亮度（y）进行计算。

如权利要求10或者11中要求保护的图像颜色处理的方法，其中最大值计算具有至少一个输入，其是红、绿和蓝分量中的至少一个的非线性变换。

如以上方法权利要求中的一项中要求保护的图像颜色处理的方法，其中权重（wr，wg，wb，wy）中的至少一个基于对像素颜色的分析来确定。

一种计算机程序产品，包括对以上方法权利要求中的至少一项的步骤进行编码的代码，由此在运行时使得处理器能够实现该方法。

一种图像信号（s_im），包括对像素矩阵的颜色的编码，并且除此之外包括在以上装置或者方法之一中可用的权重（wr，wg，wb，wy）中的至少一个作为已编码元数据，其将典型地被实现为：信号被如此定义以使得接收机唯一地知道权重意味着什么，即，在最大值计算之前它们意图用作是用于相应颜色分量的权重。典型地，例如，在元数据中可以例如存在占位符，其中头部指示例如之后有4个权重，依次为红、绿、蓝和亮度（或者如果信号被定义在非线性域中或者要在非线性域中处理则是明度）。

有技术的读者会理解，本发明的实施例可以以许多技术变体实现，例如，图像颜色处理装置（200）可以被实现为或者被包括在图像或视频编码器或解码器中，如被包括在例如机顶盒、或者显示器或者相机中等等。

附图说明

按照本发明的方法和装置的任何变体的这些和其他方面将从下文描述的实现方式和实施例中变得清楚明白，并且将参考下文描述的实现方式和实施例和参考附图阐述，所述附图仅仅充当例示更一般概念的非限制性具体图示，并且其中虚线用来指示组件是可选的，非虚线的组件不一定是必要的。虚线也可以用于指示被解释为必要的元件被隐藏在对象内部中，或者用于无形的事物，诸如例如对象/区的选择、图表中的值水平的指示等等。

在附图中：

图1示意性地图示了我们的基于典型地经由旧有视频通信技术的编码和传输对不同亮度动态范围的至少两个分级进行编码的方法，所需的信息是所述分级之一的图像集合以及能够在接收侧重建用于将图像的第一集合映射到作为另一分级的第二集合的函数的数据；

图2示意性地图示了我们的用于动态范围转换的基本明亮度映射技术，如我们在wo2014/056679中公布的；

图3示意性地图示了我们的本发明的较简单的变体，其中rgb颜色分量中的至少某些分量在被输入到最大值计算单元中之前利用典型地小于或者等于一的缩放因子进行加权，并且还可以存在亮度输入；

图4示意性地图示了更复杂的实施例，其中存在用于将附加输入递送给最大值计算单元的其他组件，诸如用以非线性映射颜色分量的单元（401，…）、用以计算颜色分量的任意线性或者非线性组合的单元（404）、以及用以设置权重的颜色分析单元；

图5示意性地图示了一些最大值的选择如何通过分级者经由预定映射函数205导致用于最终进行颜色处理的乘法因子（a）；以及

图6示出了基于输入颜色分量的最大分量确定的颜色变换（但是在非线性或者伽马域中）的相同原理。

具体实施方式

图3示出了我们的本发明可以如何被体现的示例。输入图像的像素的线性红、绿和蓝分量（r、g、b）通过乘法器（301、302、303）乘以可用的权重（wr、wg、wb），导致加权的输入，例如，加权的蓝色bw=wb*b。还可以存在亮度计算单元（306），其取决于颜色表示系统（例如p3、rec.709、rec.2020等）利用固定常量a1、a2、a3将亮度计算为a1*r+a2*g+a3*b。在实际的装置和方法中，在我们目前描述的单元之前和之后可以存在颜色处理（例如，到不同的颜色基础的转换），但是这对于理解本发明而言不是所需的，并且仅将不必要地使阐述变得复杂。如果存在亮度输入，则可以包括亮度乘法器304，即便它仅乘以1.0，但是如果它总是乘以1.0，则该组件可以缺失（但是，视频信号仍然可以显式地包含四个权重，在此情况下，不具有亮度乘法器的硬件即使在忽略亮度权重（而不是利用它来设置亮度乘法器）时仍然可以正确地进行处理）。

最大值计算单元（201）然后计算各输入中的哪一个是最高的，我们称之为m（例如，具有180*4的值的绿色分量，如果分量的字长是例如10比特的话）。然后，明亮度映射器（202）向m应用函数，该函数之前由分级者设计为确保结果得到的图像具有良好外观。该图像可以是例如从主hdr分级计算的、要被再现在大约100nitpb的显示器上的ldr分级。在接收侧，主hdr图像和该函数的数据可以例如从存储器产品（比如bd）读取，或者经由天线作为电视信号接收，或者通过互联网从某个远程数据库读取等等。最终，缩放参数计算器（203）计算a=f(m)/m，并且乘法器（204）将rgb颜色分量与这个a相乘，产生用于输出图像中的像素的输出颜色（rs,gs,bs），其可以例如按照用于将输出图像信号从stb传送到tv的标准等等而被格式化在该输出图像信号中。

图4示出了在更复杂实施例中可能的情况。代替仅仅读取权重（其例如与电影图像镜头的开始同步地到来，即，在必须处理镜头的第一个图像之前一点），颜色分析单元（410）可以计算权重，无论它们是已经存在的并且至少对于某些情景必须被重写，还是必须在运行时（onthefly）被计算（在未传送权重但是一个或多个算法推导它们的情况下）。原则上，可以完成颜色情况的任何分析，典型地简单地看像素本身的颜色，但是也可以评估图像的其他颜色，例如如果噪声将是明显的，则估计周围的像素的颜色，并且也取决于需要什么，诸如所需要的分级的pb、观看周围条件、鉴于内容价格的可接受质量等等。

可以存在非线性函数应用单元(401、402、403)来提供非线性颜色分量(nr、ng、nb)作为最大值计算单元的输入。这是有利的，例如如果想要设计例如在对数轴系统等等上被不同采样的映射函数205的话。非线性变换单元也可以存在于最大值计算单元的输出处（即，在单元201和202之间），即，非线性地变换最大值m，无论它是从线性还是非线性颜色分量中被选择作为输入的。非线性函数也可以例如通过做出颜色分量的加权函数（而不是一个或者多个固定实数）而被实现，例如，wb=b-cb。

也可以存在颜色分量组合单元（404）。利用其，可以计算除了亮度之外的某个其他明亮度估计sbc，例如，为b1*r+b2*g+b3*b。还可以线性地或者非线性地组合非线性分量nr、ng、nb，或者事实上计算任何在可能的输入颜色的立方体上产生单个实值参数的非线性函数（该函数可以典型地体现为一个或者多个lut，其可能已经例如针对特定类的内容被优化，所述特定类的内容比如为哪个相机捕获了该内容并且潜在地处于哪些条件（例如夜晚或者白天）下、内容是什么类型的（例如，自然电影或是卡通）、或是图形或者包含一些图形的内容（比如，可能是教程或者新闻等等））。

最后，尤其是如果该技术被体现在编码侧装置中，如同所有这样的实施例一样，则元数据编码器450将收集所有的参数，诸如所有权重、定义非线性函数的形状的参数、或者参数的计算、或者lut数据、或者将要处理的（多个）图像的特定比色属性进行分类的算法等等，并且在以预先确定的格式将其格式化之后，将其发送到通信技术451，例如，连接到互联网的服务器以便稍后提供给终端消费者、或者到消费者的直接链路等等。技术人员可以理解本实施例可以如何合并在各种图像相关的技术中，所述技术比如视频提供系统、图像或视频处理软件、图像分析或再处理系统等等。

图6示出了相同的原理如何可以被应用于非线性rgb表示中，所述非线性rgb表示典型地是经典伽马r'g'b'版本，其如例如按照rec.709（注意，除了颜色非线性之外，色域形状对于所选红、绿和蓝原色保持相同）的、例如由光电传递函数（其定义了在例如r的线性颜色分量与明度代码r'之间的映射，并且经由eoft反之亦然）规定的大致是线性光rgb颜色的平方根。

在这个仅有的阐述性示例中——我们已经示出了hdr到ldr颜色变换示例，但是技术人员可以理解，可以类似地设计ldr到hdr的装置，例如在得到ldr图像并且需要针对比如5000或者1000nit显示器导出其hdr版本的接收器中——我们有hdr输入信号。我们假设其利用如在smpte2084（所谓的pq曲线）中那样由适合hdr编码的新的高度非线性eoft定义的明度y''定义，但是当然这仅仅是一种选项。

矩阵计算器601将（多个）像素颜色的这个y’’cbcr表示转换成高度非线性的（几乎对数的）r’’、g’’、b’’表示。非线性函数计算单元602应用固定的非线性函数以将那些分量变换成经典的明度分量r’g’b’，即，典型地按照例如rec.709函数定义，被定义为：

r’=4.5*r，如果r<0.0018或者=1.099*幂(r;0.45)–0.099，如果r>=0.018

并且，当从线性rgb分量开始定义这些分量时，相同的等式适用于g和b，但是现在将从pq分量r''g''b''开始，其将典型地通过计算lut（一旦先验）完成。

在该电路中，我们已经添加了亮度计算单元603，因为如果在非线性空间中计算亮度，则在一定程度上存在某种非恒定亮度问题。这个单元所做的是经由线性域计算，即：

y’=幂([cr*r’^gam+cg*g’^gam+cb*b’^gam];1/gam)，其中gam等于例如2.0，^指示幂运算，并且cr、cg和cb是用于亮度计算的已知分量权重，其可以唯一地在比色上被计算，如果知道rgb原色的色度和白点的话。所以，以这种方式，得到了对应于像素明度的实际亮度的其真实值。

最大值计算单元604再次是我们的发明允许的加权分量最大值计算实施例中的任一个，并且缩放因子计算单元202、203包括将来自最大值的输入明亮度相关项v'变换成用于乘法处理的缩放因子，即，包括单元202和203所做的。最后，乘法器605、606和607经由缩放因子a实现到输出颜色(rs,gs,bs)的颜色变换，所述输出颜色在该实施例中通过颜色矩阵器608再次被矩阵化为y’cbcr，但这现在是在伽马域中，即，典型地按照例如rec.709eotf定义的y'代码。

在本文本中公开的算法组件在实践中可以（整个或者部分地）实现为硬件（例如，专用ic的部分）或者实现为运行在专用数字信号处理器或者通用处理器等等上的软件。它们在以下意义上可以是半自动的，即：可以/已经存在（例如，在工厂中、或者消费者输入、或者其他人类输入）至少某种用户输入。

根据我们的描绘对于技术人员应当可理解的是，哪些组件可以是可选的改进，并且可以与其他组件相组合地实现，并且方法的（可选）步骤如何对应于装置的相应构件，并且反之亦然。一些组件在本发明中以某种关系（例如，在单个图中以某种配置）被公开的事实不意味着其他配置不可能作为与本文用于申请专利而公开的相同发明思考下的实施例。而且，出于实际原因仅描述了有限范围的示例的事实不意味着其他变体不能落入权利要求的范围内。事实上，本发明的组件可以沿着任何利用链而体现在不同的变体中，例如，比如编码器的创建侧的所有变体可以与在分解的系统的消耗侧（例如编码器）处的对应装置类似，或者与其对应，并且反之亦然。实施例的若干组件可以被编码为用于传输的信号中的特定信号数据，或者在编码器与解码器之间的任何传输技术中进一步使用诸如坐标等等。在本申请中的字词“装置”在其最宽泛的意义上被使用，即，允许实现特定目的的一组构件，并且因此可以例如是ic（的一小部分）、或者专用器具（诸如具有显示器的器具）、或者联网系统的部分等等。“布置”或者“系统”也意图在最宽泛的意义上被使用，所以其尤其可以包括单个物理可购买装置、装置的一部分、协作装置的集合（部分）等等。

计算机程序产品的称呼应当被理解为涵盖使得通用或专用处理器在一系列加载步骤（其可以包括中间转换步骤，诸如翻译成中间语言和最终处理器语言）之后能够将命令输入到处理器中以执行发明的特性功能中的任一个的命令集合的任何物理实现。特别地，计算机程序产品可以被实现为在载体上的数据，所述载体诸如例如是盘或者磁带、存在于存储器中的数据、经由有线或者无线网络连接传播的数据、或者纸上的程序代码。除了程序代码之外，对于程序所需的特性数据也可以被体现为计算机程序产品。可以以任何方式（部分地）提供这样的数据。

本发明或者按照本实施例的任何理念可用的任何数据（比如视频数据）也可以被体现为数据载体上的信号，所述数据载体可以是可移除存储器，比如光盘、闪速存储器、可移除硬盘、经由无线构件可写入的便携式设备等等。

对于任何所提出的方法的操作所需的步骤中的一些步骤可以已经存在于本发明的处理器或者任何装置实施例的功能中，而不是被描述在本文描述的计算机程序产品或者任何单元、装置或者方法中（具有本发明实施例的细节），所述步骤诸如数据输入和输出步骤、众所周知的典型地被合并的处理步骤，诸如标准显示器驱动等等。应当指出，以上提及的实施例举例说明而不是限制本发明。在技术人员可以容易地实现所提出的示例到权利要求的其他区的映射的情况下，我们出于简洁起见没有深入地提及所有这些选项。除了如被组合在权利要求中的本发明的元件的组合之外，这些元件的其他组合也是可能的。元件的任何组合可以被实现在单个专用元件中。

在权利要求中的括号之间的任何参考标记不意图用于限制权利要求，附图中的任何特定符号也不意图用于限制权利要求。字词“包括”不排除未在权利要求中列出的元件或者方面的存在。在元件前的字词“一”或者“一个”不排除多个这样的元件的存在。