用于生成具有减小的剪切区域的HDR图像的方法和装置与流程

本发明一般涉及高动态范围成像(hdr)领域，并且针对于扩展低或标准动态范围图像的动态范围的方式。更具体地，本发明涉及用于生成具有减少的剪切区域的hdr图像的方法和装置。

背景技术：

显示技术的最新进展开始使得显示图像中的颜色，亮度和对比度的扩展动态范围。术语“图像”指代可以是例如视频或静止画面的图像内容。

使得图像的辉度或亮度的扩展动态范围的技术被称为高动态范围成像或hdr成像。许多具有处理和显示具有扩展动态范围的hdr图像的能力的显示设备已经可供客户使用。还正在开发能够捕获具有这样增加的动态范围的图像的图像捕获设备。然而，hdr图像还不是很普遍，并且存在是sdr(标准动态范围)或ldr(低动态范围)图像的许多现有图像。因此，需要在最近的高动态范围(hdr)设备上可视化低或标准动态范围(ldr或sdr)图像。

为此，已经开发了反或逆色调映射(itm)算法。它们允许通过使用处理图像中像素的亮度信息的算法从常规(ldr或sdr)图像生成hdr图像，目的是恢复或重新创建原始场景的外观。

大多数时候，itm在于定义应用于ldr输入图像的全局传递函数，增加动态和对比度并生成hdr输出图像。

简单的itm可以将具有例如等于2.4的恒定系数的伽马曲线应用于ldr(或sdr)视频信号。一些其他算法更复杂，并且提出取决于画面特性在局部和时间上适配曲线。

提出的另一已知解决方案结合动态扩展，同时考虑图像的局部特性以避免噪声扩展。扩展曲线适配于内容本身，这意味着曲线的形状取决于ldr视频特征，类似例如ldr图像的灰度级的直方图，并且可以针对每个帧刷新。

传递函数经常产生于对比度改善和保留ldr图像的低和中间色调的事实之间的折衷，并因此保留艺术意图(调色师或电影导演的意图)。该折衷有时导致图像的亮部分的剪切区域，同时增加对比度。剪切区域是其中细节水平低的接近最大可编码亮度的图像中的区域。剪切区域可以呈现在ldr图像和hdr图像中。hdr图像中的剪切区域可以对应于已经呈现在ldr图像中的剪切区域或者由逆色调映射处理生成的剪切区域。在本专利申请中，剪切区域更具体地表示细节水平低的亮区域。

技术实现要素：

本公开提出了减少hdr图像中的剪切区域，并且更具体地，减少由itm处理生成的剪切区域。通过对由itm获得的hdr图像应用后处理或通过适应itm处理来实现该剪切区域的减少。

本公开提出一种处理图像的方法，包括：

-接收场景的被称为ldr图像的低动态范围图像和被称为hdr图像的高动态范围图像，所述hdr图像通过应用于ldr图像的逆色调映射而获得，

-检测所述ldr和hdr图像中的亮区域，

-确定ldr图像中不存在的被称为新的亮区域的hdr图像的亮区域，

-修改hdr图像的新的亮区域的亮度，以减少所述新的亮区域中的剪切区域的数量。

根据该方法，确定ldr图像和hdr图像之间的亮区域的变化，并且修改新引入的亮区域，以限制这些新的亮区域中的剪切区域。

根据一个实施例，通过将ldr图像和hdr图像的颜色值转换为亮度值并且通过用第一阈值thldr阈值化ldr图像的亮度值并且用第二阈值thhdr阈值化hdr图像的亮度值，检测所述ldr图像和所述hdr图像中的亮区域。

根据一个实施例，如果ldr图像的亮度值以n比特编码并且hdr图像的亮度值以m比特编码，m和n是整数，使得m>n,则thhdr≥2^m-nxthldr。

根据另一个实施例，thhdr＝f(thldr)，其中f是应用于ldr图像以获得hdr图像的逆色调映射的传递函数。

根据一个实施例，通过从hdr图像的亮区域中减去ldr图像的亮区域来确定新的亮区域。

根据一个实施例，通过将hdr图像的新的亮区域的亮度值与对应于hdr图像的所述新的亮区域的ldr图像的区域的亮度值混合来修改hdr图像的所述新的亮区域的亮度。

根据一个实施例，hdr图像的新的亮区域的亮度被如下修改：

yhdrmodified＝α*yhdr+(1-α)*yldr

其中-α是预定参数；

-yhdrmodified是hdr图像的新的亮区域的像素的修改的亮度，

-yhdr是hdr图像的对应像素的亮度，和

-yldr是ldr图像的对应像素的亮度。

根据一个实施例，参数α等于：

根据一个实施例，方法还包括通过应用于ldr图像的逆色调映射来获得所述hdr图像，并且其中通过修改逆色调映射的传递函数的至少一个参数来修改hdr图像的新的亮区域的亮度。

根据一个实施例，修改逆色调映射的传递函数的至少一个参数，直到新的亮区域的像素的数量大于预定数量n为止。

本公开也涉及处理图像的设备，所述设备配置为：

-接收场景的称为ldr图像的较低动态范围图像和称为hdr图像的较高动态范围图像，所述hdr图像通过应用于ldr图像的逆色调映射获得，

-检测所述ldr和hdr图像中的亮区域，

-确定ldr图像中不存在的称为新的亮区域的hdr图像的亮区域，

-修改hdr图像的新的亮区域的亮度，以减少所述新的亮区域中的剪切区域的数量。

根据实施例，通过将hdr图像的所述新的亮区域的亮度值与对应于hdr图像的所述新的亮区域的ldr图像的区域的亮度值混合来修改hdr图像的新的亮区域的亮度。

根据实施例，该设备还被配置为通过应用于ldr图像的逆色调映射来获得所述hdr图像，并且其中通过修改逆色调映射的传递函数的至少一个参数来修改hdr图像的新的亮区域的亮度。

本公开还涉及计算机程序产品，包括用于当在计算机或处理器上执行所述程序时实现上述方法的程序代码指令。

本公开还涉及存储上述计算机程序产品的非暂时性计算机可读存储介质。

附图说明

参考以下通过示例给出并且不是限制保护范围的描述和附图可以更好地理解本发明，并且在附图中：

-图1a和1b分别是ldr图像和hdr图像的视图，hdr通过应用于ldr图像的逆色调映射获得；

-图2是根据本公开的第一实施例的方法的连续步骤的流程图；

-图3a和3b是图示图2的方法的检测步骤的结果的掩模(mask)；

-图4是图示图2的方法的减去步骤的结果的掩模；

-图5是图示由图2的方法产生的修改的hdr图像的视图；

-图6a，6b和6c是分别图示图2的方法的ldr图像，hdr图像和修改的hdr图像的视图；

-图7是根据本公开的第二实施例的方法的连续步骤的流程图；以及

-图8是本公开的设备的示例性实施例的示意图。

附图中的部件不一定按比例绘制，而是将重点放在图示发明的原理上。

具体实施方式

虽然示例实施例能够具有各种修改和替换形式，但是其实施例在附图中以示例的方式示出并且将在此在此详细描述。然而，要理解的是，没有意图将示例实施例限制于公开的具体形式，相反，示例实施例要覆盖落入权利要求的范围内的所有修改，等同物和替代物。在整个附图的描述中，相同标号指代相同元件。

在更详细讨论示例实施例之前，注意，一些示例实施例被描述为如流程图描绘的处理或方法。虽然流程图将操作描述为顺序处理，但是许多操作可以并行，并发或同时执行。另外，可以重新安排操作的顺序。处理可以在其操作完成时终止，但也可以具有未包括在附图中的附加步骤。处理可以对应于方法，函数，过程，子例程，子程序等。

下面讨论的方法(其中一些由流程图图示)可以通过硬件，软件，固件，中间件，微代码，硬件描述语言或其任何组合来实现。当在软件，固件，中间件或微代码中实现时，用于执行必要任务的程序代码或代码段可以存储在机器或者诸如存储介质的计算机可读介质中。(多个)处理器可以执行必要的任务。在此公开的特定结构和功能细节仅仅代表描述本发明的示例实施例的目的。然而，本发明可以以许多替代形式实施，并且不应该被解释为仅限于在此阐述的实施例。

在以下段落中，参考附图，将描述根据实施例的方法和相关设备的实现方式。hdr图像将指代具有比ldr或sdr图像更高动态范围的图像。表述“ldr图像”将用于指代ldr(低动态范围)图像或sdr(标准动态范围)图像。以更一般的方式，在本专利申请中，ldr或sdr图像指代动态范围低于hdr图像的动态范围的图像。相反，hdr图像指代动态范围高于ldr或sdr图像的动态范围的图像。

根据本发明的方法包括多个步骤，并且假设对于视频的每个帧或每个图像，ldr版本和hdr版本可用，hdr版本由应用于ldr版本的itm的操作产生。图1a和1b是输入到本发明的方法的ldr图像和hdr图像的示例。这些图像代表包括多云天空的景观。

与图1a的ldr图像(例如以8比特编码)相比，图1b的hdr图像包括剪切区域，特别是在云的亮区域中，其中在itm处理期间损失细节水平。

根据本发明的第一实施例的方法的步骤如图2所示。

该图示出用于从ldr图像生成hdr图像(要处理)的逆色调映射(itm)的初始步骤10。itm的该步骤可以是本发明的方法的一部分。这是为什么该步骤用虚线示出的原因。

itm处理可以是任何类型。itm处理的传递函数例如是简单伽马曲线或使用扩展指数映射的函数，如wo2015/096955中公开。ldr图像可以是图1a的ldr图像，并且产生的hdr图像可以是图1b的hdr图像。

根据该实施例，分别在步骤11和12中在ldr图像和hdr图像中检测到亮区域。检测到的hdr图像的亮区域是潜在剪切区域。

可以通过分割来执行这两个步骤中的每一个。可以使用阈值化操作来完成该分割。让我们以ldr图像为例，其中rgb值针对每个颜色以8比特编码。步骤11可以在于首先将ldr图像的rgb值转换为亮度值，然后用第一阈值thldr阈值化亮度值。同样地，步骤12可以在于首先将hdr图像的rgb值转换为亮度值，然后用第二阈值thhdr阈值化亮度值。

转换可以通过以下等式执行：

yldr＝0.299*rldr+0.587*gldr+0.114*bldr[1]

yhdr＝0.299*rhdr+0.587*ghdr+0.114*bhdr[2]

其中

yldr是ldr图像的像素的亮度值，

rldr是ldr图像的所述像素的红色分量的值，

gldr是ldr图像的所述像素的绿色分量的值，

bldr是ldr图像的所述像素的蓝色分量的值，

并且

yhdr是hdr图像的像素的亮度值，

rhdr是hdr图像的所述像素的红色分量的值，

ghdr是hdr图像的所述像素的绿色分量的值，

bhdr是hdr图像的所述像素的蓝色分量的值。

然后将阈值化操作应用于由转换操作产生的亮度值。阈值化操作的结果由图3a和3b的掩模maskldr和maskhdr示出。

掩模maskldr和maskhdr如下获得：

如果yldr>thldr,maskldr＝白色否则maskldr＝黑色在图3a中。

如果yhdr>thhdr,maskhdr＝白色否则maskhdr＝黑色在图3b中。

定义阈值thldr和thhdr，使得如果亮度值yldr以n比特编码并且亮度值yhdr以m比特编码，其中m和n是整数并且m>n，则我们具有thhdr≥2^m-nxthldr。

阈值thldr和thhdr可以是恒定的(固定的)，或者可以取决于图像内容或取决于itm的传递函数。

阈值应该适应于编码比特的数量。

如果值yldr以8比特(n＝8)编码，则阈值thldr例如等于230。如在上面提及，该值可以取决于图像的类型(风景，室内，......)。阈值thldr可以更接近255。但是阈值thldr优选不等于225，因为由于不可避免地存在噪声，所以剪切区域不仅仅指255处的像素。

如果值yhdr以12比特(m＝12)编码，则无论itm的传递函数如何，相关联的阈值thhdr例如等于230*(2⁴)＝3680。阈值thldr可以被包括在3680和4095之间。

在另一示例中，阈值thldr可以取决于用于生成yhdr的itm的传递函数f。例如，thhdr＝f(230)。

再次参考图2，然后在步骤13中处理两个图像的亮区域，以确定在itm操作期间出现的亮区域。这些亮区域被称为新的亮区域。它们通过从hdr图像的亮区域中减去ldr图像的亮区来确定。因此，步骤13在于从掩模maskhdr的像素中减去掩模maskldr的亮像素。产生图4所示的掩模maskhdr-ldr。

该步骤旨在分离已经呈现在ldr图像中的剪切区域和已经由hdr中的itm处理“添加”的新的剪切区域。基本构思是考虑ldr图像中已经剪切区域(有利地由调色师分级)可以保持为它们在hdr图像中的那样(没有细节损失)。相反，必须适应maskhdr-ldr中呈现的hdr图像的“新剪切区域”(图4的白色区域)以减少高光中的提升。实际上，与ldr图像中的亮区域相比的hdr图像中的亮区域的增加示出了在itm处理期间亮度值已经被提升过多。

因此，在步骤14中，新的亮区域(在掩模maskhdr-ldr上可见)的亮度值适应于减少这些区域中的亮度水平，并且作为结果，减少这些区域中的剪切区域的数量。

根据实施例，在步骤14中，通过将hdr图像的新的亮区域的亮度值与ldr图像中的对应区域的亮度值混合来修改hdr图像的新的亮区域的亮度。

例如，hdr图像的新的亮区域的亮度被修改如下：

对于yhdr∈maskhdr-ldr

yhdrmodified＝α*yhdr+(1-α)*yldr[3]

其中

并且-yhdrmoaified是hdr图像的新的亮区域的像素的修改的亮度。

-yhdr是hdr图像的相应像素的亮度，和

-yldr是ldr图像的相应像素的亮度。

根据该公式，ldr像素值最接近最大亮度值(8比特中的255)，hdr值与ldr值混合得越多。

等式[3]应用于线性域。然后将亮度值转换为rgb值。当然，计算新的相应rgb值以保留像素颜色。

应用于图1a和1b的图像的该处理的结果由图5图示，图5表示称为hdrmodified的产生的hdr图像。

图6a-6c是使得比较ldr和hdr输入图像与hdr输出图像的图。图6a-6b和6c分别等效于图1a，1b和5。在图6b和6c中，矩形区域示出其中保留高对比度(无适应)的区域，并且圆形区域示出其中恢复细节的区域(在修改的hdr图像中)。

上述实施例是在itm处理之后应用的后处理方法。

在变型中，itm处理是本发明方法的一部分，并且修改itm处理以减少hdr图像中的剪切区域。

该变型由图7图示。该方法包括已针对先前实施例描述的步骤10-13。

与先前实施例不同，通过修改逆色调映射的传递函数的至少一个参数来修改hdr图像(步骤10)。

根据该变型，确定新的亮区域的像素的数量(＝掩模maskhdr-ldr的白色像素的数量)并在步骤15中与预定数量n比较。数量n可以是固定的或取决于图像类型(脑海，室内，......)。该数量可能等于零。

如果新的亮区域的像素的数量大于n，则在步骤16中修改itm步骤10的传递函数f的至少一个参数，以减少新的亮区域。

在一个示例中，传递函数f可以是以下类型：

yhdr(p)＝yldr(p)^e(p)

其中-yhdr(p)是hdr图像中像素p的亮度值；

-yldr(p)是ldr图像中的像素p的亮度值。

-e(p)是与扩展指数映射中的像素p相关联的值或一组值；扩展指数映射可以是二次函数。

要修改的f的参数可以是二次函数的参数。

修改itm的传递函数，直到新的亮区域的像素的数量小于或等于n为止。当满足该条件时，新hdr图像(由itm处理传送的)是修改的hdr图像hdrmodified。在步骤17传送该修改的图像。

图8表示根据本公开的任何示例性实施例的被配置为处理ldr图像和hdr图像的设备800的示例性架构。

设备800包括一个或多个处理器810(其是例如cpu，gpu和/或dsp(数字信号处理器的英文首字母缩写))以及内部存储器820(例如ram，rom，eprom)。设备800包括一个或若干输入/输出接口830，适应为显示输出信息和/或允许用户输入命令和/或数据(例如键盘，鼠标，触摸板，网络摄像头)；以及电源840，其可以在设备800的外部。设备800也可以包括(多个)网络接口(未示出)。如果设备实现itm处理，则设备可以仅接收ldr图像。如果设备不实现itm处理，则接收ldr图像和hdr图像。

根据本发明的示例性和非限制性实施例，设备800还包括存储在存储器820中的计算机程序。计算机程序包括当由设备800，特别是由处理器810执行时使得设备800实施参考图2或7描述的方法的指令。根据变型，计算机程序在设备800外部存储在非暂时性数字数据载体上，例如，在本领域中所有已知的hdd，cd-rom，dvd，只读和/或dvd驱动和/或dvd读/写驱动。因此，设备800包括用于读取计算机程序的接口。此外，设备800可以通过相应usb端口(未示出)访问一个或多个通用串行总线(usb)型存储设备(例如，“记忆棒”)。

根据示例性和非限制性实施例，设备800是属于包括以下项的组的设备：

-移动设备；

-通信设备；

-游戏设备；

-平板电脑(或平板计算机)；

-膝上型计算机；

-照相机；

-摄像机；

-编码芯片；

-静止图像服务器；

-视频服务器(例如，广播服务器，视频点播服务器或网络服务器)；

-视频上传平台；和

-显示或解码芯片。

在此描述的实现方式可以在例如方法或处理，设备，软件程序，数据流或信号中实现。即使仅在单个实现方式的上下文中讨论(例如，仅作为方法或设备讨论)，讨论的特征的实现方式也可以以其他形式(例如程序)实现。设备可以在例如适当硬件，软件和固件中实现。方法例如可以在诸如例如处理器之类的设备中实现，该处理器一般指代处理设备，包括例如计算机，微处理器，集成电路或可编程逻辑设备。处理器也包括通信设备，诸如例如计算机，蜂窝电话，便携/个人数字助理(“pda”)，以及便于终端用户之间的信息通信的其他设备。

在此描述的各种处理和特征的实现方式可以体现在各种不同设备或应用中，特别是例如装备或应用。这样的装备的示例包括编码器，解码器，处理来自解码器的输出的后处理器，向编码器提供输入的预处理器，相机，视频编码器，视频解码器，视频编解码器，网络服务器，机顶盒，膝上型计算机，个人计算机，手机，pda和其他通信设备。应该清楚的是，该装备可以是移动的，甚至可以安装在移动车辆中。

另外，该方法可以由处理器执行的指令来实现，并且这样的指令(和/或由实现方式产生的数据值)可以存储在处理器可读介质上，诸如例如集成电路，软件载体或其他存储设备，诸如例如硬盘，致密盘(“cd”)，光盘(诸如例如dvd，通常称为数字多功能盘或数字视频盘)，随机存取存储器(“ram”)或只读存储器(“rom”)。指令可以形成有形地体现在处理器可读介质上的应用程序。指令可以是例如硬件，固件，软件或组合。指令可以在例如操作系统，单独应用或两者的组合中找到。因此，处理器被特征化为例如被配置为实施处理的设备和包括具有用于实施处理的指令的处理器可读介质(诸如存储设备)的设备二者。此外，除了指令之外或代替指令，处理器可读介质可以存储由实现方式产生的数据值。

将对于本领域技术人员明显的是，实现方式可以产生被格式化以承载可以例如存储或传输的信息的各种信号。该信息可以包括例如用于执行方法的指令，或者由描述的实现方式之一产生的数据。例如，信号可以被格式化以承载用于写入或读取描述的实施例的语法的规则作为数据，或者承载由描述的实施例写入的实际语法值作为数据。这样的信号可以例如被格式化为电磁波(例如，使用频谱的射频部分)或者格式化为基带信号。格式化可以包括例如编码数据流和用编码数据流调制载波。信号承载的信息可以是例如模拟或数字信息。如已知，信号可以通过各种不同有线或无线链路传输。信号可以存储在处理器可读介质上。