用于实时色调映射的系统和方法与流程

本申请要求于2015年9月2日提交的题为“SYSTEM AND METHOD PERFORMING REAL-TIME NOISE-AWARE TONE-MAPPING(用于实时色调映射的系统和方法)”的第62/213,290号美国临时专利申请的优先权，该美国临时专利申请的公开内容通过引用以其全文结合于此。

技术领域

下文涉及用于对输入图像执行色调映射、并且更具体地用于基于图像对比度失真来执行色调映射的系统和方法。

背景技术：

高动态范围(HDR)视频将在高端影院以及各种消费级和商业级产品的观看体验方面提供空前的改进。由扩展的视觉保真和艺术自由需求驱动，HDR技术目前正非常快速地向前发展。在采集方面，以下两方面均有改进：专业的HDR相机系统，如具有高达14-16.5光圈系数(f-stops)的经扩展动态范围的Arri Alexa XT和Red Epic Dragon；以及展现高达20-24光圈系数的动态范围的研究原型[Tocci等人，2011；Kronander等人，2013]。在产品方面，主要的工作室正通过开发完全HDR实现的产品流水线、将全新的创造工具箱放到艺术家手中来满足这个正在进行的趋势。同样在显示方面，HDR技术是一重点关注。制造商(例如，Sim2)已走向使用高对比度局部调光技术来扩展动态范围并且最近已经发布了Dolby Vision X-tended Dynamic Range PRO。

技术实现要素：

根据一个方面，提供了以一种用于对输入图像进行色调映射以生成经色调映射的输出图像的方法。该方法包括：基于该输入图像与经色调映射的图像之间的图像对比度失真模型来确定色调曲线；以及根据该确定的色调曲线对该输入图像进行色调映射，并且其中，确定该色调曲线包括分析性地计算该色调曲线的值以用于减少该图像对比度失真模型内的图像对比度失真。

根据另一方面，提供了一种用于对输入图像进行色调映射以生成经色调映射的输出图像的方法。该方法包括对该输入图像应用空间滤波器以生成基层和细节层，该滤波包括针对多个像素中的每一个：检测该输入图像的边缘在包围该像素的区域内的存在；以及根据该边缘在该区域内的存在选择性地对该区域应用滤波内核。

根据又另一方面，提供了一种用于对输入图像进行色调映射以生成经色调映射的输出图像的方法。该方法包括：从对该输入图像的滤波中提取基层和细节层；对该基层进行色调映射；基于该输入图像的可视性阈值和噪声模型对该细节层进行调制；以及将该经色调映射的基层与该经调制的细节层进行组合。

根据又另一方面，提供了一种情境感知的色调映射操作器。该操作器包括可操作以接收一个或多个情境参数的噪声模型生成器和色调映射操作器。该色调映射操作器包括用于提取输入图像的基层和细节层的边缘停止滤波子模块、色调曲线生成子模块、以及用于组合该基层与该细节层的组合子模块。该边缘停止滤波子模块、该色调曲线生成子模块和该组合子模块中的至少一个基于该一个或多个情境参数中的至少一个是可调的。

根据又另一方面，提供了一种计算机实施的系统，用于从输入图像中生成经色调映射的输出图像。该系统包括至少一个数据存储设备以及耦合至该至少一个存储设备的至少一个处理器，该至少一个处理器被配置用于：基于该输入图像与经色调映射的图像之间的图像对比度失真模型来确定色调曲线；以及根据该确定的色调曲线对该输入图像进行色调映射，并且其中，确定该色调曲线包括分析性地计算该色调曲线的值以用于减少该图像对比度失真模型内的图像对比度失真。

根据又另一方面，提供了一种计算机实施的系统，用于从输入图像中生成经色调映射的输出图像。该系统包括至少一个数据存储设备以及耦合至该至少一个存储设备的至少一个处理器，该至少一个处理器被配置用于：对该输入图像应用空间滤波器以生成基层和细节层，该滤波包括针对多个像素中的每一个：检测该输入图像的边缘在包围该像素的区域内的存在；以及根据该边缘在该区域内的存在选择性地对该区域应用滤波内核。

根据又另一方面，提供了一种计算机实施的系统，用于从输入图像中生成经色调映射的输出图像。该系统包括至少一个数据存储设备以及耦合至该至少一个存储设备的至少一个处理器，该至少一个处理器被配置用于：从对该输入图像的滤波中提取基层和细节层；对该基层进行色调映射；基于该输入图像的可视性阈值和噪声模型对该细节层进行调制；以及将该经色调映射的基层与该经调制的细节层进行组合。

附图说明

虽然以上描述提供了实施方案的例子，但是将理解的是，在不背离所描述实施方案的操作的精神和原理的情况下，所描述实施方案的一些特征和/或功能易于修改。因此，以上所描述的内容旨在是说明性而非限制性的，并且其将被本领域技术人员理解为在不背离本发明的如在所附权利要求书中限定的范围的情况下可以作出其他变体和修改。

图1展示了根据一个示例实施方案的色调映射系统的操作模块的示意图；

图2是图形，展示了人类视觉系统的可视性阈值、包括在由相机采集的典型图像中的图像噪声、以及在对相机采集的图像进行色调映射之后的噪声水平；

图3是图形，示出了针对多个亮度级片段的像素值的直方图(bin)以及所生成的由针对每个亮度级片段的分段线性斜率形成的色调曲线；

图4示出了使用全局色调曲线输出的经色调映射的图像以及使用局部色调曲线输出的经色调映射的图像；

图5是图形，示出了针对基于直方图均衡生成的色调曲线的斜率分配、基于MPEG最小失真的斜率分配、以及基于在此描述的基于实时对比度失真的TMO的斜率分配；

图6是图形，示出了在此于图1中描述的边缘停止函数；

图7展示了不同滤波器的响应，示出了被添加到原始信号中的细节(噪声)；

图8展示了使用同一色调曲线来进行色调映射所应用的不同边缘保留滤波器的结果。

图9示出了定性分析结果的图形，示出了从所进行的实验得到的平均评分，具有针对标准误差的误差条；

图10示出了两个当前最新TMO与在此描述的基于实时对比度失真的TMO之间的代表性例子；

图11示出了两个当前TMO与在此描述的基于实时对比度失真的TMO的实施方式的结果；

图12展示了使用全局色调曲线、自然细节和强烈增强的细节以及使用色调优先设置的结果；

图13展示了导致图像噪声放大的简单色调映射操作器与来自在此描述的基于实时对比度失真的TMO的色调映射之间的比较；

图14展示了色调映射操作器的比较，该色调映射操作器利用基于实时对比度失真的噪声感知型TMO来忽视噪声；

图15展示了在色调映射过程中引入环境光的结果；

图16展示了当对边缘附近的点进行滤波时的偏差；以及

图17展示了根据一个示例实施方案的对输入图像进行色调映射的方法的操作步骤的流程图。

具体实施方式

尽管在HDR视频流水线的每个步骤中付出了巨大的努力，从采集处理到压缩显示，一个重要的挑战仍然要求实质性的改进：对HDR视频进行色调映射。

色调映射在此指对图像的值、视频的一个或多个帧进行处理，以将一组色彩映射为另一组色彩。典型的应用是将HDR图像或视频色调映射成具有更加受限的动态范围的图像，尽管色调映射也可以应用于标准的动态范围图像或视频。执行色调映射的系统和方法在此通常被称为“色调映射操作器”(“TMO”)。

不管对鲁棒视频色调映射的需求，现有算法经常达不到预期，因为其倾向于显露或放大噪声、无法处理较大的对比度压缩、引入振铃(ringing)、重影(ghosting)或瞬时闪烁(temporal flicker)[Eilertsen等人2013]，不适应于显示和观看条件，或者计算较慢。

相关工作

Eilertsen等人[2013]评估并分析了11个视频色调映射操作器。他们将这些视频色调映射操作器分成以下几类：模拟视觉系统的属性和限制的那些-视觉系统模拟器(VSS)、试图保留原始场景外观的那些-场景再现操作器(SRP)、以及产生主观偏好图像的那些-最佳主观质量操作器(BSQ)。Eilertsen等人得出结论：所有测试的操作器都倾向于引入伪像，如闪烁、重影、放大的噪声水平、或细节缺失。

瞬时伪像(如闪烁)对许多视频TMO而言是个严重的问题。对于时间稳定性，全局操作器经常依赖于随时间推移对色调曲线的滤波[Mantiuk等人2008]，或者TMO参数[Pattanaik等人2000；Kiser等人2012]。虽然这允许了高效的实施，但情况对于局部TMO而言更为复杂，其中，色调再现可以随时间推移在局部水平上不相干地变化。为了克服这些困难，并且为了减少噪声，许多局部TMO在像素域采用空间-时间滤波器[Ledda等人2004；Bennett和McMillan 2005；Van Hateren 2006]，或沿着运动路径，[Aydin等人2014]。然而，这些滤波器通常计算代价很高并且不能使自己很好地参与实时处理。另一个困难在于其倾向于引入重影伪像或者可能无法在光流故障的情况下很好地工作。

实时噪声感知的色调映射

拓宽地描述，如在附图中所例示的，其中提供了一种用于对输入图像或视频进行色调映射的新颖系统和方法。该新颖系统和方法还可以包括对于执行色调映射的一个步骤或部分有效的一个或多个子元件。在该系统和方法的一些示例实施方案中，色调映射可以实时地执行和/或解释噪声的存在(例如，是“噪声感知的”)。该系统和方法的色调曲线生成部分是基于输入图像与经色调映射图像之间的图像对比度失真模型。在此描述的用于色调映射的新颖系统和方法、在此描述的示例实施方案、及其变体在此通常被称为“基于实时对比度失真TMO”。

在此描述的一个或多个基于实时对比度失真TMO系统可以在于可编程计算机上执行的计算机程序中实施，每个计算机包括至少一个处理器、数据存储系统(包括易失性和非易失性存储器和/或存储元件)、至少一个输入设备、以及至少一个输出设备。例如，并且非限制性地，可编程计算机可以是可编程逻辑电路、大型计算机、服务器、和个人计算机、基于云的程序或系统、膝上计算机、个人数据助理、蜂窝电话、智能电话、可穿戴设备、平板设备、虚拟现实设备、智能显示设备(例如，智能TV)、视频游戏控制台、或便携式视频游戏设备。

每个程序优选地以高级程序的或面向对象的编程和/或脚本语言实现，以与计算机系统通信。然而，程序可以在需要时以汇编语言或机器语言实现。在任何情况下，该语言都可以是经编译的或者经解译的语言。每个这种计算机程序优选地存储在通用或专用可编程计算机可读取的存储介质或设备上，以用于在该存储介质或设备被计算机读取用来执行在此描述的程序时配置和操作计算机。在一些实施方案中，该系统可被嵌入在运行于可编程计算机上的操作系统内。在其他示例实施方案中，该系统可以在硬件中、如在视频卡内实现。

此外，所描述实施方案的系统、过程和方法能够分布在计算机程序产品中，该计算机程序产品包括承载针对一个或多个处理的计算机可用指令的计算机可读介质。该介质可以以各种形式提供，包括一个或多个磁盘、光盘、磁带、芯片、有线传输、卫星传输、互联网传输或下载、磁和电存储介质、数字和模拟信号等。计算机可用指令还可以采用包括已编译和非编译代码的各种形式。

现在参照图1，在此展示的是根据一个示例实施方案的实施基于实时对比度失真的TMO的色调映射系统100的操作模块的示意图。

色调映射系统100接收输入图像或视频108作为输入。输入视频108可以由多个顺序视频帧形成。输入图像或视频108可以是标准动态范围图像或高动态范围图像。

色调映射系统100可以接收一个或多个情境参数作为输入。在此的情境参数指对经色调映射的图像或视频(即，在已经对其应用色调映射之后得到的输入图像或视频)将被显示的环境进行限定和/或分类的参数。情境参数还可以限定和/或分类该经色调映射的图像或视频将被观看的情境。情境参数可以包括一个或多个观看者特征(例如，观看者年龄、性别、性、种族、视力障碍)。

情境参数的例子包括以下各项中的一项或多项：观看环境中的环境光、输出显示设备的峰值亮度、输出显示设备的动态范围、观看者偏好、速度和曝光。也可以包括其他情境参数。

色调映射系统100可以包括噪声建模模块116，该噪声建模模块可操作以用于生成存在于输入图像或视频108中的噪声的模型。在此描述了用于用在基于实时对比度失真TMO内的噪声建模的特定示例实施方案，然而，将理解的是，在此可以使用本领域已知的其他合适的噪声模型。在其他示例实施方案中，输入图像或视频108的噪声模型可以在色调映射系统100的外部生成并且被提供给色调映射系统100作为情境参数。

该色调映射系统100进一步包括色调映射模块124，该色调映射模块自身包括各种子模块，如在此进一步描述的。

更具体地，色调映射模块124包括滤波子模块128、色调曲线生成子模块132、以及组合子模块136。

滤波子模块128可操作用于对输入图像或输入视频108的帧应用滤波以提取输入图像的或者输入视频108的每个帧的基层b和细节层d。在此描述了对输入图像或视频108应用滤波的特定示例实施方案，然而，将理解的是，本领域已知的用于将图像或帧分成基层和细节层的各种其他合适的滤波方法可以在滤波子模块128内应用。

滤波子模块128在基于实时对比度失真的TMO内的各示例实施方案涉及用于提取基层和细节层的边缘停止空间滤波器，该边缘停止空间滤波器在本文其他处被更详细地描述。有利地，根据各示例实施方案的边缘停止空间滤波器可以导致第一边缘停止非线性扩散逼近以用于增强细节而没有振铃伪像。

色调曲线生成子模块132可操作以用于确定用于对输入至其中的图像或视频帧进行色调映射的色调曲线。色调曲线生成模块132可以接收由滤波子模块128输出的基层作为其输入。曲线生成模块132还可以接收一个或多个情境参数作为输入。该参数可以包括用于执行生成色调曲线的用户偏好，如本文其他处所描述的。在一些示例实施方案中，色调曲线生成子模块132进一步接收由噪声建模模块116生成的噪声模型作为输入。一个或多个情境参数和噪声模型可以影响由色调曲线生成子模块132生成色调曲线。色调曲线生成子模块132进一步可操作用于将所生成的色调曲线应用于输入至其的图像或视频帧从而生成经色调映射的输出。在输入图像或视频108的基层被输入到色调曲线生成子模块132的情况下，子模块132输出经色调映射的基层btm。

组合子模块136可操作用于将从滤波子模块128输出的细节层与由色调曲线生成子模块132输出的经色调映射的基层进行组合或合并。本领域已知的用于组合基层和细节层的各层组合方法可以应用在组合子模块136内。

本文提供的基于实时对比度失真的TMO的组合子模块136的各示例实施方案涉及具有对图像细节的噪声感知控制的组合子模块136。例如，当将经色调映射的基层与细节层进行组合时，组合子模块136可以基于噪声的存在对细节层应用缩放。经缩放的细节层被标示为dout。

色调映射模块124可以进一步包括逆显示建模子模块140。逆显示建模子模块140可操作以在解释影响从显示设备感知到的图像的环境因素(如环境光)时生成显示设备的模型。逆显示建模子模块140可以进一步处理从组合子模块136输出的组合图像以便输出适应于显示设备和环境因素的输出图像。输出图像准备好显示在显示设备上。

本文描述的基于实时对比度失真的TMO的各示例实施方案基于三点要求：噪声感知、时间鲁棒性、和显示适应性。

针对色调映射的噪声建模

视频序列中的可见噪声可以使用现代去噪算法被大大地减少[Maggioni等人2012；Aydin等人2014]。然而，过强的去噪引入模糊并且降低了图像锐度。由于缺少锐度相比噪声是较不可容忍的伪像，因此通常的视频处理实践是采用保守的降噪并且然后以手动色彩分级步骤隐藏剩余的噪声。

根据基于实时对比度失真的TMO的示例实施方案，分级步骤通过噪声感知色调映射来自动操作。该输入或者(被保守地)去噪或者是噪声视频序列。结果是视频，在该视频中，噪声的可视性通过考虑噪声属性及其在特定显示设备上的可视性两者而被降低。

高端相机提供较大的光圈和较大的传感器，相比人类视觉系统的可视性阈值的那些(视觉系统的可感知对比度)，这经常产生更低的噪声水平。图2是图形，展示了人类视觉系统的可视性阈值(红色线)、包括在由相机采集的典型图像中的图像噪声(蓝色线)、以及在对相机采集的图像进行色调映射之后的噪声水平(品红色)。将理解，鉴于所采集图像的噪声低于人类视觉系统的可视性阈值，使得色调映射之后的噪声水平高于该可视性阈值。这可以是由于绝对亮度级的增加以及对比度细节的增强。

本文描述的基于实时对比度失真的TMO的各示例实施方案解释两个步骤中的至少一个步骤的噪声：当确定色调曲线时，以及当重新组合细节层与基层时。因此，色调映射系统100可用于与现有去噪方法结合，其中，利用这种方法的初始去噪去除了高幅度噪声并且低幅度噪声在确定色调曲线的过程中和/或在重新组合细节层和基层时被处理。

对于对输入图像或视频108中的噪声进行建模，噪声的大小以及人类视觉系统的可视性阈值需要被考虑在内。数字相机中的噪声方差可以被建模成光强度I的函数[Foi等人2008]：

其中，a和b是负责噪声的信号相关(光子噪声)分量和信号无关(读出噪声)分量的参数。该参数可从输入图像估计[Foi等人2008]、由相机提供、或被手动调节。

为了解释视觉系统对光的非线性敏感性(威伯-费希纳定律)，在对数域中进行分析。对数域中的噪声幅度可由下式逼近：

返回参照图2，噪声幅度被描绘为红色线。如图2中蓝色线示出的可视性阈值的保守估计由针对特定显示亮度级Ld的对比度敏感函数(CSF)的峰值给定。来自[Mantiuk等人2011]的CSF可被使用并将检测阈值(Ct(Ld)＝1/CSF(Ld))从Michelson对比度转换成对数对比度以获得对数亮度形式的最小可检测差值：

用于噪声建模模块116的情境参数可以包括光子噪声a和读出噪声b，这些情境参数是用户定义的。针对噪声建模模块116的其他情境参数可以包括用于采集输入图像或视频108的参数，如ISO(每像素增译)、传感器温度、以及积分时间。可被估计的噪声统计数据还可以被提供作为情境参数。

将理解的是，可以使用本领域已知的用于对视频或图像的噪声进行建模的其他方法。

视频适应性

任何色调映射操作器的主要约束是可在目标显示设备上示出的可用亮度范围。这种范围不仅取决于特定的显示技术(如OLED或LCD)，而且取决于环境光水平。环境光的一部分被显示屏反射并因此减少了可用显示对比度。

根据一个示例实施方案，生成可用亮度范围的模型，以便将当期环境光水平考虑在内，该当期环境光水平可利用光传感器容易地测得。

可使用标准的Gamma-Gain-Offset(伽马-增译-偏移)显示模型[Berns 1996]对可用亮度范围进行建模，具有对环境光的修改[Mantiuk等人2008]：

Ld(L′)＝(L′)γ·(Lmax-Lblack)+Lblack-Lrefl (4)

其中，Ld是所显示的亮度或辐亮度(如来自显示表面所测量的)，L′是像素值(0-1)，γ是重显灰度(通常接近2.2)，Lmax是峰值显示亮度(针对办公显示器约为200cd/m²)。Lblack是显示黑电平，该显示黑电平是在完全黑暗房间中显示的黑色像素的亮度(针对LCD显示器，通常从0.1到0.8cd/m²)。Lrefl是从显示表面反射的环境光。针对无光泽的屏幕，这可以近似为：

其中，Eamb是以勒克斯单位给出的环境亮度，并且k是显示面板的反射率(针对LCD显示器为0.5％–1％)。

已建模的可用亮度范围可以应用在逆显示建模子模块140内以产生经色调映射的输出图像，该输出图像适应于目标显示设备。

最小对比度失真色调曲线

将像素值从输入亮度映射到显示亮度的色调曲线是将图像对比度缩减到可显示范围的主要工具。摄影中传统使用的色调曲线具有S形状，该色调曲线以低色调和高色调处的较高失真为代价保留了中间色调的对比度。如果色调曲线的固定形状对于模拟电影而言是必要的，则数字处理允许针对每个图像以及每个图像区域改变色调曲线。

图像对比度失真的预期对比度失真/模型：可论证地，由于色调映射引起的最相关的失真是图像对比度的改变。图像对比度失真模型将未经映射的图像的对比度(由符号G标示)与通过应用色调曲线经历色调映射之后的图像的对比度(由符号标示)之间的差值考虑在内。在最简单的情况下，图像对比度G或可以是两个相邻像素之间的差值，然而，对图像对比度失真的其他解释也是可能的。

本文描述饿色调曲线生成子模块132的各示例实施方案基于未经映射的图像与经映射的图像之间的图像对比度失真模型来确定色调曲线。例如，色调曲线是基于图像对比度失真模型的期望属性确定的。未经映射的图像可以是输入到色调映射系统100的输入图像或视频108。替代性地，未经映射的图像可以是从对输入图像或视频108的滤波中提取的基层。

更具体地，根据一个示例实施方案，通过计算色调曲线的值来确定该色调曲线，这将减少该图像对比度失真模型内的图像对比度失真。

甚至更具体地，根据一个示例实施方案，通过计算色调曲线的值来确定该色调曲线，这将使该图像对比度失真模型内的图像对比度失真最小化。

根据形成该图像对比度失真模型的一个示例实施方案，针对每个输入对数亮度级l，对比度值在对数亮度级l中的分布可以被表达为p(G|l)。因此，由于色调映射所引起的图像对比度失真的期望值可以被表达为：

这个期望值可以用作未经映射的图像与经色调映射的图像之间的第一图像对比度失真模型。

针对给定的输入对数亮度级l，内积分在所有对比度值G上对经平方的失真进行“求和”。外积分在所有输入对数亮度级l上对该结果进行“求和”。p(l)是给定对比度G在背景亮度l上示出的概率。p(G|l)是给定背景亮度l在图像对比度G中找到的概率。例如，如果对比度G被定义为梯度，则这个概率将遵循重尾分布。针对自然图像，在一般情况下，对比度分布与局部背景亮度l无关，并且因此假设p(G|l)＝p(G)。

为了使问题易于分析，待生成的色调曲线被表征成具有节点(lk，vk)的分段线。待从图像对比度失真模型生成的色调曲线可以进一步服从非递减函数的约束。图3展示了可能生成的分段线性色调曲线例子的代表性图示。

因此，定义多个亮度级片段，每个亮度级对应于未经映射的图像的完全亮度级范围的子范围。l是未经映射的图像的对数亮度，并且v是输出的经色调映射的图像的对数亮度。每个亮度级片段k被定位在(lk，vk)与(lk+1，vk+1)之间，并且具有等于δ(例如，在一个示例实施方案中约为0.2)的恒定对数亮度值宽度。为简单起见，可示出在显示器上的最大对数亮度值被固定在0处并且最小值以有效显示动态范围r变化。针对当前环境光水平使用来自方程4的显示模型r可被计算为：

已经将色调曲线表征为多个分段斜率，针对一个经色调映射后的亮度级片段的图像对比度可以被表示为：

其中，sk是色调曲线在片段k中的斜率：

因此，预期失真的离散逼近可以被表达为：

项(1-sk)与对比度G无关并且因此可被移除到和之外。值p(lk)可以被计算为图像对数亮度值的直方图，其bin中心在lk处，其中，k＝1..N。

根据各示例实施方案减小/最小化对比度失真，色调曲线的值被计算以便减小或最小化由于从方程10生成的色调曲线引起的预期对比度失真：

根据各示例实施方案，确定色调曲线的值进一步受制于以下条件：形成色调曲线的每个分段线性斜率为非递减的：sk≥0，其中，k＝1..N。

替代性地或另外地，确定色调曲线的值进一步受制于以下条件：根据分段线性斜率而色调映射得到的输出图像在显示设备的用于显示经色调映射的输出图像的可用动态范围内。

其中，r＝vN-v1 (12)

该第一约束确保色调曲线是非递减的，并且第二该显示器上的最大可用动态范围不被超过。

注意到，方程10中G上的和与色调曲线斜率sk无关。因此，当根据由s1，..，sk给出的色调曲线减小/最小化ε(s1，..，sk)时，对比度分布p(G)对最小值没有影响。问题因此可以被简化从而减小/最小化函数：

其可进一步受制于方程12给定的条件。因此，表示色调曲线的针对亮度级片段k的一部分的分段线性斜率被确定用于减小以下各项中的至少一项的或以下各项之积的所有亮度级片段(k＝1..N)之和，：

i)未经映射的图像的任意区域具有落入给定的(第k)亮度级片段内的亮度级的概率；以及

ii)针对给定的(第k)亮度级片段的分段线性斜率的函数。

针对给定的(第k)亮度级片段的分段线性斜率的函数可以是项(1-sk)。

返回参照方程10，针对每个亮度级片段的线性斜率可以是基最小化确定的，其中，p(lk)是未经映射的图像的任意区域具有落入给定的(第k)亮度级片段内的亮度级的概率，sk是给定的(第k)亮度级的分段线性斜率并且(1-sk)²是针对给定的(第k)亮度级片段的分段线性斜率的微分值。

继续方程13，将这个方程最小化可以通过计算相应拉格朗日算子的一阶Karush-Kuhn-Tucker(KKT)最优性条件而被分析性地求解。这给出了解(参照针对推导的附件A)：

上解可以导致负斜率并且因此违背第一约束。为了避免这种情况，针对那些亮度级片段的其概率p(lk)小于某一阈值的斜率被设置为0。根据方程14，将理解，sk≥0，满足以下条件：

其中，k＝1..N (15)

注意到，以上不方程无法被直接求解，因为p(lk)既包含在方程的左边又包含在右侧的求和中。而且，针对任何i，该方程在p(li)等于0的情况下无法被求解。因此，为了找到具有非零斜率的亮度级片段，亮度级片段被拆分成其概率p(lk)高于某一阈值pt的那些：

Ωt＝{k＝1N：p(lk)＞pt} (16)

并且为其余片段分配斜率0，并且迭代地更新阈值概率：

其中，t＝1,2..,其中，|Ωt|是集合Ωt的基数。当用较小的起始概率值初始化时，这里p0＝0.0001，递归公式迅速收敛并且允许将亮度级片段分成具有零斜率和正斜率的那些片段，并且强制执行优化问题的第一约束。

根据各示例实施方案，定义了约20至约30个亮度级片段。在这个多片段范围内，只给定图像直方图的情况下，色调曲线可以被发现具有最小的计算开销。相比于更复杂的度量，该复杂性被显著地减小，例如，[Mantiuk等人2008]中所使用的一个，其中，需要建立多尺度金字塔并且需要求解一系列二次规划问题。相比于[Mantiuk等人2008]，使用简单的L2范数而不是视觉模型来测量图像对比度失真。然而，给定色调曲线的有限灵活性，复杂视觉模型的益处是临界的。

色调曲线生成子模块132可以接收多个情境参数，这些情境参数影响色调曲线的生成以及用于色调映射的色调曲线的应用。这些情境参数可以包括色调压缩、曝光、显示设备的峰值亮度、显示设备的动态范围、以及环境光。用户定义的参数可以包括局部区域的数量、大小和方向，局部和全局色调曲线当组合时的效果比率，以及色调优先级(例如，控制哪种色调给予更高的优先级)。

噪声和内容感知的色调曲线

在前面的章节，假设概率p(lk)对应于图像中给定光强值的频率(取自图像直方图)。然而，观察到的是，该概率不是特定光强水平在图像中的重要性的理想估计量。例如，如果图像的主要部分包含均匀的表面，例如，白墙，则相应的p(lk)值将有可能由于直方图中所产生的峰值而很高。因为平坦的表面通常不是图像中最显著的部分，很少旨在为其分配较高的重要性并且为其分配陡峭的色调曲线。类似地，夜景经常包含具有大量噪声和仅仅很少的细节的较大区域。为这种区域分配动态范围将导致放大噪声并产生不好的结果。

根据各示例实施方案，进一步考虑未经映射的图像的图像显著性来生成色调曲线。针对色调曲线的该部分的每个分段线性斜率，对应于分段线性斜率的亮度级片段的图像显著性被确定。例如，色调曲线的该部分的线性斜率可被确定以减小以下各项中至少两项之积的所有亮度级片段之和：该未经映射的图像的任意区域具有落入给定的(第k)亮度级片段内的亮度级的概率；该(第k)亮度级片段的图像显著性；以及针对该给定的(第k)亮度级片段的该分段线性斜率的函数。

根据一个示例实施方案，通过考虑图像内容和噪声水平两者来确定图像显著性，其进一步被用来确定第k亮度级片段的概率p(lk)。当确定图像显著性时，为具有高于噪声水平的对比度变化的区域分配更高的重要性。首先，将局部对比度估计为标准偏差是在高斯窗中计算的：

其中，*是卷积运算符，并且gσ是具有标准偏差σ的高斯核(例如，在一个示例实施方案中σ＝3)。图像显著性可以进一步是输入图像的其针对给定的(第k)亮度级片段的图像对比度大于输入图像的噪声模型的噪声水平的区域数量的函数。例如，概率作为由大于像素位置处的噪声水平n的对比度值加权的直方图。这可以表示为：

其中，

S＝{(x，y)：c(x，y)＞n(x，y)} (20)

Bk＝{(x，y)∈S：lk-0.5δ≤l(x，y)＜lk+0.5δ} (21)

S是局部对比度高于噪声水平的所有像素的集合，并且Bk是包含位于特定直方图bin k内的像素的S的子集。实际上，这种方法将受传感器读出噪声影响的暗区域移向暗色调，使得其更加不可见。这还避免了较大均匀区域中过分伸展的对比度。

色调优先级以上提出的噪声感知的图像对比度度量可以被考虑作为图像显著性的简单度量。如果这个简单的显著性度量不够用，则可以使用更加高级的度量，其中，例如，为所检测到的面部或皮肤色调分配更高的显著性。在一些例子中，包括色调优先级参数可以是有用的，这通过根据其输入对数亮度对p(lk)值进行加权来平衡高色调或低色调的重要性。这在所产生的图像上给出了附加的创造性控制参数。

时间一致性

根据基于实时对比度失真的TMO的一个示例实施方案，输入视频(或未经映射的视频)的时间变化可被考虑在内以减少经色调映射的输出图像的闪烁。

图像统计数据p(lk)可以在连续的视频帧之间快速地变化。这可以导致干扰闪烁伪像，参见[Eilertsen等人2013]。闪烁伪像可被引入到基层-细节层分解中，或者如果色调曲线快速变化的话被引入到帧之间。

根据一个示例实施方案，针对被色调映射的输入视频的帧序列中的每个帧生成的色调曲线被及时地滤波以减小或去除闪烁伪像。

对色调曲线的滤波作用于直观上最相关的数据上，其是节点位置vk。通过与技术艺术家的讨论观察到，对滤波器的选择取决于色调映射的意图性/艺术性目标以及输入视频两者。可以使用具有0.5Hz截止频率的3抽头低通IIR滤波器。这个频率被选择以最小化可见闪烁，参见[Mantiuk等人2008]。IIR滤波器易于实现并且相比于FIR滤波器产生更小的滤波器尺寸。替代性地，可以使用时间边缘停止滤波器，该滤波器保留了尖锐的时间跃迁。然而，用这些(以及其他)滤波器进行实验，未观察到视觉改进，除了具有极端时间变化的情况之外。在补充材料中详细地讨论并展示了对时间滤波器的选择及其对像素响应的影响。该实施方式是灵活的，因为其允许交换色调曲线滤波器。

应注意的是，时间滤波可能不保留目标亮度一致性[Boitard等人2012]，并且一些目标可能随着时间推移为逐渐地改变其亮度。然而，保留亮度将大大地减小可实现的图像对比度并且要求对整个视频序列进行预处理。在此描述的方法将目标亮度一致性进行折中以获得更好的对比度重现和实时联机处理。可以通过使用更低的截止频率来强制执行更强的亮度一致性。在此描述的色调曲线生成子模块和方法减小了每个帧的对比度失真，同时时间滤波器将时间域中的闪烁失真最小化。时间滤波器可以从最优点推出每帧解决方案并且针对该帧产生稍微差一点的解决方案，但是对整个视频片段而言更好的解决方案。尽管可以针对整个视频序列找到一族最优色调曲线，但是这将使得该方法不适用于实时处理并且将带来很少的质量改进。

局部色调曲线

人类视觉系统能够由于其适应局部场景区域的能力而感知较大的亮度级范围。这种空间局部适应性的具体机制和空间幅度仍不好理解，但是存在既局部地又全局地跨视场来池化信息的充分证据证明，例如，当进行亮度判断时[Allred等人2012]。根据一个示例实施方案，不同的色调曲线被计算并且被应用于图像帧的不同图像区域。如[Reinhard和Devlin 2005]中所示的，局部自适应色调曲线可以显著地加强图像细节的可视性而不会引入任何可注意到的伪像。图4示出了使用全部和局部色调曲线生成的帧。

因此，待经色调映射的输入图像被细分成多个局部区域，并且针对每个局部区域确定色调曲线。在一个示例实施方案中，输入图像被细分成多个竖直局部区域。替代性地，输入图像被细分成多个水平局部区域。

在一个示例实施方案中，输入图像各自被细分成5个视觉阶次(从45cm来看针对15”全HD显示器约230个像素)，这约为视网膜中央凹的直径。然后，针对每个图块t单独地计算重要性值pt(lk)。这种局部亮度重要性统计数据无法直接用于计算局部色调曲线，因为其包含针对亮度级的0值，这些值在特定图像中缺失但存在于图像中。这产生高度局部自适应色调曲线，这些曲线跨整个图像如此不同，从而导致可见的色调不连续。为了补偿每图块，pt(lk)值与全局概率p(lk)针对整个图像以10％全局和90％局部的比率混合，并且然后计算局部色调曲线。为了对图像应用局部色调曲线，色调曲线值被插在相邻图块之间，从而使得在单个全局色调曲线的情况下执行3D查找而不是典型的1D查找。每个局部色调曲线需要随着时间推移使用在前面章节中所解释的IIR滤波器被独立地滤波。注意到，局部色调曲线的计算开销最小，因为计算每个图块的pt(lk)的最昂贵的操作与计算整个图像的p(lk)值相比总共花费几乎相同的时间。

与其他色调曲线生成方法的比较

使用直方图来计算色调曲线可以看起来类似于直方图均衡，这是用于图像增强的流行技术。然而，这两种方法的目的和结果非常不同。

如[Mai等人2011]中所示，直方图均衡等效于根据以下公式来分配色调曲线斜率：

图5展示了直方图均衡(红色线)与来自本文描述的基于实时对比度失真的TMO的色调曲线生成的斜率分配之间的斜率分配。该图示出了色调曲线如何根据相应的亮度级(或bin)的概率p(lk)来分配色调曲线的斜率。虽然在此基于图像对比度失真描述的斜率色调曲线生成从来不超过值一(其对应于非失真对比度)，但是直方图均衡尝试可能针对具有高概率p(lk)的片段分配最高的对比度。在附件B中，示出色调曲线斜率与概率值p(lk)指数相关，为具有高概率的bin分配非常高的斜率。这是为什么直方图均衡倾向于过度增强具有均匀像素值得区域的原因之一，其导致概率值p(lk)很高。Larson等人[Ward Larson等人1997]通过将最大概率p(lk)限制为从阈值相对光强函数中确定的值来解决这个问题。然而，这是一种专门的方法，其不确保对比度失真是最小的。

在此基于图像对比度失真描述的色调曲线生成还类似于出于后向兼容HDR图像和视频编码[Mai等人2011]目的导出的最优色调曲线，这在图5中示出为虚线。这种方法相对于直方图均衡其对比度增强不那么强烈，但是将仍然加强对比度而不是保留其，因为这导致在对LDR层进行逆色调映射之后更低的编码误差。

针对色调映射的滤波器设计

基层和细节层分解(图1中的b和d)是用于在色调映射中保留局部对比度的常用技术。使用边缘保留低通滤波器获得的基层b使用色调曲线被压缩，并且细节层d被保存或者甚至被增强。

分解中最重要的方面是选择滤波方法。之前的TMO(概观地，参见例如，[Eilertsen等人2013])主要依赖于针对例如降噪所设计的经典图像滤波器。针对基层-细节层分解的通常选择为双边滤波器[Aurich和Weule 1995；Tomasi和Manduchi 1998],主要是由于其简便性。然而，问题是经典图像滤波器的意图与色调曲线生成的目标(细节提取)之间存在基本的差异。首先，图像细节相比噪声是在更大的空间尺度上发现的，即，细节提取滤波器在不引入可见伪像的情况下要求更大的空间支持和光强域。其次，此处的最终结果是基层b和细节层d，而不是经滤波的图像。细节层对滤波伪像高度敏感，其中，沿边性能极其关键。即使很小的伪像(其在普通的图像滤波中可能不可见)在经历色调映射之后尤其是针对视频可能变得视觉上干扰。

在附件C中，示出了为什么双边滤波器未能正确地重构平滑边缘的底层信号(基层)，并且这在细节层分离上具有哪些隐含项。这些观察在此用于滤波器结构中，其中，双边滤波器与各项异性扩散[Perona和Malik 1990]相关，并且从这推导出出于基层-细节层分解的目的而专门设计的高效滤波器。滤波器结构：针对图像滤波的扩散操作被执行为传导过程，其中，根据扩散PDE，像素值I(p)随时间推移被传播至其邻居：

如果ωr(p，t)＝c恒定，则这简化为各向同性热扩散方程。在非线性扩散中，通过使用图像梯度幅值作为停止标准将扩散约束到均匀图像区域来保留边缘。在图像滤波中，这通过将时间域离散化、以及通过迭代地计算自适应平滑过程中每个像素p处来自其最近邻居的流入量V来逼近。针对迭代k+1，这可以被描述为：

I^k+1(p)＝I^k(p)+V(I^k，p) (24)

为了保留高对比度结构，这些权重是基于空间和光强域两者中的距离。与之对比，双边滤波器使用更大的邻域在单次迭代中运行以获得加权平均。如在[Durand和Dorsey 2002]中描述的，0阶各向异性扩散可被扩展具有更大的空间支持以允许连接至双边滤波器：

在此，α是扩散率，其针对双边滤波器可以被解释为归一化α＝1/∑wswr。使用不同的邻域Ω、空间权重ws和光强权重wr，可以描述一系列不同的滤波器。针对各向异性扩散和双边滤波器，这些函数被示出在表1中。为了维持最低复杂性并避免伪像，使用一种各向同性方法：

其中，是像素位置p处的图像梯度。通过迭代地应用线性滤波器可以非常快地评估这个滤波器，这些滤波器使用每像素边缘停止函数wr来加权。因为各向同性核具有围绕p均匀分布的样本，所以其产生无偏结果而不会有过度锐化的问题。为了保留边缘，核大小适应于图像结构，这意味着沿着陡峭的(高梯度的)边缘使用更少数量的样本。然而，因为空间滤波的目的是基层-细节层分离，所以使细节沿着边缘不太显著相比冒着伪像的风险更加安全(参见图9)。此外，因为边缘自身是感知上显著的，所以可能的纹理细节丢失相比于不正确的和/或时间上不连贯的边缘显著地更少干扰。

滤波器沿边性能是通过边缘停止函数确定的并且计算梯度估计路径。观察到，各向同性核固有地要求保守的停止函数，以便将流传播到接近边缘但不跨过边缘。为了完成这个，使用Tukey’s biweight[Blacket al.1998],参见表1，这保守地在等于或大于λ的梯度幅值处停止了扩散。而且，使用鲁棒的梯度公式，其被表达为根据下式在围绕像素p＝(x，y)的局部邻域Ωp上的线性斜坡：

其中，指示上限运算。利用这个公式，相比于使用例如高斯差分(DoG)，扩散在边缘处快速停止。当方程26与方程27组合时，流在像素靠高对比度边缘比靠邻域Ω半径更近时完全停止。为了实现靠近边缘滤波同时确保快速扩散，Ω的大小始于非常小的核并且随着扩散进展而增加其半径。Ω的大小变化使得滤波器的净尺寸在N次迭代后为Nσ，其中，σ为核的起始大小。也就是说，最终，使用到原始图像的距离的扩散被约束以防止重构中可能的极端值(参见算法1中第7行)。

滤波器设计的最终公式给出在表1中，并且在算法1中被概述。收敛分析包括可在补充材料中找到迭代次数N的设置的动机。根据一个示例实施方案，使用N＝12次迭代。

将理解，滤波方法包括对输入图像应用空间滤波器以生成基层和细节层。针对多个像素中的每一个，确定在包围该像素的区域内是否存在输入图像的边缘。基于在包围该像素的区域内存在边缘，滤波核被选择性地应用于该像素。空间滤波器可被迭代地应用，其中，滤波核的大小在每次迭代中都增加。针对给定的像素，当确定在包围该给定像素的该区域内的梯度大于表示边缘在该区域内的存在的边缘阈值时停止跨迭代的滤波流程。

图6展示了表1的不同边缘停止函数。

表1

算法1

如算法1中所示，根据各示例实施方案，输入图像或视频108在应用滤波之前被变换到对数域(l＝log(I))。

一个或多个用户定义的参数可以应用于滤波子模块128。这些包括空间域(例如，σ)中的一个或多个滤波器大小、迭代次数、以及应用于边缘停止函数的阈值。

与其他方法的比较

图7展示了一维信号，以便示出不同低通边缘停止滤波器的性能并将其与在此根据各示例实施方案描述的快速细节提取扩散滤波器进行相关。输入(参见7a)是具有使用噪声函数添加的细节(绿色)的信号(蓝色)。滤波器然后用于在没有细节的情况下重构信号。重构的MSE被缩放10⁴，并且被提供用于数值比较。在此描述的细节提取扩散与经典的双边滤波器(BF)和各向异性扩散(AD)、三边滤波器(TF)[Choudhury和Tumblin 2003]，以及当前最新滤波器快速局部拉普拉斯(FLL)[Aubry等人2014]进行比较。在左边的阶跃边缘处(在该处分段恒定假设保持)，0阶滤波器示出无问题。然而，对于右边的平滑边缘，BF示出条带效应并且AD有楼梯状伪像倾向。TF、FLL和在此描述的细节提取扩散滤波器不生成可见的伪像。然而，TF和FLL相比于在此描述的细节提取扩散滤波器都是计算上昂贵的。另一个重要差异是，在此描述的细节提取扩散滤波器被专门设计用于针对色调映射进行细节提取而不引入伪像，而例如FLL示出一种在平滑光强转变处创造故障边缘的倾向。

图8展示了在使用同一色调曲线时应用不同的边缘保留滤波器以进行细节提取。这些细节按照因数5缩放以突显滤波差异和伪像，并且经放大的版本示出由图像平方指示的区域。相比于在此描述的基于实时对比度失真的TMO的滤波，还给出了Matlab实现滤波器的定时。

在此在基于实时对比度失真的TMO的情境下描述的色调曲线已被应用至经滤波的图像，之后是添加背部提取细节，被缩放以用于更容易的打印比较。快速局部拉普拉斯滤波器(FLL)被显示用于演示在此描述的细节提取扩散滤波器与当前最新滤波之间的差异。此外，在附图中演示了由[Aydin等人2014]引入的渗透滤波器(PF)。这个滤波器针对较小的用于调节细节增强方面运行良好，但是针对较强的操作伪像是清楚可见的。从例子中变得明显的是，最好是限制边缘周围的滤波而不是由经典0阶滤波器(BF和AD)示出的伪像风险。相比于FLL和PF，在此描述的细节提取扩散滤波器可能丢失沿某些边缘的少量细节。然而，在色调映射的情况下，这是优选的性能，因为其确保了鲁棒的细节增强，而其他滤波器可能引入假边缘(振铃伪像)以及在平滑图像转变处的时间不一致(参见例如图8中衬衫和手指上的边缘)。

为了给出关于滤波器性能的指示，图8中还示出了处理时间。这些是相对于在此描述的细节提取扩散滤波器、以及针对Matlab实现的所有报告定时(双边网格加速方案用于BF[Chen等人2007])。这充当于非并行化代码的性能的简单指示符，以便反映评估的复杂性。然而，应注意的是，不同的方法具有不同的并行化可能，其中，例如，在此描述的细节提取扩散滤波器被专门设计用于这个目的，并且示出在GPU上约2阶幅度增长的性能。

噪声感知的局部对比度控制

一旦基层利用局部色调曲线经历色调映射，其就可以与细节层在组合子模块136内重新组合。如果细节层保持未改变，则色调映射将保留局部对比度。如果细节层值被放大或增强，则图像细节被加强，这当与高质量边缘停止空间滤波器组合时可以产生吸引人的外观。然而，增强图像细节携带放大噪声的风险。噪声感知型色调曲线(章节4.1)可能隐藏暗色调中的一些噪声，尤其是传感器读出噪声，但是其在隐藏较亮图像部分中的噪声方面并不有效。

根据一个示例实施方案，基于经色调映射的基层的可视性阈值以及输入图像或视频108的噪声模型对细节层进行调制。

根据一个示例实施方案，该调制可以被表达为：

其中，V(btm(x，y))是来自方程3的可视性阈值并且n(b(x，y))是对数亮度域中的噪声水平(方程2)。注意，可视性是基于由色调曲线btm产生的所显示对数亮度而评估的，而噪声取决于输入图像的对数亮度。e是可选的局部对比度增强参数，其实现了加强的细节以及因此创造性控制。方程中的“min”项每当噪声幅度高于检测阈值时有效地减小对比度，这对应于当图2中的噪声幅度的品红色线高于可视性阈值(如蓝色线所示)时的情况。

组合子模块136接收影响基层与细节层的组合的一个或多个情境参数。这些参数包括来自噪声模型的一个或多个噪声属性以及显示模型属性，如，峰值亮度、对比度和环境反射率。

逆显示建模子模块140进一步至少基于峰值亮度、对比度水平/背景水平、环境反射率、环境光来构件显示模型。逆显示建模可以进一步基于用于生成局部色调曲线的局部区域的大小和取向，其是用户定义的参数。

现在参照图17，在此展示了根据一个示例实施方案的用于进行色调映射的方法的操作步骤的流程图。

在步骤204处，接收到输入图像或视频108。

在步骤208处，接收到或生成输入图像或视频108的噪声模型。例如，可以根据在此参照噪声建模模块116提供的细节来生成噪声模型。

在步骤216处，应用滤波以提取输入图像或视频108的基层和细节层。例如，滤波可以是在此参照滤波子模块128所描述的边缘停止空间滤波。

在步骤220处，针对基层生成一个或多个色调曲线(例如，全局色调曲线和/或多个局部色调曲线)并且对基层进行色调映射。例如，该一个或多个色调曲线可以是基于如在此参照色调曲线生成子模块132描述的图像对比度失真模型而生成的。

在步骤224处，经色调映射的基层和细节层相组合。例如，该组合可以基于如在此参照组合模块136描述的噪声存在而应用缩放。

在步骤228处，逆显示模型可以基于情境参数和显示设备的参数被可选地应用。

结果和应用

在这个章节，对在此根据各示例实施方案所描述的色调映射系统和方法的概述在视觉质量、性能和特征方面予以呈现。还讨论具体特征，包括噪声感知性、对显示和观看条件的适应、以及细节增强，以演示在此根据各示例实施方案描述的色调映射系统和方法可如何应用于普通地成像应用集情境中。

结果和评估：为了评估在此描述的色调映射系统和方法的实现方式在视觉质量方面的性能，主观评估被执行为定性分析实验。该实验将在此描述的色调映射系统和方法的实现方式与六种最新视频色调映射方法进行比较；两个全局操作器：适应不良TMO[Irawan等人2005]和显示自适应TMO[Mantiuk等人2008]，以及四个局部操作器：视觉曝光TMO[Bennett和McMillan 2005]，时间相干性TMO[Boitard等人2012]，空间时间相干性TMO[Boitard等人2014]以及运动路径滤波TMO[Aydin等人2014]。评估被执行为评级实验，其中，10个用户在所观看的图像处理中以随机顺序体验一组视频片段。这些取自[Froehlich等人2014]，并且各自利用七个操作器进行色调映射。用户被要求根据以下属性为每个片段提供评级：整体亮度、整体对比度、整体色彩饱和、时间色彩一致性、时间闪烁、重影、过度噪声、以及用于评估局部级别处对比度的细节重现。通过对观察这求平均，针对不同的序列，评级的最终结果被展示在图9中。总之，观察到，在此描述的色调映射系统和方法一致地产生结果，该结果示出大约正好在正确级别处的图像特性而没有可见的伪像。

图10示出了在此描述的基于实时对比度失真的TMO与取自用户评估的两个最新TMO之间的视觉比较的代表性例子。该图将在此描述的色调映射系统和方法的实现方式与来自[Eilertsen等人2013]、显示自适应TMO[Mantiuk等人2008]、以及视觉曝光TMO[Bennett和McMillan 2005]的评估的最佳执行TMO进行比较。放大率示出了分别在低亮度区域和高亮度区域中的色调映射的例子。依赖于全局处理的显示自适应TMO在压缩导致明亮结果以及丢失局部细节和对比度的场景的较大动态范围方面示出了困难。视觉曝光TMO依赖于双边滤波，双边滤波在一些情况下导致沿边振铃伪像。在随时间推移适应色调曲线中也存在困难，导致干扰时间闪烁(参见图9)。与这些TMO相比，在此描述的基于实时对比度失真的TMO处理很好地处理场景的动态范围并且保留局部细节和对比度，而没有任何伪像。

图11示出了使用不同的色调曲线来自[Aydin等人2014]的方法的结果。在11a和11b中，色调曲线与在原着文章中使用的相同(即，来自[Drago等人2003]的对数缩放和对数映射)，并且在11c中，使用在此描述的基于实时对比度失真的TMO的实现方式。尽管由Aydin等人采用的整体滤波在可见伪像方面示出了很好的性能(参见图9)，实际色调重现以及对色调曲线的时间处理不被考虑。从附图清楚的是，在此描述的基于实时对比度失真的TMO的实现方式展现更好的动态范围压缩，同时保留局部对比度。而且，所使用的光流滤波在复杂的图像转变方面可能运行并不良好(参见例如图10中的smith锤打(smith hammering)序列中的噪声水平)。最终，由于滤波过程，该方法是计算上昂贵的并且不合适于实时应用。

行为表现

在此描述的基于实时对比度失真的TMO的所有步骤可以并行地计算并且适合于GPU实现方式。使用分开的低通滤波器以及水平和竖直梯度滤波器来构建空间滤波。这意味着，在扩散过程的每次迭代时仅需要运行四个1D滤波器核。局部直方图计算以及对色调曲线的时间滤波是在平凡意义上是并行的。在此描述的色调映射系统和方法的所有部分是使用CUDA6.5实现的。利用现代图形卡，完整的TMO流水线在全高清晰度材料上实时地运行。表2示出了使用720p和1080p HD输入在GeForce GTX 980上运行的基于实时对比度失真的TMO的实现方式的性能。

应用和特征

视频后处理：当视频要求色彩分级时，在此描述的色调映射系统和方法提供高质量自动调整和用于格式化的创造性对比度控制范围两者。特别吸引人的是细节增强，这可以维持或强烈地增加细节可视性而没有可注意到的伪像(图12顶部)。这在图12的左上和顶部中心示出，其中，全局色调映射的结果与其细节层被保留在原始对比度处的图像相比较。色调优先级调整允许较暗色调与较亮色调之间的移位会聚，同时最小化失真，如削波，而没有控制色调曲线的准确形状的复杂化(图12底部)。因为操作可以以实时帧率运行，所以随着特定参数被调整以全分辨率提供视觉反馈。由于关注点被放在对比度上并且色彩问题未考虑，所以在此描述的色调映射系统和方法可以与现有解决方案组合以解决色彩分级的所有方面。

相机内处理堆叠：由传感器采集的图像在其可以显示在数字取景器或存储为(JEPG)图像或(MPEG)电影之前需要经历一系列操作，如去马赛克、去噪和锐化。此链中的关键操作是色调映射，其中，传感器的较大动态范围被映射到由显示器或输出图像文件格式支持的较小动态范围内。在此描述的色调映射系统和方法很好地适合于这个目的，因为其提供了自动色调映射和细节增强，这适配于相机噪声水平。图13和14示出了具有和不具有噪声感知处理的色调映射结果。为了降低噪声可视性，在有噪声图像区域中减弱增强并且传感器读出噪声的大部分隐藏在较暗的图像色调中。然而，如果期望预览噪声水平(例如在数字取景器中)，则噪声感知的处理可被禁用，如在图13和14左上角所示的。为了强调噪声感知型色调重现实际上不与降噪相竞争，图14还示出应用最新降噪方法的结果(V-BM4D，[Maggioni等人2012])。在色调映射之前，降噪步骤是在对数域中执行的。没有噪声感知能力，来自降噪的伪像清楚可见，而当完成这两种方法时，这些隐藏在图像的较暗色调中。

用于环境光补偿的显示算法：显示器的有效对比度强烈地取决于环境光水平。当在日光下使用移动设备时，发射显示器(LCD、OLED)几乎不清晰，因为从屏幕反射的光减弱了其对比度。通常的补救是增加屏幕亮度，但是这大大地增加了功耗。另一种方法是对显示器上所示出的内容进行色调映射以适应于特定观看条件下的有效图像对比度。这在图15中示出，其中，顶部行示出了非适配性图像并且底部行是已适应图像。内容清楚地更加可见并且在后一情况下展现整体更好的质量。当与[Mantiuk等人2008](中间行)中提出的显示自适应色调映射相比较时，在此描述的色调映射系统和方法由于其局部处理产生更好的对比度和细节可见性。

贯穿本文，来自公共可用数据库来自[Froehlich等人2014]的HDR视频输入是。这个数据集适用于评估色调映射操作器，因为其包含在现实场景中采集的高质量的连续镜头。

结论

在此描述了新颖的基于实时对比度失真的TMO及其元件的示例实施方案。有利地，在此描述的用于生成色调曲线的系统和方法不需要从数值上求解二次规划。相对于现有的专门方法(如直方图均衡)，基于实时对比度失真的TMO解决了明确定义的最小化问题。局部色调曲线动态地适应于图像内容、噪声水平和显示能力，包括对环境光的补偿。新颖的边缘停止滤波器也被描述为基于实时对比度失真的TMO的元件。这个滤波器被设计用于保留并增强色调映射中的细节。其避免了过度拍摄和柔化边缘上的振铃伪像，这是色调映射中使用的大多数滤波器的共同问题，特别是当要求细节增强时。因为滤波器可以被实现为迭代式高斯模糊，所以其导致高效的硬件实现方式。最终，以上描述的两个方面在综合型视频色调映射操作器中组合，该操作器控制噪声的可视性并且适应于显示器和环境光。

基于实时对比度失真的TMO解决了场景重现和最佳主观质量。更高质量的色调映射可以潜在地利用高级降噪方法或者通过分析电影序列的整个长度来实现，尽管这致使TMO不再是实时的。

尽管色调映射通常被视为高动态范围问题，实际上，其具有更宽广的应用领域。当在高环境光水平下观看显示器并且显示器的有效对比度被降低时，甚至更低的动态范围内容可以受益于色调映射。一些移动设备已经结合了这种补偿算法。许多相机传感器采集比显示器(或数字取景器)可以重现的更高的物理对比度。因此，在任何相机内处理堆叠中，色调映射是重要的组成部分，即使采集的是单次曝光(LDR)。最终，重要的是识别出在许多应用中基于艺术家的期望该图像需要被重现。在这种应用中使用的色调映射操作器需要提供创造性控制参数，这些参数易于操纵并且可以利用实时视觉反馈而被开发。

在此描述的基于实时对比度失真的TMO的各例子提供控制噪声的可视性、适应于显示器和观看环境、最小化对比度失真、保留或增强图像细节，并且可以实时地在传入序列上运行而无需任何预处理。意图是或者在给定目标显示的约束时保留原始图像的对比度，或者利用最终结果的实时全分辨率视觉反馈来为对比度增强提供创造性控制。

由在此描述的各示例实施方案提供的技术贡献包括：

●用于计算将对比度失真最小化的局部显示自适应色调曲线的快速过程。

●适应于图像噪声的噪声感知型色调曲线。

●针对用于色调映射的基层-细节层分解的滤波器设计产生了用于在没有振铃伪像的情况下增强细节的快速边缘停止非线性扩散逼近。

●集成式实时视频色调映射解决方案，其将新颖噪声控制与显示自适应相结合以在给定显示限制时产生高对比度的且详细的视频。

在此已经描述且展示了若干替代性实施方案和例子。以上描述的本发明实施方案仅仅是示例性的。本领域技术人员将理解单独实施方案的特征以及组成部分的可能组合和变化。本领域技术人员将进一步理解：任何实施方案可以与本文所公开的其他实施方案的任何组合来提供。理解的是，本发明可以以其他具体形式来实施，而不脱离其中心特性。所呈现的例子和实施方案因此在所有方面被认为是说明性而非限制性的，并且本发明不受限于在此给定的细节。因此，虽然已经展示并描述了特定的实施方案，但是在不严重脱离本发明的如在所附权利要求书中限定的范围的情况下可想到各种修改。致谢

我们想要感谢参与该实验的志愿者。由于贯穿本文所使用的HDR视频序列，我们还感谢Jan Frohlich¨等人(https://hdr-2014.Hdm-stuttgart.de)，以及由于在评估中使用的时间相干性TMO的实现而感谢Ronan Boitard。

这个项目由瑞典策略研究基金会(SSF)通过Linkoping¨大学工业信息技术中心(CENIIT)，瑞典研究委员会通过林奈环境CADICS并且通过COST法令IC1005的拨款IIS11-0081得到赞助。

附件A：色调曲线斜率的推导

这个附件示出了可如何使用KTT方法从方程13分析性地找到最优斜率(方程14)。现在仅考虑第二约束(方程12)的方程条件。利用此约束将ε′(sk)最小化等效于将以下函数最小化：

其中，λ是拉格朗日乘子。通过求解以下方程组来将这个函数最小化。

可以通过将除了最后获取的之外的两个方程进行组合来消除λ变量。

在将以上方程引入方程30的最后一行之后，解在方程14中。

附件B：直方图均衡的斜率

通过对所执行的步骤求逆来推导出斜率分配公式，有可能找到用于直方图均衡的假设性目标函数，其为：

经受与方程12中相同的约束，其差值使得函数被最大化而不是最小化。以上方程的解导致由方程22给出的斜率。公式化并非理想的，因为在sk＝0处存在奇点，其需要被处理为特殊情况，而我们在此为了简洁将其省略了。目标函数示出了：直方图均衡过程根据每个bin k的概率对斜率的对数加以干扰。这意味着，色调曲线斜率与概率值p(lk)呈指数相关。这种相关经常导致为具有较高概率的bin分配非常高的斜率，这在大多数色调映射应用中是不期望的。

附件C：对细节提取伪像的分析

许多双边滤波器扩展和加速方案，如[Durand和Dorsey 2002；Chen等人2007；Adams等人2009；Adams等人2010；Baek和Jacobs 2010；Yoshizawa等人2010；Banterle等人2012；Yang 2012]，使实时处理完全可能。然而，采取分段恒定底层信号的滤波器，如双向扩散和各向异性扩散[Perona和Malik 1990]，未能正确地重构自然图像中复杂的空间光强转变[Takeda等人2007b]。此效应在图16中展示，其中，滤波器核被偏向平滑边缘的一侧(自然图像中由于传感器像素处的区域采样用而受条带限制的边缘)。在重构中，此偏向以及假设分段恒定信号导致过度锐化。所产生的重构伪像可以在许多应用中被接受为视觉上不重要的。针对细节提取的任务，然而，此过度锐化导致不可忽略的条带效应或振铃效应(参见例如图8b和9a)，尤其是在细节被艺术性地增强的情况下。

一种改善这些问题的方式是使用高阶逼近来重构底部基层，例如，三边滤波器、内核回归或局部多项式逼近[Takeda等人2007a；Katkovnik等人2006；Milanfar 2013]。然而，这个的代价是显著地增加复杂性，这使得对高分辨率连续镜头的实时评估很困难并且在大多数情况下甚至不可能。这些高阶滤波器还倾向于对参数设置敏感。

用于边缘保留滤波的另一个常用选项是基于扩散的算法。各向异性非线性扩散由Perona和Malik[1990]引入，并且与双边滤波具有许多相似之处。各向异性扩散和双边滤波的特定统一公式化还被示出在例如[Barash 2002]和[Durand和Dorsey 2002]中。因为这个滤波器也依赖于分段恒定假设，输出倾向于示出不一致的沿边性能，类似于双边滤波器(参见图9b)。

参考文献

ADAMS,A.,GELFAND,N.,DOLSON,J.,和LEVOY,M.2009.用于快速高维滤波的高斯kd-tree.ACM Trans.图形28,3,21:1–21:12.

ADAMS,A.,BAEK,J.,和DAVIS,M.2010.使用permutohedral lattice的快速高维滤波.计算机图形论坛29,2,753–762.

ALLRED,S.,RADONJIC′,A.,和GILCHRIST,A.2012.高动态范围图像中的光亮度感知：局部和远程亮度效果.视觉杂志12,2,1–16.

AUBRY,M.,PARIS,S.,HASINOFF,S.W.,KAUTZ,J.,和DURAND,F.2014.快速局部拉普拉斯滤波器：理论和应用.ACM Trans.图形33,5,167:1–167:14.

AURICH,V.,和WEULE,J.1995.执行边缘保留扩散的非线性高斯滤波器.在DAGM论文集中,Springer,G.Sagerer,S.Posch和F.Kummert,Eds.,Informatik Aktuell,538–545.

AYDIN,T.O.,STEFANOSKI,N.,CROCI,S.,GROSS,M.,AND SMOLIC,A.2014.HDR视频的时间上相干的局部色调映射.ACM Trans.图形33,6,1-13.

BAEK,J.,和JACOBS,D.E.2010.加速空间上变化高斯滤波器.ACMTrans.Graphics 29,6,169:1-169:10.

BANTERLE,F.,CORSINI,M.,CIGNONI,P.,和SCOPIGNO,R.2012.通过在空间域中进行二次采样的低存储器、直接且快速的双边滤波器.计算机图形论坛31,1,19–32.

BARASH,D.2002.双边滤波、自适应平滑和非线性扩散方程之间的基本关系.IEEE期刊模式分析和机器智能24,6,844–847.

BENNETT,E.P.,和MCMILLAN,L.2005.使用每像素虚拟曝光的视频增强.ACM Trans.图形24,3,845-852.

BERNS,R.S.1996.用于表征CRT显示的方法.Displays期刊16,4,173–182.

BLACK,M.J.,SAPIRO,G.,MARIMONT,D.H.,和HEEGER,D.1998.鲁棒各向异性扩散.Image Processing期刊7,3,421–432.

BOITARD,R.,BOUATOUCH,K.,COZOT,R.,THOREAU,D.,和

GRUSON,A.2012.视频色调映射的时间相干性.SPIE论文集8499,数字图像处理应用XXXV,84990D–84990D–10.

BOITARD,R.,COZOT,R.,THOREAU,D.,和BOUATOUCH,K.2014.视频色调映射的区域亮度一致性.信号处理：图像传输29,2,229–246.

CHEN,J.,PARIS,S.,AND DURAND,F.2007.利用双边网格进行实时边缘方面的图像处理.ACM Trans.图形26,3,103:1-103:9.

CHOUDHURY,P.,和TUMBLIN,J.2003.用于高对比度图像和网格的三边滤波器.欧洲制图学会关于渲染的专题讨论会论文集14,186–196.

DRAGO,F.,MYSZKOWSKI,K.,ANNEN,T.,和CHIBA,N.2003.用于显示高对比度场景的自适应对数映射.计算机图形论坛22,419–426.

DURAND,F.,和DORSEY,J.2002.用于显示高动态范围图像的快速双边滤波.ACM Trans.图形21,3,257–266.

EILERTSEN,G.,WANAT,R.,MANTIUK,R.K.,和UNGER,J.2013.评估HDR视频的色调映射操作器.

计算机图形论坛32,7,275–284.

FOI,A.,TRIMECHE,M.,KATKOVNIK,V.,和EGIAZARIAN,K.2008.实用型泊松高斯噪声建模和单个图像原始数据拟合.IEEE期刊图像处理17,10,1737-1754.

FROEHLICH,J.,GRANDINETTI,S.,EBERHARDT,B.,WALTER,S.,SCHILLING,A.,和BRENDEL,H.2014.创建用于评估色调映射操作器和HDR显示器的影片广色域HDR视频.SPIE论文集9023,数字摄影X,90230X–90230X–10.

IRAWAN,P.,FERWERDA,J.A.,和MARSCHNER,S.R.2005.高动态范围图像流的基于视觉的色调映射.关于渲染技术的欧洲制图学会会议论文集16,231–242.

KATKOVNIK,V.,KATKOVNIK,V.,EGIAZARIAN,K.,和ASTOLA,J.2006.信号和图像处理中的局部逼近技术.Press Monographs.SPIE Press.

KISER,C.,REINHARD,E.,TOCCI,M.,和TOCCI,N.2012.用于HDR视频的实时自动色调映射系统.IEEE国际图像处理会议论文集19,2749–2752.

KRONANDER,J.,GUSTAVSON,S.,BONNET,G.,和UNGER,J.2013.来自原始CFA数据的统一HDR重建.IEEE国际计算摄影会议论文集5,1–9.

LEDDA,P.,SANTOS,L.P.,和CHALMERS,A.2004.针对高动态范围图像的人眼适应的局部模型.计算机图形学国际会议论文集，虚拟现实，可视化和交互，非洲3,151–160.

MAGGIONI,M.,BORACCHI,G.,FOI,A.,和EGIAZARIAN,K.2012.通过可分离的4d非局部空间时间变化进行视频去噪、解块和增强.IEEE期刊图像处理21,9,3952-3966.

MAI,Z.,MANSOUR,H.,MANTIUK,R.,NASIOPOULOS,P.,WARD,R.,和HEIDRICH,W.2011.优化向后兼容的高动态范围图像和视频压缩的色调曲线.IEEE期刊图像处理20,6,1558-1571.

MANTIUK,R.,DALY,S.,和KEROFSKY,L.2008.显示器自适应色调映射.ACMTrans.图形27,3,68:1-68:10.

MANTIUK,R.,MANTIUK,R.K.,TOMASZEWSKA,A.,和HEIDRICH,W.2009.用于色调映射的色彩校正.计算机图形论坛28,2,193-202.

MANTIUK,R.,KIM,K.J.,REMPEL,A.G.,和HEIDRICH,W.2011.Hdr-vdp-2：在所有亮度条件下针对可视性和品质预测的经校准视觉度量.ACM Trans.图形30,4,40:1-40:14.

MILANFAR,P.2013.现代图像滤波巡礼：理论与实践的新洞见和方法。IEEE信号处理杂志30,1,106–128.

PATTANAIK,S.N.,TUMBLIN,J.,YEE,H.,和GREENBERG,D.P.2000.用于快速实际图像显示的时间相关的视觉自适应In Proc.SIGGRAPH 00,年会系列,47–54.

PERONA,P.,和MALIK,J.1990.使用各向异性的尺度空间和边缘检测。IEEE期刊模式分析和机器智能12,7,629-639.

REINHARD,E.,和DEVLIN,K.2005.由光感受体生理机能激发的动态范围缩减.IEEE期刊可视化和计算机图形11,1,13–24.

TAKEDA,H.,FARSIU,S.,和MILANFAR,P.2007.用于图像处理和重构的内核回归分析.IEEE期刊图像处理16,2,349-366.

TAKEDA,H.,FARSIU,S.,和MILANFAR,P.2007.高阶双边滤波器及其属性.Proc.SPIE 6498,计算成像V,64980S–64980S–9.

TOCCI,M.D.,KISER,C.,TOCCI,N.,和SEN,P.2011.通用HDR视频产生系统.ACM Trans.图形30,4,41:1-41:10.

TOMASI,C.,和MANDUCHI,R.1998.针对灰色和彩色图像的双边滤波.关于计算机视觉的国际会议论文集6,839-846.

VAN HATEREN,J.H.2006.利用人类视锥模型对高动态范围视频进行编码.ACM Trans.图形25,3,1380-1399.

WARD LARSON,G.,RUSHMEIER,H.,和PIATKO,C.1997.用于高动态范围场景的可视性匹配色调再现操作器。IEEE期刊可视化和计算机图形3,4,291-306.YANG,Q.2012.递归式双边滤波.关于计算机视觉的欧洲际会议论文集12,399-413.

YOSHIZAWA,S.,BELYAEV,A.G.,和YOKOTA,H.2010.快速高斯双边滤波.计算机图形论坛29,1,60-74.