本专利文档的公开内容的一部分包含受版权保护的资料。版权所有人不反对任何人如该专利文档或专利公开内容在专利商标局专利文件或记录中所登载的那样对它进行传真复制，但是保留所有其他版权权利。
相关申请的交叉引用
本申请要求2012年8月8日提交的美国临时专利申请No. 61/681061的优先权，该申请的全部内容通过引用合并于此。
技术领域
本发明总体上涉及图像处理。更特别地，本发明的实施例涉及用于具有高动态范围(HDR)的图像的图像处理。
背景技术：
一些当代的或老式的数字图像遵循24位格式。这些图像包括存储关于图像中的每个像素的颜色和明亮度信息(诸如亮度和色度数据) 两者的多达24位。这样的格式保留足够的图像信息以使得图像可以被老式电子显示器绘制或再现，因此被认为是输出参考标准。老式显示器通常具有三个数量级的动态范围(DR)。然而，因为正常人类视觉可以区分高达1:10000或更高的对比率，所以可以感知到具有明显更高的动态范围的图像。
现代电子显示技术的发展使得可以以明显超过老式显示器的DR 的更高的动态范围绘制和再现图像。高动态范围(HDR)图像比遵循输出参考标准的图像格式更忠实地表示真实世界场景。因此，HDR图像可以被认为是参考的场景。在HDR图像和能够呈现它们的显示器的背景下，DR更加有限的老式或其他图像和显示器在本文中可以被称为低动态范围(LDR)图像/显示器。
本章节中所描述的方法是可以寻求的方法，但是不必是以前设想过或寻求过的方法。因此，除非另有指示，否则不应仅由于本章节中所描述的任一方法包括在本章节中就假定该方法有资格作为现有技术。类似地，不应基于本章节就假定在任何现有技术中已经认识到了针对一种或多种方法识别的问题，除非另有指示。
附图说明
在附图中以举例的方式、而非限制的方式例示了本发明，在附图中，相似的标号指的是类似的元件，其中：
图1A描绘根据本发明一实施例的示例性局部多尺度(multiscale) 色调映射系统；
图1B描绘根据本发明一实施例的示例性图像编码处理；
图2描绘根据本发明一实施例的示例性局部多尺度图像处理方法；
图3A和图3B分别描绘根据本发明一实施例的示例性HCTN块和相应的多尺度滤波；
图4A、图4B和图4C分别描绘根据本发明一实施例的示例性多尺度滤波器块和相应的示例性多尺度滤波实现和示例性处理；
图5描绘根据本发明一实施例的示例性比值图像处理器；
图6A和图6B描绘根据本发明一实施例的用于HDR图像的示例性编码处理数据流；
图7描绘根据本发明一实施例的用于显示HDR图像的融合-合并曝光处理；以及
图8A和图8B描绘根据本发明一实施例的支持广色域和多个颜色空间的示例性JPEG-HDR编码和解码处理。
具体实施方式
本文中对涉及HDR图像的图像处理的示例性实施例进行了描述。在以下描述中，为了说明的目的，阐述了许多特定细节，以便提供本发明的透彻理解。然而将显而易见的是，可以在没有这些特定细节的情况下实施本发明。在其他情况下，没有详尽地描述公知的结构和装置，以便避免不必要地掩蔽、模糊、或混淆本发明的一方面。
概述—HDR图像
该概述呈现了本发明的示例性实施例的一些方面的基本描述。应注意，该概述不是可能的实施例的各方面的广泛的或详尽的总结。而且应注意，该概述并非意图被理解为识别可能的实施例的任何特别重要的方面或元素，也非意图被理解为具体地记述可能的实施例的任何范围，也非意图被理解为概括地记述本发明的任何范围。该概述仅以简洁的、简化的格式呈现与可能的示例性实施例相关的一些构思，并且应被理解为仅仅是以下接着的对示例性实施例的更详细描述的概念性序言。
本发明的示例性实施例涉及对HDR图像进行编码。使HDR输入图像中的对数(log)亮度直方图化以产生色调映射，以及计算对数整体色调映射亮度图像。对数整体色调映射亮度图像被降尺度。对数亮度和对数整体色调映射亮度图像产生对数比值图像。对数比值图像受到多尺度分辨率滤波，产生对数多尺度比值图像。对数多尺度比值图像和对数亮度产生第二对数色调映射图像，其被规范化以基于降尺度的对数整体色调映射亮度图像和规范化的图像输出色调映射图像。 HDR输入图像和输出色调映射图像产生被量化的第二比值图像。
有源器件(例如，晶体管)的阵列设置在半导体管芯中。有源器件被构造为用作图像编码器，或者操作地互连以用作图像编码器。该编码器具有第一色调映射器，其用于使从高动态范围(HDR)输入图像的每个像素导出的多个对数亮度值直方图化。第一色调映射器用直方图化的值绘制第一比值图像。多尺度滤波器-抽取器(decimator) 递归地对第一比值图像进行降尺度并且在水平方向和垂直方向上对其每个像素进行低通滤波。根据第一比值图像的大小，在一个、两个或三个层次上对第一比值图像进行抽取和滤波。如此在这些层次中的每个层次上绘制相应的比值图像。相应的比值图像中的每个均被写入到独立于IC器件(即，在IC器件外部)的储存器(例如，存储器)。这些层次中的每个层次上的放大器用与抽取器所作用的每个层次相应的缩放因子对相应比值图像中的每个比值图像的每个滤波后的像素进行加权。双线性插值器将加权的比值图像中的每个升尺度到前面的层次中的每个之后的下一个层次。这些层次中的每个层次处的加法器对加权的比值图像中的每个与来自前一层次的加权比值图像进行求和。第二色调映射器色调映射基础图像及其色调映射的比值图像，这些图像均对应于输入HDR图像，但是动态范围更低。对基础图像及其基础比值图像进行量化。可以将量化的基础图像和基础比值图像输出到例如JPEG编码器以用于按JPEG格式进行压缩。
一些现代电子显示器本质上绘制参考场景的HDR图像，这些 HDR图像超过老式显示器的DR能力。在显示器DR能力的背景下，术语“绘制”、“再现”、“恢复”、“呈现”、“生成”、“复原”和“产生”在本文中可以同义地和/或可互换地使用。本发明的实施例有效地与现代显示器以及老式显示器一起运行。实施例使得有能力的现代显示器可以基本上以它们的全对比率绘制HDR图像，并且向后兼容性使得老式显示装置和LDR显示装置可以在它们自己的更有限的DR再现能力内绘制图像。实施例支持对于LDR显示器以及新式 HDR显示技术的这样的向后兼容性。
实施例本质上用色调映射的基础图像(诸如图像的具有比该图像的相应HDR实例低的DR的实例)连同编码的元数据来表示HDR图像，编码的元数据提供关于该图像的附加信息。附加信息包括图像强度相关的(例如，亮度、luma)数据和/或颜色相关的(例如，色度、 chroma)数据。附加数据与HDR图像实例和相应的基础图像实例之间的DR差异相关。因此，具有相对有限的DR再现能力的第一(例如，老式)显示器可以使用色调映射图像来例如根据现有的、建立的或流行的图像压缩/解压缩(编解码)标准呈现正常的DR图像。
示例性实施例使得可以根据国际电信联盟和国际电工协会的联合照片专家组的JPEG标准、JPEG ISO/IEC 10918-1ITU-T Rec.T.81 来对正常DR图像进行处理，该标准的全部内容出于所有目的通过引用合并于此，如同在本文中充分阐述一样。而且，第二(例如，现代的)有HDR能力的显示器可以将色调映射图像连同图像元数据一起进行处理以有效地呈现HDR图像。一方面，使用色调映射图像来在老式显示器上呈现正常动态范围图像。另一方面，可以使用附加元数据与色调映射图像来(例如，由HDR显示器)产生、恢复或呈现HDR 图像。实施例使用色调映射算子(TMO)来基于HDR图像创建色调映射图像实例。
可以使用各种TMO(诸如Reinhard的整体拍摄算子)来相对高效率地生成色调映射图像。在计算成本是无关的、可获得的或以其他方式可忽略的情况下，可以使用双边滤波器来生成相对高质量的色调映射图像。双边滤波帮助保留通常在计算上更经济的Reinhardt算子可能丢失的、诸如其明亮区域中的图像细节。另外地或可替代地，可以使用直方图调整算子TMO和/或梯度域算子TMO。
在实施例中，图像格式能够高效率地绘制HDR图像以及非HDR 图像。实施例可以与JPEG格式和/或各种其他图像格式一起运行。例如，实施例可以与与图像相关的领域中的技术人员所熟悉的MPEG、 AVI、TIFF、BMP、GIF或其他合适的格式中的一种或多种一起运行。实施例根据JPEG-HDR格式运行，在以下文献中描述了JPEG-HDR 格式：Ward、Greg和Simmons,Maryanne在First ACM Symposium on Applied Perception in Graphics and Visualization(APGV)第83-90 页(2004)中的“Subband Encoding of High Dynamic Range Imagery”； Ward、Greg和Simmons,Maryanne在Proceedings of the Thirteenth Color Imaging Conference第283-290页(2005)中的“JPEG-HDR： Backwards-Compatible,High Dynamic Range Extension to JPEG”以及E.Reinhard、G.Ward等人在第105-108页Elsevier,MA(2010)的High Dynamic Range Imaging–Acquisition,Display and Image-based Lighting，这些文献的全部内容出于所有目的通过引用合并于此，如同在本文中充分阐述一样。
为了在多种多样的图像绘制装置上显示图像，色调映射算子 (TMO)将输入的HDR图像处理为色调映射(TM)基本图像。TM 基本图像可以包括相对于输入图像的色变(例如，色度变化、颜色截限、艺术外观等)。根据一些技术，将TM基本图像与亮度比率一起提供给下游图像解码器，以重构与输入HDR图像相当的HDR图像。然而，下游图像解码器将不能移除重构HDR图像中的色变，依赖于 TM基本图像和灰阶亮度比率。结果，色变在重构HDR图像中将仍然明显。
本文中描述的实施例的HDR图像编码器不仅创建亮度比率，而且还基于输入HDR图像和TM基本图像创建颜色残差值。亮度比率和颜色残差值可以被共同表示为HDR重构数据。可选地和/或另外地，将亮度比率变换到对数域以支持范围相对广泛的亮度值。可选地和/ 或另外地，对所得的对数亮度比率和颜色残差值进行量化。可选地和/ 或另外地，将量化的对数比率和颜色残差值存储在残差图像中。在一些实施例中，将量化的对数比率和颜色残差值，或残差图像，与TM 基本图像一起提供给下游图像解码器。可选地和/或另外地，与TM基本图像一起，还提供与量化的对数比率和颜色残差值相关的参数(例如，范围极限等)。
本文中所描述的实施例的TMO可以针对具有低(黑)或高(白) 亮度级的个体像素在颜色通道中自由地执行颜色截限(clipping)。此外，不要求本文描述的TMO保持每个像素处的色度。根据本文中所描述的技术，用户基于图像内容(例如，人形、室内图像、户外场景、夜景、日落等)或应用(例如，电影、海报、结婚照、杂志等中所使用的应用)自由地选择TMO。可以有意地且自由地使用颜色截限或修改来创建图像的艺术外观。本文中的HDR图像编码器和解码器支持由不同类型的编辑软件和照相机制造商实现的TMO，这些TMO可以引入范围广泛的可能的色变。根据本文中所描绘的技术，HDR编码器将颜色残差值提供给HDR解码器。HDR解码器继而使用这些颜色残差值来防止(或最小化)色变存在于重构的HDR图像中。
实施例可以使用比特流和/或图像文件来存储TM基本图像及其各自相应的HDR重构数据，并且将这些图像和数据提供给下游图像查看器或解码器以用于解码和/或绘制。在示例性实施例中，图像格式支持可以由各种编辑软件应用程序和/或照相机制造商实现的TMO。示例性实施例可以与各种图像格式一起运行，所述图像格式包括例如标准JPEG图像格式、以及扩展的、增强的、扩增的或改进的JPEG 相关格式，诸如JPEG-HDR。另外地、可替代地或可选地，示例性实施例可以使用基于编解码器/标准的或者与编解码器/标准一起使用的图像格式，所述编解码器和/或标准在与可以与JPEG相关的图像格式一起使用的那些编解码器和/或标准相关的一个或多个重要方面、属性、对象、编码规范或性能参数上有所变化。示例性实施例使用 JPEG-HDR图像格式来支持将TM基本图像与亮度比率和颜色残差值一起存储。另外地、可选地或可替代地，可以对存储在图像文件中的 TM基本图像和残差图像中的一个或两个进行压缩。在示例性实施例中，根据JPEG标准来执行图像数据压缩。另外地、可替代地或可选地，示例性实施例可以根据在与可以与JPEG相关的图像格式一起使用的那些标准相关的一个或多个重要方面、属性、对象、编码规范或性能参数上有所变化的标准来执行压缩。
因为JPEG格式限于LDR图像，所以JPEG-HDR本质上包括 JPEG格式的可向后兼容的HDR扩展。JPEG-HDR同时支持新式 HDR显示装置上的HDR图像绘制、以及HDR或非HDR显示装置上的非HDR(例如，LDR)图像绘制。JPEG-HDR将色调映射图像存储在如JPEG中所定义的标准位置上(例如，存储在比特流中、按盘格式存储等)，并将附加元数据存储在可以被非HDR显示装置忽略的新位置上。可以将附加元数据与色调映射图像一起用于产生/或复原原始HDR图像的HDR版本。
在实施例中，JPEG HDR编码器用集成电路(IC)器件实现，或者设置在集成电路(IC)器件中。在实施例中，如本文中所述的装置、电路和/或机构包括照相机或另一图像记录和绘制或显示系统、蜂窝无线电话、个人数字助理(PDA)或个人便携式或消费类电子装置(例如，用于图片、计算、电影、音乐、信息、娱乐、运算、语音)中的组件。
实施例可以执行如Wenhui Jia等人于2012年4月16日依照专利合作条约(PCT)提交的题为“ENCODING,DECODING,AND REPRESENTING HIGH DYNAMIC RANGE IMAGE”的第 PCT/US2012/033795号专利申请中或者Dolby Laboratories的规范化文档“JPEG-HDR Encoder and Decoder Algorithm Specification”中所描述的一种或多种功能，该文献出于所有目的并入本文，该文献的副本作为附录“A”附到本说明书(提交时)。
实施例可以执行如Gregory John Ward于2012年3月1日依照 PCT提交的题为“LOCAL MULTI-SCALE TONE MAPPING OPERATOR”的第PCT/US2012/027267号专利申请中所描述的一种或多种功能，该专利申请的全部内容出于所有目的通过引用并入本文。
对于本文中描述的优选实施例和总体原理和特征的各种修改对于本领域的技术人员将是容易明白的。因此，本公开并非意图限于所示的实施例，而是要被给予与本文中所描述的原理和特征一致的最广泛的范围。
示例性JPEG HDR编码器
在实施例中，JPEG HDR编码器用集成电路(IC)器件实现，IC 器件通常被称为芯片。例如，编码器可以设置在IC器件内。IC器件可以被实现为专用IC(ASIC)器件、数字信号处理器(DSP)、现场可编程门阵列(FPGA)和/或图形处理器。IC器件可以用ASIC或一个或多个可配置或可编程器件(诸如微处理器、可编程逻辑器件 (PLD)、现场可编程门阵列(FPGA)或微控制器)而被实现为片上系统(SOC)。
IC器件包括设置在半导体管芯内的有源器件组件(诸如晶体管) 的阵列。有源器件组件被排列为、被布置为、被构造为和/或被编程为用作模块、寄存器、高速缓存、逻辑门、逻辑和计算(例如，算术/ 浮点)单元，或者执行可以与JPEG HDR编码一致的其他这样的操作。该阵列的有源组件与设置在管芯内的至少部分导电的路由结构(诸如迹线/过孔的网络、地址/字线的网格等)互连，以使得在有源器件组件与随其一起形成的各种功能模块之间可以进行信号和数据的电气/ 电子交换。有源组件在操作上可以通过至少部分导电的接口进行寻址，这使得可以与IC器件外部的信号、数据和电源进行电气、电子和/或通信耦合。
示例性JPEG HDR编码器实施例在本文中被描述为用ASIC实现。为了清晰、简洁和一致，本文中所描述的示例ASIC实现还表示可配置的且可编程的IC实现。图1A描绘根据本发明的实施例的示例 JPEG HDR编码器10。
示例编码器10用ASIC实现。编码器10通过高级高性能总线 (AHB)接口来接收输入图像。预色调映射Pre_TM将输入图像数据转换为对于色调映射有用的格式。PRE_TM执行色度上采样，例如从 4:2:2色度采样格式到4:4:4格式。PRE_TM将图像输入的颜色空间 (例如，YCbCr)转换到三色颜色空间，诸如RGB。Pre_TM对RGB 转换图像执行反向(逆向)伽玛(γ)校正。
编码器10执行从输入HDR图像产生色调映射基础图像的色调映射功能。编码器10可以被实现为对以诸如以下表1中所示的示例输入格式的各种格式输入的HDR图像进行处理。
表1
色调映射功能包括直方图调整多尺度色调映射算子 (HAMS-TMO)，其使用对比度受限自适应直方图均衡化(CLAHE) 来对输入HDR图像执行色调映射规范化功能。该规范化功能可以用直方图CLAHE色调映射规范化(HCTN)来对输入图像实施。 HAMS-TMO HCTN以12位线性RGB格式输出规范化色调映射基础图像。以下描述示例HAMS-TMO HCTN实施例(图2和图3A)。比值图像处理器RI_Proc可以从规范化色调映射基础图像计算一个或多个比值图像并对这些比值图像进行处理。
当进行HAMS-TMO HCTN处理时，后色调映射Post_TM复原对规范化12位RGB图像的伽玛校正，并随其产生8位RGB图像。 Post_TM负责将色调映射基础图像发送到JPEG编码器进行压缩。 Post_TM将重新经过伽玛校正的8位图像的RGB颜色空间转换为具有JPEG可兼容颜色格式(例如，4:2:2或4:2:0)的YCbCr图像。例如，后TMO可以包括以下操作：伽玛编码(其中，通常通过用户定义的查找表来将12位RGB输入转化为8位输入)、RGB到YCbCr 颜色变换(例如，经由3×3颜色矩阵变换)、以及经由色度颜色平面的适当的二次采样的4:4:4到4:2:2或4:2:0变换。编码器10可以包括多于一个的后色调映射模块Post_TM子块。例如，编码器10可以用三(3)个Post_TM子块来实现。
图1B描绘根据本发明的实施例的示例性图像编码处理100。在实施例中，编码器10在接收到或访问输入的HDR图像时如与处理100 相关地描述的那样运行。在步骤101中，基于HDR输入图像中的像素的对数亮度值来计算直方图。在步骤102中，基于所计算的直方图来产生色调映射曲线。在步骤103中，基于输入HDR图像的对数亮度像素值和色调映射曲线来计算对数整体色调映射亮度图像。
在步骤104中，对对数整体色调映射亮度图像进行下采样(例如，垂直地且水平地抽取)以计算降尺度的对数整体色调映射亮度图像。在步骤105中，基于降尺度的对数整体色调映射亮度图像和HDR输入图像的对数亮度像素值来计算对数比值图像。在步骤106中，对对数比值图像执行多尺度滤波以产生对数多尺度比值图像。在步骤107 中，基于对数多尺度比值图像和HDR输入图像的对数亮度像素值来产生第二对数色调映射图像。
在步骤108中，使第二对数色调映射图像规范化以改变像素强度值的范围并且实现对比度拉伸，并且基于此和降尺度的对数整体色调映射亮度图像来产生输出色调映射图像。在步骤109中，基于输出色调映射图像和输入HDR图像来产生第二比值图像。在步骤110中，对第二比值图像进行量化。在步骤111中，将输出色调映射图像和量化的第二比值图像输出到JPEG编码器。在示例处理100的每个步骤，可以例如经由示例编码器10的接口将所产生的整体色调映射图像和比值图像写入到外部存储器、和/或从外部存储器读取所产生的整体色调映射图像和比值图像。
图2描绘根据本发明的实施例的示例性直方图调整多尺度色调映射器200。在实施例中，直方图调整多尺度色调映射器200实现上述 (图1A)HAMS-TMO HCTN功能。HAMS-TMO 200接收三色(例如， RGB)或其他(例如，YCbCr)颜色空间中的HDR图像。亮度模块 (201)对输入HDR RGB图像计算16位亮度值Y。对数亮度模块LOG (202)将亮度值Y从线性域变换到对数域。LOG 202模块实现亮度值Y到以2为底数的对数“logY”的变换。
当对16位线性亮度值进行变换时，LOG模块将所得的以2为底数的对数(log2)值logY保存为Q4.12数据(例如，名义二进制点之前为4位，其后为12位)。例如，对数包括整数成分和小数成分。因此，实施例分离整数logY分量和小数logY分量以实现以2为底数的对数log2Y。例如，如以下表2的示例伪代码中所示的，根据规范化中的左移的数量来计算整数部分，并且将小数8位编索引到查找表 LUT。
表2
从小数logY成分构建包括512个区间的直方图HIST(203)。小数对数亮度值被作为16位整数值进行处理。因此，区间之间的间隔包括65536/512＝128。HAMS-TMO 200然后对直方图执行CLAHE调整。例如根据以下表3A中所示的示例伪代码，从直方图计算动态范围。
表3A
输出动态范围(ODR)在自然(以e为底数)对数域中可用默认值3.5配置，默认值3.5被转化为以2为底数的值五(5)。例如，按照以下公式计算直方图截限因子“cf”：
cf＝((odr*(bmax-bmin+1))＜＜12)/(drin)；
并且可以随其一起通过例如根据以下表3B中所示的伪代码的多次迭代来调整直方图。
表3B
例如，根据以下表3C中所示的伪代码，从调整的直方图计算累积直方图，并将累积直方图映射到Q4.12数据格式的12位对数域。
表3C
这样的CLAHE直方图均衡化产生映射曲线，其被实现为用于 logY图像的整体色调映射算子。当映射曲线包括512个区间时，例如根据以下表3D中所示的伪代码对512个区间中的每个中的亮度值计算线性插值。
表3D
CLAHE映射输出包括Q4.12格式的logY图像(204)。在实施例中， HAMS-TMO 200用执行直方图CLAHE(对比度受限自适应直方图均衡化)色调映射规范化功能的块来实现。
图3A和图3B分别描绘根据本发明的实施例的示例性直方图 CLAHE色调映射规范化(HCTN)块30和相应的示例性HCTN处理 300的流程。HCTN块30可以被实现为支持2千5百万像素或更多像素的图像。当接收到三色(例如，RGB)或其他(例如，YCbCr)颜色空间中的输入图像时，HCTN 30计算其亮度值Y(处理步骤301)。在步骤302中，将Y值导出到共享逻辑以用于计算与其相应的对数值“logY”，其被返回给HCTN块30。在步骤303中，基于这些logY 值计算直方图，并将该直方图存储在表“ht0”中。当对所有输入图像像素进行计数时，在步骤304中，计算对比度受限自适应直方图均衡化(CLAHE)以使ht0直方图值规范化。
当对所有输入图像像素进行计数时，在步骤304中，计算对比度受限自适应直方图均衡化(CLAHE)以使ht0直方图值规范化。在步骤305中，对缓冲的logY值进行插值，如此产生对数色调映射图像“logYtm”。例如，在直方图的512个区间上实现色调映射曲线。因此，对这512个区间中的每个中的亮度值计算线性插值以实现logYtm。在步骤306中，通过在对数域上执行的减法函数：logRI＝logYtm– logY，从logY值和logYtm图像计算对数比值图像“logRI”。在步骤 307中，然后对LogY直方图进行截限。在步骤308中，在多尺度滤波之后，使色调映射logY值规范化为线性亮度值Y’。在步骤309中，可以对线性色调映射Y’值应用可选的曲线函数以输出最终的色调映射图像。
图4A、图4B和图4C分别描绘根据本发明的实施例的示例性多尺度滤波器(MSF)块400、以及相应的示例性多尺度滤波实现和示例处理400。如同HCTN块30(图3A)那样，MSF 4000可以被实现为支持2千5百万像素或更多像素的图像。MSF 4000按预先计算的因子(例如，8)在其水平维度上以及在其垂直维度上对输入对数比值图像IBI进行抽取。MSF 4000通过多个(例如，七(7)个)抽头对构成抽取图像的每个像素进行低通滤波。低通降尺度图像随后可以用例如它先前被降尺度的相同的预先计算的因子来被升尺度。
MSF 4000预先例如根据如下示例性实现等式，基于输入图像在输入时的原始大小来计算对输入图像进行缩放的级的数量“msn”： msn＝floor(log8min(width,height))+1＝floor(log2min(width, height)/3+1)。MSF 4000可以被实现为在四(4)个级中的每个上在水平维度上以及在垂直维度上按高达八(8)的因子对输入的对数比值图像IBI进行抽取，在每个维度上总共为64。
因此，在实施例中，如图4B中所描绘的那样，滤波实现包括四(4)个级40、41、42和43。级40-43中的每个均按因子八在垂直维度和水平维度上对图像进行抽取，以使得图像大小缩小82＝64倍，因此MSF 4000按总因子64对图像进行抽取。因此，在每个级，按因子八对对数比值图像进行降尺度。在msn个层次(例如，级)中的每个层次上，例如，根据以下表4中所示的伪代码来重复因子为8的这种降尺度。
表4
/＊dimenslon for next stage＊/
width＝(width+6)/8+1；
height＝(height+6)/8+1；
在每个级，可以对抽取了的图像的每个像素执行7抽头的低通滤波。实现这样的实施例，在该实施例中，首先在与抽取图像中的每个抽取图像的第一空间方位相应的水平方向上对抽取图像进行滤波，然后在空间上与第一方位相关的正交的垂直方向上对抽取图像进行滤波。在各个缩放图像的边界处，例如通过填补(诸如镜像延伸)来使这些缩放图像对齐。
在每个级处，放大器将加权因子“Alpha”应用于比值图像。对于级“k”中的每个(其中k包括在零至msn减一范围内的整数(k＝0，…， msn-1))，实施例根据Ak＝2*(k+1)/(msn(msn+1))来计算加权因子 Alpha(A)。权重总和为1。可以实现其中加权因子被计算为 2*(msn-(k-1)+1)/msn*(msn+1)或1/msn的实施例。
对降尺度的滤波了的比值图像执行升尺度(msn-1)次。在每个级处将加权的对数比值图像与升尺度图像相加。实施例通过前一级较低分辨率图像的插值(例如，双线性插值)(例如使用图像的空间拐角处的四(4)个点以及在其水平维度和垂直维度上的插值来重构上采样块) 来实现升尺度。
级401对输入图像R0进行降尺度和滤波，并且将第一比值图像 R1传给级402。同样地，级402和级403-407中的每个(包含)将降尺度的低通滤波的比值图像传给它们各自的下一级，这些降尺度的低通滤波的比值图像顺序上在由它们各自的前一级中的每个传给它的比值图像之后。对来自每个级的加权的比值图像与来自下一级的升尺度的图像进行求和。
MSF 4000产生色调映射luma、亮度或其他强度相关的色调映射值，这些值经由寄存器接口用配置寄存器写入到板外存储器。
在实施例中，MSF 4000和/或实现400根据示例性多尺度分辨率滤波处理400的一个或多个步骤运行。以下参照图4B和图4C中描绘的流程图来描述示例处理400。处理400始于通过渐进地在层次41、 42和43中的每个上对图像进行降尺度来对对数比值图像R0(例如，在图1B处的步骤105中产生)进行处理。在降尺度的每个层次，渐进地在垂直方向上以及在水平方向上对图像进行抽取。
在步骤401中，按因子“N”垂直地且水平地对对数比值图像R0进行降尺度，其中，N包括正整数，例如八(8)。如此产生第一层降尺度的对数比值图像R1。然后，在步骤402中，按因子N对第一层降尺度的对数比值图像R1进行抽取以产生第二层降尺度的对数比值图像R2。然后，在步骤403中，按因子N对第二层降尺度的对数比值图像R2进行抽取以产生第三层降尺度的对数比值图像R3。在示例性实施例中，对每个层次的降尺度的图像输出进行低通滤波。在示例性实施例中，不需要使用所有的层次。
在步骤404中，用第三层缩放因子(例如，Alpha[3])对第三层降尺度的对数比值图像R3的像素值进行缩放以产生第三层加权的比值图像R’3。在步骤405中，用第二层缩放因子(例如，Alpha[2])对第二层降尺度的对数比值图像R2的像素值进行缩放以产生第二层加权的比值图像R’2。在步骤406中，第三层加权的比值图像R’3按因子 N进行升尺度，并与第二层缩放的加权的比值图像R’2进行求和以产生第二层升尺度的对数比值图像
在步骤407中，用第一层缩放因子(例如，Alpha[1])对第一层降尺度的比值图像R’1进行缩放以产生第一层加权的比值图像R’1。在步骤408中，按因子N对第二层升尺度的对数比值图像进行升尺度以产生第一层升尺度的对数比值图像在步骤409中，用零层缩放因子(例如，Alpha[0])对对数比值图像R0进行缩放以产生零层加权的对数比值图像R’0。在步骤410中，第一层升尺度的对数比值图像按因子N进行升尺度，并与零层缩放的加权的比值图像R’0进行求和以产生对数多尺度比值图像示例处理400的步骤可以是可选的。
图5描绘根据本发明的实施例的示例性比值图像处理器500。实施例用比值图像处理器500实现RI_Proc(图1A)。比值图像处理器 500从TMO 200(图2)接收输入图像。从来自原始HDR输入图像的亮度值Y和来自色调映射图像的亮度值计算亮度比率。计算整个图片上的最大值和最小值，这些值用于对不同图像的对数亮度值logY和 CbCr色度值DiffCbCr进行量化。
例如，经由高级微控制器总线架构高级可扩展接口(AXI)接口或有类似能力的接口把logY和DiffCbCr保存到/写入到外部存储器。经由AXI读回/加载回外部保存/存储的值以及时地进行量化。线性反馈移位寄存器(LFSR)在量化期间产生用于在logY通道上抖动的随机数值。RI_Proc 500将量化的DiffCbCr和logY值输出到JPEG编码器，JPEG编码器可以输出与输入图像相应的JPEG格式的图像。
图6A和图6B分别描绘根据本发明的实施例的示例性编码处理 60及其示例数据流程时间线600。当接收到HDR输入图片(61)时，在步骤62中，产生直方图和降尺度的LogY图像LogY1。直方图被规范化。在流程600中，JPEG-HDR编码器(例如，编码器100；图1B) 内核读取整个HDR输入图像。编码器基于输入图像像素的LogY值产生直方图，对直方图进行均衡化，并将LogY1写入到降尺度图像缓冲器Buff_Log1。在实施例中，使用CLAHE对直方图进行均衡化。
在步骤63中，执行多尺度滤波，其产生在色调映射中使用的实际的每一像素的缩放因子。在步骤64中，在每个像素上应用每一像素的缩放因子。将色调映射基础图像转换为8位伽玛编码的YCbCr 4:2:2/4:2:0/4:4:4，并且可以将该色调映射基础图像发送到JPEG编码器，JPEG编码器将压缩的基础图像写入到外部存储器。对初始的和色调映射了的RGB数据进行处理以产生原始的量化前比值图像，其也被写入到外部存储器。在步骤65中，从外部存储器读回未经处理的比值图像，并对比值图像进行量化。可以将量化的比值图像输出到 JPEG编码器(66)，并用JPEG编码器对该比值图像进行压缩。
对HDR图像的示例性加权的基于多区域的曝光
传统的低端消费类显示装置(诸如智能电话、计算机监视器等) 可能不能显示JPEG-HDR图像的整个动态范围。在这样的情况下，显示器通常将输出相应的HDR图像的色调映射的、低动态范围(LDR) 版本。该色调映射图像通常在没有用户输入的情况下由照相机自动地产生，因此它可能不能捕捉拍摄者的意图。
在一些实施例中，用户可以使用装置的用户接口(诸如触摸屏、计算机鼠标、滚动条等)来在整个HDR图片上滚动。在这种情况下，用户可以能够观察图像在整个动态范围的部分，但是图像的其余部分可能被太暗地或太亮地显示。然而，用户可能想查看图像的多个部分中的细节。因此，使得用户可以基于感兴趣区域来调整HDR图像的曝光将是有益的。
在一实施例中，最终HDR图像的曝光可以考虑用户所选的两个或更多个感兴趣区域。这些区域可以在(例如，用照相机或其他捕捉装置)捕捉图像之前、或者在捕捉图像之后(例如，当显示相应的LDR 图像时)选择。在具有触摸屏接口的一些实施例(例如，iPhone或iPad) 中，这些区域可以表示被用户触摸的一个或多个像素周围的相对相同亮度的像素。在其他实施例中，用户可以使用替代接口(诸如计算机鼠标、跟踪球、键盘等)来选择这些区域。在还有的其他实施例中，可以自动地基于预先选择的用户偏好(例如，脸、动物、文本等)来选择这些区域。
在一实施例中，可以将第一触摸点周围的区域设置为第一最佳曝光伽玛(例如，18％灰度)。接着，对于第二触摸点，计算第二最佳曝光伽玛。可以使用用第一曝光伽玛和第二曝光伽玛加权的最终曝光伽玛来显示最终图像。这使第一触摸点和第二触摸点两个都在显示器的动态范围内，同时融合所得图片的其余部分。可以识别任何数量的触摸点，诸如3个、4个或N个。加权因子可以是相等的平均值、均值、中值、比例权重、线性的、非线性的和/或有限度的(最大/最小)。在特定实施例中，可以通过用户命令(例如，撤销按钮)来撤销所述技术。
如图7中所描绘的，在另一实施例中，可以使用融合-合并处理来产生所得图像。在该处理中，对于每个所选的感兴趣点(710)，该处理产生相应的曝光的LDR图像(720)。给定从原始HDR图像创建的N个这样的曝光(或LDR图像)，实施例可以通过合适地将所有 N个曝光融合到单个输出图像中来创建融合图像(730)。这样的融合处理的例子可以使用在T.Mertens等人在15th Pacific Conference on Computer Graphics and Applications(Pacific Graphics,2007)第 382-390页的“Exposure Fusion”中所描述的技术来实现，该文献的全部内容通过引用合并于此，如同在本文中充分阐述一样。
示例性自适应比值图像量化
给定如前所述的亮度HDR图像(Yh)及其色调映射表示(Yt)，比值图像YR可以表示为：
可以通过将可逆函数(诸如对数函数或均方根函数)应用于比值图像来对该比值图像的动态范围进行压缩。因此，在一个实施例中，应用对数函数：
还可以进一步对对数比值图像(log(YR))进行量化以得到8位比值图像：
由于原始比值图像包括用高精度或动态范围(例如，使用浮点数)表示的像素值，所以将比值图像量化为8位像素值将产生当应用逆量化函数时不能恢复的四舍五入的误差。该误差可以影响图像编码的精度，并且可以限制可以使用JPEG-HDR格式编码的图像的动态范围。
在实施例中，因此用任意的可逆函数“F”来取代以上对数函数。给定F，可以将量化的8位比值图像表达为：
这使得解码器可以按照以下公式来恢复原始比值图像：
其中，YR’表示恢复的比值图像。在实施例中，将最小和最大F(YR)值作为可被JPEG解码器访问的元数据包括在JPEG-HDR图像中。
在实施例中，可以选择F函数，以使得它使M(YR’,YR)最小，其中，M表示根据一些质量标准对YR’与YR之间的差进行测量的度量，所述质量标准诸如：均方误差、信噪比(SNR)或峰值信噪比 (PSMR)。M(例如，两个图像之间的MSE)表示用于F的优化处理的目标函数。F可以是参数化函数，或者可以经由(LUT)来定义。给定M，可以应用公知的优化技术来确定F，所述公知的优化技术诸如J.A Nelder、John和R.Mead在1965年Computer Journal第7 期第308-313页的“A simplex method for function minimization”中所描述的Nelder-Mead方法。
在实施例中，JPEG-HDR标头可以包括表示逆编码函数F-1的解码LUT。适应的JPEG-HDR解码器可以使用该LUT来将所接收的比值图像从8位数据转换为更高精度(例如，浮点)Y通道数据。该LUT 可以具有将8位数据直接映射到浮点值的256个条目。
示例性基于直方图均衡化的方法
实施例也涉及计算效率，因为直方图均衡化或对比度受限直方图均衡化提供导出F函数的处理。直方图均衡化处理将具有任意分布的源亮度转换为具有均匀直方图的亮度，以使得可以更高效率地对比值图像进行编码。在使用直方图均衡化的实施例中，可以如以下所述的那样计算F。
a)计算YR的直方图hist。直方图简单地表示在比值图像中遇到像素值i的实例的数量(例如，histi)；
b)计算hist的累积直方图c_hist。例如，可以将累积直方图计算为：
以及
c)通过使c_hist规范化并缩放c_hist来确定F。例如：
Fi＝((c_histi-min(c_hist))/(max(c_hist)-min(c_hist))*scale
其中，变量scale确定F的最大值，例如，255。
如上计算的编码函数F可以具有有着无限导数或斜率的区域，因此，F可能不能提供唯一映射，并且逆函数F-1不存在。限制F的斜率或导数使得实施例可以确认由F提供的映射的唯一性和F-1的存在性。
直方图均衡化方法使得编码精度与亮度值出现的频率成比例。因此，可以以较高误差对不那么频繁出现的亮度值进行量化，并且以较低误差对频繁出现的亮度值进行量化。
JPEG-HDR中的示例性自定义色域支持
典型的单个图像的文件格式可以使用ICC(国际色彩联盟)或 WCS(Windows颜色管理系统)配置文件来将颜色信息传送给绘制装置(例如，显示器)。ICC配置文件和WCS配置文件要求图像被绘制到特定颜色空间。作为绘制的一部分，应将在目标颜色空间中不可表示的所有颜色都色域映射到可表示颜色。作为该色域映射的结果，在绘制的图像中可能丢失一些颜色信息。
例如，可以用高端的广色域的照相机捕捉图像，或者可以使用计算机图形(CG)软件来创建图像。然后可以将所得图像绘制到sRGB 颜色空间。sRGB颜色空间是最常见的颜色空间，并且受到大多数操作系统和显示装置的支持。然而，因为sRGB具有相对小的色域，所以需要将未被sRGB覆盖的所有图像颜色都映射到sRGB颜色。如果然后将sRGB图像发送到色域广得多的成像装置，则没有恢复原始的、较广色域映射颜色的可靠方式。因此，色域映射可以引起不可逆的信息丢失，并且可以导致次佳的颜色再现。
图像绘制的另一方面涉及指定观看条件。例如，家里和办公室观看条件通常不同于在颜色分级或颜色匹配环境下所使用的观看条件。 ICC工作流程指定精确的观看条件(VC)，使得工作流程不灵活。 WCS允许一些VC灵活性，但是一旦图像被绘制，它实际上就不可能使改变逆转。
色域映射和VC都基于关于图像将被如何观看的假定定义了内容创建者应做出的一套绘制决定。在现实生活中，不可能对于所有可能的情况和目标成像装置以及所有可能的目的做出最佳的绘制决定。
在实施例中，JPEG-HDR文件格式考虑到不同的两组色域相关的元数据：一组与捕捉装置或原始HDR数据相关，另一组与使用彩色图像的目标老式工作流程相关。因此，具有标准色域和动态范围的老式成像装置仍可以基于常规的ICC和WCS工作流程来显示默认绘制图像以递送颜色精确的图像内容。同时，支持更广色域、更高动态范围和/或即时绘制的装置也可以能够恢复原始图像数据以用于考虑观看条件和装置性质两者来进行动态绘制。例如，应用程序可以恢复原始场景数据，并基于当前观看条件和目标显示装置的特性来绘制它。因此，基础图像可以提供与现有的颜色管理工作流程的向后兼容性，而JPEG-HDR元数据使得可以更精确地、灵活地进行即时的绘制。
JPEG-HDR图像包含基础图像(例如，基准JPEG图像)和HDR 元数据(例如，比值图像和颜色残差数据)。基础图像是色调映射的且色域映射的绘制图像，其通常在sRGB颜色空间中绘制。JPEG容器可以指示基础图像的颜色空间，或者它可以包括使得能够在各种成像装置上进行一致的颜色再现的ICC/WCS颜色配置文件。
HDR元数据还可以包括装置无关空间(诸如XYZ基元)中的颜色空间信息，或者附加的第二ICC/WCS颜色配置文件中的颜色空间信息。HDR元数据颜色空间可以不同于基础图像的颜色空间。元数据的色域通常大于基础图像的色域。例如，用于照相机的元数据颜色空间通常与照相机传感器的颜色空间匹配。对于CG图像，元数据颜色空间可以包括原始图像中存在的所有颜色。因此，实施例使用两个或更多个颜色空间描述符(例如，配置文件)来提供JPEG-HDR中的广色域的增强支持。一个配置文件定义基础图像的编码颜色空间，第二配置文件定义HDR元数据的编码颜色空间。
图8A描绘根据示例性实施例的支持双颜色空间的编码处理。如图8A中所描绘的，可以通过TMO处理810对在颜色空间B中捕捉的输入HDR图像805进行色调映射以在颜色空间B中产生色调映射图像815。色域变换处理820可以进一步对图像815进行处理以在颜色空间A中产生基础图像825。通过使用关于这两个颜色空间的信息，可以创建用于将图像从颜色空间A变换到颜色空间B的颜色变换TAB。可以在颜色变换步骤840中应用变换TAB来在颜色空间B中创建基础图像845。
通过使用原始HDR图像805和基础图像845，处理830可以根据本发明中前面描述方法来产生HDR元数据835。最后，可以对图像 825(在颜色空间A中)和HDR元数据835(在颜色空间B中)进行编码和组合以产生JPEG-HDR图像(855)。JPEG-HDR图像855的文件格式可以包括关于这两个颜色空间的适当的颜色描述符。在一些实施例中，可以将处理步骤810和820组合为单个步骤，其中，给定颜色空间B中的HDR图像(805)，它输出颜色空间A中的色调映射图像(825)。使用加性的颜色空间(诸如矩阵TRC(色调再现曲线)) 使得在编码期间可以组合步骤810和820，因为色域映射和色调映射都可以在原始颜色空间(例如，B)中进行。此外，颜色空间之间的颜色变换变得更加精确并且计算效率更高。
图8B描绘根据示例性实施例的支持双色域的解码处理。如图8B 中所描绘的，给定定义两个颜色空间中的数据(颜色空间A中的基础图像和颜色空间B中的HDR元数据)的输入JPEG-HDR图像，基础解码器在颜色空间A(即，sRGB)中提取基础图像865。可以使用图像865来在具有标准动态范围的老式显示装置中显示基础图像。
通过使用关于这两个颜色空间的信息，可以创建用于将图像从颜色空间A变换到颜色空间B的颜色变换TAB。可以在颜色变换步骤870 中应用变换TAB来在颜色空间B中创建基础图像875。给定输入855，元数据解码处理890在颜色空间B中提取HDR元数据895。最后， HDR解码器880可以组合基础图像875和元数据895以在颜色空间B 中产生HDR图像885。
如果HDR元数据居于封装图像的所有可能颜色的广颜色空间中，则编码的图像值将总是正的。正值使得可以在编码阶段和解码阶段期间对图像进行验证。也就是说，如果检测到负值，则可以将这些值归零，和/或可以发出错误消息。本文中所描述的方法还可以应用于具有比常规SDR图像广的色域的编码输入标准动态范围(SDR)图像。对于输入的SDR图像(例如，805)，可以省略TMO处理步骤(810)。
随后可以针对特定的当前观看条件将图像885绘制到目标成像装置。标准显示器、HDR显示器、广色域显示器和打印机是目标成像装置的例子。光线昏暗的中性色喷漆的房间、光线明亮的黄色喷漆的房间是不同观看条件的例子。
如此与对HDR图像进行编码相关地描述了本发明示例性实施例。使HDR输入图像中的对数亮度直方图化以产生色调映射，与该色调映射一起计算对数整体色调映射亮度图像。对对数整体色调映射亮度图像进行降尺度。对数亮度和对数整体色调映射亮度图像产生对数比值图像。对对数比值图像进行多尺度分辨率滤波产生对数多尺度比值图像。对数多尺度比值图像和对数亮度产生第二对数色调映射图像，其被规范化以基于降尺度的对数整体色调映射亮度图像和规范化的图像来输出色调映射图像。HDR输入图像和输出色调映射图像产生被量化的第二比值图像。可以将量化的基础图像和基础比值图像输出到例如JPEG编码器以用于按JPEG格式进行压缩。
具有多尺度比值图像形成的示例性JPEG-HDR编码
在实施例中，附加图像元数据包括从原始HDR图像导出的局部多尺度灰阶比值图像。实施例使用色域(诸如本文中与图像格式一起发布的扩展YCC色域)来使得能够在原始HDR图像的HDR版本中在每个像素处完全恢复，所述HDR版本从色调映射图像和局部多尺度灰阶比值图像产生/恢复。在实施例中，如本文中所描述的技术使色调映射图像中的全黑色调映射值的低于阈值(例如，色调映射图像中的像素总数的0.01％、0.1％、1％、2％等)的数量最少，以使得能够在原始HDR图像的HDR版本中在每个像素处完全恢复。
根据本文中的技术，不是使用整体色调映射(TM)算子(其对整体对比度进行压缩以便适应所需亮度值输出范围，并且丢失了对人类视觉感知很重要的局部对比度)，而是可以使用局部多尺度色调映射处理来产生改进在整体TM算子中将受损的局部对比度的色调映射图像，同时照原样保留整体映射。在实施例中，局部多尺度TM处理使用整体曲线(例如，直方图调整TM曲线)来映射亮度值，而没有细节损失。在实施例中，高效率地执行局部多尺度TM处理，而在该处理中不产生/引入新的伪像(诸如晕圈)。在特定实施例中，实现高效率的递归处理来以高计算效率执行如本文中所描述的局部多尺度处理。在特定的可能的实施例中，局部多尺度处理仅花费比整体TM算子的TM处理长30％的时间。
根据本文中的技术，不是使用整体色调映射(TM)算子(其对整体对比度进行压缩以便适应所需亮度值输出范围，并且丢失了对人类视觉感知很重要的局部对比度)，而是可以使用局部多尺度色调映射处理来产生改进在整体TM算子中将受损的局部对比度的色调映射图像，同时照原样保留整体映射。在实施例中，局部多尺度TM处理使用整体曲线(例如，直方图调整TM曲线)来映射亮度值，而没有细节损失。在实施例中，高效率地执行局部多尺度TM处理，而在该处理中不产生/引入新的伪像(诸如晕圈)。在特定实施例中，实现高效率的递归处理来以高计算效率执行如本文中所描述的局部多尺度处理。在特定的可能的实施例中，局部多尺度处理仅花费比整体TM算子的TM处理长30％的时间。
在实施例中，加载输入的HDR图像，并将其亮度值转换到对数域中。计算直方图调整TM曲线，并将该直方图调整TM曲线应用于亮度值，以便确定整体比值灰阶图像。如本文中所使用的，比值图像通常指的是包括色调映射前图像(例如，输入的HDR图像或其对数等同形式)中的亮度值与色调映射后图像(例如，色调映射图像或其对数等同形式)中的亮度值之间的比值的图像。在实施例中，比值图像在非对数域中在每个像素位置处被逻辑地表示为色调映射前图像除以色调映射后图像，或者在对数域中在每个像素位置处被等同地表示为色调映射前图像减去色调映射后图像。在某一其他的实施例中，比值图像在非对数域中在每个像素位置处被逻辑地表示为色调映射后图像除以色调映射前图像，或者在对数域中在每个像素位置处被等同地表示为色调映射后图像减去色调映射前图像。在所有这些实施例中，应注意，如果比值图像(例如，局部多尺度TM图像)和色调映射前图像(例如，输入的HDR图像)是已知的，则可以经由简单的代数运算(例如，在非对数域中，乘法/除法；在对数域中，加法减法)来获得色调映射前图像(例如，局部多尺度TM图像)。
在实施例中，在对数域中，通过使用16位整型量的减法来高效率地计算用于产生将被合并到局部多尺度比率中的其他比值图像的整体比值图像。在实施例中，可以计算色调映射图像上的参考最大值，并且可以修改色调映射图像，以使得位于所支持的色域(例如，扩展YCC 色域)外部的像素不大于一个小的百分比。
在实施例中，在对数域中，通过使用16位整型量的减法来高效率地计算用于产生将被合并到局部多尺度比率中的其他比值图像的整体比值图像。在实施例中，可以计算色调映射图像上的参考最大值，并且可以修改色调映射图像，以使得位于所支持的色域(例如，扩展YCC 色域)外部的像素不大于一个小的百分比。
等同、扩展、替代和其他
在前面的说明书中，已经参照在不同实现中可以变化的许多特定细节描述了本发明的实施例。因此，什么是本发明、申请人意图什么是本发明的唯一的独有的指示是从本申请发布的一组权利要求，这些权利要求具有这些权利要求按其发布的特定形式，包括任何后续修正。本文中对于这些权利要求中所包含的术语明确阐述的任何定义应决定这些术语在权利要求中所使用的意义。因此，在权利要求中没有明确地记载的限制、元素、性质、特征、优点或属性均不应以任何方式限制该权利要求的范围。因此，要从例示性、而非限制性的意义上来看待本说明书和附图。