用于分层vdr编码的有效架构的制作方法
【专利摘要】在分层视觉动态范围（VDR）编码中，层间预测需要输入VDR与标准动态范围（SDR）信号之间的若干颜色格式变换。呈现编码和解码架构，其中在基于SDR的颜色格式变换中执行层间预测，因此在不折衷编码效率或编码质量的情况下，减小在编码器和解码器二者中的计算复杂度。
【专利说明】用于分层VDR编码的有效架构
[0001]对相关申请的交叉引用
[0002]本申请要求2011年5月16日提出的美国临时专利申请N0.61/486，703的优先权，其通过引用全部合并于此。
【技术领域】
[0003]本发明一般涉及图像。更具体地，本发明的实施例涉及在高动态范围的分层编码中的有效颜色空间变换。
【背景技术】
[0004]如这里使用的，术语‘动态范围’(DR)可以涉及人类视觉系统(HVS)察觉图像中的强度(例如，发光度、亮度)范围的能力，例如，从最黑的黑暗到最亮的光亮。在这种意义上讲，DR涉及‘关于场景’的强度。DR也可以涉及显示设备充分地或近似地渲染特定宽度的强度范围的能力。在这种意义上讲，DR涉及‘关于显示器’的强度。除非在这里的说明书中的任一点特定意义被明确地指定具有特定的重要性，否则应该推断术语可以例如可互换地用于任一意义。
[0005]如这里使用的，术语高动态范围(HDR)涉及跨越人类视觉系统(HVS)的一些14_15个数量级的DR宽度。例如，具有实质上正常的(例如，在统计、生物测定或眼科意义中的一个或更多意义上)最佳适应的人类具有跨越大约15个数量级的强度范围。适应的人类可以察觉如仅仅少数光子一样少的暗光源。然而，这些相同的人类可以察觉在沙漠、海或雪中正午太阳的几乎痛苦地明亮的强度(乃至看一眼太阳，但是短暂地以防止损害)。此跨越可以用来‘适应’的人类，例如，那些其HVS具有复位和调整的时间周期的人。
[0006]相反，与HDR相比，人类可以在强度范围中同时察觉密集宽度的DR可以被稍微地截断。如这里使用的，术语‘视觉动态范围’或‘可变动态范围’(VDR)可以分别或可互换地涉及由HVS同时可察觉的DR。如这里使用的，VDR可以涉及跨越5-6个数量级的DR。因此虽然或许与涉及真实场景的HDR相比稍微窄，但是VDR表示宽的DR宽度。如这里使用的，术语‘同时动态范围’可以涉及VDR。
[0007]直到最近，显示器已经具有比HDR或VDR显著窄的DR。使用一般阴极射线管(CRT)、具有恒定萤光白背景光的液晶显示器(LCD)或等离子屏幕技术的电视机(TV)和计算机监控器装置可以被局限于它们的近似三个数量级的DR渲染能力。因此，与VDR和HDR相比，此类常规显示器代表低动态范围(LDR),也被称为是标准动态范围(SDR)。
[0008]但是它们的基础技术的发展使得更现代的显示器设计，对在不那么现代的显示器上渲染的相同内容，能够在各种质量特性方面具有重要改善地渲染图像和视频内容。例如，更现代的显示设备可以能渲染高清晰度(HD)内容和/或可以根据诸如图像缩放之类的各种显示能力缩放的内容。而且，一些更现代的显示器能够渲染具有比常规显示器的SDR高的DR的内容。
[0009]例如，一些现代的IXD显示器具有包括发光二极管(LED)阵列的背光单元(BLU)。可以与有源IXD元件的偏振态的调制分离地调制BLU阵列的LED。此双重调制方法是可扩展的(例如，扩展到N-调制层，其中N包括大于二的整数)，诸如在BLU阵列和IXD屏幕元件之间具有可控的插入层。它们的基于LED阵列的BLU和双重(或N-)调制有效地增加具有此类特征的IXD监控器的关于显示器的DR。
[0010]此类常常被称为的“HDR显示器”(尽管实际上，它们的能力可以更接近地近似VDR的范围)和与传统SDR显示器相比它们能够实现的DR扩展代表在显示图像、视频内容及其他视觉信息的能力方面的重要进步。此类HDR显示器可以渲染的色域也可以显著地超出更多常规显示器的色域，甚至达到有能力渲染宽色域(WCG)的程度。诸如可以由“下一代”电影和TV摄像机生成的有关场景的HDR或VDR和WCG图像内容现在可以利用“HDR”显示器(以下简称‘HDR显示器’)被更如实并有效地显示。
[0011]如同可分级视频编码和HDTV技术一样，扩展图像DR —般包含分叉方法。例如，利用现代的有HDR能力的照相机捕获的有关场景的HDR内容可以用来生成可以内容的SDR版本，其可以被显示在传统的SDR显示器上。在一个方法中，从捕获的VDR版本生成SDR版本可以包含将色调映射算子(TMO)施加到HDR内容中的有关强度(例如，发光度、亮度)的像素值。在第二方法中，如由W.Gish等的美国临时申请61/376，907“Extending Image DynamicRange”中描述的(其全部通过引用合并于此)，生成SDR图像可以包含对VDR数据施加可逆算子(或预测算子)。为了保存带宽或为了其它考虑，实际捕获的VDR内容的传输可能不是最佳方法。
[0012]因此，与原始TMO相比逆化的逆色调映射算子(iTMO)，或与原始预测算子相比的逆算子，可以被应用于生成的SDR内容版本，其允许VDR内容的版本能够被预测。预测的VDR内容版本可以与最初捕获的HDR内容相比。例如，从原始VDR版本中减去预测的VDR版本可以生成残差图像。编码器可以将生成的SDR内容作为基本层(BL)发送，并且将生成的SDR内容版本、任何残差图像、以及iTMO或其它预测算子封装为增强层(EL)或为元数据。
[0013]在比特流中发送具有它的SDR内容、残差和预测算子的EL和元数据一般比将HDR和SDR内容两个直接地发送到比特流中耗费的带宽更少。接收由编码器发送的比特流的兼容解码器可以在常规显示器上解码并且渲染SDR。然而兼容解码器也可以使用残差图像、iTMO预测算子、或元数据来由此计算HDR内容的预测的版本，以便在更有能力的显示器上可以使用。
[0014]在此类分层的VDR编码中，可以在不同的位深度、在不同的色空间、和以不同的色度二次抽样格式表示信号，所有这些可以强迫从第一颜色格式到第二颜色格式的各种计算机密集的变换。
[0015]如这里使用的，术语“颜色格式”涉及包括两个变量的颜色表示:a)颜色空间变量(例如:RGB、YUV、YCbCr、等等)和色度二次抽样变量(例如:4:4:4、4:2:0、等等)。例如，VDR信号可以具有RGB4:4:4颜色格式，而SDR信号可以具有YCbCr4:2:0颜色格式。这里呈现与在VDR分层编码中用于有效的颜色格式处理的方法和架构相关的实施例。
[0016]在示例实施例中，在编码器中，SDR到VDR预测器和残差非线性均衡器以SDR颜色格式操作。这允许解码器需要少得多的有关颜色格式的计算，而在视频质量方面没有降低。
[0017]在本节中描述的方法是可以采取的方法，但不一定是先前已经构思或采取的方法。因此，除非另有指明，不应当假定本节中描述的任何方法仅仅凭借其在本节中的包括就获得先有技术的承认。类似地，除非另有陈述，关于一个或多个方法确定的问题不应该基于本节就假定已经获得在任何先有技术中的承认。
【专利附图】
【附图说明】
[0018]本发明的实施例以示例的方式而不是通过限制的方式示出在附图的图中，并且其中类似的参考数字涉及类似的元件并且其中:
[0019]图1描述根据本发明的实施例的用于VDR-SDR系统的示例数据流；
[0020]图2描述根据本发明的示例分层VDR编码系统；
[0021]图3描述根据本发明的实施例的示例分层VDR解码系统；
[0022]图4A描述在分层VDR编码系统中的颜色格式处理的示例；
[0023]图4B描述在分层VDR解码系统中的颜色格式处理的示例；
[0024]图5A描述根据本发明的一个实施例的在分层VDR编码系统中的颜色格式处理的示例；
[0025]图5B描述根据本发明的一个实施例的在分层VDR解码系统中的颜色格式处理的示例。
【具体实施方式】
[0026]假定一对对应的VDR和SDR图像，诸如表示相同场景的图像，每个在不同级别的动态范围中，实现在分层VDR编码中的残差信号的改善的编码。通过组合基本层(例如，SDR图像)和如增强层的残差来编码VDR图像。在实施例中，增强层包括原始VDR图像和例如从基本层预测的其版本之间的差异。在下面的说明书中，为了说明目的，阐述许多的细节以便提供对本发明的彻底的理解。但是，本领域技术人员显然可知，不用这些特定的细节可以实践本发明。在其它实例中，不详尽地描述公知的结构和设备，以避免不必要地阻隔、模糊、或妨碍本发明。
[0027]总览
[0028]这里描述的示例实施例涉及具有高动态范围的图像的分层编码。实施例在SDR信号的颜色格式中应用层预测和残差的非线性量化，因此减少与颜色格式变换相关的计算复杂度而不损害图像质量或编码效率。
[0029]示例VDR-SDR 系统
[0030]图1描述根据本发明的实施例的在VDR-SDR系统100中的示例数据流。利用HDR照相机110捕获HDR图像或视频序列。在捕获之后，由主处理来处理捕获的图像或视频以创建目标VDR图像125。主处理可以合并各种处理步骤，诸如:编辑、初级和次级颜色校正、颜色变换、和噪声滤波。此处理的VDR输出125表示导演的关于捕获的图像将如何被显示在目标VDR显示器上的意图。
[0031]主处理也可以输出对应的SDR图像145，表示导演的关于捕获的图像将如何被显示在传统SDR显示器上的意图。SDR输出145可以直接被从主电路120中提供或它可以由单独的VDR到SDR转换器140生成。
[0032]在示例实施例中，VDR125和SDR145信号被输入到编码器130中。编码器130创建减少发送VDR和SDR信号所需的带宽的编码的比特流。此外，编码器130操作以对信号进行编码，其允许对应的解码器150解码并且渲染或者SDR或者VDR信号分量。在示例实施方式中，编码器130可以是分层编码器，诸如由MPEG-2和H.264编码标准定义的那些中的一个，其将它的输出表示为基本层、可选的增强层、和元数据。如这里定义的，术语“元数据”涉及被发送为编码的比特流的一部分的任何辅助信息并且辅助解码器渲染解码的图像。此类元数据可以包括但是不局限于诸如如下数据:颜色空间或色域信息、动态范围信息、色调映射信息、或其它预测算子和量化算子，诸如这里描述的那些。
[0033]在接收器上，根据目标显示器的能力，解码器150使用接收的编码的比特流和元数据来渲染或者SDR图像或者VDR图像。例如，SDR显示器可以仅仅使用基本层和元数据来渲染SDR图像。相反，VDR显示器可以使用来自所有输入层和元数据的信息以渲染VDR信号。
[0034]图2描述合并此发明的方法的编码器130的示例实施方式。在图2中，VDR输入205可以被表示为16位(固定点或浮点)RGB4:4:4，而SDR输入207通常是8位YCbCr(或YUV)、4:2:0、ITU Rec.709数据；但是此实施例的方法也应用于其它VDR和SDR表示。例如，一些实施方式可以使用增强的SDR输入、SDR’，其可以具有与SDR相同的颜色空间(原色和白点)，但是可以使用高精度，所述的每像素12位，在全空间分辨率具有全部颜色分量(例如，4:4:4RGB)0 SDR输入207应用于压缩系统240。根据应用，压缩系统240可以是或者有损耗的，诸如根据H.264或MPEG-2标准，或者无损耗的。压缩系统240的输出可以被作为基本层225发送。为了减少编码的和解码的信号之间的偏差，编码器130可以遵循具有对应的解压缩处理230的压缩处理240。信号235表示将由解码器接收的SDR输入。如由G_M.Su等在美国临时申请US61/475, 359“Multiple color channel multiple regression predictor”中描述的，利用输入VDR205和SDR235数据的预测器250将创建表示输入VDR205的近似或估计的信号257。加法器260从原始VDR205中减去预测的VDR257以形成输出残差信号265。残差265也可以由另一个有损耗的或无损耗的编码器220进行编码，诸如由MPEG标准定义的那些，并且可以在输出比特流中被复用并且被作为增强层发送到解码器。
[0035]预测器250也可以提供被用在预测处理中作为元数据255的预测参数。由于预测参数可以在编码处理期间变化，例如，以逐个帧为基础上、或以逐个场景为基础，因此这些元数据可以作为数据的一部分被发送到解码器，其也包括基本层和增强层。
[0036]残差265表示两个VDR信号之间的差异，因此预期通过每个颜色分量超过8位来表示它。在许多可能的实施方式中，编码器220可以不能支持此残差信号的全动态范围。在示例实施方式中，残差可以是16位并且残差编码器220可以是标准的H.264,8位编码器。为了编码器220适应残差265的动态范围，量化器210将残差265从它的原始位深度表示(所述12或16位)量化到较低的位深度表示。量化器参数也可以被多路复用到元数据比特流255中。
[0037]在一个可能的实施方式中，可以由非线性的量化器预处理残差265，诸如在由G-MSu 等的美国临时申请 61/478，836“Non Linear VDR Residual Quantizer”中描述的一个。
[0038]图3更详细地描述解码器150的示例实施方式。解码系统300接收可以组合基本层337、增强层(或残差)332、和元数据335的编码的比特流，它们在解压缩330被提取。例如，在VDR-SDR系统中，基本层337可以表示编码信号的SDR表示并且元数据335可以包括有关在编码器中使用的预测(250)和量化(210)步骤的信息。残差332被解码(340)、解量化(350)、并且被加到预测器390的输出395以生成输出的VDR信号370。如在编码器中，可以利用不同的颜色格式表示VDR和SDR信号，诸如用于VDR信号的RGB4:4:4和用于SDR信号的 YCbCr (或 YUV) 4:2:O。
[0039]颜色格式变换
[0040]如在图2中描述的，到编码器130的SDR和VDR输入信号可以具有不同的颜色格式表示。编码器130的目标是不仅尽可能有效地压缩信号，而且保存图像质量。当在亮度-色度颜色空间(诸如YUV或YCbCr)中表示输入信号时，压缩块240和220更有效地操作?’然而，预测器250和量化器210可以在VDR或者在SDR颜色空间中操作。然而，不管选择什么颜色格式空间，编码器和解码器二者将被要求执行颜色格式变换。减少用于此类颜色格式变换的计算需求是本发明的一个目标。
[0041]图4A描述当预测器250在VDR颜色格式中操作时的颜色格式变换操作。在图4A中，在块410中，SDR输入407被变换以匹配VDR颜色格式。例如，如果VDR输入405处于RGB4:4:4格式并且SDR输入407处于YCbCr4:2:0格式，则块410可以以如下两个步骤将SDRYCbCr4:2:0转换到SDR RGB4:4:4:a)利用任何众所周知的上采样和内插技术来色度上采样YCbCr4:2:0到YCbCr4:4:4，和b)利用众所周知的颜色变换操作来颜色变换YCbCr4:4:4 到 RGB4:4:4。
[0042]从图4A中，预测器的输出425和残差435也将处于VDR颜色格式(所述的RGB4:4:4)。残差编码器可以是以YCbCr4:2:0格式操作的MPEG (所述的MPEG-2，MPEG-4，或H.264)编码器。此类实施方式需要残差435被变换以匹配残差编码器的颜色格式。块440将输入信号从VDR输入格 式(所述的RGB4:4:4)变换到残差编码器的颜色格式(所述的YCbCr4:2:0 )。例如，如果残差编码器的颜色格式是YCbCr4:2:0，则块440可以以如下两个步骤将RGB4:4:4转换到YCbCr4:2:0中:a)利用众所周知的颜色变换操作来颜色变换RGB4:4:4 到 YCbCr4:4:4，和 b)色度下采样 YCbCr4:4:4 到 YCbCr4:2:0。
[0043]块440可以被安置在量化器450之前(如描述的)或在量化器450之后(未显示)。由于在块440中的颜色二次采样，将颜色格式变换块440安置在量化器450之前也显著地减少在量化器上的计算。
[0044]图4B描述在与在图4A中描述的编码器对应的解码器上的颜色格式操作。因为编码器预测器420以VDR颜色格式在解码器上操作，所以预测器485也需要以VDR颜色格式操作。此配置需要两个颜色格式变换操作:a)块475，其将基本层从SDR颜色格式变换到VDR颜色格式，和b)块490，其将解量化的残差从残差编码器的颜色格式变换到VDR颜色格式。
[0045]从图4A和4B中，此VDR编码实施方式需要在编码器中的两个颜色格式变换和在解码器中的两个颜色格式变换。在图5A和5B中描述根据我们发明的示例实施例的更有效的配置。
[0046]图5A描述当预测器250 (520)以SDR颜色格式操作时用于VDR编码器的示例颜色格式变换处理。在此实施方式中，在SDR输入上没有颜色格式变换。作为替代，变换块510将VDR输入的颜色格式变换以匹配SDR输入的颜色格式。例如，如果VDR输入处于RGB4:4:4并且SDR输入处于YCbCr4:2:0，则块510将保持VDR信号的比特精度，但是将它将变换到YCbCr4:2:0.。在此实施方式中，预测器520的输出525和残差输出535 二者将以YCbCr4:2:0格式。如果残差编码器以SDR输入(所述的YCbCr4:2:0)的相同的颜色格式操作，则在编码器中不需要附加颜色格式变换。
[0047]图5B描述在与图5A中描述的编码器对应的解码器上的颜色格式操作。编码的残差信号567由残差解码器570解码并且然后由解量化器580解量化。由于编码器预测器520以SDR颜色格式操作，因此预测器585也需要以SDR颜色格式操作。因此表示添加到预测器585的输出的增强层567的输出信号597也将处于SDR颜色格式。最后，在块590中的变换操作将信号597从SDR颜色格式(所述的YCbCr4:2:0)变换到用于输出VDR信号598的期望的颜色格式。最终输出格式可以与输入VDR颜色格式(所述的RGB4:4:4)相同，或是不同的，例如匹配目标VDR显示器的需要的一个。
[0048]在不例实施方式中，假定VDR输入处于RGB4:4:4颜色格式并且SDR输入处于YCbCr4:2:0格式，比较基于VDR颜色格式的编码方法(400)与基于SDR颜色格式的编码方法(500)之间的计算需要，我们可以得出下列计算节省:
[0049]在编码器上:(a)由于色度二次采样，与预测器420和加法器430相比，预测器520和加法器530对色度像素样本的一半操作，和(b)与编码器500A相比，编码器400A需要附加的“匹配VDR颜色格式”块。
[0050]在解码器上:(a)由于色度二次采样，与预测器485和加法器495相比，预测器585和加法器595对色度像素样本的一半操作，和(b)与解码器500B相比，解码器400B需要附加的“匹配VDR颜色格式”块。此外，在解码器500B中，根据接收输出VDR信号598的设备的应用和需要，颜色格式变换块590可以被另一个颜色变换块消除或与其组合。
[0051]示例计算机系统实施方式
[0052]可以利用计算机系统、配置在电子线路中的系统和组件、诸如微控制器之类的集成电路(IC)设备、现场可编程门阵列(FPGA)、或另一个可配置的或可编程的逻辑设备(PLD)、离散时间或数字信号处理器(DSP)、专用IC (ASIC)、和/或包括一个或多个此类系统、设备或组件的装置执行本发明的实施例。计算机和/或IC可以执行、控制或执行与颜色格式变换有关的指令，诸如这里描述的那些。计算机和/或IC可以计算涉及如这里描述的颜色格式变换的各种参数或值中的任何一个。可以在硬件、软件、固件和其各种组合中执行图像和视频动态范围扩展实施例。
[0053]本发明的某些实施方式包括运行使得处理器执行本发明的方法的软件指令的计算机处理器。例如，显示器中的一个或多个处理器、编码器、机顶盒、代码转换器等可以通过执行处理器能访问的程序存储器中的软件指令来执行如上所述的颜色格式变换方法。本发明还可以按照程序产品的形式提供。程序产品可以包括携带计算机可读信号的集合的任何介质，该计算机可读信号包括在由数据处理器运行时使得数据处理器执行本发明的方法的指令。根据本发明的程序产品可以是多种形式中的任何一个。程序产品可以包括例如物理介质，诸如包括软盘、硬盘驱动器的磁数据存储媒体、包括CD ROM、DVD的光数据存储介质、包括ROM、闪速RAM的电子数据存储介质，等等。程序产品上的计算机可读信号可以可选地被压缩或加密。
[0054]当上面提及组件(例如，软件模块、处理器、部件、设备、电路等等)时，除非另有说明，对该组件的提及(包括对“装置”的提及)应当被理解为包括执行所述组件的功能(例如，功能上等效)的任何组件作为该组件的等价物、包括在结构上不等效于公开的结构但是执行本发明的示出的示例实施例中的功能的组件。[0055]相等物、扩展、可替换和其他
[0056]因此描述涉及在编码和解码VDR和SDR图像中应用颜色格式变换的示例实施例。在上述说明书中，已经参考可以逐个实施方式变化的许多细节描述本发明的实施例。因此，本发明的、并且本发明 申请人:预期的唯一和排外的指示是从本申请发布的权利要求组，其以此类权利要求发布的特定形式，包括任何随后修正。这里明确地阐述的用于包含在此类权利要求书中的术语的任何定义将支配如用在权利要求书中的此类术语的意义。因此，在权利要求书中没有明确叙述的局限性、元件、性质、特征、优点或属性不应该以任何方式限定此类权利要求书的范围。因此，说明书和附图应当被认为是说明性的，而不是限制的意义上的。
【权利要求】
1.一种在编码视觉动态范围(VDR)的信号中的方法，包括: 接收具有第一动态范围和第一颜色格式的第一信号； 接收具有第二动态范围和第二颜色格式的第二信号，其中第二动态范围小于第一动态范围并且第二颜色格式不同于第一颜色格式； 生成第三信号，其中第一信号被变换以匹配第二信号的颜色格式； 利用基本层和增强层编码第一信号，其中基本层包括第二信号的编码的表示并且增强层包括第三信号和预测的信号之间的残差的编码的表示。
2.如权利要求1所述的方法，其中第一信号包括VDR信号并且第二信号包括标准动态范围(SDR)信号。
3.如权利要求2所述的方法，其中VDR信号包括RGB4:4:4颜色格式并且SDR信号包括YUV或YCbCr4:2:0颜色格式。
4.如权利要求1所述的方法，还包括: 解码基本层； 解码增强层； 生成具有第一动态范围的中间输出，其中组合基本层和增强层，其中基本层和增强层为第二颜色格式并且在不执行任何中间色格式变换的情况下被组合； 生成第一信号的解码的版本，其中中间输出被从第二颜色格式变换到最终输出格式，其中最终输出格式不同于第二颜色格式。
5.如权利要求4所述的方法，其中最终输出格式和第一颜色格式匹配。
6.一种装置，包括处理器并且被配置为执行如权利要求1-5所述的方法中的任何一个。
7.一种计算机可读存储介质，在其上存储有用于执行根据权利要求1-5中的任何一个所述的方法的计算机可执行指令。
【文档编号】H04N19/30GK103535038SQ201280023331
【公开日】2014年1月22日 申请日期:2012年5月11日 优先权日:2011年5月16日
【发明者】苏冠铭, 曲晟, 李臻, 沃尔特·C·吉什 申请人:杜比实验室特许公司