在多视图视频编码中从低动态范围图像生成高动态范围图像的制作方法

专利名称：在多视图视频编码中从低动态范围图像生成高动态范围图像的制作方法
技术领域：
本发明涉及从低动态范围图像生成高动态范围图像，并且特别地，涉及将高动态范围信息与3D信息组合。
背景技术：
随着数字信号表示和通信逐渐地取代了模拟表示和通信，在过去的几十年里各种源信号的数字编码已经变得愈加重要。持续的研究和开发正在如何改进能够从编码的图像和视频序列获得的质量同时使数据速率保持可接受的水平方面进行。 用于感知的图像质量的重要因素是能够在图像被显示时重现的动态范围。然而，照惯例，相对于正常视觉重现图像的动态范围趋于被大大地减小。在真实场景中，不同亮度的区域中的不同对象的动态范围可以容易地对应于10.000:1或更大的(14位线性)动态范围，其中，非常精确的亮度分级可能出现在所有亮度级别中，例如在用窄束灯饰照明的腔中，并且因此，无论特定装置上的最终的最优再现如何，图像编码可以期望包含关于该图像的尽可能多的有用信息(同时还花费尽可能少的位，例如在诸如蓝光盘之类的固定存储器空间介质上，或有限的带宽网络连接)。传统上，图像传感器和显示器的动态范围以被限于约2-3个数量级，例如传统的电视机试图针对40:1动态范围进行成像,40:1动态范围也是用于打印的典型范围，即8位对于那些媒体而言被认为是足够的，但是它们对于最近出现的更高质量再现装置和/或特别地与那些装置上的最佳再现相关的更智能的图像处理而言不再是足够的。即，在不在传统的再现装置上引入感知上显著的伪像的情况下，传统上已经能够以8位伽玛编码格式来存储和传送图像。然而，为了记录更精确和更生动的成像，已经开发了宣称能够记录甚至多达6个数量级的动态范围的新颖的高动态范围(HDR)图像传感器。此外，大多数的特殊效果、计算机图形增强以及其它后期工作已经在更高位深被例行地进行，使在计算机上创建的视觉领域变得潜在无限。此外，现代技术显示系统的对比度和峰值亮度持续提高。近来，新的原型显示器已经以高达5000 Cd/m2的峰值亮度和5个数量级的理论对比度被呈现。当传统上经编码的8位信号被显示在这样的显示器上时，讨厌的量化和剪裁伪像可能出现，并且此外，8位信号中的有限信息通常不足以创建复杂图像一至于灰度值的分配一其可以被如实地用这些设备再现。特别地，传统的视频格式提供了不足以传达在新的HDR成像中包含的丰富信息的净空和精确性。因此，存在对于允许用户(consumer)充分受益于现有技术的传感器和显示系统的能力的新视频格式的不断增长的需求。优选地，这样的格式是后向兼容的，使得旧设备仍然能够接收普通视频流，同时新的有HDR能力的装置充分利用由新格式所传达的附加信息。因此，期望的是，编码的视频数据不仅表示HDR图像而且还允许能够被显示在常规设备上的传统的低动态范围(LDR)图像的编码。最直接了当的方法将是相互独立地压缩并且存储LDR和HDR流(同时联播)。然而，这将导致高的数据速率。为了改进压缩效率，已经提出采用其中HDR数据被从LDR流预测的层间预测，使得仅实际的HDR数据与它的预测之间的更小差需要被编码和存储/传送。然而，从LDR数据预测HDR往往是困难的和相对不精确的。实际上，对应的LDR与HDR之间的关系往往是非常复杂的并且通常可能在图像的不同部分之间强烈地变化。例如，LDR图像通常可以由HDR图像的色调映射和颜色分级来生成。精确的色调映射/颜色分级以及因此HDR与LDR图像之间的关系将取决于针对颜色分级所选择的特定算法和参数并且因此很可能取决于源而变化。实际上，通常可以不仅针对不同的内容项而且在不同的图像之间以及实际上经常在图像的不同部分之间主观地并且个别地对颜色分级进行修改。例如，颜色分级器可以选择图像中的不同对象并且对每个对象应用单独和个别的颜色分级。因此，从LDR图像预测HDR图像典型地是非常困难的并且理想地需要适应用来从HDR图像生成LDR图像的特定方法。
在Mantiuk, R.、Efremov, A. >Myszkowski, K.和 Seidel, H. , 2006 年，Backwardcompatible high dynamic range MPEG video compression,第 3 卷第 25 期 ACM Trans.(2006年7月)第713-723页中提出了用于预测HDR图像的方法的示例。在此方法中全局重构函数被估计并且用来执行层间预测。然而，该方法趋于导致次最佳结果并且与期望的相比往往是更不精确的。特别地，全局重构函数的使用趋于仅仅允许粗略估计，因为它不能够考虑例如由不同的颜色分级的应用所造成的HDR数据与LDR数据之间的关系的局部变化。在美国专利申请US2009/0175338中提出了另一方法，其中提出了针对在宏块(MB)级别上操作的层间预测的机制。在该方法中，HDR流是针对通过估计对应于宏块数据的线性回归的缩放和偏移参数局部地预测的每个宏块的。然而，尽管这可以允许更局部的预测，但是所应用的线性模型的简单性通常未能精确地描述LDR数据与HDR数据之间的复杂关系，特别是在高对比度和颜色边缘附近的复杂关系。因此，用于对HDR/LDR数据进行编码和/或用于从LDR数据生成HDR数据的改进方法将是有利的。特别地允许增加的灵活性、易化实施方式和/或操作、改进的和/或自动化的自适应、增加的精度、减少的编码数据速率和/或改进的性能的系统将是有利的。最近出现的另一重要趋势是许多显示设备，无论是电视机、游戏监视器或甚至移动装置，正准备再现至少某些形式的三维信息。它可能是这样的市场同时可能不想要想得到这些质量模态中的非此即彼，即3D LDR或2D HDR，而是在相同的低容量系统(例如，蓝光盘)上，市场可能想要同时具有质量改进二者。

发明内容
因此，本发明优选地设法单独地或者以任何组合来缓和、减轻或者消除上述缺点中的一个或多个，特别地，本发明设法提供用于尤其以高效的方式容易地对某些HDR信息和某些3D信息二者进行编码的选项，所述有效的方式能够使用相同图像场景捕获的真实性表示的不同编码质量之间的现有关系。本发明特别地关注是否能够通过使用HDR( —方面)与3D(另一方面)之间的某些相似性来智能地编码。特别地，因为许多当前的编码技术依赖来自另一个的一个表示的预测(例如，根据近似LDR表示的更高动态范围分级)，所以如果I个这样的改进的预测(例如HDR)可以利用另一个改进的预测(附加到主视图的附加的3D视图)，则这是非常有用的。不仅一方面在用于准确地标识场景中的例如空间对象(并且精确地确定它们的边界)的例如3D模块中使用的非常复杂的试探法可以被同样地重新用在从LDR到HDR预测(例如，以便在精确确定的对象上正确地应用局部LDR到HDR变换策略)中它是有用的，而且另一方面，可从一个模式的附加信息导出的附加信息(例如，可从附加视图导出的信息)能够被用来使另一个模式的变换(例如预测)变得更加容易、准确等(例如，深度图可以形成用于LDR到HDR变换的有用信息，或者反之亦然，如果LDR/HDR编码策略包含允许区域或对象的更好标识的(元)数据，则这可以有助于3维场景分析和表不/编码)。根据本发明的一个方面，提供了一种对输入图像进行编码的方法，所述方法包括接收所述输入图像；响应于参考低动态范围图像和对应的参考高动态范围图像来生成映射，所述映射将形式为图像空间位置的输入集的输入数据和与所述图像空间位置相关联的低动态范围像素值的色坐标与形式为高动态范围像素值的输出数据联系起来；以及通过响·应于所述映射对所述输入图像进行编码来生成输出编码的数据流。本发明可以提供改进的编码。例如，本发明可以允许编码适应于并且针对特定的动态范围特性，并且尤其是与可以由合适的解码器执行的动态范围扩充技术相关联的特性。本发明可以例如提供可允许解码器将接收到的编码的低动态范围图像增强到高动态范围图像的编码。在不需要待开发并且适用于特定图像特性的预定规则或算法的情况下，基于参考图像的映射的使用尤其在许多实施例中可以允许图像特性的自动化的和/或改进的自适应。可以被认为是与组合相关联的图像位置可以例如针对特定输入集而被确定为对于用于特定输入集的图像空间位置满足近邻标准的图像位置。例如，特定输入集可以包括从输入集的位置起小于给定距离、并且属于和该输入集的位置相同的图像对象以及落入针对该输入集定义的位置范围内等的图像位置。组合可以例如是将多个色坐标值组合成更少的值并且具体地组合成单个值的组合。例如，组合可以将色坐标(例如RGB值)组合成单个亮度值。作为另一示例，组合可以将邻近像素的值组合成单个平均值或差分值。在其它实施例中，组合可替代地或此外可以是多个值。例如，组合可以是包括用于多个邻近像素中的每一个的像素值的数据集。因此，在一些实施例中，组合可以对应于映射的一个附加的维度(即除空间维度之外)，并且在其它实施例中组合可以对应于映射的多个附加的维度。色坐标可以是反映像素的视觉特性的任何值，并且可以具体地是亮度值、色度值或彩色值等。所述组合在一些实施例中可以包括与用于输入集的图像空间位置相对应的仅一个像素值。方法可以包括动态地生成映射。例如，可以针对视频序列的每个图像或者例如针对每个第N个图像生成新的映射，其中N是整数。根据本发明的可选特征，所述输入图像是输入高动态范围图像；并且所述方法进一步包括接收与所述高动态范围图像相对应的输入低动态范围图像；从所述输入低动态范围图像生成预测基础图像；响应于所述映射从所述预测基础图像来预测被预测的高动态范围图像；响应于所述被预测的高动态范围图像和所述输入高动态范围图像来对所述残差高动态范围图像进行编码以生成编码的高动态范围数据；以及将所述编码的高动态范围数据包括在所述输出编码的数据流中。本发明可以提供HDR图像的改进的编码。特别地，可以实现从LDR图像的HDR图像的改进预测，从而允许减少的残差信号并且因此更高效的编码。可以实现增强层的数据速率并且因此实现组合信号的数据速率。所述方法可以允许预测基于对HDR与LDR图像之间的特定关系的改进的和/或自动的自适应。例如，无论对于不同的源、图像还是实际上图像的各部分，所述方法可以自动地适于反映不同的色调映射和颜色分级方法的应用。例如，所述方法可以适应于个别图像对象内的特定特性。所述方法在许多情况下可以允许与可以简单地使用包括所述输入图像的LDR编码的基础层的现有LDR设备的后向兼容性。此外， 所述方法可以允许低复杂性实施方式，由此允许减少的成本、资源需求和使用、或简化的设计或制造。所述预测基础图像可以具体地通过下述操作生成对所述低动态范围图像进行编码以生成编码的数据；以及通过对所述编码的数据进行解码来生成所述预测基础图像。所述方法可以包括生成所述输出编码的数据流以具有包括用于所述输入图像的编码的数据的第一层和包括用于所述残差图像的编码的数据的第二层。所述第二层可以是可选层，并且具体地所述第一层可以是基础层以及所述第二层可以是增强层。所述残差高动态范围图像的编码可以具体地包括通过比较所述输入高动态范围图像和所述被预测的动态范围图像来生成用于所述高动态范围图像的至少一部分的残差数据；以及通过对所述残差数据进行编码来生成所述编码的高动态范围数据的至少一部分。根据本发明的可选特征，每个输入集对应于用于每个空间图像维度的空间间隔和用于所述组合的至少一个值间隔，并且所述映射的生成针对所述参考低动态范围图像的至少一组图像位置中的每个图像位置包括针对所述参考低动态范围图像中的所述每个图像位置来确定具有与所述每个图像位置相对应的空间间隔和与组合值相对应的用于所述组合的值间隔的至少一个匹配输入集；以及响应于用于所述参考高动态范围图像中的所述每个图像位置的高动态范围像素值来确定用于所述匹配输入集的输出高动态范围像素值。这提供了用于为动态范围修改确定合适的映射的高效且精确的方法。在一些实施例中，可以针对所述至少一组图像位置的至少第一位置确定多个匹配输入集，并且响应于用于所述映射高动态范围图像中的所述第一位置的高动态范围像素值来确定用于所述多个匹配输入集中的每一个的输出高动态范围像素值。在一些实施例中，所述方法进一步包括响应于对来自用于与所述第一输入集匹配的所述至少一组图像位置的图像位置的所有高动态范围像素值的贡献的取平均值来确定用于第一输入集的所述输出高动态范围像素值。根据本发明的可选特征，所述映射是以下中的至少一个空间二次采样映射；时间二次采样映射；以及组合值二次采样映射。这在许多实施例中可以提供改进的效率和/或减少的数据速率或资源要求同时仍然允许有利的操作。所述时间二次采样可以包括更新用于图像序列的图像的子集的映射。与由所述像素值的量化产生相比，所述组合值二次采样可以包括应用所述组合中的一个或多个值的更粗略的量化。所述空间二次采样可以包括涵盖多个像素位置的每个输入集。根据本发明的可选特征，所述输入图像是输入高动态范围图像；并且所述方法进一步包括接收与所述输入高动态范围图像相对应的输入低动态范围图像；从所述输入低动态范围图像生成预测基础图像；响应于所述映射从所述预测基础图像来预测被预测的高动态范围图像；以及响应于所述输入高动态范围图像和所述被预测的高动态范围图像的比较而使所述映射和残差高动态范围图像中的至少一个适应于所述被预测的高动态范围图像。这可以允许改进的编码并且在许多实施例中可以允许数据速率适应于特定的图像特性。例如，所述数据速率可以被减小到对于利用所述数据速率的动态自适应来实现可变最小数据速率的给定质量水平所需要的水平。
在一些实施例中，所述自适应可以包括确定是否修改所述映射的部分或全部。例如，如果所述映射产生偏离所述输入高动态范围图像超过给定量的被预测的高动态范围图像，则所述映射可以被部分地或完全地修改以产生改进的预测。例如，所述自适应可以包括修改由用于特定输入集的所述映射所提供的特定的高动态范围像素值。在一些实施例中，所述方法可以包括响应于所述输入高动态范围图像和所述被预测的高动态范围图像的比较来选择映射数据和残差高动态范围图像数据中的至少一个的元素以包括在所述输出编码的数据流中。所述映射数据和/或所述残差高动态范围图像数据可以例如被限制于其中所述输入高动态范围图像与所述预测的高动态范围图像之间的差超过给定阈值的区域。根据本发明的可选特征，所述输入图像是所述参考高动态范围图像，并且所述参考低动态范围图像是与所述输入图像相对应的输入低动态范围图像。这在许多实施例中可以允许从输入低动态范围图像的高动态范围图像的高效率预测，并且在许多情况下可以提供低和高动态范围图像两者的特别有效率的编码。所述方法可以进一步包括表征所述输出编码的数据流中的所述映射的至少一部分的映射数据。根据本发明的可选特征，用于所述映射的所述输入集进一步包括与图像空间位置相关联的深度指示，并且所述映射进一步反映了深度与高动态范围像素值之间的关系。这可以提供改进的映射并且可以例如允许所述映射被用来针对所述输入图像生成改进的预测。针对给定质量水平所述方法可以允许减少的数据速率。深度指示可以是图像中深度的任何合适的指示，包括深度(z方向)值或不一致值。根据本发明的可选特征，所述输入图像对应于多视角图像的高动态范围第一视像，并且所述方法进一步包括响应于所述高动态范围第一视像来对用于所述多视像的高动态范围第二视像进行编码。所述方法可以允许多视像的特别高效的编码，并且可以允许的改进的数据速率与质量的比率和/或简化的实施例方式。所述多视像可以是包括与相同场景的不同视图相对应的多个图像的图像。所述多视像可以具体地是包括右图像和左图像(例如对应于观察者的右眼和左眼的视点)的立体图像。所述高动态范围第一视像可以具体地被用来生成所述高动态范围第二视像的预测(或附加的预测)。在一些情况下，所述高动态范围第一视像可以被直接地用作所述高动态范围第二视像的预测。所述方法可以允许LDR/HDR多视像的高效率的联合/组合编码。所述高动态范围图像可以具体地是所述高动态范围第一视像。根据本发明的可选特征，所述高动态范围第一视像和所述高动态范围第二视像被联合地编码，其中，所述高动态范围第一视像被在不依赖所述高动态范围第二视像的情况下编码，并且所述高动态范围第二视像使用来自所述高动态范围第一视像的数据来编码，所述编码的数据被分割成单独的数据流，所述单独的数据流包括包含用于所述高动态范围第一视像的数据的主数据流和包含用于所述高动态范围第二视像的数据的次比特流，其中，所述主比特流和次比特流被复用成具有用于提供有单独代码的所述主和次数据流的数据的所述输出编码的数据流。这可以提供多视像的数据流的特别高效的编码，所述编码可以允许改进的后向兼容性。所述方法可以将多视图HDR图像的联合编码的优点与后向兼容性相结合，从而 允许非完全有能力的解码器以有效地解码单视像。根据本发明的可选特征，编码模块包括图像数据输入端，用于接收用于待编码的图像的图像数据；预测输入端，用于接收用于待编码的所述图像的预测；以及数据输出端，用于输出用于待编码的所述图像的编码数据，所述编码模块可操作来从所述预测和所述图像数据生成所述编码数据；并且当接收到所述预测输入端上的从所述映射生成的预测和所述图像数据数据输入端上的用于所述高动态范围图像的图像数据时，通过所述编码模块来执行对所述高动态范围第一视像进行编码，以及当接收到所述预测输入端上的从所述高动态范围第一视像生成的预测和所述图像数据输入端上的用于所述高动态范围第二视像的图像数据时，通过所述编码模块执行所述高动态范围第二视像的编码。这可以允许特别高效的和/或低复杂性编码。所述编码模块有利地可以被再用于不同的功能。所述编码模块可以例如是H264单视图编码模块。根据本发明的方面，提供了从低动态范围图像生成高动态范围图像的方法，所述方法包括接收所述低动态范围图像；提供映射，该映射将形式为图像空间位置的输入集的输入数据和与所述图像空间位置相关联的低动态范围像素值的色坐标的组合与形式为高动态范围像素值的输出数据联系起来，所述映射反映了参考低动态范围图像与对应的参考闻动态范围图像之间的动态范围关系；以及响应于所述低动态范围图像和所述映射来生成所述高动态范围图像。本发明可以允许用于从低动态范围图像生成高动态范围图像的特别高效的方法。所述方法可以具体地是对高动态范围图像进行解码的方法。所述低动态范围图像可以被接收为编码的图像，所述编码的图像首先被解码之后所述映射被应用到所述编码的低动态范围图像以提供高动态范围图像。具体地，可以通过对编码的数据流的基础层图像进行解码生成所述低动态范围图像。所述参考低动态范围图像和对应的参考高动态范围可以特别地是先前解码的图像。在一些实施例中，可以在编码的数据流中接收所述低动态范围图像，所述编码的数据流还可以包括表征或者识别所述映射和/或所述参考图像中的一个或两个的数据。根据本发明的可选特征，生成所述高动态范围图像包括针对所述被预测的动态范围图像的至少一部分的每个位置通过以下步骤来确定被预测的高动态范围图像的至少一部分确定与所述每个位置匹配的至少一个匹配输入集和与所述每个位置相关联的低动态范围像素值的色坐标的第一组合；从所述映射中检索用于所述至少一个匹配输入集的至少一个输出高动态范围像素值；响应于所述至少一个输出高动态范围像素值来确定用于所述被预测的高动态范围图像中的所述每个位置的高动态范围像素值；以及响应于所述预测的高动态范围图像的所述至少一部分来确定所述高动态范围图像。这可以提供高动态范围图像的特别有利的生成。在许多实施例中，所述方法可以允许低和高动态范围图像两者的特别高效的编码。特别地，可以实现从低动态范围图像的高动态范围图像的预测的精确的、自动地适应和/或高效的生成。响应于所述被预测的高动态范围图像的所述至少一部分的所述高动态范围图像的生成可以包括直接地使用所述被预测的高动态范围图像的所述至少一部分，或者可以例如包括使用残差高动态范围数据来增强所述被预测的高动态 范围图像的所述至少一部分，所述残差高动态范围数据例如可以被包括在不同于包括所述低动态范围图像的层的编码信号的不同层中。根据本发明的可选特征，所述低动态范围图像是低动态范围视频序列的图像，并且所述方法包括使用所述低动态范围视频序列的前一个低动态范围图像作为所述参考低动态范围图像并且使用针对所述前一个低动态范围图像所生成的前一个高动态范围图像作为所述参考高动态范围图像来生成所述映射。这可以允许高效的操作并且尤其可以允许具有对应的低和高动态范围图像的视频序列的高效编码。例如，所述方法可以允许在不需要待在编码器与解码器之间传送的所应用的映射的任何信号的情况下基于从低动态范围图像预测高动态范围图像的至少一部分的精确编码。根据本发明的可选特征，所述前一个高动态范围图像被响应于相对于用于所述前一个低动态范围图像的被预测的图像数据的用于所述前一个低动态范围图像的残差图像数据进一步地生成。这可以提供特别精确的映射并且因此提供改进的预测。根据本发明的可选特征，所述低动态范围图像是低动态范围视频序列的图像，并且所述方法进一步包括针对所述低动态范围视频序列的至少一些低动态范围图像使用标称映射。这可以针对许多图像允许特别高效的编码，并且尤其可以允许对视频序列的不同图像的高效的自适应。例如，标称映射可以被用于对于其而言不存在合适的参考图像的图像，诸如例如紧跟场景改变的第一图像。在一些实施例中，所述动态范围视频序列可以被作为编码的视频信号的一部分而被接收，所述编码的视频信号进一步包括用于所述参考映射被用于的所述低动态范围图像的参考映射指示。在一些实施例中，所述参考映射指示指示了选自参考映射的预定集的应用的参考映射。例如，可以在编码器与解码器之间预先确定N个参考映射，并且所述编码可以包括所述参考映射中的哪一个应该由所述解码器用于特定图像的指示。根据本发明的可选特征，所述组合指示了纹理、梯度以及用于所述图像空间位置的空间像素值变化中的至少一个。这可以提供高动态范围图像的特别有利的生成，并且尤其可以生成更吸引人的高动态范围图像。根据本发明的可选特征，用于所述映射的所述输入集进一步包括与图像空间位置相关联的深度指示，并且所述映射进一步反映了深度与高动态范围像素值之间的关系。这可以提供改进的映射，并且可以例如允许所述映射被用来生成所述高动态范围图像的改进预测。所述方法可以针对给定的质量水平例如允许减少的数据速率。深度指示可以是图像的深度的任何合适的指示，包括深度(z方向)值或不一致值。根据本发明的可选特征，所述高动态范围图像对应于多视像的第一视像，并且所述方法进一步包括响应于所述高动态范围图像来生成用于所述多视像的高动态范围第二视像。所述方法可以允许多视像的特别高效的生成/解码并且可以允许改进的数据速率与质量的比率和/或简化的实施方式。所述多视角图像可以是包括与相同场景的不同视图相对应的多个图像的图像。所述多视像可以具体地是包括右图像和左图像(例如对应于观察者的右眼和左眼的视点)的立体图像。所述高动态范围第一视像可以具体地被用来生成所述高动态范围第二视像的预测。在一些情况下，所述高动态范围第 一视像可以被直接地用作所述高动态范围第二视像的预测。所述方法可以允许LDR/HDR多视像的高效率的联合/组合解码。根据本发明的可选特征，解码模块包括解码器数据输入端，用于接收用于编码的图像的编码的数据；预测输入端，用于接收用于所述编码的图像的预测图像；以及数据输出端，用于输出解码的图像。所述解码模块可操作来从所述预测图像和所述解码器数据生成所述解码的图像；并且其中，当接收到所述预测输入端上的从所述映射生成的预测和所述解码器数据输入端上的用于所述高动态范围图像的残差图像数据时，通过所述解码模块执行生成所述高动态范围图像，以及当接收到所述预测输入端上的从所述高动态范围图像生成的预测图像和所述解码器数据输入端上的用于所述高动态范围第二视像的残差图像数据时，通过所述解码模块执行生成所述高动态范围第二视像。这可以允许特别高效的和/或低复杂性解码。所述解码模块有利地可以被再用于不同的功能。所述解码模块可以例如是H264单视图解码模块。根据本发明的可选特征，所述解码模块包括布置成存储从先前解码的图像生成的预测图像的多个预测图像存储器；并且所述解码模块利用在所述预测输入端上接收到的所述预测图像来重写所述预测图像存储器中的一个。这可以允许特别高效的实施方式和/或操作。根据本发明的可选特征，生成所述高动态范围第二视像的步骤包括提供映射，该映射将形式为图像空间位置的输入集的输入数据和与所述图像空间位置相关联的高动态范围像素值的色坐标的组合与形式为高动态范围像素值的输出数据联系起来，所述映射反映了用于所述第一视图的参考高动态范围图像与用于所述第二视图的对应的参考高动态范围图像之间的关系；以及响应于所述闻动态范围图像和所述映射生成所述闻动态范围第二视像。这可以提供用于基于所述高动态范围第一视像生成所述高动态范围第二视像的特别有利的方法。特别地，它可以允许基于参考图像的精确映射或预测。所述高动态范围第二视像的生成可以是基于映射的自动化生成的，并且可以例如是基于先前的高动态范围第二视像和先前的高动态范围第一视像的。所述方法可以例如允许所述映射在编码器和解码器侧独立地生成，并且因此允许基于所述映射的高效的编码器/解码器预测而不需要被从所述编码器传送到所述解码器的任何附加的映射数据。根据本发明的一个方面，提供了一种用于对输入图像进行编码的装置，所述装置包括接收器，用于接收所述输入图像；映射生成器，用于响应于参考低动态范围图像和对应的参考高动态范围图像来生成映射，所述映射将形式为图像空间位置的输入集的输入数据和与所述图像空间位置相关联的低动态范围像素值的色坐标的组合与形式为高动态范围像素值的输出数据联系起来；以及输出处理器，用于通过响应于所述映射对所述输入图像进行编码来生成输出编码的数据流。所述装置可以例如是集成电路或其部分。根据本发明的一个方面，提供了一种设备，所述设备包括所述前一段落的所述装置；输入连接装置，用于接收包括所述输入图像的信号并且将它馈送给所述装置；以及输出连接装置，用于从所述装置输出所述输出编码的数据流。根据本发明的一个方面，提供了一种从低动态范围图像生成高动态范围图像的装置，所述方法包括接收器，用于接收所述低动态范围图像；映射处理器，用于提供映射，该映射将形式为图像空间位置的输入集的输入数据和与所述图像空间位置相关联的低动态 范围像素值的色坐标的组合与形式为高动态范围像素值的输出数据联系起来，所述映射反映了参考低动态范围图像与对应的参考闻动态范围图像之间的动态范围关系；以及图像生成器，用于响应于所述低动态范围图像和所述映射来生成所述高动态范围图像。所述装置可以例如是集成电路或其部分。根据本发明的一个方面，提供了一种设备，包括所述前一段落的所述装置；输入连接装置，用于接收所述低动态范围图像并且将它馈送给所述装置；输出连接装置，用于从所述装置输出包括所述高动态范围图像的信号。所述设备可以例如是机顶盒、电视机、计算机监视器或其它显示器、媒体播放机、DVD或BluRay 播放机等。根据本发明的一个方面，提供了一种编码的信号，包括编码的低动态范围图像；以及用于所述低动态范围图像的残差图像数据，所述残差图像数据的至少一部分指示了与所述低动态范围图像相对应的期望的高动态范围图像与由将映射应用到所述编码的低动态范围图像产生的被预测的高动态范围图像之间的差异，其中，所述映射将形式为图像空间位置的输入集的输入数据和与所述图像空间位置相关联的低动态范围像素值的色坐标的组合与形式为高动态范围像素值的输出数据联系起来，所述映射反映了参考低动态范围像与对应的参考闻动态范围像之间的动态范围关系。根据本发明的特征，提供了一种存储介质，所述存储介质包括所述前一段落的所述编码的信号。所述存储介质可以例如是诸如DVD或BluRay 盘之类的数据载体。可以提供一种用于执行本发明的所述方面或特征中的任何一个的所述方法的计算机程序产品。同样地，可以提供包括用于执行本发明的所述方面或特征中的任何一个的所述方法的可执行代码的存储介质。本发明的这些和其它方面、特征以及优点根据在下文中描述的实施例中将是显而易见的，并且参考在下文中描述的实施例来阐明。


将参考图仅通过示例的方式来描述本发明的实施例，在图中 图I是根据本发明的一些实施例的传输系统的示例的图示；图2是根据本发明的一些实施例的编码器的示例的图示；
图3是根据本发明的一些实施例的编码的方法的示例的图示；
图4和5是根据本发明的一些实施例的映射的示例的图示；
图6是根据本发明的一些实施例的编码器的示例的图示；
图7是根据本发明的一些实施例的编码器的示例的图示；
图8是根据本发明的一些实施例的解码的方法的示例的图示；
图9是根据本发明的一些实施例的高动态范围图像的预测的示例的图示；
图10图示了根据本发明的一些实施例的映射的示例；
图11是根据本发明的一些实施例的解码器的示例的图示；
图12是根据本发明的一些实施例的编码器的示例的图示；
图13是可以在根据本发明的一些实施例的编码器中使用的基本编码模块的示例的图
示；
图14-17图示了使用图13的基本编码模块的编码器的示例；
图18图示了数据流的复用的示例；
图19是可以在根据本发明的一些实施例的解码器中使用的基本解码模块的示例的图示；以及
图20-22图示了使用图18的基本解码模块的解码器的示例。
具体实施例方式以下描述集中于适用于视频序列的对应低动态范围图像和闻动态范围图像的编码和解码的本发明的实施例。然而，应当领会，本发明不限于该应用并且所描述的原理可以被应用在许多其它情况中且可以例如被应用来增强或修改各种各样的图像的动态范围。图I图示了根据本发明的一些实施例的用于传送视频信号的传输系统100。传输系统100包括被通过网络105耦接到接收器103的发送机101，所述网络105具体地可以是因特网或例如诸如数字电视广播系统之类的广播系统。在特定示例中，接收器103是信号播放机装置，但是应当领会在其它实施例中该接收器可以被使用在其它应用中并且用于其它目的。在特定示例中，接收器103可以是诸如电视机之类的显示器，或者可以是用于生成用于诸如计算机监视器或电视机之类的外部显示器的显示输出信号的机顶盒。在特定示例中，发送机101包括信号源107，所述信号源107提供低动态范围图像的视频序列和闻动态范围图像的对应的视频序列。对应的图像表不相同的场景/图像但是具有不同的动态范围。典型地，低动态范围图像可以通过可能已经被自动地、半自动地或手动地执行的合适的颜色分级来从对应的高动态范围图像生成。在一些实施例中，高动态范围图像可以从低动态范围图像生成，或者诸如例如对于计算机生成的图像而言，它们可以被并行生成。应当领会，术语低动态范围图像和高动态范围图像不针对图像指定任何特定的绝对的动态范围，而仅仅是使图像彼此相关以使得高动态范围图像具有比低动态范围图像(潜在地)更高的动态范围的相对术语。信号源107本身可以生成低动态范围图像、高动态范围图像或低和高动态范围图像两者，或者可以例如从外部源接收这些中的一个或两个。信号源107被耦接到编码器109，所述编码器109继续根据将稍后详细地描述的编码算法对高和低动态范围视频序列进行编码。编码器109被耦接到网络发送机111，所述网络发送机111接收已编码的信号并且对接到通信网络105。网络发送机可以通过通信网络105将已编码的信号传输到接收器103。应当领会，在许多其它实施例中，可以使用其它的分布网络或通信网络，诸如例如地面或卫星广播系统。接收器103包括接收器113，所述接收器113对接到通信网络105并且从发送机101接收已编码的信号。在一些实施例中，接收器113可以例如是因特网接口、或无线接收器或卫星接收器。 接收器113被耦接到解码器115。解码器115被馈送已接收到的编码的信号，并且其然后继续根据将稍后详细地描述的解码算法来对它进行解码。解码器115可以从所接收到的编码的数据来具体地生成高动态范围视频序列。在其中支持信号播放功能的特定示例中，接收器103进一步包括信号播放机117，所述信号播放机117从解码器115接收已解码的视频信号并且使用合适的功能将这个呈现给用户。具体地，信号播放机117本身可以包括能够呈现已编码的视频序列的显示器。可替代地或此外，信号播放机117可以包括能够生成用于外部显示设备的合适的驱动信号的输出电路。因此，接收器103可以包括接收已编码的视频序列的输入连接装置和提供用于显示器的输出驱动信号的输出连接装置。图2图示了根据本发明的一些实施例的编码器109的示例。图3图示了根据本发明的一些实施例的编码的方法的示例。编码器包括用于接收此后被称为LDR图像的低动态范围图像(其可以例如基于可用HDR图像而在包含编码器的相同单元中被导出、或者从单独输入例如单独分级中提供，例如来自电视录制等的在硬盘上存储的LDR版本)的视频序列的接收器201以及用于接收此后被称为HDR图像的高动态范围图像的对应的视频序列的接收器203。最初编码器109执行步骤301，其中接收LDR视频序列的输入LDR图像。LDR图像被馈送到对来自LDR视频序列的视频图像进行编码的LDR编码器205。应当领会，可以使用任何合适的视频或图像编码算法并且编码可以具体地包括如对技术人员而言将已知的运动补偿、量化、变换转换等。具体地，LDR编码器205可以是H-264/AVC标准编码器。因此，步骤301后面是步骤303，其中输入LDR图像被编码以生成编码的LDR图像。编码器109然后继续从LDR图像生成预测的HDR图像。预测是基于可以例如为输ALDR图像它自身的预测基础图像的。然而，在许多实施例中可以将预测基础图像生成为对应于能够由解码器通过对已编码的LDR图像进行解码生成的LDR图像。在图2的示例中，LDR编码器205被相应地耦接到LDR解码器207，所述LDR解码器207继续通过LDR图像的编码的数据的解码来生成预测基础图像。解码可以是实际的输出数据流的或可以是中间数据流的，诸如例如在最后无损熵编码之前的编码的数据流的。因此，LDR解码器207执行步骤305，其中预测基础图像通过对编码的LDR图像进行解码来生成。LDR解码器207被耦接到预测器209，所述预测器209继续从预测基础图像生成预测的HDR图像。预测是基于由映射处理器211提供的映射的。
因此，在该示例中，步骤305后面是其中生成映射的步骤307并且随后是其中执行预测以生成预测的HDR图像的步骤309。预测器209被进一步耦接到HDR编码器213，所述HDR编码器213被进一步耦接到HDR接收器203。HDR编码器213接收输入HDR图像和被预测的HDR图像并且继续基于被预测的HDR图像对输入HDR图像进行编码。在作为特定的低复杂度示例来描述的说明的细节中，HDR图像的编码可以基于相对于被预测的HDR图像生成残差HDR图像并且对残差HDR图像进行编码。然而，技术人员将理解，如与在本文中所描述的若干实施例相符合的那样用于连同3D(立体图或若干图片)编码的LDR/HDR编码的预测策略将与若干预测策略一起工作，例如，一个预测策略可以在越过若干图片的LDR图片的对象(不论它们被编码为算法、LUT或(中间或最终可用的)图像等)、时空修改等上使用局部复杂变换函数。因此，在这样的低复杂性示例中，HDR编码器213可以继续执行步骤311，其中响应于输入HDR图像与被预测的HDR图像之间的比较来生 成残差HDR图像。具体地，HDR编码器213可以通过从输入HDR图像减去被预测的HDR图像来生成残差HDR图像。因此，残差HDR图像表示输入HDR图像与被基于对应的(编码的)LDR图像预测的HDR图像之间的误差。在其它实施例中，可以进行其它比较。例如，可以采用以被预测的HDR图像划分(division) HDR图像。HDR编码器213然后可以执行步骤313，其中残差图像被编码以生成编码的残差数据。应当领会，可以使用用于对残差图像进行编码的任何合适的编码原理或算法。实际上，在许多实施例中被预测的HDR图像可以被用作若干个中的一个可能的预测。因此，在一些实施例中HDR编码器213可以被布置成在包括被预测的HDR图像的多个预测之间选择。其它预测可以包括空间预测或时间预测。选择可以是基于针对不同预测的精确度测量的，诸如基于相对于HDR输入图像的残差的量。可以针对整个图像执行选择，或者可以例如针对HDR图像的不同区域或区个别地执行选择。例如，HDR编码器可以是H264编码器。常规的H264编码器可以利用不同的预测，诸如时间预测(在帧之间，例如运动补偿)或空间预测(即从另一个来预测图像的一个区域)。在图2的方法中，这样的预测可以由LDR到HDR图像预测来补充。基于H. 264的编码器然后继续在不同的可能的预测之间选择。这个选择被在宏块基础上执行并且是基于选择对于该宏块导致最小残差的预测的。具体地，可以执行速率失真分析以针对每个宏块选择最好的预测方法。因此，做出局部判定。因此，基于H264的编码器可以针对不同的宏块使用不同的预测方法。对于每个宏块可以生成残差数据并且对其进行编码。因此，用于输入HDR图像的已编码的数据可以包括由用于该宏块的特定选择的预测产生的用于每个宏块的残差数据。此外，已编码的数据可以包括哪一个预测方法被用于每个个别的宏块的指示。因此，LDR到HDR预测可以提供可以由编码器选择的附加的可能的预测。对于一些宏块，这个预测可以导致比其它预测更小残差并且因此它将被选择用于这个宏块。用于该块的作为结果的残差图像将然后表示该块的输入HDR图像与被预测的HDR图像之间的差
巳编码器在该示例中可以使用不同预测方法之间的选择而不是这些的组合，因为这将导致典型地彼此干涉的不同预测。LDR编码器205和HDR编码器213被耦接到接收已编码的LDR数据和已编码的残差数据的输出处理器215。输出处理器215然后继续执行步骤315，其中输出编码的数据流被生成为包括已编码的LDR数据和已编码的残差数据。在示例中，已生成的输出编码的数据流是分层的数据流，并且已编码的LDR数据被包括在第一层中，同时已编码的残差数据被包括在第二层中。第二层可以具体地是能够由与HDR处理不兼容的解码器或装置丢弃的可选层。因此，随着第二层为可选层，第一层可以是基本层，并且具体地第二层可以是增强或可选动态范围修改层。这样的方法可以在允许有HDR能力的设备利用附加的HDR信息的同时允许后向兼容性。此外，预测和残差图像编码的使用对于给定图像质量允许利用低数据速率的高效率编码。在图2的示例中，HDR图像的预测是基于映射的。映射被布置成从形式为图像空·间位置的输入集的输入数据和与图像空间位置相关联的低动态范围像素值的色坐标的组合映射到形式为高动态范围像素值的输出数据。因此，具体地可以被实现为查找表的映射是基于由在输入集中组织的多个参数所定义的输入数据的。因此，输入集可以被认为是包括用于多个参数的值的多维集。参数包括空间维度并且具体地可以包括二维图像位置，诸如例如用于水平维度的参数(范围)和用于垂直维度的参数(范围)。具体地，映射可以将图像区域划分成具有给定的水平延伸和垂直延伸的多个空间块。对于每个空间块，映射然后可以包括从低动态范围像素值的色坐标生成的一个或多个参数。作为简单的示例，每个输入集可以包括除空间参数之外的单个亮度值。因此，在这种情况下每个输入集是具有两个空间参数和一个亮度参数的三维集。对于各种可能的输入集,映射提供了输出高动态范围像素值。因此,映射在该特定示例中可以是从三维输入数据到单个高动态范围像素值的映射。映射因此将空间分量和颜色分量(包括仅亮度分量)相关映射两者提供给合适的闻动态范围像素值。映射处理器211被布置成响应于参考低动态范围图像和对应的参考高动态范围图像来生成映射。因此，映射不是预定的或固定的映射而是可以基于参考图像自动地且灵活地生成/更新的映射。参考图像可以具体地是来自视频序列的图像。因此，映射被从视频系列的图像动态地生成，从而提供了到特定图像的映射的自动适应。作为特定示例，映射可以是基于正被编码的实际的LDR图像和对应的HDR图像的。在这个不例中，可以生成映射以反映输入LDR图像与输入HDR图像之间的空间分量与颜色
分量关系。作为特定示例，映射可以被生成为NX X NY X NI个容器(bin)(输入集)的三维栅格。这样的栅格方法在被应用于三个维度的量化程度方面提供了很多的灵活性。在该示例中，第三(非空间)维度是简单地对应于亮度值的强度参数。在以下示例中，HDR图像的预测被以宏块级并且利用28个强度容器(即使用8比特值)来执行。对于高清晰度图像，这意味着栅格具有120x68x256个容器的维度。这些容器中的每一个都对应于用于映射的输入集。
对于在参考图像中的位置处的每个LDR输入像素以及分别用于考虑(例如，如果每个颜色分量被单独地考虑)中的颜色分量的用于LDR图像和HDR图像的强度V腫和Kiw，位置和强度的匹配容器被首先识别。在该示例中，每个容器对应于空间水平间隔、空间垂直间隔以及强度间隔。匹配容器(即输入集)可以借助于最近邻插值法来确定
权利要求
1.一种用于对第一视图高动态范围图像和第二视图高动态范围图像进行编码的编码设备，包括 第一和第二 HDR图像接收器(203，1201)，其被布置成接收所述第一视图高动态范围图像和第二视图高动态范围图像； 预测器(209)，其被布置成从所述第一视图高动态范围图像的低动态范围表示来预测所述第一视图高动态范围图像；以及 视图预测器(1203)，用于从所述第一视图高动态范围图像、所述第二视图高动态范围图像的低动态范围表示、或所述第一视图高动态范围图像的低动态范围表示中的至少一个来预测所述第二视图高动态范围图像。
2.权利要求I的编码设备，其中，所述预测器(209)被进一步布置成基于所述低动态范围表示像素值与所述第一视图高动态范围图像像素值之间的每空间局部性关系之间的关系的存储的二次采样描述来预测所述第一视图高动态范围图像。
3.权利要求I或2的编码设备，其中，所述预测器(209)被进一步布置成基于用于所述低动态范围表示的空间区域的深度指示来预测所述第一视图高动态范围图像。
4.权利要求I的编码设备，其中，所述高动态范围第一视像和所述高动态范围第二视像被联合地编码，其中，所述高动态范围第一视像在不用取决于所述高动态范围第二视像的情况下被编码，并且所述高动态范围第二视像使用来自所述高动态范围第一视像的数据来编码，所述经编码的数据被分开成包括含有针对所述高动态范围第一视像的数据的主数据流和含有针对所述高动态范围第二视像的数据的次数据流的单独数据流，所述编码设备包括输出处理器(215)，所述输出处理器(215)被进一步布置成优选以交织方式将所述主和次数据流复用成输出编码的数据流，并且被布置成用单独标识代码来通过用于所述主和次数据流的数据。
5.权利要求I的编码设备，其中，至少一个预测器(209或1203)被连接到用于存储预测图片的若干图片存储器。
6.权利要求5的编码设备，其中，所有预测器被实现为标准预测半导体或软件拓扑，其可以被用于从较低的动态范围表示对更高的动态范围表示进行预测并且也用于成像场景的不同视图之间的预测。
7.一种用于获得第一视图高动态范围图像和第二视图高动态范围图像的解码设备，包括 第一接收器(2201)，用于接收第一视图的经编码的低动态范围图像； 第二接收器(2202)，用于接收所述第一视图的高动态范围图像数据； 第三接收器(2202)，用于接收与第二视图相关的图像数据； 预测器(2204+2205)，用于从所述第一视图的经解码的低动态范围图像和所述第一视图的所述高动态范围图像数据来预测所述第一视图高动态范围图像；以及 视图预测解码器(2210)，用于获得包括基于以下中的至少一个的所述第二视图高动态范围图像a)所述第一视图高动态范围图像，b)所述第二视图高动态范围图像的经解码的低动态范围表示，或c)所述第一视图高动态范围图像的所述经解码的低动态范围表示或其变换。
8.如权利要求7中所述的解码设备，其中，所述预测器被进一步布置成基于针对所述第一视图导出的深度信息来预测所述第一视图高动态范围图像。
9.如权利要求7中所述的解码设备，进一步包括格式化器，其被布置成使如由权利要求4的编码器产生的交织组合立体图和HDR编码信息分离。
10.一种对第一视图高动态范围图像和第二视图高动态范围图像进行编码的方法，包括 接收所述第一视图高动态范围图像和第二视图高动态范围图像； 从所述第一视图高动态范围图像的低动态范围表示来预测所述第一视图高动态范围图像；以及 从所述第一视图高动态范围图像、所述第二视图高动态范围图像的低动态范围表示、或所述第一视图高动态范围图像的低动态范围表示中的至少一个来预测所述第二视图高动态范围图像。
11.一种对至少两个视图的高动态范围表示的经编码的图像数据进行解码以用于获得第一视图高动态范围图像和第二视图高动态范围图像的方法，包括 接收第一视图的经编码的低动态范围图像； 接收所述第一视图的高动态范围图像数据； 接收与第二视图相关的图像数据； 对所述第一视图的所述经编码的低动态范围图像进行解码，获得所述第一视图的经解码的低动态范围图像； 从所述第一视图的所述经解码的低动态范围图像和所述第一视图的所述高动态范围图像数据来预测所述第一视图高动态范围图像；以及 获得包括基于以下中的至少一个的所述第二视图高动态范围图像a)所述第一视图高动态范围图像，b)所述第二视图高动态范围图像的经解码的低动态范围表示，或c)所述第一视图高动态范围图像的所述经解码的低动态范围表示或其变换。
全文摘要
公开了用于组合HDR和3D图像结构分析和编码的若干方法，特别是一种用于对第一视图高动态范围图像和第二视图高动态范围图像进行编码的编码设备，所述编码设备包括第一和第二HDR图像接收器(203,1201)，其被布置成接收所述第一视图高动态范围图像和第二视图高动态范围图像；预测器(209)，其被布置成从所述第一视图高动态范围图像的低动态范围表示来预测所述第一视图高动态范围图像；以及视图预测器(1203)，其用于从所述第一视图高动态范围图像、所述第二视图高动态范围图像的低动态范围表示、或所述第一视图高动态范围图像的低动态范围表示中的至少一个来预测所述第二视图高动态范围图像。
文档编号H04N7/34GK102959957SQ201180033442
公开日2013年3月6日 申请日期2011年7月5日 优先权日2010年7月6日
发明者W.H.A.布鲁斯, R.T.J.穆伊斯 申请人:皇家飞利浦电子股份有限公司