专利名称：位深度可分级性的制作方法
技术领域：
本发明总体上涉及图像和/或视频编码，尤其是涉及利用质量可分级数据流实现 位深度可分级性(bit-d印th scalability)的质量可分级编码。
背景技术：
IS0/IEC运动图像专家组(MPEG)的联合视频编码组(JVT)和ITU-T视频编码专家 组(VCEG)最近完成了最先进的视频编码标准H. 264/AVC的可分级扩展，称作可分级视频编 码(SVC)。SVC支持视频序列的时间、空间和SNR或其任意组合的可分级编码。如ITU-T Rec. & IS0/IEC 14496-10 AVC “一般视听业务的高级视频编码”2005年 版本3中描述的H. 264/AVC说明了混合视频编解码器，其中通过运动补偿预测在空间域中 或者通过帧内预测在时间域中产生宏块预测信号，且在两种预测之后进行残差编码。不具 有可分级性扩展的H. 264/AVC编码称作单层H. 264/AVC编码。与单层H. 264/AVC编码相配 的率失真性能是指通常在10%位速率获得相同的视觉再现质量。鉴于上述情况，可分级性 被认为是用于除去部分比特流并同时在任何支持的空间、时间或SNR分辨率上获得R-D特 性的功能性，所述分辨率与在该特定分辨率与单层H. 264/AVC编码相配。可分级视频编码(SVC)的基本设计可以被划分为分层视频编解码器。在每一层， 像在H. 264/AVC中一样采用运动补偿预测和帧内预测的基本概念。但是，其中整合了层间 预测机制以利用数个空间或SNR层之间的冗余。SNR可分级性基本上是通过残差量化实现 的，而对于空间可分级性，采用了运动补偿预测和过采样金字塔分解的组合。H. 264/AVC的 时间可分级性方法得到了保持。总体上，编码器结构取决于应用所要求的可分级性空间。出于说明之目的，图8示 出了具有两个空间层902a、902b的典型编码器结构900。在每层中，采用具有层特定运动参 数906a、906b的独立层次运动补偿预测结构904a、904b。通过层间预测概念908来利用连 续层902a、902b之间的冗余，层间预测概念908包括用于运动参数906a、906b以及纹理数 据910a、910b的预测机制。通过与H. 264/AVC类似的变换编码916a、916b获得每层902a、 902b的输入图像914a、914b的基本表示，相应的NAL单元(NAL-网络抽象层)包含运动信 息和纹理数据；最低层即912a的基本表示的NAL单元与单层H. 264/AVC相匹配。由各个层902a、902b的底层编码916a、916b和逐行SNR细化纹理编码918a、918b 输出的结果比特流分别由复用器920复用以产生可分级比特流922。比特流922在时间、空 间和SNR质量上可分级。总之，根据视频编码标准H. 264/AVC的上述可分级扩展，通过利用层次预测结构 提供了时间可分级性。对于此层次预测结构，可以不加改变地使用单层H. 264/AVC标准之 一。对于空间和SNR可分级性，必须像H. 264/AVC的SVC扩展中描述的那样在单层H. 264/ MPEG AVC中加入另外的工具。可以将所有三个可分级性类型组合以产生支持较大程度的组 合可分级性的比特流。当视频源信号具有与解码器或播放器所要求不同的动态范围时就会产生问题。在上述当前SVC标准中，只针对其中底层和增强层都代表具有相应的亮度和/或色度采样阵 列的相同位深度的给定视频源的情况规定了可分级性工具。因此，考虑到不同解码器和播 放器分别需要不同的位深度，必须为每个位深度单独提供专用的编码流。但是，从速率/失 真意义而言，这分别意味着增加开销和降低效率。已经有提议在SVC标准中加入位深度方面的可分级性。例如，刘山(Shan Liu)等 人在给JVT的输入文档即JVT-X075中描述了通过利用逆色调映射从底层的低位深度表示 中导出层间预测的可能性，根据该方法，层间预测或逆色调映射的像素值P’由底层像素值 Pb通过P’ = Pb -scale+offset计算出来，其中在宏块或较小块大小上进行层间预测。在刘 山的JVT-X075中，将为此层间预测方案的结果进行呈现。类似地，Andrew Segal 1等人在 JVT-X071提出了一种用于位深度可分级性的层间预测，根据该提议，对逆色调映射采用增 益加偏移运算。所述增益参数被编入索引并在逐块的基础上在增强层数据流中传输。通过 预测和细化的组合来实现分级因子和偏移因子的信号传输。另外，该文献描述了高级语法 支持较粗粒度而不是在逐块的基础上传输。相关文献还有Andrew Segall在ICIP 2007中 的hi至〗-4中的“高动态范围视频的可分级编码”以及JVT文件JVT-X067和JVT-W113， 它们也是源自Andrew Segall的提议。虽然上述提议利用逆色调映射以从更低位深度底层获得预测并除去更低位深度 信息与更高位深度信息之间的某些冗余，但还需要在提供这种位深度可分级比特流方面获 得更高的效率，特别是从速率/失真性能方面而言。
发明内容
本发明的目的是提供一种编码方案，该编码方案能够以更高效的方式提供适合于 不同位深度的图像或视频的编码。上述目的通过根据权利要求1所述的编码器、根据权利要求11所述的解码器、根 据权利要求22或23所述的方法或者根据权利要求24所述的质量可分级数据流来实现。本发明基于下述发现当获得层间预测时，位深度可分级数据流的效率可以被提 高，所述层间预测通过利用在图像或视频源数据内恒定或以第一粒度变化的一个或多个全 局映射函数和以小于所述第一粒度的第二粒度局部地修改所述一个或多个全局映射函数 的局部映射函数将具有第一图像样本位深度的图像或视频源数据的表示样本从对应于第 一图像样本位深度的第一动态范围映射至大于所述第一动态范围且对应于高于所述第一 图像样本位深度的第二图像样本位深度的第二动态范围，且基于所述局部映射函数形成所 述质量可分级数据流，从而从质量可分级数据流可导出所述局部映射函数。虽然除了提供 局部修改一个或多个全局映射函数的局部映射函数，还提供一个或多个全局映射函数会增 加可分级数据流内的边信息量，但由于全局映射函数和局部映射函数的再分使得局部映射 函数及其参数可能非常小并且能够以高效方式进行编码，上述增加会被更多地抵消。所述 全局映射函数可以编码在质量可分级数据流中，并且由于该函数在图像或视频源数据中是 恒定或者以更大的粒度变化，用于定义此全局映射函数的开销或灵活性可能增加，因此全 局映射函数可以精确地适用于图像或视频源数据的平均统计数据，从而进一步降低局部映 射函数的幅值。
下面将组合附图对本发明的优选实施例进行说明，其中图1是根据本发明实施例的视频编码器的框图；图2是根据本发明实施例的视频解码器的框图；图3是根据本发明实施例的图1中的预测模块134的运算模式的一种可能实现方 案的流程图；图4是根据本发明实施例的视频及将其再分为图像序列、图像、宏块对、宏块和变 换块的示意图；图5是图像一部分的示意图，该图像根据局部映射/调节功能下面的精细粒度被 再分为块，同时说明了用于编码局部映射/调节功能参数的预测编码方案；图6是根据本发明实施例的编码器进行的逆色调映射过程的流程图；图7是根据本发明实施例的与图6对应的解码器进行的逆色调映射过程的流程 图；图8是用于可分级视频编码的传统编码器结构的框图。
具体实施例方式图1示出了编码器100，编码器100包括底层编码装置102、预测装置104、残差编 码装置106、组合装置108以及输入110和输出112。图1所示编码器100是视频编码器， 其在输入110接收高质量视频信号并在输出112输出质量可分级比特流。底层编码装置 102将输入110的数据编码为代表输入110的此视频信号的内容的底层编码数据流，所述 底层编码数据流与输入110的输入信号相比具有降低的图像样本位深度和可选地具有减 小的空间分辨率。预测装置104适于根据底层编码装置102输出的底层编码数据流为输入 110的视频信号提供具有完全或增加的图像样本位深度和可选地具有完全或增加的空间分 辨率的预测信号。编码器100还包括减法器114，用于形成与输入110的高质量输入信号有 关的由预测装置104提供的预测信号的预测残差，所述残差信号由残差编码装置106编码 为质量增强层数据流。组合装置108将来自底层编码装置102的底层编码数据流和残差编 码装置106输出的质量增强层数据流相组合以在输出112形成质量可分级数据流112。质 量可分级性是指输出112的数据流一方面包括一个部分，该部分能够以降低的位深度和可 选地以降低的空间分辨率进行视频信号110的重建而不需要任何进一步的信息并且忽略 数据流112的剩余部分，另一方面，数据流还包括另外一个部分，该另外一个部分能够与所 述第一部分一起在输入110以高于第一部分的位深度和/或空间分辨率的原始位深度和原 始空间分辨率进行视频信号的重建。在简要介绍了编码器100的结构和功能性之后，下面将详细说明其内部结构。具 体而言，底层编码装置102分别在输入110与组合装置108和预测装置102之间包括按照 下述顺序串联的下转换模块116、减法器118、变换模块120和量化模块122。下转换模块 116用于降低输入110的视频信号的图像样本的位深度和可选地降低视频信号的图像的空 间分辨率。换言之，下转换模块116不可逆转地将输入110的高质量输入视频信号下转换 为基本质量视频信号。下面将更详细地说明，此下转换可以包括利用任何色调映射方案降 低输入110的视频信号中的信号样本的位深度即像素值，例如所述样本值的取整、在视频信号是以亮度加色度形式给出的情况下色度分量的子采样、诸如通过RGB至YcbCr转换进 行输入110的输入信号的滤波，或者其任何组合。对可能的预测机制的详细说明呈现在下 文中。具体而言，下转换模块116可以对输入110的视频信号或图像序列的每个图像采用 不同的下转换方案或者对于全部图像采用相同方案。这也将在下文进行详细说明。减法器118、变换模块120和量化模块122协作以利用例如不可分级视频编码方 案(例如H.264/AVC)编码下转换模块116输出的基本质量信号。根据图1所示的实施例， 减法器118、变换模块120和量化模块122与底层编码装置102和预测装置104共有的可 选预测环路滤波器124、预测器模块126、逆变换模块128和加法器130协作，以形成混合编 码器的无关性减少部分，所述混合编码器通过基于运动补偿的预测和下面的预测残差压缩 编码下变换模块116输出的基本质量视频信号。具体而言，减法器118从基本质量视频信 号的当前图像或宏块中减去例如利用运动补偿从基本质量视频信号的先前编码图像重建 的预测图像或预测宏块部分。变换模块120对于测残差进行变换，例如DCT、FFT或小波变 换。变换的残差信号可以代表空间表示并且在量化模块122中对其变换系数进行非不可逆 转的量化。产生的量化残差信号表示由底层编码装置102输出的底层编码数据流的残差。除了可选的预测环路滤波器124、预测器模块126、逆变换模块128和加法器130， 预测装置104包括用于降低编码效应的可选滤波器132和预测模块134。逆变换模块128、 加法器130以及可选滤波器132和预测模块134协作，以重建具有由下变换模块116限定 的降低位深度和可选的降低空间分辨率的视频信号。换言之，这些器件为可选滤波器132 产生了低的位深度和可选的低的空间分辨率的视频信号，这表示输入110的源信号的低质 量表示也在解码器侧重建。具体而言，逆变换模块128和加法器130串联连接在量化模块 122和可选滤波器132之间，而可选预测环路滤波器124和预测器模块126按照所述顺序串 联连接在加法器130的输出以及加法器130的另外输入之间。预测器模块126的输出还连 接至减法器118的倒相输入。可选滤波器132连接在加法器130的输出与预测模块134之 间，预测模块134连接在可选滤波器132的输出与减法器114的倒相输入之间。逆变换模块128逆变换由底层编码装置102输出的底层编码残差图像以获得低位 深度和可选的低空间分辨率残差图像。因此，逆变换模块128进行的逆变换是由模块120 和122进行的变换和量化的变换的逆转。可选择地，在逆变换模块128的输入侧可以单独 设置解量化模块。加法器130将预测加入到重建的残差图像中，其中所述预测基于视频信 号的先前重建的图像。具体而言，加法器130输出具有降低的位深度和可选的降低的空间 分辨率的重建视频信号。这些重建图像由环路滤波器123滤波以降低赝像并且例如可以随 后由预测器模块126使用，以通过例如运动补偿从先前重建的图像预测当前需要重建的图 像。由此在加法器130的输出获得的基本质量信号由可选滤波器132和预测模块134的串 联连接所使用，以获得输入110的高质量输入信号的预测，后一预测将用于在残差编码装 置106的输出形成高质量增强信号。这将在下文进行详细说明。具体而言，从加法器130获得的低质量信号可选地由可选滤波器132滤波以降低 编码效应。虽然图1中的滤波器124和132分别显示，但它们可以以相同方式运行，并且两 个滤波器可以由设置在加法器132的输出与预测模块126和预测模块134的输入之间的一 个滤波器取代。随后，预测模块134利用低质量视频信号以形成用于在连接至输入110的加 法器114的非倒相输入处接收到的高质量视频信号的预测信号。形成高质量预测的过程可以包括利用下面详细说明的组合映射功能映射解码基本质量信号图像样本；利用基本质 量信号样本的各个值对包含相应高质量样本值的查询表进行索引；利用基本质量信号样本 的值进行插值运算以获得相应的高质量样本值；色度分量的上采样；例如利用YCbCr至RGB 变换进行的所述基本质量信号的滤波，或者上述的任何组合。其他示例将在下文进行说明。例如，预测模块134可以将基本质量视频信号从第一动态范围映射至大于第一动 态范围的第二动态范围，并且可选地，利用空间插值滤波器对基本质量视频信号的样本进 行空间插值以增加空间分辨率，从而对应于输入110的视频信号的空间分辨率。与上述下 转换模块116类似的方式，可以对于基本质量视频信号序列的不同图像采用不同预测处 理，也可以对所有图像采用相同预测处理。减法器114将从预测模块134接收到的高质量预测从输入110接收到的高质量视 频信号中减去，以向残差编码装置106输出高质量预测残差信号，即具有原始位深度和可 选的原始空间分辨率。在残差编码装置106，原始高质量输入信号与由解码基本质量信号获 取的预测之间的差异利用(例如，H. 264/AVC中规定的)压缩编码方案进行编码。出于此目 的，图1所示的残差编码装置106示意性地包括按照下述顺序串联连接在减法器114的输 出和组合装置108之间的变换模块136、量化模块138和熵编码模块140。变换模块136将 其残差信号或图像分别变换成变换域或谱域，其中光谱分量由量化模块138量化，量化的 变换值由熵编码模块140进行熵编码。熵编码的结果代表由残差编码装置106输出的高质 量增强层数据流。如果模块136-140执行H. 264/AVC编码，该编码支持4x4或8x8样本的 尺寸变换以编码亮度分量用于变换亮度内容，对于每个宏块，变换模块136中用于变换来 自减法器114的残差信号的亮度分量的变换尺寸可以任意选择，不需要与变换模块120中 用于编码基本质量信号的变换尺寸相同。对于编码色度分量使用H. 264/AVC标准，没有提 供其他选择。当在量化模块138中量化变化系数时，可以使用与H. 264/AVC相同的量化方 案，这表示量化器步长可以由量化参数QP控制，量化器步长取值可以为-6* (高质量视频信 号分量的位深度_8)至51。量化模块122中用于编码基本质量表示的QP与量化模块138 中用于编码高质量增强宏块的QP不必相同。组合装置108包括熵编码模块142和复用器144。熵编码模块142连接在量化模 块122的输出与复用器144的第一输入之间，而复用器144的第二输入连接至熵编码模块 140的输出。复用器144的输出表示编码器100的输出112。熵编码模块142熵编码由量化模块122输出的量化变换值以由量化模块122输出 的底层编码数据流形成基本质量层数据流。因此，如上所述，模块118、120、122、124、126、 128、130和142可以设计成根据H. 264/AVC协作并一起表示具有熵编码器142的混合编码 器，该混合编码器执行量化预测残差的无损耗补偿。复用器144接收基本质量层数据流和高质量层数据流并将它们放在一起以形成 质量可分级的数据流。如上所述，并如图3所示，预测模块134执行的从重建基本质量信号至高质量信号 域的预测的方式可以包括样本位深度的扩展，也称为逆色调映射150和可选的空间上采样 操作，即在基本和高质量信号具有不同空间分辨率的情况下进行上采样滤波操作152。预 测模块134进行逆色调映射150和可选的空间上采样操作152的顺序可以是固定的，因此 事前对于编码器侧和解码器侧都是已知的，或者所述顺序可以按照逐块或逐图像或某些其他粒度的基础自适应地选择，在这种情况下预测模块134向某些实体(例如编码器106)信 号通知步骤150和152之间的顺序信息，该顺序信息作为比特流112中的边信息，从而该顺 序信息也作为边信息的一部分信号通知到解码器侧。步骤150和152之间的顺序的调节由 图3中的虚线双箭头154表示，并且也可以信号通知在何种粒度上所述顺序可以自适应选 择且甚至在视频内改变。在执行逆色调映射150时，预测模块134使用两个部分，即一个或多个全局逆色调 映射函数及其局部适应(或称为局部调整)。一般而言，所述一个或多个全局逆色调映射函 数专用于说明视频的图像序列的一般、平均特征，并因此用于最初用于高质量输入视频信 号的色调映射的一般、平均特征，以获得下变换模块116的基本质量视频信号。与之相比， 局部适应(局部调整)应说明视频的图像的各个块与全局逆色调映射模型的各个偏差。为了对此进行说明，图4示出了视频160的一部分，视频160示例性地包括四个连 续图像162a至162d。换言之，视频160包括一个序列的图像162，其中图4中示例性地示 出4个图像。视频160可以被分为连续图像的非重叠序列，用于它的全局参数或语法元素 在数据流112中传输。仅出于说明之目的，假设图4所示的4个连续图像162a至162d形 成这种图像的序列164。每个图像进而被再分为多个宏块166，如图像162d的左下角所示。 宏块是一个容器，其中与宏块编码相关的传输参数和其他控制语法元素在比特流112中传 输。宏块166的宏块对168覆盖各个图像162d的连续部分。取决于各个宏块对168的宏 块对模式，此宏块对168的顶宏块162覆盖宏块对168的上半部的样本或者宏块对168中 每个奇数编号行的样本，底宏块与其他样本分别相关。每个宏块160进而可以被再分为170 所示的变换块，这些变换块形成块基础，在所述块基础上变换模块120执行变换并且逆变 换模块128执行逆变换。请再参看上述全局逆色调映射函数，预测模块134可以构造为对于整个视频160 或者可选地对于其子部分(例如连续图像的序列164或图像162自身)恒定地使用一个或 多个这种全局逆色调映射函数。后面的选项意味着预测模块134以对应于图像序列大小或 图像大小的粒度改变全局逆色调映射函数。全局逆色调映射函数的示例在下文中给出。如 果预测模块134使全局逆色调映射函数适应于视频160的统计数据，预测模块134向熵编 码模块140或复用器144输出信息，从而比特流112包含有关视频160中的全局逆色调映 射函数及其变化的信息。如果预测模块134使用的所述一个或多个全局逆色调映射函数恒 定地应用于整个视频160，则解码器也将知道该映射函数，或者可以在比特流112中作为边 信息传输。在甚至更小的粒度上，预测模块134采用的局部逆色调映射函数在视频160内变 化。例如，这种局部逆色调映射函数以小于图像大小(例如宏块、宏块对的大小、或者变换 块大小)的粒度变化。对于全局逆色调映射函数和局部逆色调映射函数，在其上比特流中各个功能变化 或功能被定义的粒度可在视频160内变化。粒度的变化进而可以在比特流112内被信号通 知。在逆色调映射150过程中，预测模块134利用用于各个图像的一个全局逆色调映 射函数和预定样本属于它的各个块中定义的局部逆色调映射函数的组合将视频160的预 定样本从基本质量位深度映射至高质量位深度。
例如，所述组合可以是算术组合，具体而言是加法。预测模块可以构造为使用shigh =fk(slow)+m slow+n从相应的重建低位深度样本值slow获得预测的高位深度样本值shigh。在此公式中，函数fk表示全局逆色调映射算子，其中在使用了一个以上的单一方 案或一个以上的全局逆色调映射函数的情况下系数k用于选择使用哪个全局逆色调映射 算子。此公式剩余部分构成局部适应(具有调整)或局部逆色调映射函数，n是偏移值，m 是分级因子。k、m和n的值可以在比特流112中以逐块为基础确定。换言之，比特流112将 能够对视频160的全部块解出三元组{k，m, n}，这些块的块大小取决于全局逆色调映射函 数的局部适应的粒度，而此粒度有可能在视频160内变化。就全局逆时间映射函数f(x)而言，下面的映射机制可以用于预测处理。例如，在 任意数量的内插点可以确定的情况下，可以使用分段线性映射。例如，对于具有值x的基本 质量样本和两个给定插值点(Xn，yn)和(xn+1，yn+1)，模块134根据下述公式获得相应的预测 样本y
权利要求
1.一种编码器，用于将图像或视频源数据(160)编码为质量可分级数据流(112)，所述 编码器包括底层编码装置(102)，用于将图像或视频源数据(160)编码为底层编码流，所述底层编 码流代表具有第一图像样本位深度的图像或视频源数据的表示；映射装置(104)，用于通过利用在所述图像或视频源数据(160)内恒定或以第一粒度 变化的一个或多个全局映射函数、和以比所述第一粒度细的第二粒度局部地修改所述一 个或多个全局映射函数的局部映射函数将具有第一图像样本位深度的图像或视频源数据 (160)的表示的样本从对应于第一图像样本位深度的第一动态范围映射至大于所述第一动 态范围且对应于高于所述第一图像样本位深度的第二图像样本位深度的第二动态范围，以 获得具有第二图像样本位深度的图像或视频源数据的预测；残差编码装置(106)，用于将所述预测的预测残差编码为位深度增强层数据流；和组合装置(108)，用于基于所述底层编码数据流、局部映射函数和位深度增强层数据流 形成质量可分级数据流以便从所述质量可分级数据流可导出所述局部映射函数。
2.根据权利要求1所述的编码器，其中所述映射装置包括用于重建低位深度重建图像或视频作为具有第一图像样本位深度、基于底层编码数据 流的图像或视频源数据的表示的装置(124，126，128，130，132)，所述低位深度重建图像或 视频具有第一图像样本位深度。
3.根据权利要求1或2所述的编码器，其中所述映射装置(104)适于采用组合映射函 数映射具有第一图像样本位深度的图像或视频源数据(160)的表示的样本，所述组合映射 函数是一个或多个全局映射函数中的一个与局部映射函数的算术组合。
4.根据权利要求3所述的编码器，其中映射装置(104)使用一个以上的全局映射函数， 且组合装置(108)适于形成质量可分级数据流(112)，以便从所述质量可分级数据流中可 导出所述一个以上全局映射函数中的一个。
5.根据权利要求3或4所述的编码器，其中所述算术组合包括加法运算。
6.根据权利要求1-5中任一所述的编码器，其中所述组合装置(108)和映射装置 (104)适于以第二粒度将所述图像或视频源数据(160)再分为多个图像块(170)，所述映射 装置适于局部映射函数是m · s+n,且m和η以第二粒度变化，所述组合装置适于对于所述 图像或视频源数据(160)的每个图像块在质量可分级数据流中定义m和η，以便所述m和η 对于所述多个图像块可以不同。
7.根据权利要求1-6中任一项所述的编码器，其中所述映射装置(134)适于所述第二 粒度在图像或视频源数据(160)内变化，且所述组合装置(108)适于从所述质量可分级数 据流中可导出所述第二粒度。
8.根据权利要求1-7中任一项所述的编码器，其中所述组合装置(108)和所述映射装 置(134)适于以第二粒度将所述图像或视频源数据(160)划分为多个图像块(170)，所述组 合装置(108)适于对于每个图像块(170)将局部映射函数残差(Am，Δη)并入所述质量可 分级数据流(112)，且利用空间和/或时间预测从所述质量可分级数据流可导出所述图像 或视频源数据(160)的预定图像块的局部映射函数，所述空间和/或时间预测来自于图像 或视频源数据的一个或多个相邻图像块或所述预定图像块属于它的图像的先前图像的相 应图像块以及所述预定图像块的局部映射函数残差。
9.根据权利要求1-8中任一项所述的编码器，其中所述组合装置(108)适于从所述质 量可分级数据流中可导出所述一个或多个全局映射函数中的至少一个。
10.根据权利要求1-9中任一项所述的编码器，其中所述底层编码装置(102)包括用于将具有第二图像样本位深度、代表图像的样本从所述第二动态范围映射至对应于所述第一图像样本位深度的第一动态范围以获得质量降低的图像的装置(116)；和用于编码质量降低的图像以获得底层编码数据流的装置(118，120，122，124，126，128， 130)。
11.一种解码器，用于解码图像或视频源数据被编码成的质量可分级数据流，所述质量 可分级数据流包括具有第一图像样本位深度、代表所述图像或视频源数据的底层数据流， 具有高于所述第一图像样本位深度的第二图像样本位深度、表示预测残差的位深度增强层 数据流，和以第二粒度定义的局部映射函数，所述解码器包括用于将底层数据流解码为更低位深度重建图像或视频数据的装置(204)；用于将所述位深度增强层数据流解码为预测残差的装置(208)；用于利用在所述视频内恒定或以第一粒度变化的一个或多个全局映射函数和以小于 所述第一粒度的第二粒度局部地修改所述一个或多个全局映射函数的局部映射函数将具 有第一图像样本位深度的更低位深度重建图像或视频数据的样本从对应于第一图像样本 位深度的第一动态范围映射至大于所述第一动态范围且对应于第二图像样本位深度的第 二动态范围，以获得具有第二图像样本位深度的图像或视频源数据的预测的装置(206)； 和用于基于所述预测和预测残差重建具有第二图像样本位深度的图像的装置(210)。
12.根据权利要求11所述的解码器，其中所述映射装置(206)适于采用组合映射函数 映射具有第一图像样本位深度的更低位深度重建图像或视频数据的样本，所述组合映射函 数是一个或多个全局映射函数之一与局部映射函数的算术组合。
13.根据权利要求12所述的解码器，其中映射装置(206)使用一个以上的全局映射函 数，且用于解码位深度增强层数据流的装置(208)适于从所述位深度增强层数据流中识别 所述一个以上的全局映射函数之一。
14.根据权利要求12或13所述的解码器，其中所述算术组合包括加法运算。
15.根据权利要求11-14中任一所述的解码器，其中所述用于解码位深度增强层数据 流的装置(208)和映射装置(206)适于以第二粒度将所述图像或视频源数据(160)再分 为多个图像块(170)，所述映射装置(206)适于局部映射函数是m· s+n，且m和η以第二 粒度变化，所述用于解码位深度增强层数据流的装置(208)适于对所述图像或视频源数据 (160)的每个图像块(107)从位深度增强层数据流中导出m和η，以便所述m和η对于所述 多个图像块可以不同。
16.根据权利要求11-15中任一项所述的解码器，其中所述映射装置(206)适于所述 第二粒度在图像或视频源数据(160)内变化，且所述用于解码位深度增强层数据流的装置 (208)适于从所述位深度增强层数据流中可导出所述第二粒度。
17.根据权利要求11-16中任一项所述的解码器，其中所述用于解码位深度增强层数 据流的装置(208)和所述映射装置(206)适于以第二粒度将所述图像或视频源数据(160) 划分为多个图像块(170)，且所述用于解码位深度增强层数据流的装置(208)适于对于每个图像块(170)从位深度增强层数据流中导出局部映射函数残差(Δπι，Δη)，并且利用空 间和/或时间预测从所述质量可分级数据流导出所述图像或视频源数据(160)的预定图像 块的局部映射函数，所述空间和/或时间预测来自于图像或视频源数据的一个或多个相邻 图像块或所述预定图像块属于它的图像的先前图像的相应图像块以及所述预定图像块的 局部映射函数残差。
18.根据权利要求11-17中任一项所述的解码器，其中映射装置(208)适于所述一个或 多个全局映射函数中的至少之一为非线性。
19.根据权利要求11-18中任一项所述的解码器，其中所述用于解码位深度增强层数 据流的装置(208)适于从所述位深度增强层数据流中导出所述一个或多个全局映射函数 中的至少一个。
20.根据权利要求11-19中任一项所述的解码器，其中所述映射装置(206)适于将所述 全局映射函数中的所述至少一个定义为^+Kx+fLf-K，其中χ是具有第一图像样本位深度的图像或视频源信号的表示，N是 第一图像样本位深度，M是第二图像样本位深度，K是映射参数；2m_n-kX+D，其中N是第一图像样本位深度，M是第二图像样本位深度，K和D是映射参数；floor (2M_N_Kx+2M_2N_Kx+D)，其中floor (a)将a向下取整为最接近的整数，N是第一图像 样本位深度，M是第二图像样本位深度，K和D是映射参数；分段线性函数，用于以定义分段线性映射的插值点信息将样本从第一动态范围映射至 第二动态范围；或查询表，用于利用所述第一动态范围的样本进行索引并输出其上的第二动态范围的样本。
21.根据权利要求20所述的解码器，其中所述用于解码位深度增强层数据流的装置 (208)适于从所述位深度增强层数据流导出所述映射参数、插值点信息或查询表。
22.一种用于将图像或视频源数据(160)编码为质量可分级数据流(112)的方法，包括将所述图像或视频源数据(160)编码为具有第一图像样本位深度的代表图像或视频 源数据的表示的底层编码流；通过利用在所述图像或视频源数据(160)内恒定或以第一粒度变化的一个或多个全 局映射函数和以小于所述第一粒度的第二粒度局部地修改所述一个或多个全局映射函数 的局部映射函数将具有第一图像样本位深度的图像或视频源数据(160)的表示的样本从 对应于第一图像样本位深度的第一动态范围映射至大于所述第一动态范围且对应于高于 所述第一图像样本位深度的第二图像样本位深度的第二动态范围，以获得具有第二图像样 本位深度的图像或视频源数据的预测；将所述预测的预测残差编码为位深度增强层数据流；和基于所述底层编码数据流、局部映射函数和位深度增强层数据流形成质量可分级数据 流，从而从所述质量可分级数据流可导出所述局部映射函数。
23.一种解码方法，用于解码图像或视频源数据被编码成的质量可分级数据流，所述质 量可分级数据流包括代表具有第一图像样本位深度的图像的底层数据流、代表具有高于所 述第一图像样本位深度的第二图像样本位深度的预测残差的位深度增强层数据流和以第二粒度定义的局部映射函数，所述解码方法包括将底层数据流解码为更低位深度重建图像或视频数据； 将所述位深度增强层数据流解码为预测残差；通过利用在所述视频内恒定或以第一粒度变化的一个或多个全局映射函数和以小于 所述第一粒度的第二粒度局部地修改所述一个或多个全局映射函数的局部映射函数将具 有第一图像样本位深度的更低位深度重建图像或视频数据的样本从对应于第一图像样本 位深度的第一动态范围映射至大于所述第一动态范围且对应于第二图像样本位深度的第 二动态范围，以获得具有第二图像样本位深度的图像或视频源数据的预测；和 基于所述预测和预测残差重建具有第二图像样本位深度的图像。
24.一种图像或视频源数据编码成的质量可分级数据流，包括 代表具有第一图像样本位深度的图像或视频源数据的底层数据流；代表具有高于所述第一图像样本位深度的第二图像样本位深度的预测残差的位深度 增强层数据流；和以第二粒度定义的局部映射函数，其中从所述预测残差和预测可导出具有所述第二图像样本位深度的图像的重建，其中 所述预测通过利用在所述视频内恒定或以第一粒度变化的一个或多个全局映射函数和以 小于所述第一粒度的第二粒度局部地修改所述一个或多个全局映射函数的局部映射函数 将具有第一图像样本位深度的更低位深度重建图像或视频数据的样本从对应于第一图像 样本位深度的第一动态范围映射至大于所述第一动态范围且对应于第二图像样本位深度 的第二动态范围获得。
25.一种具有程序代码的计算机程序，用于在计算机上运行时执行根据权利要求22或 23的方法。
全文摘要
为提高位深度可分级数据流的效率，如下获得层间预测，所述层间预测通过利用在所述图像或视频源数据内恒定或以第一粒度变化的一个或多个全局映射函数和以小于所述第一粒度的第二粒度局部地修改所述一个或多个全局映射函数的局部映射函数将具有第一图像样本位深度的图像或视频源数据的表示样本从对应于第一图像样本位深度的第一动态范围映射至大于所述第一动态范围并对应于高于所述第一图像样本位深度的第二图像样本位深度的第二动态范围，并基于所述局部映射函数形成所述质量可分级数据流，以便从质量可分级数据流可导出所述局部映射函数。
文档编号H04N7/26GK102007768SQ200880128683
公开日2011年4月6日 申请日期2008年4月16日 优先权日2008年4月16日
发明者托马斯·威甘德, 马丁·温肯 申请人:弗朗霍夫应用科学研究促进协会