用于基于时间子层信息的层间预测的方法和设备的制造方法

用于基于时间子层信息的层间预测的方法和设备的制造方法
【技术领域】
[0001] 本发明涉及作为多层结构的图像编码和解码技术的层间预测以利用下层的信息 来对上层进行编码和解码。更具体地，本发明涉及用于基于时间子层信息来执行层间预测 的有效信令发送方法。
【背景技术】
[0002] 近年来，随着多媒体环境的建立，各种终端和网络投入使用，相应地用户的要求也 变得多样化。
[0003] 举例来说，随着终端性能和计算能力的多样化，对于每种设备，所支持的性能也变 得多样化。此外，例如通过其传输信息的有线/无线网络的网络具有各种功能，例如外观结 构、所传输信息的形式、以及信息量和速率。用户根据所需功能来选择要使用的终端和网 络。另外，企业提供给用户的终端和网络的系列也变得多样化了。
[0004] 相应地，最近，具有高清（HD)分辨率的广播在国内和国际上得到推广及应用，使 得许多用户习惯于观看具有高分辨率和高质量的图像。因此，多个图像服务关系中心已大 力致力于发展下一代图像装置。
[0005] 另外，随着对HDTV和分辨率比HDTV高4倍甚至更多的超高清（UHD)的兴趣越来 越大，非常需要压缩和处理具有高分辨率的高质量图像的技术。
[0006] 为了压缩和处理图像，可使用对包含在前面和/或后面图片与当前图片之间的图 片中的像素值进行预测的帧间预测技术，利用当前图片中的像素信息来预测包括在当前图 片中的其他像素值的帧内预测技术，以及给具有高出现频率的符号分配短码且给具有低出 现频率的符号分配长码的熵编码技术。
[0007]如上所述，当考虑具有不同支持功能的各终端和网络，以及各种用户需求时，需要 改变所支持图像的质量、大小和帧。
[0008] 以这种方式，由于异构通信网络及终端的各种功能和类型，以各种方式支持图像 的质量、分辨率、大小、帧速率和视图的可扩展性成为视频格式的一项重要功能。
[0009] 相应地，为了基于高效视频编码方法来在各种环境中提供用户所要求的服务，需 要提供可扩展性功能，以使得可在时间、空间、图像质量和视图方面实现有效的视频编码和 解码。

【发明内容】

[0010] 技术问题
[0011] 本发明力图解决上述问题，并提供基于时间子层信息的层间预测方法及其设备。
[0012] 本发明还通过分配指示符以控制基于时间子层信息的层间预测来提供有效信令 发送信息的方法及其设备。
[0013] 本发明还提供将相同的最大时间子层信息应用于多层结构中所有层的方法。
[0014] 技术方案
[0015] 根据本发明的一个方面，提供了包括具有至少一个时间子层的多个层的图像的层 间预测方法。层间预测方法可包括：获得时间子层信息以用于层间预测，基于所述时间子层 信息引入要用于当前图片的层间预测的参考图片，并基于所述参考图片来执行当前图片的 层间预测。
[0016] 时间子层上的信息可包含最大时间子层信息，其表明被参考用于每层中层间预测 的最大时间子层，以及表明是否控制每层中最大时间子层信息的指示符信息。
[0017] 根据本发明的另一方面，提供了包括具有至少一个时间子层的多个层的图像的层 间预测设备。该层间预测设备可包括：用来获得时间子层信息以用于层间预测的熵编码器， 和预测器，其用来基于时间子层信息引入要用于当前图片的层间预测的参考图片，并基于 所述参考图片来执行当前图片的层间预测。
[0018] 时间子层上的信息可包含最大时间子层信息，其表明被参考用于每层中层间预测 的最大时间子层，以及表明是否控制每层中最大时间子层信息的指示符信息。
[0019] 有益效果
[0020] 通过分配指示符或标识以基于时间子层信息来控制层间预测，可有效地信令发送 关系信息以用于层间预测。因为通过将相同的最大时间子层信息应用于多层结构中的所有 参考层，省略了与所有参考层相关的最大时间子层信息的分开传输，所以关系信息的信令 开销可得以减少。
【附图说明】
[0021] 图1是示出根据本发明示例性实施例的图像编码装置配置的方框图。
[0022] 图2是示出根据本发明示例性实施例的图像解码装置配置的方框图。
[0023] 图3是示意性示出根据本发明示例性实施例的利用多个层的可扩展视频编码结 构示例的示意图。
[0024] 图4是示出说明根据本发明示例性实施例的可扩展视频编码的层结构的示例的 图。
[0025] 图5是示出根据本发明示例性实施例的基于时间子层信息的层间预测方法的流 程图。
【具体实施方式】
[0026] 将参照附图来描述实施例。在随后的描述中，如果关于众所周知的功能或配置的 详细描述会使得所公布的主题不清楚，将省略其详细描述。
[0027] 另外，当部件被称作"连接到"或"链接到"另一部件时，所述部件可直接连接或链 接到另一部件，或者它们之间可存在中间部件。相反，如果部件被称作"直接连接到"或"直 接链接到"另一部件，它们之间将不存在中间部件。
[0028] 术语"第一"和"第二"可用于指各种部件，但部件并不限于以上术语。该术语将 用于区分一部件与其他部件。举例来说，第一部件可被称作第二部件，反之亦然，而不脱离 本公布的合理性。
[0029] 此外，尽管本发明的实施例各自独立地说明组成元件以代表不同的特征功能，但 是这并不表示各组成元件由单独的硬件或一个软件组成单元构成。也就是说，各组成元件 包括为了方便的目的而分别布置的组成元件，且至少两个组成元件可组成一个组成元件， 或者一个组成元件可被分成多个组成元件以实现功能。每个配置的集成示例和单独示例都 将落在本发明原理的精神和范围内。
[0030] 此外，一些组成元件可以是选择性的组成元件以简单改善性能，而不是用于实现 必要功能的必要组成元件。本发明可通过在除用于简单改善性能的组成元件之外，仅包括 用来实施本发明的范围的必要组成元件来实现。除用于简单改善性能的选择性组成元件之 外仅包括必要组成元件的结构包括在本发明的范围内。
[0031] 图1是示出根据本发明示例性实施例的图像编码装置配置的方框图。
[0032] 支持多层结构的可扩展视频编码装置可通过扩展单层结构的一般图像编码装置 来实现。图1的框图示出图像编码装置的实施例，其可成为可应用于多层结构的可扩展视 频解码装置的基础。
[0033] 参考图1，图像编码装置100包括帧间预测器110、转换开关115、帧内预测器120、 减法器125、转换模块130、量化器140、熵编码器150、反向量化器160、反向转换模块170、 加法器175、滤波器180和参考图片缓存190。
[0034] 图像编码装置100可将输入图像编码为帧内模式或帧间模式以输出比特流。
[0035] 在帧内模式中，转换开关115可切换至帧内。在层间模式中，转换开关115可切换 至帧间。帧内预测表示屏幕内的预测，而帧间预测表示屏幕间的预测。图像编码装置100 可生成与输入图像的输入块相关的预测块，以对输入块和预测块之间的残差进行编码。在 这种情况下，输入图像可表示原始图片。
[0036] 在帧内模式的情况下，帧内预测器120可使用当前块周围的图像已编码/已解码 块的样本值作为参考样本。帧内预测器120可利用所述参考样本以生成与当前块相关的预 测样本来执行空间预测。
[0037] 在帧间模式的情况下，帧间预测器110可在运动预测程序中从存储在参考图片缓 存190的参考图片中获得指定参考块的运动矢量，所述参考块具有和输入块（当前块）最 小的差别。帧间预测器110可通过利用运动矢量和存储在参考图片缓存190中的参考图片 实现运动补偿来生成与当前块相关的预测块。
[0038] 在多层结构的情况中，应用于帧间模式的帧间预测可包括层间预测。帧间预测器 110可对参考层的图片进行采样以配置层间参考图片，并可通过将层间参考图片添加到参 考图片列表来实现层间预测。层间的参考关系可通过指定层间依赖关系的信息来信令发 送。
[0039] 同时，当当前层图片和参考层图片具有相同大小时，应用于参考层图片的采样可 表示根据参考层图片的样本拷贝生成了参考样本。当当前层图片和参考层图片具有不同分 辨率时，应用于参考层图片的采样可表示上采样。
[0040] 举例来说，作为层间分辨率不同的情况，可通过对支持关于分辨率的可扩展性的 层之间的参考层的重构图片进行上采样来配置层间参考图片。
[0041] 可鉴于利用某层图片的编码成本来配置层间参考图片。编码装置可传输指定某层 的信息，要用于所述层作为层间参考图片的图片属于解码装置。
[0042] 此外，图片用于预测在层间预测中所参考的层中的当前块，也就是说，参考层可以 是具有与当前图片（当前层中的预测目标图片）相同的接入单元（AU)的图片。
[0043] 减法器125可根据输入块和所生成预测块之间的残差来生成残差块。
[0044] 转换模块130可转换残差块以输出转换因子。在这种情况下，转换因子可表示通 过转换残差块和/或残差信号所生成的因子值，在本说明书中，通过量化转换因子所生成 的量化转换因子级别可指转换因子。
[0045] 当应用转换省略模式时，转换模块130可跳过关于残差块的转换。
[0046] 量化器140可根据量化参数来量化输入转换因子以输出量化因子。量化因子可指 量化转换因子级别。在这种情况下，量化器140可利用量化矩阵来量化输入转换因子。
[0047] 熵编码器150可根据概率分布对由量化器140计算的值或在编码过程期间所计算 的编码参数值进行熵编码以输出比特流。熵编码器150可对除视频的像素信息外用于视频 解码的信息（例如，句法元素等）进行熵编码。
[0048] 编码参数是编码和解码所必需的信息，其可包括由编码装置编码并传输至解码装 置的信息，和可在编码或解码过程期间类推的信息。
[0049] 举例来说，编码参数可包括例如帧内/帧间预测模式的值或统计数据、运动矢量、 参考图像索引、编码块格式、残差信号的出现、转换因子、已量化转换因子、量化参数、块大 小和块划分信息。
[0050] 残差信号可表示原始信号和预测信号之间的差。此外，原始信号和预测信号之间 的差可表示转换信号或通过转换或量化原始信号和预测信号之间的差所获得的信号。残差 信号可指块单元中的残差块。
[0051] 当应用熵编码时，可通过给具有高生成概率的符号分配少量比特而给具有低生成 概率的符号分配大量比特来表达符号以减小与编码目标符号相关的比特流的大小。相应 地，可通过熵编码来增强图像编码的压缩性能。
[0052] 熵编码器150可使用例如指数哥伦布、上下文自适应可变长度编码（CAVLC)和上 下文自适应二进制算法编码（CABAC)的编码方法用于熵编码。举例来说，熵编码器150可 利用可变长度编码/码（VLC)来实现熵编码。此外，熵编码器150可获得目标符号的二值 化方法和目标符号/二进制文件的概率模型以利用所获得的目标符号的二值化方法和目 标符号/二进制文件的概率模型来实现熵编码。
[0053] 因为根据图1实施例的图像编码装置100实现帧间预测编码（即屏幕间的预测编 码），需要对要用作参考图像的当前已编码图像进行解码和存储。相应地，量化因子通过反 向量化器160来反向量化，并可通过反向转化模