编码视频的方法、解码视频的方法以及使用其的装置与流程

本发明涉及视频编码和视频解码，并且更具体而言，涉及在多层结构中基于关于另一层的信息来将要在当前层中编码/解码的图片重构的方法和装置。

背景技术：

最近，在各种应用领域中，对于高分辨率和高质量图片的需求已经上升。随着图片具有高分辨率和高质量，图片中的信息量也上升。

随着信息量增长，引入了具有各种环境的网络和多功能设备。因此，可以以不同的质量水平来利用相同的内容。

具体地，随着终端能够支持多样的图片质量并且各种网络环境得以建立，在一个环境中可以启用一般质量的图片而在另一环境中可以使用高质量图片。

例如，在家时，用户可以在大屏幕显示器上享受通过便携终端购买的视频内容。

近年来，随着可以使用高清(hd)广播服务，大量用户正变得习惯于高分辨率和高质量，并且服务提供商和服务用户也注意到超清(uhd)服务，其具有的分辨率是hdtv的四倍高。

从而，对于用户的需求，基于对于大容量视频的高效编码和解码方法，存在着对于提供对例如视频的图像质量、分辨率、尺寸和帧率的视频质量的可缩放性的需要，以便在不同环境中提供不同质量的视频服务。此外，同样必须的是，对于在可缩放性中涉及的各种视频处理方法的讨论。

技术实现要素：

技术问题

本发明的目标是提供在多层结构的可缩放视频编译中执行有效的层间预测的方法和装置。

本发明的另一目标是提供在多层结构的可缩放视频编译中对用于层间预测的参考层中的图片执行选择性处理的方法和装置。

本发明的另一目标是提供在多层结构的可缩放视频编译中在用于层间预测的参考层中的图片之中指定用于当前层的参考图片的方法和装置。

本发明的另一目标是提供在多层结构的可缩放视频编译中基于用于层间预测所指定的参考层中的图片来有效地执行层间预测的方法和装置。

技术方案

根据本发明的一方面，提供了在多层结构中编码可缩放视频的方法，包括从参考层的解码图片得到在当前层中的当前块的预测中被参考的层间参考图片、构建包括层间参考图片和当前层中的参考图片的参考图片列表、通过基于参考图片列表对当前层中的当前块进行预测来得到当前块的预测采样、基于预测采样和当前块的预测块来得到当前块的重构采样、以及发送指示参考层中的图片之中可用于层间预测的图片的参考信息。

根据本发明的另一方面，提供了在多层结构中解码可缩放视频的方法，包括接收指示参考层中的图片可用于层间预测的参考信息、基于参考信息来解码并存储参考层中的图片、从参考层的解码图片得到在当前层中的当前块的预测中被参考的层间参考图片、构建包括层间参考图片和当前层中的参考图片的参考图片列表、通过基于参考图片列表对当前层中的当前块进行预测来得到当前块的预测采样、以及基于预测采样和当前块的残留采样来得到当前块的重构采样。

有益效果

根据本发明，可以在多层结构的可缩放视频编译中执行有效的层间预测。

根据本发明，可以对用于多层结构的可缩放视频编译的层间预测的参考层中的图片执行选择性处理。

根据本发明，在用于多层结构的可缩放视频编译的层间预测的参考层中的图片之中可以指定用于当前层的参考图片。

根据本发明，可以基于多层结构的可缩放视频编译中用于层间预测所指定的参考层中的图片来有效地执行层间预测。

附图说明

图1是示意性地图示根据本发明实施例的支持可缩放性的视频解码器的框图。

图2是示意性地图示根据本发明的在执行可缩放编译的编码器中的层间预测的示例的框图。

图3示意性地图示根据本实施例的两个空间层的序列结构的示例。

图4是示意性地图示本实施例的图，其示出去除无需发送到解码器或解码的编译图片的方法的示例。

图5示意性地图示存储器管理的示例。

图6示意性地图示根据本发明的存储器管理的示例。

图7示意性地图示不需解码的图片从图6的示例中排除的情况。

图8示意性地图示解码每个图片中的内容/存储器状态/dpb状态的示例。

图9是示意性地图示根据本发明的视频编码器的操作的示例的流程图。

图10是示意性地图示根据本发明的视频解码器的操作的示例的流程图。

具体实施方式

本发明可以以各种形式修改，并且其特定的实施例将在附图中描述和显示。然而，实施例没有意图限制本发明。下面的描述中使用的术语仅用于描述特定实施例，而没有意图限制本发明。只要其被清楚地、不同地读出，单数的表示包括复数的表示。诸如“包括”和“具有”的术语意图指示在下面的描述中使用的特征、数目、步骤、操作、元件、组件或其组合存在，并且因此应当理解为，没有排除一个或多个不同的特征、数目、步骤、操作、元件、组件或其组合的存在或增加的可能性。

另一方面，为了方便解释在图像编码/解码装置中的不同的特定功能，在本发明所描述的附图中的元件被独立画出，但是并不意味着元件由独立的硬件或独立的软件来实施。例如，元件中的两个或更多个元件可以组合以形成单一元件，或者一个元件可以分开为多个元件。元件被组合和/或分开的实施例属于本发明的范围而不偏离本发明的概念。

下文中，将参考附图来详细描述本发明的示例性实施例。附图中相似的构成将以相似的附图标记进行引用，并且不会对其重复描述。

在支持可缩放性(下文中，称为“可缩放编译”)的视频编译方法中，可以通过层来处理输入信号。依据层，在分辨率、帧率、比特深度、颜色格式和纵横比中的至少一个中，输入信号(输入视频)可以彼此不同。

在本描述中，可缩放编译包括可缩放编码和可缩放解码。

在可缩放编码/解码中，通过使用层间差异执行层间预测，即，基于可缩放性，可以减少信息的重复发送和处理并增加压缩效率。

图1是示意性地图示根据本发明实施例的支持可缩放性的视频解码器的框图。

为便于描述，图1图示包括两层的多层结构。然而，本发明不限于此，根据本发明的多层结构可以包括两个或更多层。

参考图1，视频编码器100包括用于层1的编码模块105和用于层0的编码模块135。

层0可以是基层、参考层或下层，而层1可以是增强层、当前层或上层。

用于层1的编码模块105包括预测模块110、变换/量化模块115、滤波模块120、解码图片缓存(dpb)125、熵编译模块130以及复用器(mux)165。

用于层0的编码模块135包括预测模块140、变换/量化模块145、滤波模块150、dpb155、熵编译模块160。

预测模块110和140可以对输入视频执行间预测(interprediction)和内预测(intraprediction)。预测模块110和140可以通过预定的处理单元来执行预测。用于预测的处理单元可以是编译单元(cu)、预测单元(pu)或者可以是变换单元(tu)。

例如，预测模块110和140可以通过cu来确定是否进行间预测或内预测，可以通过pu来确定预测模式，并且可以通过pu或tu来执行预测。要被执行的预测包括预测块的构建以及残留块(残留信号)的构建。

在间预测中，可以基于关于当前图片的之前图片和/或之后图片的信息来执行预测，以构建预测块。在内预测中，可以基于关于当前图片中的像素的信息来执行预测以构建预测块。

间预测模式或方法的示例包括跳过模式、合并模式、运动矢量预测(mvp)方法。在间预测中，可以选择要被预测的用于当前pu的参考图片，并且与当前pu相对应的参考块可以从参考图片选择。预测模块110和140可以基于参考块来构建预测块。

预测块可以被构建为整数采样单元或分数像素单元。这里，运动矢量也可以以分数像素表示。

间预测中的运动信息，即诸如参考图片的索引、运动矢量和残留信号的信息被熵编码并且被发送到视频解码器。当应用跳过模式时，残留信号可以完全不被创建、变换、量化和发送。

间预测中的预测模式包括33个方向性预测模式以及至少两个无方向性模式。非方向性模式可以包括dc预测模式和平面模式。在间预测中，预测块可以在滤波器被应用到参考采样之后构建。

pu可以是具有各种尺寸和形状的块。例如，在间预测中，pu可以是2n×2n、2n×n、n×2n或n×n块(n是整数)。在内预测中，pu可以是2n×2n或n×n块(n是整数)。具有n×n的尺寸的pu可以设定为仅应用到特定情况。例如，具有n×n的尺寸的pu可以设定为仅用于最小的cu或仅用于内预测。除了具有上述尺寸的pu，pu可以进一步限定为用于使用的n×mn块、mn×n块、2n×mn块或mn×2n块(其中m<1)。

预测模块110可以使用关于层0的信息来执行用于层1的预测。在本说明书中，为方便起见，使用另一层信息预测当前层信息的过程被定义为层间预测。

使用其他层信息预测的当前层信息(即，由层间预测进行预测的)可以包括纹理、运动信息、单元信息、预定参数(例如，滤波参数)中的至少一个。

用于预测当前层信息的其他层信息(即，用于层间预测的)可以包括纹理、运动信息、单元信息、预定参数(例如，滤波参数)中的至少一个。

在层间预测中，当前块是在当前层(图1中的层1)中的当前图片中的块，其可以是要被编码的块。参考块是在属于与包括当前块的图片(当前图片)相同的存取单元(au)的图片(参考图片)中的块，其可以是与层(参考层，图1中的层0)中的当前块相对应的块，其被称为对当前块的预测。

层间预测的示例包括层间运动预测，层间运动预测使用关于参考层的运动信息来预测关于当前层的运动信息。根据层间运动预测，可以使用关于参考块的运动信息来预测关于当前块的运动信息。

当应用层间运动预测时，预测模块110可以缩放并使用关于参考层的运动信息。

作为层间预测的另一示例，层间纹理预测可以使用重构参考块的纹理作为当前块的预测值。这里，预测模块110可以通过上采样对参考块的纹理缩放。

作为层间预测的另一示例，层间单元信息预测可以得到关于参考层的单元(cu、pu和/或tu)信息，以使用关于当前层的单元信息，或者基于关于参考层的单元信息来确定关于当前层的单元信息。

单元信息可以包括在每个单元级别中的信息。例如，cu信息可以包括关于分割的信息(cu、pu和/或tu)、关于变换的信息、关于预测的信息以及关于编译的信息。pu信息可以包括关于pu分割的信息和关于预测的信息(例如，运动信息和关于预测模式的信息)。tu信息可以包括关于tu分割的信息和关于变换的信息(变换系数和变换方法)。

作为层间预测的另一示例，层间参数预测对于当前层可以再利用参考层的得到参数，或者基于用于参考层的参数来预测用于当前层的参数。

作为层间预测的另一示例，层间残留预测可以使用关于另一层的残留信息来预测当前层的残留，并且基于当前层的残留来预测当前块。

作为层间预测的另一示例，使用通过对当前层中的重构图片和参考层中的重构图片进行上采样或下采样所获得的图片之间的差分，层间差分预测可以预测当前块。

作为层间预测的另一示例，层间句法预测可以使用关于参考层的句法信息预测或生成当前块的纹理。这里，用于参考的关于参考层的句法信息可以包括关于内预测模式的信息、运动信息等。

在上述方法之中的多个层间预测方法可以用在特定块的预测中。

尽管将层间纹理预测、层间运动预测、层间单元信息预测、层间参数预测、层间残留预测、层间差分预测以及层间句法预测描述为层间预测的示例，但是可应用于本发明的层间预测不限于此。

例如，层间预测可以应用为用于当前层的间预测的扩展。这就是说，从参考层得到的参考图片可以被包括在当前块的间预测中可用于参考的参考图片中以进行当前块的间预测。

该情况下，层间参考图片可以被包括在用于当前块的参考图片列表中。预测模块110可以使用层间参考图片来执行当前块的间预测。

这里，层间参考图片可以是通过对参考层中的重构图片采样以对应于当前层而构建的参考图片。从而，当参考层中的重构图片对应于当前层中的图片时，参考层中的重构图片可以在不进行采样的情况下用作层间参考图片。例如，当参考层中的重构图片的采样与当前层中的重构图片具有相同的宽度和高度，并且参考层中的图片与当前层中的图片之间的在左上、右上、左下和右下的偏移为0时，参考层中的重构图片可以用作用于当前层的层间参考图片而无需经历采样。

层间参考图片从其得到的参考层中的重构图片可以与待编码的当前图片属于相同的au。

当使用包括层间参考图片的参考图片列表执行当前块的间预测时，层间参考图片在参考图片列表中的位置可以在参考图片列表l0和l1中变化。例如，在参考图片列表l0中，层间参考图片可以定位在当前图片之前的短期参考图片之后。在参考图片列表l1中，层间参考图片可以定位在最后。

这里，参考图片列表是用于预测条带(“p条带”)的间预测的参考图片列表或用作双预测条带(“b条带”)的间预测中的第一参考图片。参考图片列表l1是在b条带的间预测中使用的第二参考图片列表。

从而，参考图片列表l0可以通过依次包括在当前图片之前的短期参考图片、层间参考图片、在当前图片之后的短期参考图片以及长期参考图片而构建。参考图片列表l1可以通过依次包括在当前图片之后的短期参考图片、在当前图片之前的短期参考图片、长期参考图片以及层间参考图片而构建。

这里，p条带是使用最多一个运动矢量每预测块以及参考图片索引来经历内预测或间预测的条带。b条带是使用最多两个运动矢量每预测块以及参考图片索引来经历内预测或预测的条带。此外，内条带(“i条带”)是仅经历内预测的条带。

条带是一个或多个条带段的序列。条带序列开始于独立条带段。当在相同的au中存在下一独立条带段之前的非独立条带段时，条带包括作为条带序列的起始的独立条带段以及下一独立条带之前的非独立条带段。

条带段可以是在区块扫描(tilescan)中顺序排列并被包括在单一的网络提取层(nal)单元中的编译树单元(ctu)或编译树块(ctb)的序列。ctu是四叉树结构中的编译单元，其可以是最大编译单元(lcu)。在本说明书中，在对于本发明的更好理解是必要的时，可以共同使用术语“ctu”和“lcu”。

在条带段，包括关于全部ctb(ctu)的数据元素的条带段或部分的第一ctb(ctu)被称为条带段报头。这里，独立条带段的条带段报头被称为条带报头。

条带可以是nal单元的转换单元。例如，可以通过包括条带或条带段来构建nal单元。

当基于包括层间参考图片的参考图片列表执行当前块的间预测时，参考图片列表可以包括从多个层得到的多个层间参考图片。

当参考图片列表包括多个层间参考图片时，层间参考图片可以在l0和l1中以互换方式布置。例如，假设在用于当前块的间预测的参考图片列表中包括两个层间参考图片，层间参考图片ilrpi和层间参考图片ilrpj。在该情况下，在参考图片列表l0中，ilrpi可以定位在在当前图片之前的短期参考图片之后，以及ilrpj可以定位在最后。此外，在参考图片列表l1中，ilrpi可以定位在最后，以及ilrpj定位在当前图片之前的短期参考图片之后。

在该情况下，参考图片列表l0可以通过依次包括在当前图片之前的短期参考图片、层间参考图片ilrpi、在当前图片之后的短期参考图片、长期参考图片以及层间参考图片ilrpj而构建。参考图片列表l1可以通过依次包括在当前图片之后的短期参考图片、层间参考图片ilrpj、在当前图片之前的短期参考图片、长期参考图片以及层间参考图片ilrpi而构建。

此外，两个层间参考图片中的一个可以是从分辨率可缩放层得到的层间参考图片，以及另一个可以是从提供不同视图的层得到的层间参考图片。该情况下，例如，当ilrpi是从提供不同级别的分辨率的层得到的层间参考图片，以及ilrpj是从提供不同视图的层得到的层间参考图片时，在仅支持除了视图可缩放性的其他可缩放性的可缩放视频编译中，参考图片列表l0可以通过依次包括在当前图片之前的短期参考图片、层间参考图片ilrpi、在当前图片之后的短期参考图片以及长期参考图片而构建，并且参考图片列表l1可以通过依次包括在当前图片之后的短期参考图片、在当前图片之后的短期参考图片、长期参考图片以及层间参考图片ilrpi而构建。

同时，在层间预测中，作为关于层间参考图片的信息，可以仅使用采样值，可以仅使用运动信息(运动矢量)，或者可以使用采样值和运动信息这两者。当参考图片索引指示层间参考图片时，依据自解码器接收的信息，预测模块110可以仅使用层间参考图片的采样值，仅使用层间参考图片上的运动信息(运动矢量)，或者层间参考图片的采样值和层间参考图片上的运动信息这两者。

当仅使用层间参考图片的采样值时，预测模块110可以将由层间参考图片中的运动矢量指定的块的采样得到作为当前块的预测采样。在不考虑视图的可缩放视频编译中，使用层间参考图片(层间预测)的间预测中的运动矢量可以设定为固定值(例如，0)。

当仅使用关于层间参考图片的运动信息时，预测模块110可以使用在层间参考图片中指定的运动矢量作为用于得到当前块的运动矢量的运动矢量预测器。此外，预测模块110可以使用在层间参考图片中指定的运动矢量作为当前块的运动矢量。

当使用层间参考图片的采样和关于层间参考图片的运动信息这两者时，预测模块110可以使用与层间参考图片中的当前块相对应的区域中的采样以及在用于预测当前块的层间参考图片中指定的运动信息(运动矢量)。

当应用层间预测时，编码器可以向解码器发送指示参考图片列表中的层间参考图片的参考索引，并且还向解码器发送指定编码器使用了关于层间参考图片的哪些信息(采样信息、运动信息或采样信息和运动信息)的信息，即，指定层间预测中的两层之间的依赖类型。

变换/量化模块115和145可以通过tu将残留块变换以创建变换系数，并可以将变换系数量化。

变换块是应用相同变换的采样的矩形块。变换块可以是tu并且可以具有四叉树结构。

变换/量化模块115和145可以基于应用到残留块的预测模式和变换块的尺寸以及变换块的尺寸来执行变换，以创建变换系数的二维(2d)阵列。例如，当将内预测应用到残留块并且残留块具有4×4的阵列时，可以使用离散正弦变换(dst)来变换该残留块。另外，可以使用离散余弦变换(dct)来变换残留块。

变换/量化模块115和145可以将变换系数量化以创建量化变换系数。

变换/量化模块115和145可以将量化变换系数发送到熵编译模块130和160。这里，变换/量化模块115和145可以以预定的扫描顺序将量化变换系数的2d阵列重新排列为一维(1d)阵列，并且可以将重新排列的1d阵列发送到熵编译模块130和160。变换/量化模块115和145可以将基于残留块和预测块产生的重构块发送到滤波模块120和150用于间预测，而无需变换/量化。

必要时，变换/量化模块115和145可以跳过变换而仅执行量化，或跳过变换和量化这两者。例如，变换/量化模块115和165可以跳过对涉及特定预测方法或具有特定尺寸，或者涉及特定预测块并具有特定尺寸的块的变换。

熵编译模块130和160可以对量化变换系数执行熵编码。诸如指数golomb编译和上下文适应性二进制算数编译(cabac)的编码方法可以用于熵编码。

滤波模块120和150可以将去块滤波、适应性环路滤波(alf)或者采样适应性偏移(sao)应用于重构图片。

去块滤波可以去除在重构图片中的在块之间的边界上产生的块失真。alf可以基于将原始图片与其块由去块滤波器滤波的重构图片比较的结果值来执行滤波处理。sao可以重建在经历了去块滤波器的残留块和原始图片之间的像素的偏移差，并且以带偏移、边缘偏移等等的形式应用。

滤波模块120和150可以不应用全部去块滤波器、alf和sao，而是可以仅仅应用去块滤波，可以仅仅应用去块滤波器和alf，或者可以仅仅应用去块滤波器和sao。

dpb125和155可以从滤波单元125和150接收和存储重构块或者重构图片。dpb125和155可以将重构块或者图片提供给执行间预测的预测模块110和140。

从用于层0的熵编译模块160输出的信息和从用于层1的熵编译模块130输出的信息可以由mux185复用，并且可以输出为比特流。

尽管已经为了方便而将用于层1的编码模块105描述为包括mux，但是mux可以是独立于用于层1的编码模块105和用于层0的编码模块135的设备或模块。

此外，尽管已经描述了在包括两层的多层结构中执行可缩放视频编译，但是本发明不限于此。例如，图1的编码器也可以应用到包括两个或更多个层的多层结构。当将编码器应用到包括n层的多层结构时，图1的层0和层1可以是在n层中具有参考关系的两层。

这里，编码器可以向解码器发送指定两层之间的参考关系的信息。例如，当两层具有层间预测中的非独立关系时编码器可以发送direct_dependency_flag[l][m]。当direct_dependency_flag[l][m]为1时，可以通过参考第m层来预测第l层。

图2是示意性地图示根据本发明的在执行可缩放编译的编码器中的层间预测的示例的框图。

参考图2，视频解码器200包括用于层1的解码模块210和用于层0的解码模块250。

层0可以是基层、参考层或下层，而层1可以是增强层、当前层或上层。

用于层1的解码模块210可以包括熵解码模块215、重排列模块220、去量化模块225、逆变换模块230、预测模块235、滤波模块240以及存储器。

用于层0的解码模块250可以包括熵解码模块255、重排列模块260、去量化模块265、逆变换模块270、滤波模块280以及存储器285。

当包括视频信息的比特流被从视频编码器发送时，解复用器(demux)305可以通过层解复用信息并且可以将信息通过层发送到解码器。

熵解码模块215和255可以执行对应于视频编码器中使用的熵编译方法的熵解码。例如，当在视频编码器中使用cabac时，熵解码模块215和255可以使用cabac执行熵解码。

可以向预测模块235和275提供由熵解码模块215和255解码的信息之中的用于构建的预测块的信息，并且可以向重排列模块220和260输入由熵解码模块215和255熵解码的残留值，即，量化变换系数。

基于视频编码器中使用的重排列方法，重排列模块220和260可以对由熵解码模块215和255熵解码的比特流信息，即量化变换系数进行重排列。

例如，重排列模块220和260可以将量化变换系数的1d阵列重排列为系数的2d阵列。重排列模块220和260可以基于应用到当前块(变换块)的预测模式和/或变换块的尺寸来执行扫描，以构建系数的2d阵列(量化变换系数)。

去量化模块225和265可以基于从视频编码器发送的量化参数和块的重排列系数来执行去量化，以创建变换系数。

依据预定条件或依据用于视频编码器的量化方法，去量化模块225和265可以将熵解码的残留值发送到逆变换模块230和270，而无需将残留值去量化。

在视频编码器中，可以依据多个信息片段，诸如预测方法、当前块的尺寸和预测方向，来有选择地执行dct和/或dst，以及视频解码器的逆变换模块230和270可以基于视频解码器使用的变换信息执行逆变换。

例如，逆变换模块230和270可以依据预测模式/块尺寸执行逆dct和逆dst。具体而言，逆变换模块230和270可以对应用了内预测的4×4亮度块执行逆dst。

可替选地，逆变换模块230和270可以不管预测模式/块尺寸而固定使用特定的逆变换方法。例如，逆变换模块230和270可以对全部变换块仅应用逆dst。逆变换模块230和270也可以对全部变换块仅应用逆dct。

逆变换模块230和270可以对变换系数或变换系数的块进行逆变换以构建残留信号或残留块。

必要时或者依据用于视频编码器的编码方法，逆变换块230和270可以跳过变换。例如，逆变换模块230和270可以跳过对涉及特定预测方法或具有特定尺寸的块的变换，或者涉及特定预测块并具有特定尺寸的块的变换。

预测模块235和275可以基于熵解码块215和255提供的预测块构建信息以及关于之前解码的块和/或存储器245和285提供的图片的信息来构建当前块的预测块。

当用于当前块的预测模式是内预测模式时，预测模块235和275可以基于关于当前图片中的像素的信息在当前块上执行内预测。

当用于当前块的预测模式是间预测模式时，预测模块235和275可以基于先前图片和当前图片的之后图片中的至少一个中包括的信息在当前块上执行间预测。部分或全部的对于间预测必需的运动信息可以基于从视频编码器接收的信息来得到。

当跳过模式被用作间预测模式时，残留块可以不被从视频编码器发送并且预测块可以用作重构块。

用于层1的预测模块235可以仅使用层1中的信息执行间预测或内预测，并且可以使用关于另一层(层0)的信息执行层间预测。

使用关于另一层信息预测的(即，由层间预测进行预测的)关于当前层的信息可以是纹理、运动信息、单元信息和预定参数(例如，滤波参数)中的至少一项。

用于当前层的预测的(即，用于层间预测的)关于另一层信息的信息可以是纹理、运动信息、单元信息和预定参数(例如，滤波参数)中的至少一项。

在层间预测中，当前块是在当前层(图1中的层1)中的当前图片中的块，其可以是待编码的块。参考块是在属于与包括当前块的图片(当前图片)相同的存取单元(au)的图片(参考图片)中的块，其可以是对应于层(参考层，图2中的层0)中的当前块的块，其被称为对当前块的预测。

层间预测的示例包括层间运动预测，层间运动预测使用关于参考层的运动信息来预测关于当前层的运动信息。根据层间运动预测，可以使用关于参考块的运动信息来预测关于当前块的运动信息。

当应用层间运动预测时，预测模块235可以缩放并使用关于参考层的信息。

作为层间预测的另一示例，层间纹理预测可以使用重构参考块的纹理作为当前块的预测值。这里，预测模块235可以通过上采样对参考块的纹理缩放。

作为层间预测的另一示例，层间单元信息预测可以得到关于参考层的单元(cu、pu和/或tu)信息，以使用作为关于当前层的单元信息，或者基于关于参考层的单元信息来确定关于当前层的单元信息。

单元信息可以包括在每个单元级别中的信息。例如，cu信息可以包括关于分割的信息(cu、pu和/或tu)、关于变换的信息、关于预测的信息以及关于编译的信息。pu信息可以包括关于pu分割的信息和关于预测的信息(例如，运动信息和关于预测模式的信息)。tu信息可以包括关于tu分割的信息和关于变换的信息(变换系数和变换方法)。

作为层间预测的另一示例，层间参数预测对于当前层可以再利用得到的参考层的参数，或者基于用于参考层的参数来预测用于当前层的参数。

作为层间预测的另一示例，层间残留预测可以使用关于另一层的残留信息来预测当前层的残留，并且基于当前层的残留来预测当前块。

作为层间预测的另一示例，使用通过对当前层中的重构图片和参考层中的重构图片进行上采样或下采样获得的图片之间的差分，层间差分预测可以预测当前块。

作为层间预测的另一示例，层间句法预测可以使用关于参考层的句法信息来预测或生成当前块的纹理。这里，用于参考的关于参考层的句法信息可以包括关于内预测模式的信息和运动信息。

在上述方法之中的多个层间预测方法可以用在特定块的预测中。

尽管将层间纹理预测、层间运动预测、层间单元信息预测、层间参数预测、层间残留预测、层间差分预测以及层间句法预测描述为层间预测的示例，但是可应用于本发明的层间预测不限于此。

例如，层间预测可以应用为用于当前层的间预测的扩展。这就是说，从参考层得到的参考图片可以被包括在当前块的间预测中可用于参考的参考图片中以进行当前块的间预测。

当从编码器接收或从邻近块得到的参考图片索引指示参考图片列表中的层间参考图片时，预测模块235可以使用层间参考图片执行层间预测。例如，当参考图片索引指示层间参考图片时，预测模块235可以得到由参考图片中的运动矢量指定的区域的采样值作为当前块的预测块。

该情况下，层间参考图片可以被包括在用于当前块的参考图片列表中。预测模块235可以使用层间参考图片执行当前块的间预测。

这里，层间参考图片可以是通过对参考层中的重构图片采样以对应于当前层而构建的参考图片。从而，当参考层中的重构图片对应于当前层中的图片时，参考层中的重构图片可以在不进行采样的情况下用作层间参考图片。例如，当参考层中的重构图片的采样与当前层中的重构图片具有相同的宽度和高度，并且参考层中的图片与当前层中的图片之间的在左上、右上、左下和右下的偏移为0时，参考层中的重构图片可以用作用于当前层的层间参考图片而无需经历采样。

层间参考图片从其得到的参考层中的重构图片可以属于与待编码的当前图片相同的au。当使用包括层间参考图片的参考图片列表执行当前块的间预测时，层间参考图片在参考图片列表中的位置可以在参考图片列表l0和l1中变化。例如，在参考图片列表l0中，层间参考图片可以定位在当前图片之前的短期参考图片之后。在参考图片列表l1中，层间参考图片可以定位在最后。

这里，参考图片列表是用于p条带的间预测的参考图片列表或用作b条带的间预测中的第一参考图片。参考图片列表l1是在b条带的间预测中使用的第二参考图片列表。

从而，参考图片列表l0可以通过依次包括在当前图片之前的短期参考图片、层间参考图片、在当前图片之后的短期参考图片以及长期参考图片而构建。参考图片列表l1可以通过依次包括在当前图片之后的短期参考图片、在当前图片之前的短期参考图片、长期参考图片以及层间参考图片而构建。

这里，p条带是使用最多一个运动矢量每预测块以及参考图片索引来经历内预测或间预测的条带。b条带是使用最多两个运动矢量每预测块以及参考图片索引来经历内预测或预测的条带。此外，i条带是仅经历内预测的条带。

当基于包括层间参考图片的参考图片列表执行当前块的间预测时，参考图片列表可以包括从多个层得到的多个层间参考图片。

当参考图片列表包括多个层间参考图片时，层间参考图片可以在l0和l1中以互换方式布置。例如，假设在用于当前块的间预测的参考图片列表中包括两个层间参考图片，层间参考图片ilrpi和层间参考图片ilrpj。在该情况下，在参考图片列表l0中，ilrpi可以定位在当前图片之前的短期参考图片之后，以及ilrpj可以定位在最后。此外，在参考图片列表l1中，ilrpi可以定位在最后，而ilrpj定位在当前图片之前的短期参考图片之后。

在该情况下，参考图片列表l0可以通过依次包括在当前图片之前的短期参考图片、层间参考图片ilrpi、在当前图片之后的短期参考图片、长期参考图片以及层间参考图片ilrpj而构建。参考图片列表l1可以通过依次包括在当前图片之后的短期参考图片、层间参考图片ilrpj、在当前图片之前的短期参考图片、长期参考图片以及层间参考图片ilrpi而构建。

此外，两个层间参考图片中的一个可以是从分辨率可缩放层得到的层间参考图片，以及另一个可以是从提供不同视图的层得到的层间参考图片。该情况下，例如，当ilrpi是从提供不同级别的分辨率的层得到的层间参考图片，以及ilrpj是从提供不同视图的层得到的层间参考图片时，在仅支持除了视图可缩放性的其他可缩放性的可缩放视频编译中，参考图片列表l0可以通过依次包括在当前图片之前的短期参考图片、层间参考图片ilrpi、在当前图片之后的短期参考图片以及长期参考图片而构建，以及参考图片列表l1可以通过依次包括在当前图片之后的短期参考图片、在当前图片之后的短期参考图片、长期参考图片以及层间参考图片ilrpi而构建。

同时，在层间预测中，作为关于层间参考图片的信息，可以仅使用采样值，可以仅使用运动信息(运动矢量)，或者可以使用采样值和运动信息这两者。当参考图片索引指示层间参考图片时，依据从解码器接收的信息，预测模块235可以仅使用层间参考图片的采样值，仅使用层间参考图片上的运动信息(运动矢量)，或者层间参考图片的采样值和层间参考图片上的运动信息这两者。

当仅使用层间参考图片的采样值时，预测模块235可以得到由层间参考图片中的运动矢量指定的块的采样作为当前块的预测采样。在不考虑视图的可缩放视频编译中，使用层间参考图片(层间预测)的间预测中的运动矢量可以设定为固定值(例如，0)。

当仅使用关于层间参考图片的运动信息时，预测模块235可以使用在层间参考图片中指定的运动矢量作为用于得到当前块的运动矢量的运动矢量预测器。此外，预测模块235可以使用在层间参考图片中指定的运动矢量作为当前块的运动矢量。

当使用层间参考图片的采样和关于层间参考图片的运动信息这两者时，预测模块235可以使用与层间参考图片中的当前块相对应的区域中的采样以及在用于预测当前块的层间参考图片中指定的运动信息(运动矢量)。

解码器可以从所述编码器接收在参考图片列表中指示层间参考图片的参考索引，并且基于参考索引执行层间预测。此外，解码器可以从编码器接收指定解码器使用了层间参考图片上的哪个信息(采样信息、运动信息或采样信息和运动信息这两者)，即，指定层间预测中的两层之间的依赖类型的信息。

相加器290和295可以使用由预测模块235和275构建的预测块以及由逆变换模块230和270构建的残留块来构建重构块。该情况下，相加器290和295可以被认为是构建重构块的分开的模块(重构块构建模块)。

相加器290和295构建的块和/或图片可以供应到滤波模块240和280。

参考图2，用于层1的滤波模块240可以使用从用于层1的预测模块235和/或用于层1的滤波模块280发送的参数信息来执行对于重构图片的滤波操作。例如，用于层1的滤波模块240可以使用从应用到层0的滤波参数预测的参数来执行层1上的滤波操作或层间滤波操作。

存储器245和285可以存储重构块或图片，以用作参考图片或参考块。存储器245和285可以经由预定输出模块(未显示)或显示器(未显示)来输出在存储器245和285中存储的重构图片。

尽管图2图示作为独立模块的重排列模块、去量化模块和逆变换模块，但是视频解码器也可以配置为启用作为单独模块的去量化/逆变换模块，以类似图1的视频编码器地依次执行重排列、去量化和逆变换。

此外，尽管已经描述了在包括两层的多层结构中执行可缩放视频解码，但是本发明不限于此。例如，图2的编码器也可以应用到包括两个或更多个层的多层结构。当将编码器应用到包括n层的多层结构时，图2的层0和层1可以是在n层中具有参考关系的两层。

这里，解码器可以从编码器接收指定两层之间的参考关系的信息。例如，当两层具有层间预测中的非独立关系时解码器可以接收direct_dependency_flag[l][m]。当direct_dependency_flag[l][m]为1时，可以通过参考第m层来预测第l层。

尽管图1和图2图示预测模块，用于层1的预测模块可以包括层间预测模块和帧间/内预测模块，层间预测模块使用关于另一层(层0)的信息执行预测处理，帧间/内预测模块在不使用关于另一层(层0)的信息的情况下执行预测处理。

在支持比特流中的多个层中的视频编码和解码中，即，可缩放编译中，多个层之中存在强的相关性。从而，当使用相关性执行预测时，可以去除冗余的数据元素，并且可以增强视频编码性能。

在分辨率、帧率、颜色格式和视图中的至少一个上，多个层可以彼此不同。从而，在层间预测中可以执行用于调整分辨率的上采样或下采样，以使用关于另一层的信息。

不同层之间的层间依赖指示一个层中的块/图片是否通过参考另一层中的块/图片来解码。从而，在多层结构中，当在当前层与参考层之间存在依赖时，当前层可以通过向参考层参考来预测。“层”可以是编译维度的代表。编译维度可以包括可缩放性(例如，空间可缩放性、时间可缩放性和质量可缩放性)、视图和深度编译表示。应当认识到，层间依赖在应用了层间预测时被考虑，但不限于此。例如，在上述的层间内预测、层间运动预测、层间句法预测、层间残留预测和层间单元预测中也可以考虑层间依赖。

当处理特定层中的图片时，编码器可以基于速率和失真(r-d)性能来选择是否使用层间预测。

图3示意性地图示根据本实施例的两个空间层的序列结构的示例。

空间层指的是支持空间可缩放性的层。

参考图3，黑色粗箭头指示相同空间层中的图片之间的时间依赖。图3中，红色虚箭头指示不同空间层中的图片之间的层间依赖。

在图3的示例中，x^y表示层y中的第x个图片。

图3示出应用到图片0、图片3、图片6等的层间预测。在图3所示的结构中，图片的编码顺序和图片从编码器到解码器的传递顺序与下面的顺序1相同。

顺序1：0⁰0¹1⁰1¹2⁰2¹3⁰3¹4⁰4¹5⁰5¹6⁰6¹…

图片的解码顺序和图片从编码器到解码器的接收顺序也与顺序1相同。

这里，可以可选地使用层间预测。这就是说，层间预测可以不应用到顶层之外的层中的全部图片。

例如，图3中，当显示的目标层是空间增强层1时，不需要解码空间基层中的全部图片。图3中，例如，图片1⁰和4⁰可以不需要解码，因为如图所示，两个图片1⁰和4⁰没有用作层间预测中的参考图片，并且被相同空间层(基层)中的图片之中的用于层间预测的图片直接/间接地参考。

从而，当不解码1⁰和4⁰时，图片从编码器到解码器的传递顺序是顺序1，但是图片的解码顺序是顺序2。

顺序2：0⁰1⁰1¹2⁰2¹3⁰3¹4¹5⁰5¹6⁰6¹…

比较顺序1和顺序2，图片1⁰和4⁰在顺序2中被从解码排除。如上所述，两个图片1⁰和4⁰没有用作层间预测中的参考图片，并且被相同空间层(基层)中的图片之中的用于层间预测的图片直接/间接地参考。

如在顺序2中，当对既不用在层间预测中也不被相同层中用于层间预测的其他图片直接/间接地参考的图片不进行解码时，获得下述益处。

(1)节约计算资源：计算资源被用于其他图片的计算/解码而不是这些图片的计算/解码，从而增加了编码/解码处理的速度。

(2)节约存储器，不计算这样的图片，从而无需为这些图片分配存储器空间，因此节约了存储器空间。

然而，尽管因为对既不用在层间预测中也不被相同层中用于层间预测的其他图片直接/间接地参考的图片不进行解码而获得了益处，但是当给出解码/显示的目标层时，需要识别哪个图片跳过了解码或者从输入序列中去除了哪个图片的方法。

下文中，将描述根据本发明的确定哪个图片跳过/丢弃解码的方法。

诸如发送显式信息、改变解码方法和存储器管理的各种方法可以用作对既不用在层间预测中也不被相同层中用于层间预测的其他图片直接/间接地参考的图片不进行解码的方法。

实施例i.基于显式信息的发送，跳过基层图片的解码。

根据本方法，发送关于每个图片的显式信息，从而指示该图片对于层间预测(在另一层的层间预测中被参考)是否是必需的。

发送的第一信息可以指示由第一信息指示的层中的图片对于另一层中的图片的层间预测是否是必需的(在另一层中的图片的层间预测中被参考)。

当第一信息被定义为ilp_flag时，等于1的ilp_flag可以指示相应的层对于另一层的层间预测是必需的，等于0的ilp_flag可以指示该层对于其他层的层间预测不是必需的。

第一信息可以在nal单元报头或条带报头中发送。另外，第一信息可以在约束内发送。例如，当第一信息在条带报头中发送时，根据约束，第一信息的值在相同图片的每个条带报头中可以是相同的。

发送的第二信息可以是指示由第二信息指定的图片是否被相同层中的其他图片之中的层间预测所需的图片直接/间接参考。

例如，当第二信息被定义为ilp_ref_flag时，等于1的ilp_ref_flag可以指示由ilp_ref_flag指定的图片是被相同层中的其他图片之中的层间预测所需的图片直接/间接参考的图片。

第二信息可以在nal单元报头或条带报头中发送。另外，第二信息可以在特定约束内发送。例如，当第二信息在条带报头中发送时，根据约束，第二信息的值在相同图片的每个条带报头中可以是相同的。

在第一信息和第二信息中，“由信息指定的图片”指的是应用了信息的图片。

第一信息(例如，ilp_flag)和第二信息(例如，ilp_ref_flag)可以彼此独立，以及每个图片可以具有不同的ilp_flag和ilp_ref_flag值。例如，ilp_flag可以具有独立于ilp_ref_flag值的值。同样，ilp_ref_flag可以具有独立于ilp_flag值的值。

下文中，为方便描述，将参考作为第一信息的示例的ilp_flag和作为第二信息的示例的ilp_ref_flag对本发明的示例性实施例进行描述。

实施例i-1.nal单元报头中的信息的发送。

在实施例i-1的发送中，第一信息和第二信息可以在nal单元报头中发送。例如，ilp_flag和ilp_ref_flag可以如表1地在nal单元报头中发送。

<表1>

如上所述，ilp_flag指示当前编译的图片是否可用于层间预测。ilp_ref_flag指示当前编译的图片被相同层中的其他图片之中的用于层间预测所需要的图片参考或使用。

这就是说，在本实施例中：ilp_flag和ilp_ref_flag在nal单元报头中发送，并且指示对应于nal单元报头的图片是否被直接/间接用于层间预测。

解码器可以接收nal单元报头中的ilp_flag和ilp_ref_flag，并且当ilp_flag和ilp_ref_flag指示目标图片没有直接/间接用于当前块(当前层中待解码的块)的层间预测时，解码器忽略参考层中的目标图片的解码。

实施例i-2.条带段报头中的信息的发送。

在实施例i-2的发送中，第一信息和第二信息可以在条带段报头中发送。例如，ilp_flag和ilp_ref_flag可以如表2地在条带段报头中发送。

<表2>

如上所述，ilp_flag指示当前条带是否可用于层间预测。ilp_ref_flag指示当前条带被相同层中的其他图片之中的用于层间预测所需要的图片参考或使用。

这就是说，在本实施例中：ilp_flag和ilp_ref_flag在条带段报头中发送，并且指示对应于条带段报头的条带是否被直接/间接用于层间预测。

解码器可以接收条带段报头中的ilp_flag和ilp_ref_flag，并且当ilp_flag和ilp_ref_flag指示目标条带没有直接/间接用于当前块(当前层中待解码的块)的层间预测时，解码器忽略参考层中的目标条带或图片的解码。

可替换地，ilp_flag指示当前编译的图片是否可用于层间预测，其中ilp_flag的值可以在全部编译图片的条带段报头中相同。此外，ilp_ref_flag指示当前编译的图片是否被相同层中的图片之中的用于层间预测的图片参考或使用，其中ilp_ref_flag的值可以在全部编译图片的条带段报头中相同。

该情况下，解码器可以接收条带段报头中的ilp_flag和ilp_ref_flag，并且当ilp_flag和ilp_ref_flag指示目标条带没有直接/间接用于当前块(当前层中待解码的块)的层间预测时，解码器忽略参考层中的包括目标条带的图片的解码。

实施例i-3.视频参数设置(vps)中关于子层的信息的发送。

在本实施例中，第一信息(ilp_flag)可以以两种方法发送。

在方法1中，如表3所示，对于不同层中的相同子层，每个子层的ilp_flag值可以是相同的。

<表3>

在表3的vps中，vps_max_sub_layers_minus1指定编译视频序列中存在的时间子层的最大数目。在表3的vps中，等于1的vps_ilp_flag[i]指示编译图片/条带之中的时间id(下文中，“temporalid”)等于i的图片/条带可用于层间预测，其中temporalid指定子层。另外，即，等于0的vps_ilp_flag[i]指示编译图片/条带之中具有temporalid等于i的图片/条带不可用于层间预测。

在方法2中，如表4所示，每个子层的ilp_flag值可以与不同层中的相同子层的ilp_flag值不同。

<表4>

在表4的vps中，vps_max_num_layers_minus1指定编译视频序列中存在的层的数目，以及vps_max_sub_layers_minus1指定编译视频序列中存在的时间子层的最大数目。在表4中，等于1的vps_ilp_flag[i][j]指示编译图片/条带之中的具有层id(下文中，“layerid”)等于i并且temporalid等于j的图片/条带可用于层间预测，其中layerid指定层。另外，即，等于0的vps_ilp_flag[i]指示编译图片/条带中的layerid等于i并且temporalid等于j的图片/条带不可用于层间预测。

采用方法1可以降低复杂度并减少业务，而采用方法2可以获得对于层间预测效果的改进的高灵活性。

实施例i-4.关于图片和子层的层间预测信息的发送组合

根据本实施例，层间信息可以在组合中发送。具体而言，条带段报头中的ilp_flag和ilp_ref_flag可以与子层的ilp_flag一同应用。

该情况下，可以应用下述约束。(1)当关于temporalidi，ilp_flag等于1时，ilp_flag在具有temporalid等于i的条带段报头中可以是1或0。(2)当关于temporalidi，ilp_flag等于0时，ilp_flag在具有temporalid等于i的条带段报头中是0。

实施例ii.基于解码方法，跳过基层图片的解码

根据本实施例，编码器与解码器之间的传递/传输系统以及解码器可以在效率上改进。本实施例允许传递系统和解码器有效确定具有特定层id、ilp_flag以及ilp_ref_flag的编译图片是否需要处理。

详细地，实施例ii允许编码器与解码器之间的传递/传输系统确定是否需要发送或丢弃包括具有特定层id、ilp_flag以及ilp_ref_flag的编译图片的包。实施例ii还允许解码器确定具有特定层id、ilp_flag以及ilp_ref_flag的编译图片是否需要编译。

在包括实施例ii的本说明书中，指定目标层的targetlayer是解码器显示或输出的最高层的层id。此外，layerid是每个编译图片的层id，ilp_flag表示每个编译图片的ilp_flag值，以及ilp_ref_flag表示每个编译图片的ilp_ref_flag值。

根据本实施例，当关于特定目标层满足下述条件时，对应于目标层的编译图片不被编译或被略过。

条件(i)layerid<targetlayer

条件(ii)ilp_flag值为假，即，ilp_flag等于0。

条件(iii)ilp_ref_flag值为假，即，ilp_ref_flag等于0。

图4是示意性地图示本实施例的图，其示出去除无需发送到解码器或解码的编译图片的方法的示例。

参考图4，当目标层是空间增强层1时，无需将编译图片1⁰和4⁰发送到解码器或解码，因为图片1⁰和4⁰满足上述条件(i)至(iii)。

这就是说，图4中，图片1⁰和4⁰是具有的layerid小于targetlayer的layerid并且具有的ilp_flag和ilp_ref_flag等于0的层0中的图片。

从而，在图4中，编码顺序/传递顺序是顺序3，并且解码顺序是顺序4。

顺序3：0⁰0¹1⁰1¹2⁰2¹3⁰3¹4⁰4¹5⁰5¹6⁰6¹

顺序4：0⁰0¹1¹2⁰2¹3⁰3¹4¹5⁰5¹6⁰6¹

从而，根据实施例ii，编码器在条件(i)至(iii)全部满足时不发送图片，以及解码器在条件(i)至(iii)全部满足时丢弃或不解码图片。

实施例iii.基于存储器管理，跳过基层图片的解码

根据本实施例，可以基于编码器和解码器的存储器管理确定在存储器中存储或保留与特定层id、ilp_flag和ilp_ref_flag相对应的编译图片的重构图片。

此外，根据本实施例，可以基于编码器和解码器的存储器管理来确定从存储器中去除与特定层id、ilp_flag和ilp_ref_flag相对应的编译图片的重构图片。

在实施例iii和本说明书中，存储器可以是解码图片缓存(dpb)。

在本实施例中，指定目标层的targetlayer是解码器显示或解码的最高层的层id。此外，layerid是每个编译图片的层id，ilp_flag表示每个编译图片的ilp_flag值，以及ilp_ref_flag表示每个编译图片的ilp_ref_flag。

在本实施例中，当关于给定的特定targetlayer满足下述条件(i)至(iii)时，编译图片的重构图片可以保留在存储器中。

条件(i)layerid<targetlayer

条件(ii)ilp_flag值为假，即，ilp_flag等于0。

条件(iii)ilp_ref_flag值为假，即，ilp_ref_flag等于0。

此外，在本实施例中，关于给定的特定targetlayer，在解码了具有的图片顺序计数(poc)等于pic_curr并且具有的layerid等于curr_layer_id(即，layer_id≤targetlayer)的编译图片之后，存储器中的参考图片中满足下列条件(a)到(d)的参考图片被去除，其中图片顺序计数对应于图片的输出顺序。

条件(a)参考图片的poc等于poc_curr。

条件(b)参考图片的layerid小于curr_layer_id。

条件(c)参考图片的ilp_flag为真，即，参考图片的ilp_flag等于1。

条件(d)参考图片的ilp_ref_flag为假，即，参考图片的ilp_ref_flag等于0。

这里，条件(c)可以被始终应用或可选地应用。

根据本实施例，当layerid<targetlayer并且ilp_flag和ilp_ref_flag等于0时，解码器在存储器中不存储或保留重构图片。

另外，在解码了具有的poc等于pic_curr并且layerid等于curr_layer_id的图片之后，解码器可以从存储器去除参考图片之中的具有的poc等于pic_curr、layerid小于curr_layer_id、ilp_flag等于1并且ilp_ref_flag等于0的图片。

当采用根据实施例iii的考虑targetlayer并利用ilp_flag和ilp_ref_flag的存储器管理时，可以减小用于处理和解码比特流所需的存储器的尺寸。

图5示意性地图示存储器管理的示例。

参考图5，可以验证，应用根据本实施例的存储器管理使得存储器的尺寸减小。

在图5的示例中，图示基于随机存取设定的图片结构。图5示出两个包括四个时间级别的空间可缩放层。

图5中，空间基层中的时间级别0和1的图片可以用在层间预测中。相反，空间基层中的时间级别2和3的图片不用于层间预测。

在图5的结构中，需要在解码空间基层时分配用于存储至少六个参考图片的存储器。这里，当没有利用ilp_flag和ilp_ref_flag时，需要在解码空间增强层中分配用于存储至少11个参考图片的存储器。

图6示意性地图示根据本发明的存储器管理的示例。

图6的示例具有与图5的示例相同的图片结构。然而，不同于图5，图6的示例利用两条信息，ilp_flag和ilp_ref_flag。

当利用这两条信息ilp_flag和ilp_ref_flag时，可以指示，空间基层中的时间级别2和3的图片对于基于层间预测对增强层进行解码是不需要的并且从而是可以去除的。

不同于不利用ilp_flag和ilp_ref_flag的图5，如所示出的利用ilp_flag和ilp_ref_flag的图6的示例仅在解码空间基层中需要分配用于存储三个图片的存储器。

图7示意性地图示不需用于解码的图片从图6的示例中排除的情况。

如图6所示，在图5至图7所示的图片结构中，基层中的图片之中具有时间级别2和3的图片在解码增强层时没有被使用并且从而可以从存储器去除，如图7所示。从而，在图6和图7中，不同于图5，用于存储三个图片的存储器对于基层是足够的。

图8示意性地图示解码每个图片中的内容/存储器状态/dpb状态的示例。图8中，根据解码顺序描述了每个图片，并且图片结构与图6和图7中的图片结构相同。

假设，在图8中，targetlayer也是1。

标有x的图片被从dpb去除。

如图8所示，当应用根据本实施例的存储器管理时，必需的存储器尺寸从用于存储11个图片的存储器尺寸减小到用于存储7个图片的存储器尺寸。

实施例iv.基于参考图片列表的构建和管理来跳过基层图片的解码

在本实施例中，可以使用ilp_flag和ilp_ref_flag修改参考图片列表。

当根据本实施例使用ilp_flag和ilp_ref_flag时，可以如下构建用于条带的参考图片列表。

①当条带的ilp_flag值是0时，用于条带的参考图片列表可以仅基于参考图片集合(rps)构建。这就是说，当前参考图片列表不改变。

②当条带的ilp_flag值是1时，用于条带的参考图片列表可以通过包括ilp_ref_flag等于1并且被包括在用于条带的rps中的参考图片来构建。

rps指的是与图片相关联的参考图片的集合，并且包括在解码顺序中在相关联图片之前的全部参考图片。这些参考图片可以用于相关联图片或在解码顺序中的在相关联图片之后的图片的间预测。

rps可以包括rps列表。rps列表可以包括在poc顺序中的当前图片之前的短期参考图片的列表、在poc顺序中的当前图片之后的短期参考图片的列表以及长期参考图片的列表。

参考图片列表可以包括在poc顺序中的当前图片之前的短期参考图片、在poc顺序中的当前图片之后的短期参考图片、长期参考图片以及层间参考图片之中的至少一个来构建。。

将详细描述修改根据实施例iv的参考图片的构建的方法。

在本实施例中，numrpscurrtemplist0表示在时间列表0中用于当前条带的参考图片的数目。refpiclisttemp0表示在时间列表0中用于当前条带的参考图片的poc的列表。numrpscurrtemplist1表示在时间列表1中用于当前条带的参考图片的数目。refpiclisttemp1表示在时间列表1中用于当前条带的参考图片的poc的列表。numpocstcurrbefore表示其的poc小于当前条带的poc的用于当前条带的短期参考图片的数目。numpocstcurrafter表示其的poc大于当前条带的poc的用于当前条带的短期参考图片的数目。numpocltcurr表示用于当前条带的长期参考图片的数目。refpiclist0表示用于当前条带的参考图片的列表0l0。refpiclist1表示用于当前条带的参考图片的列表1l1。ref_pic_list_modification_flag_l0是指示refpiclist0是否需要修改的信息。例如，等于1的ref_pic_list_modification_flag_l0指示refpiclist0需要修改，等于0的ref_pic_list_modification_flag_l0指示refpiclist0不需要修改。ref_pic_list_modification_flag_l1是指示refpiclist1是否需要修改的信息。例如，等于1的ref_pic_list_modification_flag_l1指示refpiclist1需要修改，以及等于0的ref_pic_list_modification_flag_l1指示refpiclist1不需要修改。ilpreflist是图片的ilp_ref_flag的列表。ilpreflist[x]是图片x的ilp_ref_flag，并且索引x可以表示图片的poc。

根据本实施例的参考图片列表如下构建。

在每个条带的解码过程的开始，用于b图片的参考图片列表refpiclist0和refpiclist1可以如下构建。

变量numrpscurrtemplist0可以设定为max(num_ref_idx_l0_active_minus1+1,numpoctotalcurr)，并且列表refpiclisttemp0可以如表5所示地构建。

<表5>

从而，参考图片列表refpiclist0可以如表6所示地构建。

<表6>

同时，当条带是b条带时，可以使用第二参考图片列表refpiclist1。该情况下，变量numrpscurrtemplist1可以设定为max(num_ref_idx_l0_active_minus1+1,numpoctotalcurr)，并且列表refpiclisttemp1可以如表7所示地构建。

<表7>

从而，当条带是b条带时，参考图片列表refpiclist1可以如表8所示地构建。

<表8>

参考表5至表8，时间列表(refpiclisttemp0,refpiclisttemp1)根据使用ref_flag和ilp_ref_flag的①和②构建。然后，当参考图片列表中不存在修改时(ref_pic_list_modification_flag_lx＝0，x＝0或1)，时间列表可以是参考图片列表。当参考图片列表中存在修改时(ref_pic_list_modification_flag_lx＝1)，基于从编码器发送的列表进入信息(list_entry_lx[ridx],lx＝l0或l1)进行修改的时间列表可以是参考图片列表。

已经描述了根据本发明的基于信令(信息发送)的跳过基层中的参考图片的解码的方法、解码方法、存储器管理以及参考图片列表的构建。

除了上述方法，可以考虑在图片级别中控制层间预测以便执行有效的层间预测的方法。

在多层比特流中，当层间预测不需要非最高图片或非输出图片时，解码复杂度会减小，因为如上所述，这些图片可以不被解码或可以被去除。

下文中，将基于信令方法和解码方法来描述控制图片级别中的层间预测的方法。

实施例v.基于信令方法的层间预测的控制

实施例v-1

在实施例v-1中，ilp_flag和ilp_ref_flag可以在条带段报头中发送。

<表9>

如上所述，ilp_flag指示当前条带是否可用于层间预测。ilp_ref_flag指示当前条带是否被相同层中的图片之中的用于层间预测的图片参考或使用。

这就是说，在本实施例中：ilp_flag和ilp_ref_flag在条带段报头中发送，并且指示与条带段报头相对应的条带是否被直接/间接用于层间预测。

解码器接收条带段报头中的ilp_flag和ilp_ref_flag，并且当ilp_flag和ilp_ref_flag指示目标条带没有直接/间接用于当前块(当前层中待解码的块)的层间预测时，解码器可以跳过参考层中的目标条带或图片的解码。

这里，ilp_flag和ilp_ref_flag的值可以在图片级别中被控制。

具体而言，ilp_flag指示当前编译的图片是否可用于层间预测，并且ilp_flag的值可以在全部编译图片的条带段报头中相同。

此外，ilp_ref_flag指示当前编译的图片是否被相同层中的图片之中的用于层间预测所需的图片参考或使用，并且ilp_ref_flag的值可以在全部编译图片的条带段报头中相同。

该情况下，解码器接收条带段报头中的ilp_flag和ilp_ref_flag，并且当ilp_flag和ilp_ref_flag指示目标条带没有直接/间接用于当前块(当前层中待解码的块)的层间预测时，解码器可以跳过参考层中的包括目标条带的图片的解码。

实施例v-2

在实施例v-2中，关于层间预测的信息可以如表10地在条带段报头中信令。

<表10>

在表10中，need_for_ilp_flag指示当前条带是否用于层间预测，或是否在相同层中的图片之中的用于层间预测所需的其他图片的间预测中被使用或参考。这就是说，当need_for_ilp_flag等于1时，need_for_ilp_flag指示的图片在间预测中被直接/间接使用/参考。当need_for_ilp_flag等于0时，need_for_ilp_flag指示的图片在间预测中不被直接/间接使用/参考。

这里，可以进一步在图片级别中控制need_for_ilp_flag。

该情况下，如上所述，need_for_ilp_flag指示当前条带是否用于层间预测，或是否在相同层中的图片之中的用于层间预测所需的其他图片的间预测中被使用或参考。这里，need_for_ilp_flag的值在编译图片的全部条带段报头中相同。

实施例vi.基于解码处理的效果来控制层间预测

实施例vi-1

在实施例vi-1中，targetdeclayeridlist是nuh_layer_id值的列表，其中待解码的nal单元的nuh_layer_id值以升序排列。nuh_layer_id是关于指定多层结构中的层的nal单元级别的信息。targetoutputlayeridlist是nuh_layer_id值的列表，其中待输出的nal单元的nuh_layer_id值以升序排列。highesttid表示待解码的最高时间子层。

在实施例vi-1的示例中，在当前图片的ilp_flag和ilp_ref_flag值为假并且当前nal单元的nu_layer_id未被包括在targetoutputlayeridlist中时，在解码处理中可以跳过当前图片。从而，当前图片的ilp_flag和ilp_ref_flag值为0并且当前nal单元的nu_layer_id未被包括在targetoutputlayeridlist中时，解码器可以不解码当前图片。

在实施例vi-1的另一示例中，在当前条带的ilp_flag和ilp_ref_flag值为假并且当前nal单元的nu_layer_id未被包括在targetoutputlayeridlist中时，在解码处理中可以跳过当前条带。从而，当前条带的ilp_flag和ilp_ref_flag值为0并且当前nal单元的nu_layer_id未被包括在targetoutputlayeridlist中时，解码器可以不解码当前条带。

在实施例vi-1的另一示例中，在当前图片的ilp_flag和ilp_ref_flag值为假并且当前nal单元的nu_layer_id未被包括在targetoutputlayeridlist中时，当前图片的picoutputflag可以设定为0。当前图片的picoutputflag值可以指示是否输出当前图片。例如，等于1的picoutputflag可以指示图片被输出，以及等于0的picoutputflag可以指示图片未被输出。从而，当前图片的ilp_flag和ilp_ref_flag值为0并且当前nal单元的nu_layer_id未被包括在targetoutputlayeridlist中时，解码器可以将当前图片的picoutputflag值设定为0并且不输出当前图片。

在实施例vi-1的另一示例中，在当前条带的ilp_flag和ilp_ref_flag值为假并且当前nal单元的nu_layer_id未被包括在targetoutputlayeridlist中时，当前图片的picoutputflag可以设定为0。从而，当前条带的ilp_flag和ilp_ref_flag值为0并且当前nal单元的nu_layer_id未被包括在targetoutputlayeridlist中时，解码器可以将当前图片的picoutputflag值设定为0并且不输出当前图片。

实施例vi-2

在实施例vi-2中，targetdeclayeridlist是nuh_layer_id值的列表，其中待解码的nal单元的nuh_layer_id值以升序排列。nuh_layer_id是关于指定多层结构中的层的nal单元报头级别的信息。targetoutputlayeridlist是nuh_layer_id值的列表，其中待输出的nal单元的nuh_layer_id值以升序排列。highesttid表示待解码的最高时间子层。

在实施例vi-2的示例中，在当前图片的need_for_ilp_flag值为假并且当前nal单元的nuh_layer_id未被包括在targetoutputlayeridlist中时，在解码处理中可以跳过当前图片。从而，当前图片的need_for_ilp_flag值为0并且当前nal单元的nuh_layer_id未被包括在targetoutputlayeridlist中时，解码器可以不解码当前图片。

在实施例vi-2的另一示例中，在当前图片的need_for_ilp_flag值为假并且当前nal单元的nuh_layer_id未被包括在targetoutputlayeridlist中时，在解码处理中可以跳过当前条带。从而，当前图片的need_for_ilp_flag值为0并且当前nal单元的nuh_layer_id未被包括在targetoutputlayeridlist中时，解码器可以不解码当前条带。

在实施例vi-2的另一示例中，在当前图片的need_for_ilp_flag值为假并且当前nal单元的nuh_layer_id未被包括在targetoutputlayeridlist中时，当前图片的picoutputflag可以设定为0。当前图片的picoutputflag值可以指示是否输出当前图片。例如，等于1的picoutputflag可以指示图片被输出，以及等于0的picoutputflag可以指示图片未被输出。从而，在当前图片的need_for_ilp_flag值为0并且当前nal单元的nu_layer_id未被包括在targetoutputlayeridlist中时，解码器可以将当前图片的picoutputflag值设定为0并且不输出当前图片。

在实施例vi-2的另一示例中，在当前条带的need_for_ilp_flag值为假并且当前nal单元的nuh_layer_id未被包括在targetoutputlayeridlist中时，当前图片的picoutputflag可以设定为0。从而，在当前条带的need_for_ilp_flag值为0并且当前nal单元的nu_layer_id未被包括在targetoutputlayeridlist中时，解码器可以将当前图片的picoutputflag值设定为0并且不输出当前图片。

上面已经示出通过构建参考图片列表来控制参考层的解码的方法，其中参考图片列表可以在考虑到对于层间预测不是必需的图片的情况下来管理。

下文中，将详细描述根据本发明的管理参考图片列表的方法。

实施例vii.在考虑到对于层间预测不是必需的图片的情况下的参考图片列表管理

如上所述，在多层比特流中，当层间预测不需要非最高图片或非输出图片时，解码复杂度会减小，因为如上所述，这些图片可以不被解码或可以被去除。

本实施例详细示出了在参考图片列表中包括的层间参考图片之中去除对于当前图片(当前块)的预测不是必需的图片或者将不是必需的图片标记为“不用于参考”的方法。

实施例vii-1

当指示层间预测的使用的信息仅在序列级别中发送时，可以应用表11。

<表11>

在表11中，direct_dependency_flag[i][j]指定多层结构中的层之间的依赖性。当direct_dependency_flag[i][j]等于0时，具有j索引的层不是用于具有i索引的层的预测的直接参考层。当direct_dependency_flag[i][j]等于1时，具有j索引的层是用于具有i索引的层的预测的直接参考层。

在表11中，max_sublayer_for_ilp_plus1[i]指定在层间预测中可以使用/参考的层i中的最大子层。当max_sublayer_for_ilp_plus1[i]等于0时，可以仅将随机存取点(rap)用于层间预测。当max_sublayer_for_ilp_plus1[i]大于0时，具有temporalid小于或等于max_sublayer_for_ilp_plus1[i]-1的图片可以用于层间预测。

该情况下，具有temporalid大于或等于max_sublayer_for_ilp_plus1[参考层的层id]的参考层中的层间参考图片未被包括在用于当前图片的参考图片集合中。这就是说，在本实施例中，具有temporalid大于或等于由max_sublayer_for_ilp_plus1[参考层的层id]指定的最大子层的temporalid的参考层中的图片未被包括在用于当前图片的参考图片列表中。

为此目的，可以如下修改重构层间参考图片的过程。

来自重构层间参考图片集合的过程的输出可以是层间参考图片的更新的列表，refpicsetinterlayer。列表refpicsetinterlayer首先被设定为空，并可以通过重构过程如表12地得到。

<表12>

在解码上层中的图片之后，满足下列条件时，具有低于上层的层id以及与上层相同的poc的dpb中的图片可以被标记为“不用于参考”或从dpb去除。

<条件>图片的temporalid大于max_sublayer_for_ilp_plus1[reflayerid[layeridinvps[nuh_layer_id]][i]]。

上述条件也可以如下应用：图片的temporalid大于max_sublayer_for_ilp_plus1指定的最大子层的temporalid。

该情况下，解码器可以从dpb去除图片或将图片标记为“不用于参考”，使得该图片在层间预测中不被参考。从dpb去除或标记为“不用于参考”的图片不被包括在用于层间预测的参考图片列表中。

实施例vii-2

在用于指示图片是否用于层间预测所需要的各种方法的示例中，可以使用两条信息，例如，ilp_flag和ilp_ref_flag。

表13示出了条带段报头中的信令ilp_flag和ilp_ref_flag的示例。

<表13>

在表13中，ilp_flag指示当前编译的图片是否可用于层间预测。ilp_ref_flag指示当前编译的图片是否被相同层中的其他图片之中的用于层间预测的图片参考或使用。

这里，当ilp_flag等于0时，ilp_flag指示的图片没有在层间预测中被参考/使用，并且从而没有被包括在用于当前图片的层间参考图片列表中。

为此目的，可以如下修改重构层间参考图片的过程。

来自重构层间参考图片集合的过程的输出可以是层间参考图片的更新的列表，refpicsetinterlayer。列表refpicsetinterlayer首先被设定为空，并可以通过重构过程如表14地得到。

<表14>

当使用两条信息指示层间预测时，在解码上层中的图片之后，满足下列条件时，具有低于上层的层id以及与上层相同的poc的dpb中的图片可以被标记为“不用于参考”或从dpb去除。

<条件>ilp_flag等于0并且ilp_ref_flag等于0，或者ilp_flag等于1并且ilp_ref_flag等于0。

从而，当ilp_ref_flag等于0时，解码器可以将由ilp_ref_flag指定的图片标记为“不用于参考”或从dpb去除该图片，使得该图片在层间预测中不被参考/使用。从dpb去除或标记为“不用于参考”的图片不被包括在用于层间预测的参考图片列表中。

同时，可以仅使用一条信息(need_for_ilp_flag)而不是两条信息(ilp_flag和ilp_ref_flag)，以指示图片对于层间预测是否是必需的。

表15示出了条带段报头中的信令need_for_ilp_flag的示例。

<表15>

在表15中，need_for_ilp_flag指示当前条带是否用于层间预测，或是否在相同层中的图片之中的用于层间预测所需的其他图片的层间预测中被参考或使用。这就是说，当need_for_ilp_flag等于1时，need_for_ilp_flag指示的图片在层间预测中被直接/间接使用/参考。当need_for_ilp_flag等于0时，need_for_ilp_flag指示的图片在间预测中不被直接/间接使用/参考。

从而，当need_for_ilp_flag等于0时，need_for_ilp_flag指示的图片没有在层间预测中被参考/使用，并且从而没有被包括在用于当前图片的层间参考图片列表中。

为此目的，可以如下修改重构层间参考图片的过程。

来自重构层间参考图片集合的过程的输出可以是层间参考图片的更新的列表，refpicsetinterlayer。列表refpicsetinterlayer首先被设定为空，并可以通过重构过程如表16地得到。

<表16>

从而，当使用一条信息(need_for_ilp_flag)指示层间预测时，在解码上层中的图片之后，满足下列条件时，具有低于上层的层id以及与上层相同的poc的dpb中的图片可以被标记为“不用于参考”或从dpb去除。

<条件>need_for_ilp_flag等于0

从而，当need_for_ilp_flag等于0时，解码器可以将由need_for_ilp_flag指定的图片标记为“不用于参考”或从dpb去除该图片，使得该图片在层间预测中不被参考/使用。从dpb去除或标记为“不用于参考”的图片不被包括在用于层间预测的参考图片列表中。

实施例vii-3

在实施例vii-3中，可以使用序列级别中的信令和图片级别中的信令这两者。

在实施例vii-3的示例中，可以如下修改重构层间参考图片的过程。

来自重构层间参考图片集合的过程的输出可以是层间参考图片的更新的列表，refpicsetinterlayer。列表refpicsetinterlayer首先被设定为空，并可以通过重构过程如表17地得到。

<表17>

在应用表17的示例中，在解码上层中的图片之后，满足下列条件时，具有低于上层的层id以及与上层相同的poc的dpb中的图片可以被标记为“不用于参考”或从dpb去除。

<条件>(1)图片的temporalid大于max_sublayer_for_ilp_plus1[reflayerid[layeridinvps[nuh_layer_id]][i]]，(2)ilp_flag等于0并且ilp_ref_flag等于0，或者(3)ilp_flag等于1并且ilp_ref_flag等于0。这里，(1)可以替换为图片的temporalid大于max_sublayer_for_ilp_plus1指定的最大子层的temporalid的条件，(2)和(3)可以替换为need_for_ilp_flag等于0的条件。

根据实施例vii-3的另一示例，示出重构层间参考图片集合的过程的表17可以替换为表18。

来自重构层间参考图片集合的过程的输出可以是层间参考图片的更新的列表，refpicsetinterlayer。列表refpicsetinterlayer首先被设定为空，并可以通过重构过程如表18地得到。

<表18>

图9是示意性地图示根据本发明的视频编码器的操作的示例的流程图。

参考图9，编码器可以在参考层中解码并存储图片(s910)。在支持多层结构的可缩放视频编译中，编码器可以在参考层中解码图片并在解码图片缓存(dpb)中存储解码的图片。参考层中已解码的图片可以是属于与当前层中待解码的图片相同的au的图片。

当参考层中的图片既没有在当前块的预测中被参考也没有在当前块的预测中被参考的参考层中的其他图片的预测中被参考时，解码器可以将该参考层中的图片标记为不用于参考。

该情况下，编码器可以向解码器发送关于既没有在当前块的预测中被参考也没有在当前块的预测中被参考的参考层中的其他图片的预测中被参考的图片的信息(例如，ilp_flag、ilp_ref_flag、need_for_ilp_flagemd)，将对其进行描述。

编码器可以将没有被标记为不用于参考的图片解码或存储。可替选地，解码器可以从存储器去除被标记为不用于参考的图片。

编码器可以得到用于当前块的预测的层间参考图片(s920)。编码器可以从参考层中的图片得到用于当前层中的当前图片的待解码的块(当前块)的参考图片(层间参考图片)。该情况下，考虑到相位和分辨率，编码器可以通过执行采样来得到层间参考图片。

编码器可以基于可用于当前块的预测中的参考或可用于在当前块的预测中被参考的参考层中的其他图片的预测中的参考的图片来得到层间参考图片。

这里，通过参考信息(例如，ilp_flag、ilp_ref_flag、need_for_ilp_flagemd)，可以向解码器发送关于既没有在当前块的预测中被参考也没有在当前块的预测中被参考的参考层中的其他图片的预测中被参考的图片的信息，将对其进行描述。

编码器可以构建用于当前块的预测的参考图片列表(s930)。依据当前条带(待解码条带)，参考图片列表可以是参考图片列表l0，或参考图片列表l0和参考图片列表l1。

参考图片列表可以包括在相同层(当前层)中作为当前图片的图片以及从不同于当前层的参考层得到的参考图片(层间参考图片)。这里，参考图片列表可以包括从单一参考层得到的单一层间参考图片或者从两个或更多个参考层得到的两个或更多个层间参考图片。

编码器可以基于参考图片列表得到当前块的预测采样(s940)。编码器可以使用参考图片列表中的至少一个图片在当前块上执行间预测。例如，编码器可以使用从参考层得到的层间参考图片来预测当前块。

编码器可以基于预测采样得到重构采样(s950)。编码器可以通过将预测采样与残留信号相加来得到重构采样。编码器可以通过当前块或当前图片得到重构采样。

编码器可以发送参考信息(s960)。编码器可以发送通过参考信息可用于层间预测的参考层中的图片的信息。例如，当参考层中的图片可用于在当前块的预测中的参考或者可用于在当前块的预测中被参考的参考层中的其他图片的预测中的参考时，参考信息可以指示该参考层中的图片可用于层间预测中的参考。可替选地，当参考层中的图片既没有在当前块的预测中被参考也没有在当前块的预测中被参考的参考层中的其他图片的预测中被参考时，参考信息可以指示该参考层中的图片在层间预测中未被参考。

编码器可以在条带段报头中发送用于当前图片的参考信息。可替选地，编码器可以在图片级别中发送用于当前图片的参考信息。

在发送信息时，除了参考信息之外，编码器可以发送作为原始信号与预测信号之间的差异的残留信息。

尽管已经描述了包括在多层结构中的当前块的预测的编码，但是本发明不限于此。编码的细节可以包括本说明书中描述的全部技术特征。

图10是示意性地图示根据本发明的视频解码器的操作的示例的流程图。

参考图10，解码器可以接收参考信息(s1010)。解码器可以从编码器接收指示参考层中的图片是否可用于层间预测的参考信息。

例如，当参考层中的图片可用于在当前块的预测中的参考或者可用于在当前块的预测中被参考的参考层中的其他图片的预测中的参考时，参考信息可以指示该参考层中的图片可用于层间预测。

可替选地，当参考层中的图片既没有在当前块的预测中被参考也没有在当前块的预测中被参考的参考层中的其他图片的预测中被参考时，参考信息可以指示该参考层中的图片在层间预测中未被使用。

解码器可以在参考层中解码并存储图片(s1020)。解码器可以将被参考信息指示为不可用于层间预测的图片标记为“不用于参考”。

解码器可以将没有被标记为不用于参考的图片解码或存储。可替选地，解码器可以从存储器(例如，dpb)去除被标记为不用于参考的图片。

解码器可以得到在当前块的预测中被参考的层间参考图片(s1030)。解码器可以从参考层中的解码图片得到在当前层中的当前块的预测中被参考的层间参考图片。

例如，解码器可以基于在参考层中的图片之中由参考信息指示为可用于层间预测的图片来得到层间参考图片。这里，解码器可以从单一参考层得到的单一层间参考图片或者从多个参考层得到的多个层间参考图片。

这里，由参考信息指示为不可用于层间预测的图片在操作s1020中被标记为“不用于参考”时，解码器可以从参考层中没有标记为不用于参考的图片得到层间参考图片。

另外，由参考信息指示为不可用于层间预测的图片在操作s1020中被标记为“不用于参考”并且从存储器去除了被标记的图片时，解码器可以从留在存储器中的参考层中的图片得到层间参考图片。

另外，在由当前图片指示为可用于层间预测的层中，解码器可以从由参考信息指示为可用于层间预测的图片得到层间预测图片。

这里，解码器可以从参考层中的图片之中与当前图片属于相同的au的图片得到层间参考图片。

解码器可以得到要被用于当前块的间预测的参考图片列表(s1040)。解码器可以构建包括层间参考图片和当前层中的参考图片的参考图片列表。

依据当前条带(待解码条带)，参考图片列表可以是参考图片列表l0，或参考图片列表l0和参考图片列表l1。

参考图片列表可以包括在相同层(当前层)中作为当前图片的图片以及从不同于当前层的参考层得到的参考图片(层间参考图片)。这里，参考图片列表可以包括从单一参考层得到的单一层间参考图片或者从两个或更多个参考层得到的两个或更多个层间参考图片。

解码器可以得到当前块的预测采样(s1050)。基于参考图片列表，解码器可以通过对当前层中的当前块进行预测来得到当前块的预测采样。

解码器可以基于预测采样得到重构采样(s1060)。解码器可以通过将预测采样与残留信号相加来得到重构采样。解码器可以通过当前块单元或当前图片单元得到重构采样。

在本说明书中，以混合的方式使用了术语“基层”和“空间基层”，并以混合的方式使用了术语“增强层”和“空间增强层”，这是为了描述方便。本发明的实施例并不限于空间基层和空间增强层。空间基层被用作其中将分辨率应用为基层的可缩放性的情况的示例，以及空间增强层被用作其中将分辨率应用为增强层的可缩放性的情况的示例。应当注意，除了分辨率之外，本发明的实施例可以以相同的方式应用到上述各种可缩放性(视图、比特率、帧率等)。

在本说明书中，为方便描述而以混合方式使用了表述“在(层)间预测中被参考”、“在(层)间预测中被使用或用于(层)间预测”以及“用于(层)间预测所需要”。这些表述既不是矛盾表述也不是互斥表述，而是指向相同的含义。另外，可以在这些表述之间建立包括关系。详细地，表述“在层间预测中被使用或用于层间预测”以及“用于层间预测所需要”可以包括表述“在用于待预测的图片(块)的预测的直接参考图片的预测中被参考”。

nal单元报头和条带段报头的一般性

使用：包括间接参考

尽管基于包括一系列步骤或块的流程图描述了上述示例系统中的方法，但是本发明不限于步骤的顺序，并且特定步骤可以以不同于前述的步骤或顺序执行，或如前述地同时执行。因为上述实施例可以包括各种示例，所以实施例的组合也可以被理解为实施例。因此，本发明包括属于所附权利要求的全部替换、修正和修改。