分层信号解码和信号重构的制作方法

分层信号解码和信号重构的制作方法
【专利摘要】一种解码器将第一组数据解码并利用第一组已解码数据以根据第一质量水平来重构信号。该解码器还将第二组数据解码并识别由第二组已解码数据指定的向上采样操作。该解码器将在第二组已解码数据中识别的向上采样操作应用于以第一质量水平重构的信号，以便以第二、较高质量水平重构信号。为了增强重构的信号，该解码器从第二组已解码数据检索残余数据。该残余数据指示如何在如上文所讨论的向上采样操作的应用之后修改以第二质量水平重构的信号。该解码器然后如残余数据所指定的那样修改以第二质量水平重构的信号。
【专利说明】分层信号解码和信号重构【背景技术】
[0001]CPU (中央处理单元)效率在信号的编码和解码期间都很重要。最近一代的处理器正在变得越来越并行，其中在每个单个芯片上达到几百个简单核心。
[0002]不幸的是，本质上，传统MPEG (运动图像专家组)系列编解码器在结构上是非并行的。这源自于下述事实:其是基于块的，并且必须顺序地对每个图像块进行编码和解码，这是因为为了实现高效的压缩，必须使得所有块以某种方式相互依赖。经由所谓的“切片”(基本上，被相互独立地处理的图像片段，如同其是一个接一个地放置的单独视频一样)到MPEG编码中的引入，H.264标准允许几个线程(通常是2或3个线程)的并行处理。诸如去块(de-blocking)之类的重要算法元素(即，使块之间的过渡“平滑”以创建更均匀图像的滤波器)通常是充满条件指令的全局运算，这不适合于包括并行CPU的应用。
[0003]现今的CPU和GPU (图形处理单元)通常是非常强大的；单个GPU能够包括数百个计算核心以执行信息的并行处理。当使用当前技术时，能够将图像的较大部分存储在处理器高速缓存中以用于处理。将图像分裂成大量的小块的需要不再适用于现代CPU和GPU，其为创建MPEG时的驱动因素，因为来自那个时代的处理器每次可能仅处理非常小的视频数据块，并且然后仅顺序地进行处理。因此，当实现类似于MPEG的类型的编码/解码时，大部分的可用处理能力可能变得不可使用，其中分块伪迹被不必要地引入到信号中。并且，与当开发MPEG时盛行的内容相比，现代应用通常要求高得多的定义视频编码和高得多的总体重放质量。在高清晰度(HD)、高质量视频中，在具有低细节(潜在地甚至失焦)的区域与具有非常细微的细节的区域之间存在大得多的差异。这使得诸如在MPEG中使用的那些变换之类的频域变换的使用甚至更加不适合于图像处理和重放，因为相关频率的范围正在变得宽得多。
[0004]另外，较高分辨率图像包括较高量的摄像机噪声和/或胶片颗粒，即对于观察而言可能相当不相关且要求许多位以进行编码的非常详细的高频像素过渡。
`[0005]最后，传统编解码器不适合于高效地执行3D或体积成像，其在诸如医学成像、科学成像等领域中正在变得越来越重要。
[0006]大多数目标设备现今支持不同的重放分辨率和质量。所谓的SVC (可扩缩视频编码)(可扩缩性的当前MPEG标准)尚未被行业有利地接收，并显示出极少到不存在的采用率，因为其被认为过于复杂且有点带宽低效。
[0007]此外，已编码视频是大量的；即，内容提供商通常没有时间利用每个特定视频流对编码器参数和实验进行定制。当前，内容提供商不喜欢必须手动地对许多编码参数进行调节(tweak)(每当执行编码并检验结果的质量时)以便成功地对视频进行编码。
[0008]作为编码/解码的MPEG标准的替换，所谓的图像金字塔已被用于编码/解码目的。例如，使用拉普拉斯金字塔，常规系统已使用高斯滤波器且然后构建通过利用刚性编程的解码器从较低分辨率水平向上采样回到原始水平而获得的图像之间的差异的金字塔，来创建较低分辨率图像。
[0009]常规拉普拉斯金字塔编码的使用已被放弃。这种变换的一个缺点是创作者始终尝试避免向下采样图像中的失真/伪迹，因此其始终使用高斯滤波，因为其是不添加其自身的任何信息的唯一类型的滤波器。然而，高斯滤波存在的不能克服的问题是:其引入了模糊效应，使得当上扩回到较大分辨率时，需要过度量的图像校正信息以再现原始图像。

【发明内容】

[0010]本文中的实施例相对于常规系统和方法偏离。例如,本文中的实施例涉及处理和再现诸如图像信息及其他类型的已编码信息之类的信号的独特方式。
[0011]更具体地，本文所述的非限制性实施例包括以层级中的连续较高质量水平重构信号。例如，根据一个实施例，解码器对第一组数据进行解码并利用该第一组已解码数据以根据第一质量水平来重构信号。解码器对第二组数据进行解码并识别由第二组已解码数据指定的向上采样操作以及也由第二组已解码数据指定的比例因数。解码器然后将在第二组已解码数据中识别的向上采样操作和比例因数应用于以第一质量水平重构的信号，以便以第二质量水平重构信号。在本示例中，第二质量水平在质量方面高于第一质量水平。以这种方式，一组已解码数据指示如何执行从一个层到下一个层的向上采样。
[0012]根据其他实施例，为了增强以各质量水平重构的信号，还能够将解码器配置成从第二组已解码数据检索残余数据。该残余数据能够指示如何在如上文所讨论的向上采样操作的应用之后修改以第二质量水平重构的信号。解码器如残余数据所指定的那样修改以第二质量水平重构的信号。
[0013]解码器能够针对层级中的多个质量水平中的每一个重复上述处理。例如,针对高于第二质量水平的多个质量水平中的每一个，解码器重复以下步骤:在高于最后处理质量水平的层级中将下一较高数据组解码；识别由下一较高已解码数据组指定的向上采样操作和比例因数；应用在下一较高已解码数据组中识别的向上采样操作和比例因数以便以下一较高质量水平重构信号；识别由下一较高已解码数据组指定的残余信息和/或残余特性；应用残余信息来修改以下一较高质量水平重构的信号。
[0014]请注意，如本文所讨论的信号能够是任何适当类型的，包括多维信号。作为非限制性示例，信号能够是图像(例如，画面、视频帧、运动图、医学/科学图像等)、体积信号(例如，医学/科学体积成像、全息成像、全光/光场成像等)、以多于三个维度为特征的信号、基于时间的信号(例如，音频信号、视频信号等)等。为了简单起见，本文所示的实施例常常指代作为2D设置平面(例如，适当色彩空间中的2D图像)显示的图像，诸如例如画面。然而，相同的概念和方法也适用于任何其他类型的信号。
[0015]由于该原因，在本文中，我们会将处于给定分辨率的信号的基本元素称为“信号元素”或“平面元素”(“图素(pel)”):每个图素表示多维空间中的规则网格上的值。对于2D图像而言，图素也常常称为“像素”(画面元素)，而对于3D图像而言，图素也称为“体素(voxel)”(体积画面元素)。信号的分辨率定义了对于网格的每个维度而言存在的图素的数目。如本文所讨论的信号还能够表示以多个平面/分量(例如，亮度和色度、RGB、HSV等)为特征的更复杂信号的平面/分量中的仅一个。
[0016]在一个实施例中，信号包括用于重构图像的图像数据。根据这种实施例，解码器基于分层的各组已编码数据、以更高分辨率或更高质量水平重构信号，以最终重构原始图像或原始图像的接近拷贝以用于重放。在某些情况下，能够显示较低质量水平的图像(例如，以在层级中低于最高可能分辨率的水平重构的信号)以用于观察，例如当输出设备不能显示全原始分辨率时或者当用于传输的带宽受限时。
[0017]下面更详细地讨论这些及其他实施例变型。
[0018]如上所述，请注意，本文中的实施例能够包括一个或多个计算机化设备、路由器、网络、工作站、手持式或膝上型计算机等的配置以执行和/或支持本文公开的任何或所有方法操作。换言之，能够将一个或多个计算机化设备或处理器编程和/或配置为如本文所解释的那样操作以执行不同的实施例。
[0019]除如上文所讨论的解码器和处理之外，本文中的其他实施例包括软件程序以执行在上文概述且在下面详细地公开的步骤和操作。一个这种实施例包括计算机可读、硬件存储资源(即，非瞬变计算机可读介质)，其包括在其上编码的计算机程序逻辑、指令等，其当在具有处理器和相应存储器的计算机化设备中执行时将处理器编程为和/或促使处理器执行本文公开的任何操作。这种布置能够被提供为在诸如光学介质(例如，CD-ROM)、软盘或硬盘之类的计算机可读介质或诸如一个或多个ROM或RAM或PROM芯片中的固件或微代码之类的其他介质上布置或编码的软件、代码和/或其他数据(例如数据结构)，或者被提供为专用集成电路(ASIC)。能够将软件或固件或其他这种配置安装到计算机化设备上以促使计算机化设备执行本文所解释的技术。
[0020]相应地，本公开的一个特定实施例涉及一种计算机程序产品，其包括具有存储在其上以支持信号处理操作的计算机可读硬件存储介质。例如，在一个实施例中，指令在由各计算机设备的处理器执行时促使处理器:将第一组数据解码；利用第一组已解码数据以根据第一质量水平来重构信号；将第二组数据解码；识别由第二组已解码数据指定的向上采样操作和比例因数；以及以第一质量水平将在第二组已解码数据中识别的向上采样操作和比例因数应用于重构的信号，以便以第二质量水平重构信号，第二质量水平高于第一质量水平。
[0021]步骤的排序是为了清楚起见而添加的。这些步骤能够按照任何适当的顺序来执行。
[0022]本公开的其他实施例包括软件程序、固件和/或相应硬件以执行在上文概述且在下面详细地公开的任何方法实施例步骤和操作。
[0023]并且，应理解的是，能够将如本文所讨论的系统、方法、设备、计算机可读存储介质上的指令等严格地体现为软件程序、体现为软件、固件和/或硬件的混合或者单独地体现为硬件，诸如在处理器内或在操作系统内或在软件应用内等。如上文所讨论的，本文中的技术非常适合于在处理信号的软件、固件和/或硬件应用中使用。然而，应注意的是，本文中的实施例不限于在这种应用中使用，并且本文所讨论的技术也非常适合于其他应用。
[0024]另外，请注意，虽然可在本公开的不同地方讨论本文中的不同特征、技术、配置等中的每一个，但意图在于能够相互独立地或相互组合地执行每个概念。相应地，能够以许多不同的方式来体现和查看如本文所述的一个或多个本发明、实施例等。
[0025]并且，请注意，本文中的实施例的此初步讨论并未指定每个实施例和/或递增地本公开或要求保护的(一个或多个)发明的新型方面。替代地，本简要描述仅提出相比于常规技术的新颖性的一般实施例和相应点。针对(一个或多个)发明的附加细节和/或可能观点(变换)，读者被引导至如下面进一步讨论的本公开的【具体实施方式】部分和相应的图。【专利附图】

【附图说明】
[0026]根据如附图中所示的本文中的优选实施例的以下更特定描述，本发明的前述及其他目的、特征和优点将变得显而易见，在附图中，相似的附图标记遍及不同的图指代相同部分。附图不一定按比例绘制，而是着重于图示实施例、原理、概念等。
[0027]图1是根据本文中的实施例的编码器和相应已编码数据的示例图。
[0028]图2是图示出根据本文中的实施例的对信号进行编码和解码的过程的示例图。
[0029]图3是图示出根据本文中的实施例的处于层级中的不同质量水平的包括图像信息的信号的扩展的示例图。
[0030]图4是图示出根据本文中的实施例的对信号进行解码和重构的示例图。
[0031]图5是图示出根据本文中的实施例的将较低分辨率图像向上采样至较高分辨率图像的示例图。
[0032]图6是图示出根据本文中的实施例的将较低分辨率图像向上采样至较高分辨率图像的示例图。
[0033]图7是图示出根据本文中的实施例的将较低分辨率图像向上采样至较高分辨率图像的示例图。
[0034]图8是图示出根据本文中的实施例的用于执行计算机代码、固件、软件、应用、逻辑等的示例计算机架构的图。
[0035]图9是图示出根据本文中的实施例的重构信号的示例方法的流程图。
[0036]图10和11组合以形成图示出根据本文中的实施例的重构信号的更具体示例方法的流程图。
【具体实施方式】
[0037]如上文所讨论的，以非限制性示例的方式，解码器将第一组数据解码并利用该第一组已解码数据以根据第一质量水平来重构信号。解码器还将第二组数据解码并识别由第二组已解码数据指定的向上采样操作以及比例因数。该解码器然后将在第二组已解码数据中识别的向上采样操作和比例因数应用于以第一质量水平重构的信号，以便以第二较高质量水平重构信号。为了增强重构信号，解码器从第二组已解码数据检索残余数据。该残余数据指示如何在如上文所讨论的向上采样操作和比例因数的应用之后修改以第二质量水平重构的信号。解码器然后如残余数据所指定的那样修改以第二质量水平重构的信号。能够将解码器配置成重复以更高的质量水平重构信号的此过程。
[0038]图1是图示出根据本文中的实施例的编码器和相应的各组已编码数据的生成的示例图。
[0039]在操作期间，编码环境100中的编码器140处理信号115以产生已编码数据150。请注意，由编码器140编码的信号115能够是任何适当类型的数据信息。
[0040]以非限制性示例的方式，信号115能够是图像数据、符号等，指示各图像中的多个信号元素(例如，图素/平面元素、像素/画面元素、体素/体积画面元素等)中的每一个的设置。如已提到的，图像能够是二维的(例如，画面、视频帧、2D运动图等)、三维的(例如，3D/体积图像、全息图像、CAT扫描、医学/科学图像、3D运动图等)或者甚至以多于三个维度为特征。根据这种实施例，信号元素(如信号115所指定)的设置指示如何重构各图像以在设备上重放。
[0041]由编码器140产生的已编码数据150包括已编码数据的层级，包括已编码数据组150-1、已编码数据组150-2、已编码数据组150-3等。
[0042]一般地，处于层级中的各质量水平的每组已编码数据定义如何针对各质量水平重构信号，并且还是以较高质量水平重构信号的基础。如下面所讨论的，使用一组已编码数据以各质量水平重构信号115能够取决于以下一较低质量水平重构信号。
[0043]更具体地，根据一个实施例，每组已编码数据150包括各组的一个或多个操作和/或各自的残余数据以用于以特定质量水平进行重构。例如，已编码数据组150-1能够包括一个或多个操作160-1和残余数据170-1 ;已编码数据组150-2能够包括一个或多个操作160-2和残余数据170-2 ；已编码数据组150-3能够包括一个或多个操作160-3和残余数据170-3 等。
[0044]为了产生各组已编码数据150，编码器140应用向下采样操作以将接收信号115降低至较低质量水平。例如，编码器将原始图像信息降低至层级中的较低分辨率图像信息。由编码器140产生的已编码数据150指示如何将处于较低质量水平的信号115重构成处于下一较高质量水平的信号。编码器140在层级中的每个连续较低分辨率或质量水平下重复该过程。
[0045]如前所述，除指定一个或多个操作之外，已编码数据150能够包括残余数据170。在一个实施例中，给定水平的残余数据指定如何修改以各质量水平重构的信号。能够执行以给定质量水平重构的信号的修改，以增强重构的信号的准确度，以更好的形式放置重构的信号以便以较高质量水平进行后续向上采样等。请注意，一组已编码数据可以可选地不包括任何残余数据或任何操作。在这种情况下，解码器基于当重构先前的质量水平时建立的默认参数来以较高质量水平执行信号的向上采样操作和重构。
[0046]在一个实施例中，如稍后在本说明书中将讨论的，层级中的最低水平的已编码数据能够用来产生用于重构信号115的各较高质量水平的起始点。能够将已编码数据的下一水平(刚好高于最低质量水平)应用于以最低质量水平重构的信号，以产生较高信号质量。在层级中的连续较高水平处应用每组数据能够产生越来越高分辨率的图像。
[0047]请注意，仅以非限制性示例的方式示出了对各组的一个或多个图像操作160和/或残余数据170的包括，并且处于层级中的特定水平的各组已编码数据150可以不指定任何操作160或包括任何残余数据170。
[0048]图2是图示出根据本文中的实施例的编码过程的示例图。在本示例中，假设图2中的原始图像210由信号115定义。也就是说，信号115指示如何设置多个图像元素(例如，1920X1080图像元素)的群组中的每个图像元素。
[0049]在原始图像210的编码期间，编码器140在水平M处执行向下采样操作以如所示的那样在水平M-1处产生层级中的下一较低分辨率图像；以及处于水平M-1的图像，编码器140在水平M-1处执行另一向下采样操作以在水平M-2处产生层级中的下一较低分辨率图像；以此类推。
[0050]如先前所讨论的，在每个相应的质量水平处，编码器140产生各组已编码数据以将较低分辨率或较低质量水平信号转换成下一较高分辨率或质量信号。[0051]根据一个实施例，编码器140基于期望的比例因数从一个质量水平向下采样至下一个。例如，以非限制性示例的方式，图2图示出下述技术:其实现2:1的比例因数以获得从水平M至水平M-1 ;从水平M-1至水平M-2等等的下一较低水平分辨率。在本示例中，基于2:1比例因数，将从一个质量水平到下一较低质量水平的信号的每个维度欠采样为1/2。在每个连续较低水平处，编码器140将AXB的分辨率降低至A/2XB/2的分辨率、至A/4XB/4的分辨率等。
[0052]请注意，能够将编码器140配置成将比例因数动态地从一个质量水平改变至下一个，以使得编码和/或解码更高效。用于每个质量水平的比例因数信息能够存储在各组已编码数据中。
[0053]在一个实施例中，基于诸如YUV、RGB或HSV之类的色彩空间标准，分别将图像元素的每个色彩分量编成代码，虽然当定义图像时，能够根据任何适当的格式来对信号115的属性进行编码。
[0054]为了允许向连续较低质量水平的必要向下采样，能够根据需要在各质量水平处添加或去除新的图像元素。例如，图像的元素的添加能够包括:对图像的边界进行复制或镜像以将图像调整至可观看元素的适当尺寸的域(field)。例如，在视频信号且2:1比例因数的情况下，向下采样趋向于非常适合于具有容易地基于2的幂扩缩的各水平和垂直尺寸的图像。
[0055]为了促进向下采样，如在质量水平M-3和M-3*处所示，编码器140能够通过根据需要添加或删除图像元素的行或列来调整处于每个水平的分辨率维度，使得能够从一个水平至下一个容易地对图像进行扩缩。
[0056]更具体地，在一个实施例中，为了调整向下采样图像的分辨率，编码器140通过如所示的那样对行或列进行复制或镜像并在图像的周界位置处或周围拷贝该行或列来添加行和/或列(根据需要调整哪个维度)。在一个实施例中，在向下采样期间，能够对处于水平M-3的图像元素的边界行(诸如最底行)进行拷贝或镜像并将其添加到水平M-3的底行，以便产生用于水平M-3*的图像以改变其维度。然后，能够基于2的幂，进一步将处于水平M-3*的图像向下采样至水平M-4。也就是说，能够将处于水平M-3*的图像从240图像元素X 136图像元素向下采样至具有120图像元素X68图像元素的尺寸的水平M-4。
[0057]图3是图示出根据本文中的实施例的处于不同水平的图像元素的扩展的示例图。
[0058]通过对较低水平进行向上采样(使用稍后描述的特定操作)且通过对(利用稍后描述的操作编码和发射的)必要残余进行解码来重构层级230中的较高质量水平。在一个实施例中，不必须使得用来向上采样(例如，在解码侧)的核/操作属于用来向下采样(例如，在编码侧)的相同类型的核/操作。并且，不必须使得用来获得较低水平的操作甚至是滤波器(线性或非线性):其实际上可以是技术的组合。换言之，如本文所讨论的编码和相应解码过程可以是不对称的。在一个实施例中，在每个质量水平处利用一个或多个操作对信号115进行编码，从而减小在向上采样之后应用的各残余数据的熵，如稍后在本说明书中将讨论的。这可以减少重构原始信号115所需的数据量。
[0059]根据一个实施例，使用已调节的双线性滤波器(其从实验来看似乎是最好地保存信息(即使结果得到的信号不是“看起来最好的”)的核/操作中的一个)或三线性滤波器从较高水平(向下采样路径)获得较低质量水平。换言之，在较低分辨率处，重构信号115可能不是原始图像的完美再现。处于层级中的较低质量水平的已编码信号115能够包括伪迹。
[0060]在一个实施例中，对在编码期间应用双线性滤波器的结果进行调节，从而当我们向上采样回到较高水平时最小化残余的熵。减小用于质量水平中的一个或多个的残余数据的熵能够减少以高质量水平重构信号所需的数据总量。在一个实施例中，编码/解码在某种程度上是有损的。然而，使用已编码数据对信号进行的重构能够是信号115的原始版本的接近完美复制品。
[0061]在一个实施例中，从较低水平进行的以较高水平对信号115的重构包括利用一个或多个向上采样方法的组合，诸如双三次或三三次滤波器操作、非锐化掩模滤波器操作、去混合滤波器操作等。例如，在编码期间，编码器140能够指定要被包括在各组已编码数据中的一个或多个操作，所述各组已编码数据要被用于在解码过程期间将重构信号从一个质量水平向上采样至下一个。针对各水平，并且在必要时针对每个信号元素，编码器140能够选择要在层级中的每个质量水平处被解码器应用于重构信号的没有、一个或多个向上采样操作(例如，双三次或三三次滤波器操作、去混合滤波器、非锐化掩模滤波器等)。
[0062]图4是图示出根据本文中的实施例的用于以不同质量水平重构信号的已编码数据的解码的示例图。
[0063]以如先前所讨论的方式，编码器140产生已编码数据组425以重构各信号115。如所示，沿着层级向上，已编码数据组425-1包括一组残余数据470-1 ；已编码数据组425-2包括操作460-2和残余数据470-2 ;已编码数据组425-3包括操作460-3和残余数据470-3 ；以此类推。
[0064]如所示，解码环境400中的解码器440利用分级的各组已编码数据425来以不同的质量水平重构各信号115。如先前所讨论的，本文中的一个实施例包括基于将各组已编码数据425解码来以层级中的连续较高质量水平重构信号115。已解码数据指示如何执行从一个层到下一个的向上采样和后续残余修改。
[0065]根据这种实施例，解码器440将第一组已编码数据425-1解码，并利用第一组已解码数据以根据第一质量水平(例如，水平J)产生重构信号450-1。在本示例中假设水平J是最低质量水平并且已编码数据组425-1包括诸如残余数据470-1之类的适当数据以产生重构信号450-1，其为层级中的最低质量水平。此重构信号450-1 (例如，低质量水平)提供向上采样至层级中的更高质量水平的基础。解码器440然后将第二组已编码数据425-2解码以用于层级中的质量水平J+1处的处理。基于来自已编码数据组425-2的已解码数据，解码器440向重构信号450-1应用一个或多个操作460-2 (例如，向上米样操作UJ+1)以产生处于J+1质量水平的重构信号451-1。在本不例中，重构信号451-1 (例如，处于J+1质量水平)在质量方面闻于以J质量水平重构的/[目号450-1。
[0066]根据其他实施例，为了增强以相应质量水平重构的信号，能够将解码器440配置成从已编码数据425-2检索并应用残余数据470-2。
[0067]在示例实施例中，解码器440实现多标度熵解码以增强重构信号。例如，在这种实施例中，解码器如已解码的已编码数据组425-2指定的那样识别残余数据470-2。以非限制性示例的方式，解码器440能够利用多标度熵解码器来将残余数据470-2解码。已解码残余数据指定如何修改以第二质量水平重构的信号的特定元素。例如，解码器440以如残余数据470-2所指定的方式修改以质量水平J+1重构的信号451-1的元素。
[0068]更具体地，与质量水平J+1相关联的残余数据470-2指示如何在如上文所讨论的一个或多个向上采样操作460-2 (例如，向上采样操作UJ+1)的应用之后修改重构信号451-1。也就是说，残余数据470-2指示如何修改重构信号451-1的特定部分以产生重构信号451-2。经由进一步处理，解码器440以如残余数据470-2所指定的方式修改重构信号451-1，以产生以质量水平J+1重构的信号451-2。
[0069]在如上文所讨论的质量水平J+1处的处理之后，解码器440然后将已编码数据组425-3解码以用于层级中的质量水平J+2处的处理。基于已编码数据组425-3中的信息，解码器440将在已编码数据组425-3中识别的一个或多个操作460-3(例如，向上采样操作UJ+2)应用于以质量水平J+1重构的信号451-2，以产生以质量水平J+2重构的信号452-1。在本示例中，重构信号452-1的J+2质量水平在质量方面高于以J+1质量水平重构的信号451-2。
[0070]在应用操作460-3之后，解码器440从已编码数据425_3检索残余数据470-3。与质量水平J+2相关联的残余数据470-3指示如何在如上文所讨论的一个或多个向上采样操作460-3 (例如，向上采样操作Uj+2)的应用之后修改重构信号452-1。也就是说，残余数据470-3指示如何修改重构信号452-1的特定部分以产生重构信号452-2。经由进一步经由操作Rj+2的处理，解码器440以如残余数据470-3所指定的方式修改重构信号452-1，以产生重构信号452-2。
[0071]能够将解码器440配置成针对层级中的多个质量水平中的每一个重复以上处理。例如，针对高于J+2质量水平的多个质量水平中的每一个，解码器440重复下述步骤:在高于最后处理的质量水平的层级中将下一较高已编码数据组解码；基于下一较高已解码数据组的内容来识别一个或多个向上采样操作；应用基于下一较高已解码数据组的内容而识别的一个或多个向上采样操作(如果有的话)，以便以下一较高质量水平重构信号；识别由下一较高已解码数据组指定的残余信息和/或残余特性(如果有的话)；应用该残余信息来修改以下一较高质量水平重构的信号。能够重复此过程直至解码器重构信号115的复制品或接近复制品。
[0072]能够将解码器440配置成:如果未针对层级中的质量水平指定操作和/或残余数据，则使用默认向上采样操作和/或残余数据来以不同质量水平重构信号。在一个实施例中，基于用来重构信号的相同部分的较低质量水平的操作和/或残余数据来获得这种默认值。
[0073]请注意，信号115能够属于任何适当类型的数据。然而，在如所提及的一个实施例中，信号115包括图像数据。根据这种实施例，解码器440基于分层的各组已编码数据来以更高分辨率或更高质量水平重构原始信号115，以最终重构图像以用于重放(或将要用于其他目的)。在某些情况下，如果不必须或不可能重构具有与原始信号115相同分辨率的版本，则能够显示较低质量水平图像(例如，以层级中低于最高可能分辨率的水平重构的信号)以用于观看(或用于其他目的)。
[0074]在一个实施例中，解码器440或其他适当资源根据以较高可能水平或所选质量水平重构的信号来发起图像信息在显示屏设备上的显示。
[0075]图5是图示出根据本文中的实施例的将较低分辨率图像向上采样至较高分辨率图像的示例图。在本非限制性示例中假设信号115和相应的已编码数据425指示如何将较低分辨率图像转换或扩展成较高分辨率图像。
[0076]以非限制性示例的方式，假设各组已编码数据指示如何在每个质量水平处控制图像元素的设置。例如，处于质量水平J的图像510-1包括图像元素域W ;处于质量水平J+1的图像510-2包括图像元素域X ；图像510-3包括图像元素域Y ;等等。假设重构信号450-1指定如何控制图像510-1中的图像元素W的设置；重构信号451-2指定如何控制图像510-2中的图像元素X的设置；重构信号452-2指定如何控制图像元素Y的设置；以此类推。因此，图4中的解码能够用来将图像信息解码并根据不同的质量水平产生原始信号115的不同再现。
[0077]随后的图6和7更特别地指示了如何执行向上采样和应用残余数据。
[0078]例如，图6是图示出根据本文中的实施例的将较低分辨率图像向上采样成较高分辨率图像的简单示例的图。
[0079]在本示例中，假设已编码数据组425-1指示如何产生重构信号450-1。重构信号
450-1如下指示图像元素的显示设置:图像元素Wl= 100、图像元素W2 = 92、图像元素W3=98、图像元素W4 = 20。以类似方式，从图4中的已编码数据组425-2导出的重构信号
451-1指示如图6中所示的图像620-1中的图像元素的显示设置；图4中的重构信号451-2指示如图6中所示的图像620-2中的图像元素的显示设置。
[0080]因此，在本非限制性示例中，图像610是重构信号450-1的表示；图像620-1是重构信号451-1的表示；图像620-2是重构信号451-2的表示；以此类推。
[0081]如先前所讨论的，用于质量水平J+1的操作460-2指示如何在图4中的步骤Up1处进行向上采样。在本示例中，假设向上采样操作460-2指示将图像610的图像元素Wl转换成具有相同值100的四个图像元素。因此，经由由解码器440进行的向上采样操作的应用导致图像元素Wl到相同值的四个图像元素X1、X2、X3和X4的扩展。以类似方式，如所示的那样将其他图像元素W2、W3和W4中的每一个扩展至相同值的四个相应图像元素。
[0082]请注意，单个图像元素到四个图像元素的扩展仅仅是以非限制性示例的方式示出的，并且图像元素从一个质量水平到下一个的扩展的量能够根据实施例而变化。例如，当从一个质量水平向上采样至下一个时，能够将单个图像元素扩展成任何数目的适当图像元素(例如，不仅仅四个图像元素)，并且，能够应用适当的滤波核/操作来使图像平滑而不是简单地复制元素值。并且，请注意，图像610、图像620-1、图像620-2可以表示处于各质量水平的总体图像元素组的仅一部分。
[0083]经由修改操作RJ+1中的残余数据470-2 (例如，差数据的矩阵)的应用，解码器440应用残余数据组470-2来修改与图像元素620-1相关联的设置。例如，解码器440通过向图像620-1中的图像元素值添加残余数据矩阵470-2中的偏移或差值来调整图像620-1中的图像元素的值，以产生如所示的图像620-2。
[0084]图7是图示出根据本文中的实施例的将较低分辨率图像向上采样至较高分辨率图像的示例图。然而，不同于图6中的示例，图7中的本示例包括:根据所应用的向上采样操作将单个图像元素扩展成不同值的多个图像元素。
[0085]在本示例中，假设已编码数据组425-1指示如何产生重构信号450-1。重构信号450-1如下指示图像710中的图像元素的显示设置:图像元素Wl = 100、图像元素W2 = 92、图像元素W3 = 98、图像元素W4 = 20。以类似方式,在本示例中，图4中的重构信号451-1指示如图7中所示的图像720-1中的图像元素的显示设置。图4中的重构信号451-2指示如图7中所示的图像720-2中的图像元素的显示设置。
[0086]因此，在本非限制性示例中，图像710是重构信号450-1的表示；图像720-1是重构信号451-1的表示；图像720-2是重构信号451-2的表示；以此类推。
[0087]如先前所讨论的，用于质量水平J+1的操作460-2指示如何在图4中的步骤Up1处进行向上采样。假设本示例中的向上采样操作460-2指示如何将图像610的图像元素Wl转换成具有不同值的四个图像元素。例如，由解码器440进行的操作460-2的执行将图像元素Wl转换成图像720-1中的四个不同值的图像元素:X1 = 100、X2 = 100、X3 = 100和X4 = 95。因此，在本示例中，作为将图像元素Wl = 100扩展成被设置成100的四个图像元素(例如，X1、X2、X3和X4)的替代，解码器440将X1、X2、X3和X4设置成与Wl的值不同的值。
[0088]在一个实施例中，解码器440应用诸如双三次或三三次滤波器操作、去混合滤波器、非锐化掩模滤波器等一个或多个操作，以将单个信号元素扩展成具有不同显示设置值的多个信号元素。能够至少部分地基于相邻信号元素的设置来选择被分配给扩展元素的值。
[0089]如上所述，信号元素的值指示任何信息，诸如色彩、色调、亮度等，使得各显示设备能够向用户显示图像。
[0090]以类似方式，如图7中所示，将每个其他图像元素W2、W3和W4扩展成相同或不同值的四个相应图像元素。
[0091]再次请注意，单个图像元素到四个图像元素的扩展仅仅是以非限制性示例的方式示出的，并且图像元素从一个质量水平到下一个的扩展的量能够根据实施例而变化。例如，当从一个质量水平向上采样至下一个时，能够将单个图像元素扩展成任何数目的适当图像元素(例如，不仅仅四个图像元素)。并且，图710、图像720-1、图像720-2可以表示处于各质量水平的总体图像元素组的仅一部分。
[0092]在应用如上所讨论的一个或多个向上采样操作以扩展图像元素之后，解码器对图像720-1应用残余数据470-2以产生图像720-2。在修改操作RJ+1中使用残余数据470-2(例如，差数据的矩阵)，解码器440应用残余数据组470-2来修改与图像元素720-1相关联的设置。例如，解码器440通过向图像720-1中的图像元素值添加残余数据矩阵470-2中的偏移或差值来调整图像720-1中的图像元素的值，以产生如所示的图像720-2。如上所述，解码器在层级中的不同质量水平处重复这些步骤以重构信号115。
[0093]在不同质量水平处对不同向上采样操作的使用
根据一个实施例，已编码数据组能够指定不同的向上采样操作以在不同的水平处应用，以便重构各信号115。例如，已编码数据组425-2可以指定在其中(例如，Up2)从质量水平J+1向上采样至质量水平J+2的第一向上采样，诸如双三次或三三次滤波器操作。已编码数据组425-3可指定在其中(例如，％+3)从质量水平J+2向上采样至质量水平J+3的第二向上采样，诸如去混合滤波器操作；以此类推。在每个质量水平处指定并应用不同向上采样操作(或其组合)的能力提供了灵活性，因为不要求解码器440使用仅默认向上采样操作来重构信号。[0094]在多个质量水平处对相同的一个或多个向上采样操作的使用
根据另一实施例，能够在连续较高的质量水平处使用被指定为供在一个质量水平处使用的向上采样操作，以重构各信号115。例如，能够将解码器440配置成应用如已编码数据组425-2指定的一个或多个向上采样操作以便以质量水平J+2重构信号115，如先前所讨论。
[0095]已编码数据组425-3 (例如，较高质量水平)可以不指定任何向上采样操作。根据这种实施例，能够将解码器440配置成以较高质量水平重构信号115，直至用于较高质量水平的各组已解码数据指示中断向上采样操作的应用为止和/或直至处于较高质量水平的一组已编码数据指示应用不同的一组一个或多个向上采样操作为止。
[0096]因此，本文中的实施例能够包括在较高质量水平处将一组已编码数据解码。响应于识别出处于较高质量水平的已编码数据组未指定特定的向上采样操作，解码器440将在较低质量水平处使用的向上采样操作应用于以较高质量水平重构信号。
[0097]在多个质量水平处对残余数据的使用
根据其他实施例，能够在连续较高的质量水平处使用被指定为供在一个质量水平处使用的残余数据以重构各信号115，直至较高质量水平指示使用不同的残余数据或者较高质量水平指示中断残余数据的应用为止。例如，解码器440能够从处于特定质量水平的一组已解码数据检索残余数据。如先前所讨论的，残余数据指示如何在所指定的向上采样操作的应用之后修改以特定质量水平重构的信号。解码器440如已编码数据组指定的那样修改以特定质量水平重构的信号。另外，解码器440修改以高于该特定质量水平的质量水平重构的信号。
[0098]作为示例，假设解码器440如已编码数据组425-2指定的那样识别残余数据470-2。残余数据470-2指定以质量水平J+1重构的信号中的元素位置以及如何修改以质量水平J+1重构的信号451-1的元素。解码器440以如残余数据470-2指定的方式修改以质量水平J+1重构的信号451-1的元素或部分。解码器440将残余数据470-2还用于以较高质量水平(例如，J+2及更高)重构信号115，直至针对较高质量水平的各组已解码数据指示在较高质量水平处使用不同的残余数据为止。
[0099]将向上采样操作应用于重构的信号的指定部分
根据其他实施例，每组已编码数据能够指定应当由解码器应用于重构的信号的特定部分的不同向上采样操作。根据特定质量水平，由不同数目的信号元素(大于或等于一个)来表征信号的一部分。作为示例，假设解码器440处理处于质量水平X的已解码数据组，以识别在其中应用由已解码数据组指定的向上采样操作的以质量水平X-1重构的信号的特定部分(例如，如位置所指示)。解码器440然后将向上采样操作应用于以质量水平X-l(例如，刚好低于X质量水平的质量水平)重构的信号的特定部分(例如，诸如小于全部图像元素的部分，如果其为重构图像的话)，以便以质量水平X重构信号。
[0100]作为示例，针对给定质量水平的一组已编码数据能够指定要应用于重构信号的第一部分(例如，重构信号中的第一区域、第一数据类型等)以执行向上采样的第一操作；针对该给定质量水平的已编码数据组还能够指定要应用于重构信号的第二 (不同)部分(例如，重构信号中的第二区域、第二数据类型等)的第二操作；以此类推。
[0101]已编码数据组可以不指定用于信号的特定部分的任何向上采样操作。根据实施例，针对信号的每个部分，能够将解码器440配置成以较高质量水平重构信号115，直至针对较高质量水平的各组已解码数据指示中断向上采样操作的应用为止和/或直至处于较高质量水平的一组已编码数据指示应用不同的一组一个或多个向上采样操作为止。
[0102]根据其他实施例，解码器440能够处理处于每个质量水平的数据组，以识别在其中应用向上采样处理的重构信号的具体识别的部分的属性类型(例如，对焦区域、失焦区域、人脸、文本、其他对象、在快动作中、静止、在慢动作中等)。解码器对指定属性类型的重构信号中的任何数据应用指定操作。解码器440可能需要分析重构信号，以识别在其中应用指定的一个或多个操作的重构信号的适当部分。
[0103]在一个实施例中，解码器440能够将在一组已编码数据中指定的属性类型映射到将对具有指定属性类型的重构信号的一部分执行的一组一个或多个向上采样操作。例如，针对用于所指定的质量水平的特定属性类型的信号的每个部分，解码器440利用该组一个或多个向上采样操作，其按其属性类型而被定义为用于信号的该部分的立即质量水平和随后较高质量水平的重构的默认向上采样操作。能够使用相同的操作，直至针对高于第一质量水平的质量水平的各组已解码数据指定针对信号或针对信号的部分使用不同属性类型。
[0104]因此，如针对给定质量水平的已编码数据组所指定的那样，能够将指定操作应用于针对给定质量水平的数据的特定属性类型以及用于具有相同指定属性类型的处于较高质量水平的数据。
[0105]在不同质量水平处对不同比例因数的使用
根据其他实施例，能够将解码器440配置成将已编码数据组中的每一个已编码数据解码，以识别用于对各质量水平进行向上采样的比例因数值(例如，信号的维度或分辨率)。如其名称所暗示的那样，比例因数值能够指定下述分辨率:以该分辨率，将以质量水平J+1重构的信号向上采样至以质量水平J+2重构的信号。如比例因数所指定的那样，能够将解码器440配置成将以质量水平J+1重构的信号向上采样至以质量水平J+2重构的信号，以代替根据解码器440已知的默认比例因数值执行向上采样。
[0106]如果不存在针对重构信号从一个质量水平到另一个的特定向上采样而指定的比例因数，则解码器使用预定默认比例因数或在前一较低质量水平处指定的比例因数。在一个实施例中，解码器440利用如处于层级的不同水平的各组已解码数据所指定的比例因数值来重构信号115，以代替根据用于层级中的不同质量水平的默认比例因数值执行向上采样。
[0107]各组已编码数据能够指定用于不同质量水平的不同比例因数。例如，在一个实施例中，用于不同质量水平的比例因数值(在处于每个质量水平的各组已编码数据中指定或者被解码器440已知为默认比例因数值，如果在已编码数据组中未指定比例因数的话)包括第一比例因数值和第二比例因数值。在本示例中假设由质量水平J+1的一组已解码数据指定的第一比例因数值指示用于从质量水平J向上采样到质量水平J+1的比例因数。该组已编码数据能够指示使用第二比例因数以如前所讨论的方式从质量水平J+1向上采样至质量水平J+2。第一比例因数值不同于第二比例因数值。因此，解码器440能够根据不同的比例因数从一个水平向上采样至下一个水平。在另一实施例中，解码器440首先将信号向上采样至通过将第一质量水平的分辨率乘以第一比例因数而获得的分辨率。此时，如前所讨论，基于处于较高质量水平的第二比例因数值，解码器440消除重构信号的最外平面(例如，在针对2D信号的图像的边界处去除一个或多个行或列)以便以利用第二比例因数指定
的分辨率重构信号。
[0108]对重构信号中的伪迹进行仿真
根据另一实施例，能够将解码器440配置成将一个或多个已编码数据组解码，以识别要在信号重构时仿真的效果的特性。例如，在各组已编码数据中指定的信号特性能够向解码器440指示如何仿真要被添加到处于特定质量水平(例如诸如处于最高或所选质量水平)的信号的重构版本的某些效果。根据这种实施例，已编码数据组不需要指示应当被修改的重构信号的特定元素和要应用的特定修改。取而代之，已编码数据组指示要被应用于重构信号或分布在重构信号中的效果或增强。
[0109]作为示例，能够将解码器440配置成将一组数据解码，以识别与在表示较低优先级信息的残余的原始版本中发现的效果相关联的谱特性。这种效果能够是诸如胶片颗粒、摄像机传感器噪声、信号的较低优先级细节等属性。已编码数据中的谱特性能够向解码器440指示如何通过将这种效果添加到以层级中的一个或多个质量水平重构的信号来仿真该效果。关于添加效果的谱信息可以指示要仿真的效果的发生和该效果的相应分布。然而，谱信息不需要指示接近地重构存在于信号原始版本中的伪迹将需要的残余的特定值或实际位置。
[0110]根据其他实施例，针对每个信号元素，解码器440将如已解码数据组所指定的谱特性还用于表征比在其处识别出谱信息的质量水平更高的质量水平的仿真效果。也就是说，以如前所讨论的方式，针对重构信号的每个部分，解码器440能够将在先前水平处指定的仿真残余的特性用于层级中的多个质量水平，直至针对较高质量水平的各组已解码数据指定针对重构信号或针对重构信号的特定部分使用仿真效果的不同谱特性。因此，能够将解码器440配置成以如谱信息所指定的方式利用谱特性组来修改重构信号的元素以用于在各较高质量水平处显示。在一个实施例中，解码器在其中在显示设备上显示重构信号的质量水平处应用谱特性信息。
[0111]基于信息的多个重构平面的信号重构
根据一个实施例，解码器440接收用于信号的不同色彩平面(例如，红绿蓝、YUV、HSV或其他类型的色彩空间)的单独信号层级。单独信号层级能够以独立的(且潜在地不同的)比例因数、操作和最高质量水平为特征。当不同的重构色彩平面以不同的质量水平为特征时，解码器对较低分辨率色彩平面进行向上采样，以便使其与具有最高质量水平的色彩平面的分辨率匹配，并且解码器随后使所有重构色彩平面加入到重构色彩信号中以发送到显示设备。向上采样因此能够包括针对层级中的每个质量水平重构3个或更多信息平面。处于各质量水平的平面信息的组合定义了针对各质量水平的图像或重构信号。
[0112]在示例实施例中，解码器440能够以每个质量水平重构三个平面。一个平面能够表示与图像元素相关联的亮度(例如，YUV标准中的Y);另一平面能够表示与图像元素相关联的蓝色色度(例如，YUV标准中的U);并且另一平面能够表示与图像元素相关联的红色色度(例如，YUV标准中的V)。能够根据不同的质量水平对每个平面进行编码。例如，能够用最高水平的细节对作为在观看各图像时最重要的一个平面的亮度平面进行编码；能够用较低水平的细节对色度平面进行编码，因为在观看各图像时其较不重要。
[0113]根据实施例，以层级中的连续较高质量水平重构信号的方法进一步包括下述步骤:从第二组已解码数据检索辅助信息，特别是关于运动的信息、卷曲信息等，该辅助信息指示影响对处于第一质量水平的信号的(一个或多个)向上采样操作的应用且影响如残余数据所指定的以第二质量水平重构的信号的修改的参数。
[0114]图8是根据本文中的实施例的提供计算机处理的计算机系统800的示例框图。
[0115]计算机系统800可以是或包括计算机化设备，诸如个人计算机、处理电路、工作站、便携式计算设备、控制台、网络终端、处理设备、网络设备，其作为交换机、路由器、服务器、客户端等进行操作。
[0116]请注意，以下讨论提供了指示如何执行如前所讨论的与解码器440相关联的功能的基本实施例。然而，应当注意的是，用于执行如本文所述的操作的实际配置能够根据相应应用而变化。
[0117]如所示的那样，本示例的计算机系统800包括互连811，互连811耦合在其中能够存储和检索数字信息的计算机可读存储介质812，诸如非瞬变类型的介质、计算机可读、硬件存储介质等。计算机系统800还能够包括处理器813、I/O接口 814以及通信接口 817。
[0118]I/O接口 814提供与储藏库180以及(如果存在的话)显示屏、诸如键盘、计算机鼠标等外围设备816的连接。
[0119]计算机可读存储介质812 (例如，硬件存储介质)可以是任何适当的设备和/或硬件，诸如存储器、光学储存器、硬盘驱动器、软盘等。计算机可读存储介质可以是非瞬变存储介质，用于存储与解码器应用440-1相关联的指令。该指令被诸如解码器440之类的相应资源执行，以执行如本文所讨论的任何操作。
[0120]通信接口 817使计算机系统800能够通过网络190进行通信，以从远程源检索信息并与其他计算机、交换机、客户端、服务器等进行通信。I/o接口 814还使处理器813能够从储藏库180检索或试图检索所存储的信息。
[0121]如所示的那样，能够用由处理器813作为交换机资源过程840-2执行的解码器应用840-1对计算机可读存储介质812进行编码。
[0122]请注意，还能够将计算机系统800或解码器440体现为包括用于存储数据和/或逻辑指令的计算机可读存储介质812 (例如，硬件存储介质、非瞬变存储介质等)。
[0123]计算机系统800能够包括处理器813以执行这种指令并执行如本文所讨论的操作。相应地，当被执行时，与解码器应用440-1相关联的代码能够支持如本文所讨论的处理功能。
[0124]在一个实施例的操作期间，处理器813经由互连811的使用来访问计算机可读存储介质812，以便启动、运行、执行、解释或以其他方式实行存储在计算机可读存储介质812中的解码器应用440-1的指令。解码器应用440-1的执行产生处理器813中的处理功能。换言之，与处理器813相关联的解码器过程440-2表示在计算机系统800中的处理器813内或上执行解码器应用440-1的一个或多个方面。
[0125]本领域技术人员将理解的是，计算机系统800能够包括其他过程和/或软件和硬件部件，诸如控制硬件处理资源的分配和使用以执行解码器应用440-1的操作系统。
[0126]根据不同的实施例，请注意，计算机系统可以是各种类型的设备中的任一种，包括但不限于个人计算机系统、台式计算机、膝上型计算机、笔记本、笔记本计算机、大型计算机系统、便携式计算机、工作站、网络计算机、应用服务器、存储设备、消费电子设备(诸如摄像机、录像摄像机、机顶盒、移动设备、视频游戏控制台、手持式视频游戏设备)、外围设备(诸如交换机、调制解调器、路由器)、或者一般地任何类型的计算或电子设备。
[0127]现在将经由图9-11中的流程图来讨论解码器440中的部件所支持的功能。如上文所讨论，能够将由各交换机和/或其他硬件执行的解码器应用440-1配置成执行如下面所讨论的流程图中的步骤。
[0128]请注意，将存在相对于上文针对图1至8而讨论的概念的某种重叠。并且，请注意，流程图中的步骤不必总是按所示的顺序执行。可以按任何适当的顺序执行这些步骤。
[0129]图9是图示出根据本文中的实施例的以不同质量水平重构信号的方法的流程图900。
[0130]在步骤910中，解码器440将第一组数据解码。
[0131 ] 在步骤920中，解码器440利用第一组已解码数据以根据第一质量水平来重构信号 115。
[0132]在步骤930中，解码器440将第二组数据解码。
[0133]在步骤940中，解码器440识别由第二组已解码数据指定的向上采样操作。
[0134]在步骤950中，解码器440将在第二组已解码数据中识别的向上采样操作应用于以第一质量水平重构的信号，以便以第二质量水平重构该信号。
[0135]图10和11组合以形成图示出根据本文中的实施例的解码的流程图1000 (例如，流程图1000-1和流程图1000-2)。
[0136]在步骤1010中，解码器440将第一组数据解码。
[0137]在步骤1020中，解码器440利用第一组已解码数据以根据第一质量水平来重构信号 115。
[0138]在步骤1030中，解码器440将第二组数据解码。
[0139]在步骤1040中，解码器440识别由第二组已解码数据指定的向上采样操作和比例因数。
[0140]在步骤1050中，解码器440将在第二组已解码数据中识别的向上采样操作和比例因数应用于以第一质量水平重构的信号，以便以第二质量水平重构该信号115。
[0141]在步骤1060中，解码器440从第二组已解码数据检索残余数据。该残余数据指示如何在向上采样操作的应用之后修改以第二质量水平重构的信号。
[0142]在步骤1070中，解码器440如残余数据所指定的那样修改以第二质量水平重构的信号。
[0143]在步骤1110中，针对在层级中高于第二质量水平的多个质量水平中的每一个，解码器440重复以下步骤:
在子步骤1120中，解码器440将高于最后处理的质量水平的层级中的下一较高数据组解码。
[0144]在子步骤1130中，解码器440识别由下一较高已解码数据组指定的向上采样操作和比例因数。
[0145]在子步骤1140中，解码器440应用在下一较高已解码数据组中识别的向上采样操作和比例因数来以下一较高质量水平重构信号115。
[0146]在子步骤1150中，解码器440识别由下一较高已解码数据组指定的残余信息和/或残余特性。
[0147]在子步骤1160中，解码器440应用该残余信息来修改以较高质量水平重构的信号。
[0148]再次请注意，本文中的技术非常适合于在使用解码器处理和重构信号时使用。然而，应当注意的是，本文中的实施例不限于在这种应用中使用，并且本文所讨论的技术也非常适合于其他应用。
[0149]基于本文阐述的描述，已阐述了许多特定细节以提供对要求保护的主题的透彻理解。然而，本领域技术人员将理解，可以在没有这些特定细节的情况下实施要求保护的主题。在其他实例中，未详细地描述本领域技术人员将已知的方法、设备、系统等，以免使要求保护的主题含糊不清。已经在对存储于计算机系统存储器(诸如计算机存储器)内的数据位或二进制数字信号的操作的算法或符号表示方面提出了详细描述的某些部分。这些算法描述或表示是被数据处理领域中的技术人员用来向本领域中的其他人传达其工作的实质的技术的示例。如在本文中且一般地描述的算法被认为是导致期望结果的自相一致的操作或类似处理的序列。在该上下文中，操作或处理涉及到物理量的物理操纵。通常，尽管不一定，这种量可以采取能够被存储、传输、组合、比较或以其他方式操纵的电或磁信号的形式。在原理上由于常用的原因，将这些信号称为诸如位、数据、值、元素、符号、字符、项、数字、数值等有时已证明是方便的。然而，应当理解的是，所有这些和类似术语将与适当的物理量相关联，并仅仅是方便的标签。除非另外具体声明，如从以下讨论中显而易见的那样，应当认识到，遍及本说明书，利用诸如“处理”、“计算”、“测算”、“确定”等术语的讨论指代计算平台的动作或过程，该计算平台诸如是计算机或类似电子计算设备，其对被表示为存储器、寄存器或者该计算平台的其他信息存储设备、传输设备或显示设备内的物理电子或磁量的数据进行操纵或变换。
[0150]虽然已经参考其优选实施例特别地示出并描述了本发明，但本领域技术人员将理解的是，在不脱离如所附权利要求限定的本申请的精神和范围的情况下，可以对其进行形式和细节方面的各种改变。这种变化意图被本申请的范围覆盖。由此，本申请的实施例的先前描述并不意图进行限制。相反，对本发明的任何限制都在以下权利要求中提出。
【权利要求】
1.一种以层级中的连续较高质量水平重构信号的方法，该方法包括: 将第一组数据解码； 利用第一组已解码数据以根据第一质量水平来重构信号； 将第二组数据解码； 识别由第二组已解码数据指定的向上采样操作；以及 将在第二组已解码数据中识别的向上采样操作应用于以第一质量水平重构的信号，以便以第二质量水平重构信号，第二质量水平高于第一质量水平。
2.如权利要求1所述的方法，还包括: 将第三组数据解码； 识别由第三组已解码数据指定的向上采样操作；以及 将在第三组已解码数据中识别的向上采样操作应用于以第二质量水平重构的信号，以便以第三质量水平重构信号，第三质量水平在层级中高于第二质量水平。
3.如权利要求2所述的方法，其中，在第二组已解码数据中识别的向上采样操作是第一向上米样操作；以及 其中，在第三组已解码数据中识别的向上采样操作是第二向上采样操作，第一向上采样操作不同于第二向上采样操作。
4.如权利要求1所述的方法，其中，被应用于以第一质量水平重构的信号的向上采样操作包括选自由以下各项构成的组的至少一个操作`: i)线性滤波器操作，特别是双线性滤波器或三线性滤波器， ii)三次滤波器操作，特别是双三次滤波器或三三次滤波器， iii)去混合滤波器，以及 iv)非锐化掩模滤波器。
5.如权利要求1所述的方法，还包括: 将由第二组已解码数据指定的向上采样操作应用于比第二质量水平高至少一个水平的至少一个重构信号，直至针对高于第二质量水平的质量水平的各组已解码数据指定使用与在第二组已解码数据中识别的向上采样操作不同的向上采样操作。
6.如权利要求1所述的方法，还包括: 将第三组数据解码；以及 响应于识别出第三组已解码数据未指定特定的向上采样操作，将在第二组已解码数据中识别的向上采样操作应用于以第二质量水平重构的信号，以便以第三质量水平重构信号，第三质量水平在层级中高于第二质量水平。
7.如权利要求1所述的方法，还包括: 从第二组已解码数据检索残余数据，该残余数据指示如何在向上采样操作的应用之后修改以第二质量水平重构的信号； 如残余数据所指定的那样修改以第二质量水平重构的信号；以及 如从第二组已解码数据检索的残余数据所指定的那样修改以高于第二质量水平的质量水平重构的信号。
8.如权利要求1所述的方法，还包括: 处理第二组已解码数据，以识别在其中应用由第二组已解码数据指定的向上采样操作的以第一质量水平重构的信号的特定部分；以及 其中，应用向上采样操作包括对以第一质量水平重构的信号的特定部分应用向上采样操作以便以第二质量水平重构信号。
9.如权利要求1所述的方法，还包括: 处理第二组已解码数据，以识别以第一质量水平重构的信号的具体识别的部分的属性类型； 将该属性类型映射到一组至少一个向上采样操作，该组至少一个向上采样操作是针对如属性类型所指定的信号中的数据的类型而配置的；以及 针对信号的每个部分，将按其属性类型而被定义为默认向上采样操作的该组至少一个向上采样操作用于信号的该部分的后续质量水平的重构，直至针对高于第一质量水平的质量水平的各组已解码数据指定针对信号或针对信号的部分使用不同属性类型。
10.如权利要求1所述的方法，还包括: 将在第二组已解码数据中识别的不同向上采样操作应用于以第一质量水平重构的信号的不同部分，以便以第二质量水平重构信号；以及 针对信号的每个部分，将在第二组已解码数据中被识别为默认向上采样操作的该组至少一个向上采样操作用于信号的该部分的后续质量水平的重构，直至针对高于第一质量水平的质量水平的各组已解码数据指定针对信号或针对信号的部分使用不同向上采样操作。
11.如权利要求1所述的方法，还包括: 处理第二组已解码数据以识别比例因数值，该比例因数值指示下述分辨率:以该分辨率，将以第一质量水平重构的信号向上采样`至以第二质量水平重构的信号；以及 根据该比例因数，将以第一质量水平重构的信号向上采样至以第二质量水平重构的信号，以代替根据默认比例因数值来执行向上采样。
12.如权利要求11所述的方法，还包括: 利用比例因数值来将以第一质量水平重构的信号向上采样至以第二质量水平重构的信号，以代替根据默认比例因数值来执行向上采样。
13.如权利要求1所述的方法，还包括: 利用如处于层级的不同水平的各组已解码数据所指定的比例因数值来重构信号，以代替根据用于层级中的不同质量水平的默认比例因数值来执行向上采样。
14.如权利要求13所述的方法，其中，所述比例因数值包括第一比例因数值和第二比例因数值，第一比例因数值由第一组已解码数据指定，且第二比例因数值由第二组已解码数据指定，第一比例因数值不同于第二比例因数值，该方法还包括: 利用第一比例因数值来以由第一比例因数且由第一质量水平的分辨率指示的分辨率向上采样和重构信号；以及 利用第二比例因数值来以第二质量水平重构信号。
15.如权利要求7所述的方法，还包括: 识别如第二组已解码数据所指定的残余数据；以及以如残余数据所指定的方式修改以第二质量水平重构的信号的元素；以及将如第二组已解码数据所指定的残余数据用于高于第二质量水平的质量水平的重构，直至针对高于第二质量水平的质量水平的各组已解码数据指定使用不同的残余数据。
16.如权利要求1所述的方法，还包括: 识别如第二组已解码数据所指定的残余数据； 利用多标度熵解码器来将残余数据解码，解码后的残余数据指定如何修改以第二质量水平重构的信号的特定元素；以及 以如已解码残余数据所指定的方式修改以第二质量水平重构的信号的元素。
17.如权利要求1所述的方法，还包括: 将第二组数据解码以识别仿真残余的特性，该特性向解码器指示如何仿真要被添加到信号的重构版本的残余，但不指示应当被修改的重构信号的特定元素和要应用的特定修改；以及 针对每个数据元素，将如第二组已解码数据所指定的仿真残余数据的特性还用于表征与该信号元素协同定位的信号元素的高于第二质量水平的质量水平的仿真残余，直至针对高于第二质量水平的质量水平的各组已解码数据指定针对信号或针对信号的部分使用仿真残余的不同特性；以及 利用特性组来以如仿真残余数据所指定的方式修改以所显示的质量水平重构的信号的元素。
18.如权利要求1所述的方法，还包括: 将第二组数据解码，以识别与表示较低优先级信息(例如，胶片颗粒、摄像机传感器噪声、信号的较低优先级细节等)的残余相关联的谱特性，该谱特性向解码器指示如何仿真要添加到重构信号的残余，而不指示残余的实际位置或特定值；以及` 针对每个信号元素，将如第二组已解码数据所指定的谱特性还用于表征与该信号元素协同定位的信号部分的高于第二质量水平的质量水平的仿真残余，直至针对高于第二质量水平的质量水平的各组已解码数据指定针对信号或针对信号的特定部分使用仿真残余的不同谱特性为止；以及 利用该组谱特性来以如仿真残余数据所指定的方式修改以所显示的质量水平重构的信号的兀素。
19.如权利要求1所述的方法，其中，该层级包括附加数据组以根据层级中的后续质量水平来重构信号，该后续质量水平在层级中高于当前质量水平，该方法还包括: 根据以当前质量水平重构的信号来在显示设备上显示图像信息。
20.如权利要求1所述的方法，还包括: 针对高于第二质量水平的多个质量水平中的每一个，重复以下步骤: 在高于最后处理的质量水平的层级中将下一较高数据组解码； 识别由下一较高已解码数据组指定的向上采样操作和/或比例因数； 将在下一较高已解码数据组中识别的向上采样操作应用于以下一较高质量水平重构信号; 识别由下一较高已解码数据组指定的残余信息和/或残余特性；以及 应用该残余信息来修改以较高质量水平重构的信号。
21.如权利要求1所述的方法，其中: 所述解码器接收用于信号的不同色彩平面的单独信号层级，该单独信号层级以独立且潜在地不同的比例因数、操作和最高质量水平为特征；当不同的重构色彩平面以不同的质量水平为特征时，所述解码器对较低分辨率色彩平面进行向上采样以便使其与具有最高质量水平的色彩平面的分辨率匹配，并随后使所有重构色彩平面加入到重构色彩信号中以发送到显示设备。
22.如权利要求1所述的方法，其中: 将用于与信号相关联的不同色彩平面的单独接收信号层级解码，该单独接收信号层级以独立且潜在地不同的比例因数、操作和最高质量水平为特征；以及 当不同的重构色彩平面以不同的质量水平为特征时，对较低分辨率色彩平面进行向上采样以与具有最高质量水平的色彩平面的分辨率匹配，并且随后使重构色彩平面加入到重构色彩信号中以发送到显示设备。
23.如权利要求1所述的方法，还包括: 从第二组已解码数据检索辅助信息，特别是关于运动的信息、卷曲信息等，该辅助信息指示影响对处于第一质量水平的信号的向上采样操作的应用且影响如残余数据所指定的处于第二质量水平的重构信号的修改的参数。
24.—种计算机系统，包括: 处理器； 存储器单元，其存储与由处理器执行的应用相关联的指令；以及 互连，将所述处理器和所述存储器单元耦合，使所述计算机系统能够执行所述应用并执行以下操作: 将第一组数据解码； 利用第一组已解码数据以根据第一质`量水平来重构信号； 将第二组数据解码； 识别由第二组已解码数据指定的向上采样操作；以及 将在第二组已解码数据中识别的向上采样操作应用于以第一质量水平重构的信号，以便以第二质量水平重构信号，第二质量水平高于第一质量水平。
25.一种具有存储在其上的指令的计算机可读硬件存储硬件，该指令在被处理设备执行时促使处理设备执行以下操作: 将第一组数据解码； 利用第一组已解码数据以根据第一质量水平来重构信号； 将第二组数据解码； 识别由第二组已解码数据指定的向上采样操作；以及 将在第二组已解码数据中识别的向上采样操作应用于以第一质量水平重构的信号，以便以第二质量水平重构信号，第二质量水平高于第一质量水平。
【文档编号】H04N19/82GK103875245SQ201280036130
【公开日】2014年6月18日 申请日期:2012年7月20日 优先权日:2011年7月21日
【发明者】卢卡·罗萨托, 圭多·梅亚尔迪 申请人:卢卡·罗萨托, 圭多·梅亚尔迪