层间残差预测的制作方法
【专利说明】层间残差预测
【背景技术】
[0001] 当前在由ISO/IEC运动画面专家组（MPEG)和ITU-T视频编码专家组（VCEG)形成 的关于视频编码的联合协作团队（JCT-VC)开发下的高效率视频编码（HEVC)是规划在2012 年完成的视频压缩标准。类似于先前视频编码标准，HEVC包含诸如内部/中间预测、变换、 量化以及环内滤波和熵编码的基本功能模块。
[0002] HEVC将编码单元（CU)定义为采用具有可变大小的矩形块形式的画面子分区。在 每个CU内，基于四叉树的分割方案规定CU划分模式。HECV还定义了预测单元（PU)和变换 单元（TU)，其规定分别为了预测和变换目的要如何划分给定CU。在内部或中间预测之后， 变换操作可应用于残余块以生成系数。然后系数被量化、扫描到一维阶，并且最后进行熵译 码。
[0003] HEVC预期包含可缩放视频编码（SVC)扩展。HECV SVC位流提供以不同空间分辨 率、帧速率、质量、位深度等表示源视频内容的若干子集位流。可缩放性然后使用一般包含 基础层（BL)和至少一个增强层（EL)的多层编码结构实现。这允许根据较低层画面（例如 BL画面）或在同一层中之前编码的画面预测属于EL的画面或部分画面（诸如PU)。在常 规方法中，相对于同一层内画面的PU执行当前PU的预测。比如，常规上相对于同一 EL的 I3U而不相对于另一 EL或BL的PU执行EL PU的残差预测。
【附图说明】
[0004] 本文描述的材料作为示例而非限制在附图中图示。为了图示的简洁和清晰起见， 在附图中图示的元件不一定按比例绘制。例如，为了清晰起见，一些元件的尺寸相对于其它 元件可能放大。进一步说，在合适的地方，附图标记在各图之间已经被重复以指示对应或类 似元件。附图中： 图1是不例编码系统的不意图； 图2是示例译码系统的示意图； 图3是图示示例过程的流程图； 图4是示例系统的示意图； 图5是不例编码方案的不意图； 图6是示例位流的示意图； 图7是示例解码系统的示意图； 图8是图不不例过程的流程图； 图9是示例系统的示意图；以及 图10图示了全都按照本公开的至少一些实现布置的示例装置。
【具体实施方式】
[0005] 现在参考附图描述一个或多个实施例或实现。虽然讨论了特定配置和布置，但应 该理解，这仅是用于说明性目的。相关领域的技术人员将认识到，在不脱离本描述的精神和 范围的情况下可采用其它配置和布置。相关领域的技术人员将明白，本文描述的技术和/ 或布置也可被用在不同于本文所描述的各种其它系统和应用中。
[0006] 虽然如下描述阐述了可在例如诸如片上系统（SoC)架构的架构中表明的各种实 现，但本文描述的技术和/或布置的实现不限于具体架构和/或计算系统，而是可为了类似 目的由任何架构和/或计算系统实现。比如，例如采用多个集成电路（IC)芯片和/或封装 的各种架构和/或各种计算装置和/或消费电子（CE)装置（诸如机顶盒、智能电话等）可 实现本文描述的技术和/或布置。进一步说，虽然如下描述可阐述众多特定细节，诸如系统 组件的逻辑实现、类型和相互关系、逻辑划分/集成选择等，但所要求保护的主题可在没有 此类特定细节的情况下实行。在其它实例中，一些材料（诸如例如控制结构和全软件指令 序列）可能未详细示出，以免使本文公开的材料模糊不清。
[0007] 本文公开的材料可用硬件、固件、软件或它们的任何组合来实现。本文公开的材 料还可被实现为存储在机器可读介质上的指令，所述指令可由一个或多个处理器读取和执 行。机器可读介质可包含用于存储或传送由机器（例如计算装置）可读形式的信息的任何 介质和/或机构。例如，机器可读介质可包含只读存储器（ROM);随机存取存储器（RAM);磁 盘存储介质；光存储介质；闪存装置；电、光、声或其它形式的传播信号（例如载波、红外信 号、数字信号等）及其它。
[0008] 在说明书中提到"一个实现"、"实现"、"示例实现"等指示所描述的实现可包含具 体特征、结构或特性，但每一个实施例可能不一定包含该具体特征、结构或特性。而且，此类 短语不一定是指同一实现。进一步说，当结合一个实施例描述具体特征、结构或特性时，认 为结合不管本文是否明确描述的其它实现来实现此类特征、结构或特性在本领域技术人员 的知识范围内。
[0009] 下面描述包含用于采用层间残差预测的视频编码的操作的系统、设备、制品和方 法。
[0010] 如本文所使用的，术语"编码器（coder )"可指的是译码器（encoder )和/或解码 器（decoder)。类似地，如本文所使用的，术语"编码"可指的是经由译码器译码和/或经由 解码器解码。例如，视频译码器和视频解码器都可以是能够编码的编码器示例。此外，如本 文所使用的，术语"编解码器"可指的是可实现译码器和/或解码器的任何过程、程序或操 作集合，诸如例如软件、固件和/或硬件的任何组合。
[0011] 在可缩放视频编码系统中，多层编码用于支持若干种可缩放性，包含空间可缩放 性、时间可缩放性、质量可缩放性、位深度可缩放性等等。按照本公开，可使用各种层间残差 预测方案增大可缩放视频编码系统中的编码效率和/或编码灵活性。
[0012] 图1图示了按照本公开的示例可缩放视频编码（SVC)编码系统100。在各种实现 中，系统100可根据一个或多个标准或规范（诸如例如高效率视频编码（HEVC)标准（见 IS0/IECJTC/SC29/WG11 和 ITU-TSG16WP3，〃High efficiency video coding (HEVC) text specification draft8〃（JCTVC-J1003_d7)，2012 年 7 月）以及其任何可缩放视频编码 (SVC)扩展）承担视频压缩和解压缩和/或实现视频编解码器。尽管本文在HEVC标准的 SVC扩展的上下文中描述了系统100和/或其它系统、方案或过程，但本公开不限于任何具 体视频译码标准或规范或其扩展。
[0013] 如所图示的，系统100包含具有多个视频译码器（包含层0或基础层（BL)译码 器102、层1或第一增强层（EL)译码器104和层2或第二EL译码器106)的译码器子系统 101。系统100还包含解码器子系统103的对应视频解码器，包含层O(BL)解码器108、层 I(EL)解码器110和层2 (EL)解码器112。一般而言，BL可以进行HEVC可兼容编码。当用 等于N的层标识（ID)编码EL时，SVC编码方案保证了具有小于N的层ID的所有编码层可 用于层间预测方案，使得可根据较低层画面（例如在具有较低层ID的BL或EL中）或同一 层中之前编码的画面来预测属于具体EL的画面。
[0014] 在各种实现中，HEVC规定了画面的最大编码单元（LCU)，其然后可被划分成采用 具有可变大小的矩形块形式的编码单元（CU)。在每个LCU内，基于四叉树的分割方案规定 CU划分模式。HECV还定义了预测单元（PU)和变换单元（TU)，其规定分别为了预测和变换 目的要如何划分给定CU。CU通常包含一个亮度编码块（CB)和两个色度CB连同关联的语 法，并且PU可进一步被分成预测块（PB)，大小范围从64x64个样本下至4x4个样本。如本 文所使用的，术语"块"可以指的是视频画面的任何分区或子分区。例如，块可以指的是PU 或PB。
[0015] 按照本公开，如下面将更详细说明的，EL译码器104和106中任一个或二者可使用 从译码器102或104获得的残差来执行层间残差预测。例如，在一些实现中，译码器104可 使用从译码器102获得并由层间预测模块116处理的残差114执行层间残差预测。此外， 在一些实现中，译码器106可使用分别从译码器102或译码器104获得并分别由层间预测 模块120或层间预测模块122处理的残差114或残差118执行层间残差预测。
[0016] 本文所使用的"层间残差预测"指的是使用从参考层画面获得的残差数据的增强 层画面的中间预测。进一步说，本文所使用的"残差"指的是可通过从接收的或原始的帧中 减去重构帧而生成的残差信号或残差数据集合。通过重新使用编码信息，诸如由参考层生 成的残差，层间残差预测可改进SVC系统（诸如系统100)的压缩效率和编码灵活性和/或 编解码器设计。在按照本公开的各种实现中，层间残差预测可应用在时间、空间和/或质量 可缩放视频编码应用的任何组合中。
[0017] 采用层间预测模块116、120和/或122、译