用于视频信息的可缩放译码的装置和方法
【技术领域】
[0001] 本发明涉及视频译码及压缩的领域，确切地说，涉及可缩放视频译码（SVC)或多 视图视频译码（MVC，3DV)。
【背景技术】
[0002] 数字视频能力可以并入到广泛范围的装置中，包括数字电视、数字直播系统、无线 广播系统、个人数字助理（PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、数字媒 体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频电话会议装置 及其类似者。数字视频装置实施视频压缩技术，例如，由1?￡6-2、10^6-4、11'1]-1'11.263或 ITU-TH. 264/MPEG-4第10部分高级视频译码（AVC)所定义的标准、目前正在开发的高效率 视频译码01EVC)标准及这些标准的扩展中所描述的视频压缩技术。视频装置可通过实施 此类视频译码技术而更有效率地发射、接收、编码、解码和/或存储数字视频信息。
[0003] 视频压缩技术执行空间（图片内）预测和/或时间（图片间）预测来减少或移除 视频序列中固有的冗余。对于基于块的视频译码来说，视频切片（例如，视频帧、视频帧的 一部分等）可分割成视频块，视频块也可被称作树块、译码单元（CU)和/或译码节点。图 片的经帧内译码（I)切片中的视频块是使用相对于同一图片中的相邻块中的参考样本的 空间预测来编码。图片的经帧间译码（P或B)切片中的视频块可使用相对于同一图片中的 相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可 被称作帧，且参考图片可被称作参考帧。
[0004] 空间或时间预测产生用于待译码块的预测性块。残余数据表示待译码原始块与预 测块之间的像素差。经帧间译码块是根据指向形成预测性块的参考样本块的运动向量及指 示经译码块与预测性块之间的差的残余数据编码的。经帧内译码块是根据帧内译码模式及 残余数据编码的。为了进一步压缩，可将残余数据从像素域变换到变换域，从而产生残余变 换系数，接着可以对残余变换系数进行量化。可扫描最初布置成二维阵列的经量化变换系 数，以便产生变换系数的一维向量，且可应用熵编码以实现更多压缩。
【发明内容】
[0005] 可缩放视频译码（SVC)是指其中使用基础层（BL)(有时被称作参考层（RL))及一 或多个可缩放增强层（EL)的视频译码。在SVC中，基础层可携载具有基础质量水平的视频 数据。所述一或多个增强层可携载额外的视频数据以支持（举例来说）较高的空间、时间 和/或信噪比（SNR)水平。可相对于先前编码的层来界定增强层。举例来说，底层可充当 BL，而顶层可充当EL。中间层可充当EL或RL，或两者。举例来说，在中间的层可为在其下 方的层（例如，基础层或任何介入增强层）的EL，且同时充当在其上方的一或多个增强层的 RL。类似地，在HEVC标准的多视图或3D扩展中，可存在多个视图，且可利用一个视图的信 息对另一视图的信息（例如，运动估计、运动向量预测和/或其它冗余）进行译码（例如， 编码或解码）。
[0006] 在SVC中，可以使用基础层中的对应块（例如，对应于与当前块相同的图片部分的 块）的信息来预测增强层中的当前块。举例来说，当前块的纹理信息（例如，像素或样本 值）或语法信息（例如，例如运动向量的运动信息或例如帧内模式的模式信息）可以基于 基础层中的对应块。
[0007] 然而，举例来说，当经译码帧大小大于装置上可显示的实际帧大小时，或者当基础 层是用另一视频标准译码（例如，增强层与ffiVC兼容，但基础层不与HEVC兼容）时，基础 层的对应块可能位于基础层帧外部。在此类情境中，在经修剪图片外部的基础层部分的信 息（例如，基础层图片根据显示器尺寸或一致性修剪窗被修剪）可能不可用于预测增强层 中的当前块。
[0008] 处理基础层信息的此不可用性的一种方式是不允许使用经修剪图片外部（例如， 一致性修剪窗外部）的任何信息。然而，在一些情况下，经修剪图片外部的信息可能是可用 的（例如，增强层和基础层两者都遵循ffiVC设计）。在此些情况下，完全不允许使用经修剪 图片外部的信息，可能会导致译码效率降低。因此，通过选择性地赋能使用经修剪图片外部 的信息（例如，仅仅在基础层是由符合ffiVC的编解码器译码时），可以改善译码效率。
[0009] 本发明的系统、方法和装置各自具有若干创新方面，其中没有单个方面单独负责 本文所揭示的合乎需要的属性。
[0010] 在一个实施例中，一种经配置以对视频信息进行译码（例如，编码或解码）的设备 包含存储器单元及与所述存储器单元通信的处理器。所述存储器单元经配置以存储与参考 层（RL)和增强层相关联的视频信息，所述RL包括RL图片，所述RL图片具有输出区，所述 输出区包含所述RL图片的一部分。所述处理器经配置以确定是否一个条件指示所述输出 区外部的信息可用于预测所述增强层中的当前块。
[0011] 在一个实施例中，一种对视频信息进行译码（例如，编码或解码）的方法包括：存 储与参考层（RL)和增强层相关联的视频信息，所述RL包括RL图片，所述RL图片具有输出 区，所述输出区包含所述RL图片的一部分；以及确定是否一个条件指示所述输出区外部的 信息可用于预测所述增强层中的当前块。
[0012] 在一个实施例中，一种非暂时性计算机可读媒体包括当经执行时使设备执行过程 的代码。所述过程包含：存储与参考层RL和增强层相关联的视频信息，所述RL包括（RL) 图片，所述RL图片具有输出区，所述输出区包含所述RL图片的一部分；以及确定是否一个 条件指示所述输出区外部的信息可用于预测所述增强层中的当前块。
[0013] 在一个实施例中，一种经配置以对视频信息进行译码的视频译码装置包括：用于 存储与参考层（RL)和增强层相关联的视频信息的装置，所述RL包括RL图片，所述RL图片 具有输出区，所述输出区包含所述RL图片的一部分；以及用于确定是否一个条件指示所述 输出区外部的信息可用于预测所述增强层中的当前块的装置。
【附图说明】
[0014] 图1是说明可利用根据本发明中描述的方面的技术的视频编码及解码系统的实 例的框图。
[0015] 图2是说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框图。
[0016] 图3是说明可实施本发明中描述的方面的技术的视频解码器的实例的框图。
[0017] 图4是说明基础层和增强层中的多个帧的图。
[0018] 图5是说明根据本发明的一个实施例的对视频信息进行译码的方法的流程图。
[0019] 图6是说明根据本发明的一个实施例的对视频信息进行译码的方法的流程图。
【具体实施方式】
[0020] 本文中描述的某些实施例涉及在高级视频编解码器的情况下的针对例如 HEVC(高效率视频译码）的可缩放视频译码的层间预测。更确切地说，本发明涉及用于改善 ffiVC的可缩放视频译码（SVC)扩展中的层间预测的性能的系统及方法。
[0021] 在以下描述中，描述与某些实施例有关的H. 264/AVC技术；还论述HEVC标准和有 关技术。虽然本文中在ffiVC和/或H. 264标准的情况下描述某些实施例，但所属领域的一 般技术人员可了解，本文中揭示的系统和方法可适用于任何合适的视频译码标准。例如，本 文中揭示的实施例可适用于以下标准中的一或多者：ITU-TH. 261、ISO/IECMPEG-lVisual、 ITU-TH. 262 或IS0/IECMPEG-2Visual、ITU-TH. 263、IS0/IECMPEG-4Visual和ITU-T H. 264(也被称作IS0/IECMPEG-4AVC)，包含其可缩放视频译码（SVC)和多视图视频译码 (MVC)扩展。
[0022] 在许多方面，HEVC总体上遵循先前视频译码标准的框架。HEVC中的预测的单元不 同于某些先前视频译码标准中的预测单元（例如，宏块）。实际上，在HEVC中不存在如在某 些先前视频译码标准中所理解的宏块的概念。宏块由基于四叉树方案的阶层式结构替换， 阶层式结构可提供高灵活性以及其它可能益处。举例来说，在HEVC方案内，定义三个类型 的块：译码单元（CU)、预测单元（PU)及变换单元（TU)。CU可指区分裂的基本单元。可考 虑CU类似于宏块的概念，但其不限制最大大小，且可允许递归分裂成四个相等大小CU以改 善内容适应性。可将PU视为帧间/帧内预测的基本单元，且其可在单一PU中含有多个任 意形状分区以有效地对不规则图像模式进行译码。可将TU视为变换的基本单元。可独立 于PU来对其定义；然而，其大小可能限于TU属于的CU。这样将块结构分成三个不同概念， 可允许每一者根据其作用被优化，这样可以使得译码效率得到改善。
[0023] 仅出于说明的目的，用仅包含两个层（例如，比如基础层等较低层级层，和比如增 强层等较高层级层）的实例来描述本文中揭示的某些实施例。应理解，这些实例可适用于 包含多个基础层和/或增强层的配置。此外，为了易于解释，参照某些实施例，以下揭示内 容包含术语"帧"或"块"。然而，这些术语不希望是限制性的。举例来说，下文描述的技术 可供任何合适的视频单元（例如，块（例如，CU、PU、TU、宏块等）、切片、帧等）使用。
[0024] 视频译码标准
[0025] 例如视频图像、TV图像、静态图像或由录像机或计算机产生的图像等数字图像可 由布置成水平和垂直线的像素或样本构成。单个图像中的像素的数目通常有数万个。每一 像素通常含有亮度和色度信息。在未压缩的情况下，将从图像编码器传达到图像解码器的 信息的数量太过巨大以致不可能实现实时图像发射。为了减少待发射的信息的量，已开发 出例如JPEG、MPEG及H. 263标准等数个不同压缩方法。
[0026] 视频译码标准包含ITU-TH. 261、IS0/IECMPEG-lVisual、ITU-TH. 262 或ISO/ IECMPEG-2Visual、ITU-TH. 263、IS0/IECMPEG-4Visual及ITU-TH. 264(也被称为ISO/ IECMPEG-4AVC)，包含其可缩放视频译码（SVC)及多视图视频译码（MVC)扩展。
[0027] 此外，存在一种新的视频译码标准，即高效率视频译码（HEVC)，其正由ITU-T视频 译码专家组（VCEG)及IS0/IEC运动图片专家组（MPEG)的视频译码联合合作小组（JCT-VC) 进行开发。对ffiVC草案10的完全引用为布罗斯（Bross)等人的文件JCTVC-L1003，"高 效率视频译码（HEVC)文本规范草案 10(HighEfficiencyVideoCoding(HEVC)Text SpecificationDraft10)"，ITU-TSG16WP3 与IS0/IECJTC1/SC29/WG11 的关于视频译码 的联合合作小组（JCT-VC)，第12次会议：瑞士日内瓦，2013年1月14日到2013年1月23 曰。
[0028] 下文参考附图更充分地描述新颖系统、设备和方法的各种方面。然而，本发明可以 许多不同形式来体现，且不应将其解释为限于贯穿本发明所呈现的任何特定结构或功能。 而是，提供这些方面以使得本发明将为透彻且完整的，并且将向所属领域的技术人员充分 传达本发明的范围。基于本文中的教示，所属领域的技术人员应了解，本发明的范围既定涵 盖无论是独立于本发明的任何其它方面而实施还是与之组合而实施的本文中所揭示的新 颖系统、设备及方法的任何方面。举例来说，可使用本文中所阐述的任何数目个方面来实施 设备或实践方法。另外，本发明的范围既定涵盖使用除本文中所阐述的本发明的各种方面 之外的或不同于本文中所阐述的本发明的各种方面的其它结构、功能性或结构与功能性来 实践的此设备或方法。应理解，可通过权利要求的一或多个要素来体现本文中所揭示的任 何方面。
[0029] 尽管本文描述了特定方面，但这些方面的许多变化及排列落在本发明的范围内。 尽管提及了优选方面的一些益处和优点，但本发明的范围并不希望限于特定益处、用途或 目标。实际上本发明的方面既定广泛地适用于不同无线技术、系统配置、网络和发射协议， 其中的一些是借助于实例而在图中以及在优选方面的以下描述中说明。详细描述和图式仅 说明本发明，而不具有限制性，本发明的范围由所附权利要求书及其等效物界定。
【附图说明】 [0030] 若干实例。由附图中的参考标号指示的元件对应于在以下描述中由相同 参考标号指示的元件。在本发明中，名称以序数词（例如，"第一"、"第二"、"第三"，等）开 始的元件未必暗示所述元件具有特定顺序。确切地说，此些序数词仅用于指代相同或类似 类型的不同元件。
[0031] 视频译码系统
[0032] 图1是说明可利用根据本发明中所描述的方面的技术的实例视频译码系统10的 框图。如本文中所描述地使用，术语"视频译码器"一般指代视频编码器及视频解码器两者。 在本发明中，术语"视频译码"或"译码"可一般地指代视频编码及视频解码。
[0033] 如图1中所示，视频译码系统10包含源装置12和目的地装置14。源装置12产生 经编码视频数据。目的地装置14可对由源装置12产生的经编码视频数据进行解码。源装 置12和目的地装置14可包括多种多样的装置，包含台式计算机、笔记本（例如，膝上型等） 计算机、平板计算机、机顶盒、例如所谓的"智能"电话等电话手持机、所谓的"智能"平板、电 视机、相机、显示装置、数字媒体播放器、视频游戏控制台、车载计算机（in-carcomputer) 或其类似者。在一些实例中，源装置12和目的地装置14可经装备以用于无线通信。
[0034] 目的地装置14可经由信道16从源装置12接收经编码视频数据。信道16可包括 能够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一 个实例中，信道16可包括使得源装置12能够实时将经编码视频数据直接发射到目的地装 置14的通信媒体。在此实例中，源装置12可根据通信标准（例如无线通信协议）来调制 经编码视频数据，且可将经调制视频数据发射到目的地装置14。通信媒体可包括无线或有 线通信媒体，例如射频（RF)频谱或一或多个物理发射线路。通信媒体可能形成基于包的网 络（例如局域网、广域网或全球网络，例如因特网）的一部分。通信媒体可包含路由器、交 换器、基站或促进从源装置12到目的地装置14的通信的其它装备。
[0035] 在另一实例中，信道16可对应于存储由源装置12产生的经编码视频数据的存储 媒体。在此实例中，目的地装置14可经由磁盘存取或卡存取来存取所述存储媒体。存储媒 体可包含多种本地存取的数据存储媒体，例如蓝光光盘、DVD、CD-ROM、快闪存储器或用于存 储经编码视频数据的其它合适的数字存储媒体。在另一实例中，信道16可包含文件服务器 或存储由源装置12产生的经编码视频的另一中间存储装置。在此实例中，目的地装置14可 经由流式传输或下载而存取存储在文件服务器或其它中间存储装置处的经编码视频数据。 文件服务器可为能够存储经编码视频数据并且将经编码视频数据发射到目的地装置14的 服务器类型。实例文件服务器包含网络服务器（例如，用于网站等）、FTP服务器、网络附接 存储（NAS)装置，和本地磁盘驱动器。目的地装置14可通过任何标准数据连接（包含因特 网连接）来存取经编码视频数据。数据连接的实例类型可包含适合于存取存储于文件服务 器上的经编码视频数据的无线信道（例如，Wi-Fi连接等）、有线连接（例如，DSL、电缆调制 解调器等）或两者的组合。经编码视频数据从文件服务器的发射可以是流式发射、下载发 射或两者的组合。
[0036] 本发明的技术不限于无线应用或设置。所述技术可应用于支持多种多媒体应用中 的任一者的视频译码，例如空中电视广播、有线电视发射、卫星电视发射、例如经由因特网 的流式传输视频发射（例如，HTTP动态自适应流式传输（DASH)等）、用于存储于数据存储 媒体上的数字视频的编码、存储在数据存储媒体上的数字视频的解码，或其它应用。在一些 实例中，视频译码系统10可经配置以支持单向或双向视频发射以支持例如视频流式传