用于视频信息的可缩放译码的装置和方法

用于视频信息的可缩放译码的装置和方法
【技术领域】
[0001 ]本发明设及视频译码及压缩领域，确切地说，设及可缩放视频译码(SVC)、多视图 视频译码(MVC)或3D视频译码(3DV)。
【背景技术】
[0002] 数字视频能力可并入到多种多样的装置中，包括数字电视、数字直播系统、无线广 播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、数字媒体 播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频电话会议装置和 类似者。数字视频装置实施视频压缩技术，例如，在由MPEG-2、MPEG-4、ITU-T H. 263、ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)定义的标准、目前正在开发的高效率视频译码 化EVC)标准及此类标准的扩展中所描述的视频压缩技术。视频装置可通过实施此些视频译 码技术而更有效地发射、接收、编码、解码和/或存储数字视频信息。
[0003] 视频压缩技术执行空间（图片内）预测及/或时间（图片间)预测来减少或去除视频 序列中固有的冗余。对于基于块的视频译码，视频切片（例如，视频帖、视频帖的一部分等） 可分割成视频块，视频块也可被称作树块、译码单元(CU)及/或译码节点。使用关于同一图 片中的相邻块中的参考样本的空间预测编码图片的经帖内译码（I)切片中的视频块。图片 的经帖间编码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的 空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称作帖，且参考图片 可被称作参考帖。
[0004] 空间或时间预测导致待译码块的预测性块。残余数据表示待译码原始块与预测性 块的间的像素差。经帖间译码块是根据指向形成预测块的参考样本块的运动向量和指示经 译码块与预测块之间的差的残余数据编码的。根据帖内译码模式和残余数据来编码经帖内 译码块。为了进一步压缩，可将残余数据从像素域变换到变换域，从而产生残余变换系数， 可接着量化所述残余变换系数。可扫描最初布置成二维阵列的经量化变换系数，W便产生 变换系数的一维向量，且可应用赌编码W实现更多压缩。

【发明内容】

[0005] 可缩放视频译码(SVC)是指其中使用基础层(BL)(有时被称作参考层(RU)及一或 多个可缩放增强层化L)的视频译码。在SVC中，基础层可携载具有基础质量水平的视频数 据。所述一或多个增强层可携载额外的视频数据W支持(举例来说)较高的空间、时间及/或 信噪比（SNR)水平。可相对于先前编码的层来定义增强层。举例来说，底层可充当化，而顶层 可充当化。中间层可充当化或化，或两者。举例来说，中间层(例如，既不是最低层也不是最 高层的层)可为中间层下方的层的化，例如基础层或任何介入的增强层，且同时充当中间层 上方的一或多个增强层的化。类似地，在皿VC标准的多视图或3D扩展中，可存在多个视图， 且可利用一个视图的信息对另一视图的信息（例如，运动估计、运动向量预测和/或其它冗 余)进行译码(例如，编码或解码）。
[0006] 在SVC中，图片次序计数(POC)可用W指示图片将输出或显示的次序。此外，在一些 实施方案中，每当位流中出现某些类型的图片时，POC的值可复位(例如，设定成零，设定成 位流中用信号表示的某个值，或从包含在位流中的信息导出）。举例来说，当位流中出现某 些随机存取点图片时，POC可复位。当特定图片的POC复位时，按解码次序在特定图片之前的 任何图片的POC也可W复位W例如维持那些图片将输出或显示的相对次序。
[0007] 此POC复位可当不需要跨越不同层对准IRAP图片时产生不合需要的结果。举例来 说，当一个图片（"picA")是IRAP图片且同一存取单元中的另一图片（"picB")不是IRAP图片 时，同一层中在picA之前的图片（"picC")的POC值可不同于同一层中在picB之前且与picC 在同一存取单元中的图片TpicD")的POC值，因为PicC的POC值由于PicA是IRAP图片而复 位，而PicD的POC值未复位。运致使在同一存取单元中且因此应具有相同POC值的PicC和 Pi CD具有不同POC值。
[0008] 因此，需要用于当随机存取图片未跨越多个层对准时导出POC值的改进的译码方 法。
[0009] 本发明的系统、方法和装置各自具有若干创新方面，其中没有单个方面单独负责 本文所掲示的合乎需要的属性。
[0010] 在一个方面中，一种经配置W对视频信息进行译码(例如，编码或解码）的设备包 含存储器单元及与所述存储器单元通信的处理器。所述存储器单元经配置W存储与具有第 一图片的第一视频层相关联的视频信息。所述处理器经配置W处理与所述第一图片相关联 的图片次序计数(POC)导出信息，且基于与所述第一图片相关联的所述POC导出信息确定所 述第一视频层中按解码次序在所述第一图片之前的至少一个其它图片的POC值。
[0011] 在另一方面中，一种对视频信息进行译码的方法包括处理与第一视频层中的第一 图片相关联的图片次序计数(POC)导出信息，且基于与所述第一图片相关联的所述POC导出 信息确定所述第一视频层中按解码次序在所述第一图片之前的至少一个其它图片的POC 值。
[0012] 在另一方面中，一种非暂时性计算机可读媒体包括当执行时致使设备执行过程的 代码。所述过程包含:存储与具有第一图片的第一视频层相关联的视频信息;处理与所述第 一图片相关联的图片次序计数(POC)导出信息；W及基于与所述第一图片相关联的所述POC 导出信息确定所述第一视频层中按解码次序在所述第一图片之前的至少一个其它图片的 roc值。
[0013] 在另一方面中，一种经配置W对视频信息进行译码的视频译码装置包括：用于存 储与具有第一图片的第一视频层相关联的视频信息的装置;用于处理与所述第一图片相关 联的图片次序计数(POC)导出信息的装置；W及用于基于与所述第一图片相关联的所述POC 导出信息确定所述第一视频层中按解码次序在所述第一图片之前的至少一个其它图片的 POC值的装置。
【附图说明】
[0014] 图IA是说明可利用根据本发明中描述的方面的技术的实例视频编码和解码系统 的框图。
[0015] 图IB是说明可执行根据本发明中描述的方面的技术的另一实例视频编码和解码 系统的框图。
[0016] 图2A是说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框图。
[0017] 图2B是说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框图。
[0018] 图3A是说明可实施本发明中描述的方面的技术的视频解码器的实例的框图。
[0019] 图3B是说明可实施根据本发明中描述的方面的技术的视频解码器的实例的框图。
[0020] 图4是说明根据本发明的一个实施例的不同层中的图片的实例配置的框图。
[0021] 图5是说明根据本发明的一个实施例的不同层中的图片的POC值的表。
[0022] 图6是说明根据本发明的一个实施例的不同层中的图片的实例配置的框图。
[0023] 图7是说明根据本发明的一个实施例的不同层中的图片的POC值的表。
[0024] 图8是说明根据本发明的一个实施例的译码视频信息的方法的流程图。
[0025] 图9是说明根据本发明的一个实施例的译码视频信息的方法的流程图。
[0026] 图10是说明根据本发明的一个实施例的译码视频信息的方法的流程图。
[0027] 图11是说明根据本发明的一个实施例的译码视频信息的方法的流程图。
[0028] 图12是说明根据本发明的一个实施例的译码视频信息的方法的流程图。
【具体实施方式】
[0029] 本文中描述的某些实施例设及在高级视频编解码器的情况下的针对例如肥VC(高 效率视频译码)等可缩放视频译码的层间预测。更确切地说，本发明设及用于改善皿VC的可 缩放视频译码(SVC)扩展中的层间预测的性能的系统及方法。
[0030] 在W下描述中，描述与某些实施例有关的H.264/AVC技术;还论述肥VC标准和相关 技术。虽然本文中在肥VC和/或H. 264标准的上下文中描述某些实施例，但所属领域的技术 人员可了解，本文中掲示的系统和方法可适用于任何合适的视频译码标准。举例来说，本文 中所掲示的实施例可适用于W下标准中的一或多者：ITU-T H.261、IS0/IEC MPEG-I视觉、 mj-T H.262或IS0/IEC MPEG-2视觉、ITU-T H.263、IS0/IEC MPEG-4视觉和mJ-T H.264 (也称作IS0/IEC MPEG-4AVC)，包含其可缩放视频译码(SVC)和多视图视频译码(MVC)扩展。
[0031] 在许多方面，皿VC通常遵循先前视频译码标准的框架。皿VC中的预测单元不同于 在某些先前视频译码标准中的预测单元(例如，宏块）。事实上，在皿VC中不存在如在某些先 前视频译码标准中所理解的宏块的概念。宏块由基于四叉树方案的阶层式结构替换，阶层 式结构可提供高灵活性W及其它可能益处。举例来说，在皿VC方案内，定义S个类型的块， 例如译码单元(CU)、预测单元(PU)和变换单元(TU)XU可指区分裂的基本单元。可认为CU类 似于宏块的概念，但HEVC不约束CU的最大大小，且可允许递归分裂成四个相等大小的CUW 改善内容适应性。PU可认为是帖间/帖内预测的基本单元，且单个PU可含有多个任意形状分 区W有效地译码不规则图像图案。TU可认为是变换的基本单元。可独立于PU界定TU;然而， TU的大小可受限于所述TU属于的CU的大小。此块结构分离为S个不同概念可允许根据单元 的相应作用来优化每一单元，运可得到改善的译码效率。
[0032] 仅出于说明的目的，用仅包含两个层（例如，比如基础层等较低层，和比如增强层 等较高层)的实例来描述本文中掲示的某些实施例。应理解，运些实例可适用于包含多个基 础层及/或增强层的配置。此外，为了易于解释，参照某些实施例，W下掲示内容包含术语 "帖"或"块"。然而，运些术语不打算具有限制性。例如，下文描述的技术可供任何合适的视 频单元(例如，块(例如，〇]、？1]、1'1]、宏块等）、切片、帖等)使用。
[00扣]视频译码标准
[0034] 例如视频图像、TV图像、静态图像或由录像机或计算机产生的图像等数字图像可 由布置成水平和垂直线的像素或样本构成。单个图像中的像素的数目通常有数万个。每一 像素通常含有明度及色度信息。在无压缩的情况下，将从图像编码器传达到图像解码器的 信息的绝对量将使实时图象传输不可能。为了减少待发射的信息的量，已开发出例如肝EG、 MPEG及H. 263标准等数个不同压缩方法。
[0035] 视频译码标准包含ITU-T H. 261、IS0/IEC MPEG-I视觉、ITU-T H. 262或IS0/IEC MPEG-2视觉、ITU-T H.263JS0/IEC MPEG-4视觉和ITU-T H.264(也被称为IS0/IEC MPEG-4AVC)，包含其可缩放视频译码(SVC)和多视图视频译码(MVC)扩展。
[0036] 此外，存在一种新的视频译码标准，即高效视频译码化EVC)，其正由口 U-T视频译 码专家组(VCEG)和IS0/IEC运动图片专家组(MPEG)的视频译码联合合作小组(JCT-VC)进行 开发。对肥VC草案10的完全引用为布罗斯(Bross)等人的文件JCTVC-L1003/'高效率视频译 码化EVC)文本说明书草案ICKHigh Efficiency Video Coding(肥VC)Text Specification Draft l〇r，mJ-T SG16WP3与ISO/IEC JTC1/SC29/WG11的关于视频译码的联合合作小组 (JCT-VC)，第12次会议:瑞±日内瓦，2013年1月14日到2013年1月23日。对皿VC的多视图扩 展（即，MV-HEVC)及对肥VC的可扩展扩展（名为甜VC)也正分别由JCT-3V( 3D视频译码扩展开 发口 U-T/IS0/IEC联合合作小组)及JCT-VC开发。
[0037] 下文参考附图更充分地描述新颖系统、设备及方法的各个方面。然而，本发明可W 许多不同形式来体现，且不应将其解释为限于贯穿本发明所呈现的任何特定结构或功能。 相反，提供运些方面W使得本发明将为透彻且完整的，并且将向所属领域的技术人员充分 传达本发明的范围。基于本文中的教示，所属领域的技术人员应了解，本发明的范围既定涵 盖无论是独立于本发明的任何其它方面而实施还是与之组合而实施的本文中所掲示的新 颖系统、设备及方法的任何方面。举例来说，可W使用本文中所阐述的任何数目个方面来实 施设备或实践方法。另外，本发明的范围既定涵盖使用除本文中所阐述的本发明的各种方 面之外的或不同于本文中所阐述的本发明的各种方面的其它结构、功能性或结构与功能性 来实践的此设备或方法。应理解，可通过权利要求的一或多个要素来体现本文中所掲示的 任何方面。
[0038] 尽管本文描述了特定方面，但运些方面的许多变化及排列落在本发明的范围内。 尽管提到了优选方面的一些益处及优点，但本发明的范围不希望限于特定益处、用途或目 标。而是，本发明的方面既定广泛地适用于不同无线技术、系统配置、网络及发射协议，其中 的一些是借助于实例而在图中W及在优选方面的W下描述中说明。【具体实施方式】和图式仅 说明本发明，而不是限制由所附权利要求书和其等效物界定的本发明的范围。
【附图说明】 [0039] 若干实例。由附图中的参考标号指示的元件对应于在W下描述中由相同 参考标号指示的元件。在本发明中，名称W序数词(例如，"第一"、"第二"、"第立"等)开始的 元件未必暗示所述元件具有特定次序。而是，此些序数词仅用于指代相同或类似类型的不 同元件。
[0040] 视频译码系统
[0041] 图IA是说明可利用根据本发明中所描述的方面的技术的实例视频译码系统10的 框图。如本文中所描述地使用，术语"视频译码器"一般指代视频编码器和视频解码器两者。 在本发明中，术语"视频译码"或"译码"可一般地指代视频编码和视频解码。除了视频编码 器和视频解码器外，本申请案中描述的方面可扩展到其它相关装置，例如，转码器(例如，可 解码位流且重新编码另一位流的装置)及中间框(例如，可修改、变换及/或另外操纵位流的 装置）。
[0042] 如图IA中所示，视频译码系统10包含源模块12,其产生在稍后时间由目的地模块 14解码的经编码视频数据。在图IA的实例中，源模块12和目的地模块14在单独的装置上，具 体来说，源模块12是源装置的部分，且目的地模块14是目的地装置的部分。然而，注意，源模 块12与目的地模块14可在同一装置上或为同一装置的部分，如在图IB的实施中所展示。
[0043] 再次参考图1A，源模块12和目的地模块14可包括广泛范围的装置中的任一者，包 含桌上型计算机、笔记本(例如，膝上型)计算机、平板计算机、机顶盒、例如所谓的"智能"电 话的电话手持机、所谓的"智能"平板、电视机、相机、显示装置、数字媒体播放器、视频游戏 控制台、视频流式传输装置或类似物。在一些情况下，源模块12和目的地模块14可经装备W 用于无线通信。
[0044] 目的地模块14可经由链路16接收待解码的经编码视频数据。链路16可包括能够将 经编码视频数据从源模块12移动到目的地模块14的任何类型媒体或装置。在图IA的实例 中，链路16可包括使得源模块12能够实时将经编码视频数据直接发射到目的地模块14的通 信媒体。经编码视频数据可根据例如无线通信协议等通信标准加 W调制，且发射到目的地 模块14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理传 输线。通信媒体可形成分组网络(例如，局域网、广域网或全球网络，例如因特网）的部分。通 信媒体可包含路由器、交换器、基站或任何其它可W用于促进从源模块12到目的地模块14 的通信的设备。
[0045] 替代地，经编码数据可从输出接口 22输出到任选的存储装置31。类似地，可通过输 入接口 28从存储装置31存取经编码数据。存储装置31可包含多种分布式或本地存取数据存 储媒体中的任一者，例如硬盘驱动器、快闪存储器、易失性或非易失性存储器，或用于存储 经编码视频数据的任何其它合适的数字存储媒体。在另一实例中，存储装置31可对应于文 件服务器或可保持由源模块12产生的经编码视频的另一中间存储装置。目的地模块14可经 由流式传输或下载从存储装置31存取所存储的视频数据。文件服务器可为能够存储经编码 视频数据且将经编码视频数据传输到目的地模块14的任何类型的服务器。实例文件服务器 包含网络服务器（例如，用于网站）、FTP服务器、网络附接存储(NAS)装置或本地磁盘驱动 器。目的地模块14可W通过任何标准数据连接(包含因特网连接)来存取经编码的视频数 据。此可包含无线信道(例如，Wi-Fi连接）、有线连接(例如，D化、电缆调制解调器等），或适 合于存取存储在文件服务器上的经编码视频数据的两者的组合。经编码视频数据从存储装 置31的发射可为流式传输发射、下载发射或两者的组合。
[0046] 本发明的技术不限于无线应用或设置。所述技术可应用于支持多种多媒体应用中 的任一者的视频译码，例如空中电视广播、有线电视发射、卫星电视发射、例如经由因特网 的流式传输视频发射(例如，HTTP动态自适应流式传输(DASH)等）、用于存储于数据存储媒 体上的数字视频的编码、存储在数据存储媒体上的数字视频的解码，或其它应用。在一些实 例中，视频译码系统10可经配置W支持单向或双向视频传输W支持例如视频流式传输、视 频回放、视频广播及/或视频电话等应用。
[0047] 在图IA的实例中，源模块12包含视频源18、视频编码器20和输出接口 22。在一些情 况下，输出接口 22可包含调制器/解调器(调制解调器)及/或发射器。在源模块12中，视频源 18可包含来源，例如视频俘获装置，例如摄像机，包含先前俘获的视频的视频存档，用于从 视频内容提供者接收视频的视频馈入接口和/或用于产生计算机图形数据作为源视频的计 算机图形系统，或此类来源的组合。作为一个实例，如果视频源18是摄像机，那么源模块12 和目的地模块14可形成所谓的相机电话或视频电话，如图IB的实例中所说明。然而，本发明 中所描述的技术一般来说可适用于视频译码，且可应用于无线和/或有线应用。
[0048] 可由视频编码器20对所俘获、预俘获或计算机产生的视频进行编码。经编码视频 数据可经由源模块12的输出接口 22直接发射到目的地模块14。经编码视频数据还可(或替 代地)存储到存储装置31上用于稍后由目的地模块14或其它装置存取W用于解码和/或重 放。图IA和IB中说明的视频编码器20可包括图2A中说明的视频编码器20、图2B中说明的视 频编码器23或本文中描述的任一其它视频编码器。
[0049] 在图IA的实例中，目的地模块14包含输入接口28、视频解码器30和显示装置32。在 一些情况下，输入接口 28可包含接收器及/或调制解调器。目的地模块14的输入接口 28可经 由链路16接收经编码视频数据。经由链路16传送或在存储装置31上提供的经编码视频数据 可包含由视频编码器20所产生的多种语法元素 W供由例如视频解码器30的视频解码器用 于解码视频数据。此类语法元素可与在通信媒体上发射、存储于存储媒体上或存储文件服 务器的经编码视频数据包含在一起。图IA和图IB中说明的视频解码器30可包括图3A中说明 的视频解码器30、图3B中说明的视频解码器33或本文中描述的任一其它视频解码器。
[0050] 显示装置32可与目的地模块14集成或在目的地模块14外部。在一些实例中，目的 地模块14可包含集成显示装置，并且还经配置W与外部显示装置介接。在其它实例中，目的 地模块14可为显示装置。一般来说，显示装置32将经解码视频数据显示给用户，且可包括多 种显示装置中的任一者，例如液晶显示器化CD)、等离子显示器、有机发光二极管(OLED)显 示器或另一类型的显示装置。
[0051] 在相关方面，图IB展示实例视频编码和解码系统10'，其中源模块12和目的地模块 14在装置或用户装置11上或为其部分。装置11可为电话手持机，例如"智能"电话或类似者。 装置11可包含与源模块12和目的地模块14操作通信的任选的控制器/处理器模块13。图IB 的系统1〇/可进一步包含视频编码器20与输出接口22之间的视频处理单元21。在一些实施 方案中，视频处理单元21是单独的单元，如图IB中所说明；然而，在其它实施方案中，视频处 理单元21可实施为视频编码器20和/或处理器/控制器模块13的一部分。系统1〇/还可包含 任选的跟踪器29,其可跟踪视频序列中的所关注对象。待跟踪的对象或兴趣可通过结合本 发明的一或多个方面描述的技术来分段。在相关方面中，跟踪可由显示装置32单独或与跟 踪器29结合而执行。图IB的系统1〇/及其组件另外类似于图IA的系统10及其组件。
[0052] 视频编码器20和视频解码器30可根据视频压缩标准(例如目前正在开发的高效率 视频译码化EVC)标准）来操作，且可符合皿VC测试模型化M)。或者，视频编码器20和视频解 码器30可根据其它专有或业界标准来操作，所述标准例如是ITU-T H. 264标准，也被称为 MPEG-4第10部分高级视频译码(AVC)，或此类标准的扩展。但是，本发明的技术不限于任何 特定译码标准。视频压缩标准的其它实例包含MPEG-2和口U-T H.263。
[0053] 尽管图IA和IB的实例中未展示，但在一些方面中，视频编码器20和视频解码器30 可各自与音频编码器和解码器集成，且可包含适当的多路复用器-多路分用器单元或其它 硬件和软件W处置共同数据流或单独数据流中的音