用于视频信息的可缩放译码的装置和方法

用于视频信息的可缩放译码的装置和方法
【技术领域】
[0001] 本发明涉及视频译码及压缩的领域，确切地说，涉及可缩放视频译码(SVC)或多视 图视频译码(MVC，3DV)。
【背景技术】
[0002] 数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播系统、无线广 播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、数字媒体 播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频电话会议装置等 等。数字视频装置实施视频压缩技术，例如由MPEG-2、MPEG-4、ITU-T Η. 263或ITU-T Η. 264/ MPEG-4第10部分高级视频译码（AVC)所定义的标准、目前正在开发的高效率视频译码 (HEVC)标准及这些标准的扩展中所描述的视频压缩技术。视频装置可通过实施这些视频译 码技术而更有效率地发射、接收、编码、解码和/或存储数字视频信息。
[0003] 视频压缩技术执行空间（图片内）预测及/或时间（图片间)预测来减少或去除视频 序列中固有的冗余。对于基于块的视频译码，视频切片（例如，视频帧、视频帧的一部分等） 可分割成视频块，视频块也可被称作树块、译码单元(CU)及/或译码节点。使用关于同一图 片中的相邻块中的参考样本的空间预测编码图片的经帧内译码（I)切片中的视频块。图片 的经帧间编码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的 空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片 可被称作参考帧。
[0004]空间或时间预测导致待译码块的预测性块。残余数据表示待译码的原始块与预测 性块之间的像素差。经帧间译码块是根据指向形成预测块的参考样本块的运动向量和指示 经译码块与预测块之间的差的残余数据编码的。经帧内译码块是根据帧内译码模式及残余 数据而编码。为了进一步压缩，可将残余数据从像素域变换到变换域，从而产生残余变换系 数，接着可以将残余变换系数量化。可扫描最初布置成二维阵列的经量化变换系数，以便产 生变换系数的一维向量，且可应用熵译码以实现更多压缩。

【发明内容】

[0005] 在视频译码中，用于处理视频流的视频应用程序(例如，视频会议应用程序、电影 流式传输等)可取决于带宽条件在较低分辨率模式(例如，其中较低分辨率图片经处理且显 示)与较高分辨率模式(例如，其中较高分辨率图片经处理且显示)之间切换。如果带宽初始 地无法支持较高分辨率流式传输，那么应用程序可在较低分辨率模式中处理视频流，且当 带宽改善时，应用程序可切换到较高分辨率模式以使得其可显示较高质量视频。
[0006] 大体上，已经译码的图片可存储在经解码图片缓冲器(DPB)中以使得它们可用以 对其它图片进行译码。举例来说，视频译码器可使用DPB中的经先前译码图片的像素值或其 它信息（例如，运动信息)对后续图片进行译码。然而，DPB具有有限空间，且并非全部经译码 图片都可存储在DPB中。因此，从DPB及时移除不必要的图片可改善DPB管理和存储器使用。
[0007] 另外，在高效率视频译码(HEVC)的可缩放扩展（SHVC)中，当视频应用程序从较低 分辨率模式切换到较高分辨率模式时，应用程序可停止管理存储在DPB中的较低分辨率图 片（例如，所述应用程序可不清除可保留在DPB中的较低分辨率图片）。在此情形中，较低分 辨率图片可能不必要地保留在DTO中，从而在DTO中为较高分辨率图片留下较少空间。在另 一实例中，可在较高分辨率图片中的任一者经译码之前清除存储在DPB中的较低分辨率图 片，从而使其不可用于较高分辨率图片的译码。在此情形中，译码效率可能受损，因为较高 分辨率图片将必须使用帧内预测译码，这大体上比帧间预测或层间预测成本更高。
[0008] 因此，通过当存在分辨率改变时恰当地管理存储在DPB中的较低分辨率图片，存储 器使用和译码效率可改善。
[0009] 本发明的系统、方法和装置各自具有若干创新方面，其中没有单个方面单独负责 本文所揭示的合乎需要的属性。
[0010] 在一个实施例中，一种经配置以对视频信息进行译码(例如，编码或解码）的设备 包含存储器单元及与所述存储器单元通信的处理器。所述存储器单元经配置以存储与第一 层和第二层相关联的视频信息。所述处理器经配置以：对所述第一层的第一层图进行解码； 将所述经解码第一层图片存储在经解码图片缓冲器中；确定不具有对应第一层图片的第二 层图片是否待译码；以及响应于确定不具有对应第一层图片的第二层图片待译码，处理存 储在所述经解码图片缓冲器中的一或多个经解码第一层图片将移除的指示。所述处理器可 编码或解码所述视频信息。
[0011] 在一个实施例中，一种对视频信息进行译码(例如，编码或解码）的方法包括:存储 与第一层和第二层中的至少一者相关联的视频信息，所述第一层包括第一层图片且所述第 二层包括第二层图片;对所述第一层的所述第一层图片中的一或多者进行解码;将所述一 或多个经解码第一层图片存储在经解码图片缓冲器中；确定不具有对应第一层图片的所述 第二层图片中的至少一者待译码；以及响应于确定不具有对应第一层图片的所述第二层图 片中的至少一者待译码，处理存储在所述经解码图片缓冲器中的所述一或多个经解码第一 层图片中的至少一者将从所述经解码图片缓冲器移除的指示。
[0012] 在一个实施例中，一种非暂时性计算机可读媒体包括当被执行时致使设备执行过 程的代码。所述过程包含:存储与第一层和第二层中的至少一者相关联的视频信息，所述第 一层包括第一层图片且所述第二层包括第二层图片;对所述第一层的所述第一层图片中的 一或多者进行解码;将所述一或多个经解码第一层图片存储在经解码图片缓冲器中；确定 不具有对应第一层图片的所述第二层图片中的至少一者待译码；以及响应于确定不具有对 应第一层图片的所述第二层图片中的至少一者待译码，处理存储在所述经解码图片缓冲器 中的所述一或多个经解码第一层图片中的至少一者将从所述经解码图片缓冲器移除的指 不。
[0013] 在一个实施例中，一种经配置以对视频信息进行译码的视频译码装置包括：用于 存储与第一层和第二层中的至少一者相关联的视频信息的装置，所述第一层包括第一层图 片且所述第二层包括第二层图片；用于对所述第一层的所述第一层图片中的一或多者进行 解码的装置;用于将所述一或多个经解码第一层图片存储在经解码图片缓冲器中的装置； 用于确定不具有对应第一层图片的所述第二层图片中的至少一者待译码的装置；以及用于 响应于确定不具有对应第一层图片的所述第二层图片中的至少一者待译码而处理存储在 所述经解码图片缓冲器中的所述一或多个经解码第一层图片中的至少一者将从所述经解 码图片缓冲器移除的指示的装置。
【附图说明】
[0014] 图1A是说明可利用根据本发明中描述的方面的技术的实例视频编码和解码系统 的框图。
[0015] 图1B是说明可执行根据本发明中描述的方面的技术的另一实例视频编码和解码 系统的框图。
[0016] 图2A是说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框图。
[0017] 图2B是说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框图。
[0018] 图3A是说明可实施本发明中描述的方面的技术的视频解码器的实例的框图。
[0019] 图3B是说明可实施根据本发明中描述的方面的技术的视频解码器的实例的框图。
[0020] 图4是说明根据本发明的一个实施例的较低层及上部层中的各种图片的示意图。
[0021] 图5是说明根据本发明的一个实施例的较低层及上部层中的各种图片的示意图。
[0022] 图6是说明根据本发明的一个实施例的较低层及上部层中的各种图片的示意图。
[0023] 图7A和7B说明根据本发明的一个实施例的对视频信息进行译码的方法的流程图。
【具体实施方式】
[0024]本文中描述的某些实施例涉及在高级视频编解码器的情况下的针对例如HEVC(高 效率视频译码)等可缩放视频译码的层间预测。更确切地说，本发明涉及用于改善在HEVC的 可缩放视频译码(SHVC)扩展中的层间预测的性能的系统及方法。
[0025] 在以下描述中，描述与某些实施例有关的H.264/AVC技术;还论述HEVC标准和相关 技术。虽然本文中在HEVC和/或H. 264标准和情况下描述某些实施例，但所属领域的一般技 术人员可了解，本文中揭示的系统和方法可适用于任何合适的视频译码标准。例如，本文中 揭示的实施例可适用于以下标准中的一或多者：ITU-T H. 261、IS0/IEC MPEG-1 Visual、 ITU-T H.262或IS0/IEC MPEG-2Visual、ITU-T H.263、IS0/IEC MPEG-4Visual及ITU-T H. 264 (也被称作I SO/1 EC MPEG-4 AVC)，包含其可缩放视频译码（SVC)及多视图视频译码 (MVC)扩展。
[0026]在许多方面，HEVC总体上遵循先前视频译码标准的框架。HEVC中的预测的单元不 同于某些先前视频译码标准中的预测单元(例如，宏块）。事实上，在HEVC中不存在如在某些 先前视频译码标准中所理解的宏块的概念。宏块由基于四叉树方案的分层结构替换，分层 结构可提供高灵活性以及其它可能益处。举例来说，在HEVC方案内，定义三个类型的块:译 码单元(CU)、预测单元(PU)及变换单元(τυ)χυ可指区分裂的基本单元。可考虑CU类似于宏 块的概念，但其不限制最大大小，且可允许递归分裂成四个相等大小CU以改善内容适应性。 PU可认为是帧间/帧内预测的基本单元，且其可在单一 PU中含有多个任意形状分区以有效 地译码不规则图像图案。可将TU视为变换的基本单元。可独立于PU来对其定义;然而，其大 小可能限于TU所属于的CU。块结构成三个不同概念的此分开可允许每一者根据其作用被优 化，这可导致改进的译码效率。
[0027]仅出于说明的目的，用仅包含两个层（例如，比如基础层等较低层，和比如增强层 等较高层)的实例来描述本文中揭示的某些实施例。应理解，这些实例可适用于包含多个基 础层及/或增强层的配置。此外，为了易于解释，参照某些实施例，以下揭示内容包含术语 "帧"或"±夬"。然而，这些术语不意图具有限制性。举例来说，下文描述的技术可配合任何合 适的视频单元(例如，块(例如，⑶、PU、TU、宏块等）、切片、帧等)一起使用。
[0028] 视频译码标准
[0029] 例如视频图像、TV图像、静态图像或由录像机或计算机产生的图像等数字图像可 由布置成水平和垂直线的像素或样本构成。单个图像中的像素的数目通常有数万个。每一 像素通常含有明度和色度信息。在未压缩的情况下，将从图像编码器传达到图像解码器的 信息的数量太过巨大以致其不可能呈现实时图像传输。为了减少待发射的信息量，已开发 出例如JPEG、MPEG和Η. 263标准等若干不同压缩方法。
[0030] 视频译码标准包含ITU-T H.261、IS0/IEC MPEG-1 Visual、ITU-T Η.262或ISO/ IEC MPEG-2 Visual、ITU-T Η·263、IS0/IEC MPEG-4 Visual及ITU-T H.264(也被称为ISO/ IEC MPEG-4 AVC)，包含其可缩放视频译码(SVC)及多视图视频译码(MVC)扩展。
[0031] 此外，存在一种新的视频译码标准，即高效视频译码(HEVC)，其正由ITU-T视频译 码专家组(VCEG)和IS0/IEC运动图片专家组(MPEG)的视频译码联合合作小组(JCT-VC)进行 开发。对HEVC草案10的完全引用为Bross等人的文件JCTVC-L1003，"高效率视频译码(HEVC) 文本说明书草案l〇"，ITU-T SG16 WP3与IS0/IEC JTC1/SC29/WG11的关于视频译码的联合 合作小组(JCT-VC )，第12次会议:瑞士日内瓦，2013年1月14日至2013年1月23日。对HEVC的 多视图扩展（即，MV-HEVC)及对HEVC的可扩展扩展（名为SHVC)也正分别由JCT-3V( 3D视频译 码扩展开发ITU-T/1 SO/1EC联合合作小组)及JCT-VC开发。
[0032] 下文参考附图更充分地描述新颖系统、设备和方法的各个方面。然而，本发明可以 许多不同形式来体现，且不应将其解释为限于贯穿本发明所呈现的任何特定结构或功能。 相反，提供这些方面以使得本发明将透彻且完整，并且将向所属领域的技术人员充分传达 本发明的范围。基于本文中的教示，所属领域的技术人员应了解，本发明的范围既定涵盖无 论是独立于本发明的任何其它方面而实施还是与之组合而实施的本文中所揭示的新颖系 统、设备及方法的任何方面。例如，可以使用本文中所阐述的任何数目个方面来实施设备或 实践方法。另外，本发明的范围既定涵盖使用除本文中所阐述的本发明的各种方面之外的 或不同于本文中所阐述的本发明的各种方面的其它结构、功能性或结构与功能性来实践的 此设备或方法。应理解，可通过权利要求书的一或多个要素来体现本文中所揭示的任何方 面。
[0033] 尽管本文描述了特定方面，但这些方面的许多变化及排列属于本发明的范围。尽 管提及了优选方面的一些益处及优点，但本发明的范围既定不限于特定益处、用途或目标。 相反地，本发明的方面希望广泛地适用于不同无线技术、系统配置、网络和传输协议，其中 的一些是作为实例而在图中和在优选方面的以下描述中加以说明。详细描述和图式仅说明 本发明，而不是限制由所附权利要求书及其等效者界定的本发明的范围。
[0034]【附图说明】若干实例。由附图中的参考标号指示的元件对应于在以下描述中由相同 参考标号指示的元件。在本发明中，名称以序数词(例如，"第一"、"第二"、"第三"等)开始的 元件未必暗示所述元件具有特定次序。而是，此些序数词仅用于指代相同或类似类型的不 同元件。
[0035] 视频译码系统
[0036] 图1A是说明可利用根据本发明中所描述的方面的技术的实例视频译码系统10的 框图。如本文中所描述地使用，术语"视频译码器"一般指视频编码器和视频解码器两者。在 本发明中，术语"视频译码"或"译码"可一般地指代视频编码及视频解码。
[0037] 如图1A中所示，视频译码系统10包含源模块12,其产生在稍后时间由目的地模块 14解码的经编码视频数据。在图1A的实例中，源模块12和目的地模块14在单独的装置上，具 体来说，源模块12是源装置的部分，且目的地模块14是目的地装置的部分。然而，注意，源模 块12与目的地模块14可在同一装置上或为同一装置的部分，如在图1B的实施中所展示。
[0038] 同样参考图1A，源模块12和目的地模块14可包括广泛范围的装置中的任一者，包 含桌上型计算机、笔记本(例如，膝上型计算机)计算机、平板计算机、机顶盒、例如所谓的 "智能"电话的电话手持机、所谓的"智能"平板、电视机、相机、显示装置、数字媒体播放器、 视频游戏控制台、视频流式传输装置或类似物。在一些情况下，源模块12和目的地模块14可 经装备以用于无线通信。
[0039] 目的地模块14可经由链路16接收待解码的经编码视频数据。链路16可包括能够将 经编码视频数据从源模块12移动到目的地模块14的任何类型媒体或装置。在图1A的实例 中，链路16可包括使得源模块12能够实时将经编码视频数据直接发射到目的地模块14的通 信媒体。经编码视频数据可根据例如无线通信协议等通信标准加以调制，且发射到目的地 模块14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理传 输线。通信媒体可形成基于包的网络(例如，局域网、广域网或全球网络，例如，因特网）的部 分。通信媒体可包含路由器、交换器、基站或任何其它可以用于促进从源模块12到目的地模 块14的通信的设备。
[0040] 替代地，经编码数据可从输出接口 22输出到任选的存储装置31。类似地，可通过输 入接口 28从存储装置31存取经编码数据。存储装置31可包含多种分布式或本地存取数据存 储媒体中的任一者，例如硬盘驱动器、快闪存储器、易失性或非易失性存储器，或用于存储 经编码视频数据的任何其它合适的数字存储媒体。在另一实例中，存储装置31可对应于文 件服务器或可保持源模块12产生的经编码视频的另一中间存储装置。目的地模块14可经由 流式传输或下载从存储装置31存取所存储的视频数据。文件服务器可为能够存储经编码视 频数据且将经编码视频数据传输到目的地模块14的任何类型的服务器。实例文件服务器包 含网络服务器(例如，用于网站）、FTP服务器、网络附接存储(NAS)装置或本地磁盘驱动器。 目的地模块14可以通过任何标准数据连接(包含因特网连接)来存取经编码的视频数据。此 可包含适合于存取存储于文件服务器上的经编码的视频数据的无线信道（例如，Wi-Fi连 接）、有线连接(例如，DSL、电缆调制解调器等)或两者的组合。经编码视频数据从存储装置 31的发射可为流式传输发射、下载发射或两者的组合。
[0041] 本发明的技术不限于无线应用或设定。所述技术可以应用于支持多种多媒体应用 中的任一者的视频译码，例如空中协议电视广播、有线电视发射、卫星电视发射、例如经由 因特网的流式传输视频发射(例如，动态自适应HTTP流式传输(DASH)等）、用于存储于数据 存储媒体上的数字视频的编码、存储在数据存储媒体上的数字视频的解码，或其它应用。在 一些实例中，视频编解码系统10可经配置以支持单向或双向视频传输以支持例如视频流式 传输、视频重放、视频广播和/或视频电话等应用。
[0042]在图1A的实例中，源模块12包含视频源18、视频编码器20及输出接口 22。在一些情 况下，输出接口22可包含调制器/解调制器(调制解调器)及/或发射器。在源模块12中，视频 源18可包含来源，例如视频俘获装置，例如摄像机，包含先前俘获的视频的视频存档，用于 从视频内容提供者接收视频的视频馈入接口和/或用于产生计算机图形数据作为源视频的 计算机图形系统，或此类来源的组合。作为一个实例，如果视频源18是摄像机，那么源模块 12和目的地模块14可形成所谓的相机电话或视频电话，如图1Β的实例中所说明。然而，本发 明中所描述的技术可大体上适用于视频译码，且可应用于无线和/或有线应用。
[0043]可由视频编码器20对所俘获、预俘获或计算机产生的视频进行编码。经编码视频 数据可经由源模块12的输出接口 22直接发射到目的地模块14。经编码视频数据还可(或替 代地)存储到存储装置31上用于稍后由目的地模块14或其它装置存取以用于解码和/或重 放。
[0044]在图1Α的实例中，目的地模块14包含输入接口28、视频解码器30和显示装置32。在 一些状况下，输入接口 28可包含接收器和/或调制解调器。目的地模块14的输入接口 28可经 由链路16接收经编码视频数据。经由链路16传送或在存储装置31上提供的经编码视频数据 可包含由视频编码器20所产生的多种语法元素以供由例如视频解码器30的视频解码器用 于解码视频数据。此类语法元素可与在通信媒体上发射、存储在存储媒体上或存储文件服 务器的经编码视频数据包含在一起。
[0045] 显示装置32可与目的地模块14集成或在目的地模块14外部。在一些实例中，目的 地模块14可包含集成显示装置，并且还经配置以与外部显示装置介接。在其它实例中，目的 地模块14可为显示装置。一般来说，显示装置32将经解码视频数据显示给用户，且可包括多 种显示装置中的任一者，例如液晶显示器(IXD)、等离子显示器、有机发光二极管(0LED)显 示器或另一类型的显示装置。
[0046] 在相关方面中，图1Β展示实例视频编码和解码系统1