可缩放视频编码中的编码依赖指示的制作方法
【专利说明】
[000。 本申请是申请日为2006年7月5日，申请号为"200680023075. 5"，发明名称为"可 缩放视频编码中的编码依赖指示"的发明专利申请的分案申请。
技术领域
[0002] 本发明涉及可缩放视频编码并且具体地涉及在可缩放视频编码中指示编码依赖。
【背景技术】
[0003] -些视频编码系统利用该样的可缩放编码，其中可W去除视频序列的一些单元或 者单元组而不影响视频序列其它部分的重建。可缩放视频编码对于在利用具有宽范围处理 能力的解码器的系统中使用的许多多媒体应用和服务而言是合乎需要的特征。可缩放位流 可W例如用于在流服务器中预编码单播流的速率适配W及用于将单个位流发送到具有不 同能力和/或具有不同网络条件的终端。
[0004] 通常通过将图像峽分组成多个分级层来实施可缩放性。编码成基础层图像峽的图 像峽基本上仅包括在接收端对视频信息解码所必需的图像峽。可W在基础层之上确定一个 或者多个增强层，各增强层较下层而言改进了解码视频的质量。然而，可W通过仅对可缩放 位流的某些部分解码来产生有意义的解码表示。
[0005] 增强层可W增强时间分辨率（即峽速率）、空间分辨率或者仅增强质量。在一些 情况下，可W在某一位置、甚至是任意位置截取增强层的数据，由此具有一些附加数据的各 截取位置代表了越发增强的视觉质量。该样的可缩放性称为细颗粒化（颗粒度）可缩放性 (FG巧。与FGS对照而言，没有提供细颗粒化可缩放性的质量增强层所提供的可缩放性称为 粗颗粒化可缩放性（CG巧。
[0006] 在可缩放视频编码领域中的当前开发项目之一是W后将称为口U-T H. 264视频编 码标准（也称为IS0/IEC MPEG-4AVC)的可缩放扩展的可缩放视频编码（SVC)标准。根据 SVC标准草案，在空间或者CGS增强层中的编码画面包括对层间预测基础的指示。层间预测 包括对如下H个参数中一个或者多个参数的预测：编码模式、运动信息和采样残留。对层间 预测的使用可W显著地改进增强层的编码效率。层间预测总是来自下层，即在对下层解码 时从不需要高层。
[0007] 在可缩放视频位流中，对于增强层画面，针对层间预测而选择来自任一个的画面。 因而，如果视频流包括多个可缩放层，则它可能包括在对整个上层进行解码和回放时不需 要的中间层上的画面。该样的画面称为非必需画面（用于对整个上层进行的解码）。
[0008] 然而，现有技术的可缩放视频方法具有严重缺点，即在对非必需画面进行解码之 前没有用W指示该样的依赖信息的手段。因而，解码器必须对非必须画面进行解码，该在计 算量方面有所浪费，W及必须缓存对应的解码画面，该在存储器消耗方面有所浪费。可选 地，如果在特定时间位置的非必需画面为非参考画面，则解码器可W等待画面到达在需要 回放的可缩放层的该时间位置、然后解析依赖信息。然而，该一点造成端到端延迟增加，该 是实时视觉应用所无法接受的。
【发明内容】
[0009] 现在发明了一种改进方法和实施该方法的技术设备，通过该方法和设备可W在非 必需画面的解码之前向解码器指示它们。本发明的各种方面包括编码和解码方法、编码器、 解码器、视频编码设备、视频解码设备、用于执行编码和解码的计算机程序W及数据结构， 该些方面的特征如下所述。公开了本发明的各种实施例。
[0010] 根据第一方面，根据本发明的方法是基于对包括基础层和至少一个增强层的可缩 放视频数据流进行编码的思想，其中可缩放数据流在层的时间位置包括至少一个非必需画 面，其中在所述时间位置和按照解码顺序继所述时间位置之后对上层中的画面进行的解码 无需所述非必需画面；W及在可缩放视频数据流中用信号发送至少一个非必需画面的信 息。
[0011] 根据一个实施例，一个或者多个增强层包括一个或者多个空间增强层、质量增强 层或者细颗粒度可缩放（FG巧增强层。
[0012] 根据一个实施例，在所述可缩放数据流的部分内执行所述信号发送。
[0013] 根据一个实施例，在补充增强信息（SEI)消息中执行所述信号发送。
[0014] 根据第二方面，提供一种对包括基础层和至少一个增强层的可缩放视频数据流进 行解码的方法，该方法包括：对与可缩放数据流一起接收的信号发送信息进行解码，所述信 号发送信息包括与在层的时间位置的至少一个非必需画面有关的信息；W及在不对非必需 画面进行解码的情况下在所述时间位置和按照解码顺序继所述时间位置之后对在非必需 画面W上的层中的画面进行解码。
[0015] 根据本发明的布置提供了显著优点。与可缩放视频流相结合地用信号发送的非必 需画面的指示信息使解码器能够在解码之前确定非必需画面，由此避免了对非必需画面的 任何不必要的解码和缓存。该减少了解码过程的计算负荷和存储器消耗。另外，根据本发 明的布置实现了维持最小的端到端延迟。
[0016] 本发明的更多方面包括布置用W实现上述方法的发明步骤的各种装置。
【附图说明】
[0017] 在下文中将参照附图更具体地描述本发明的各种实施例，在附图中：
[0018] 图1示出了比264设计的概念结构；
[0019] 图2示出了可缩放视频流的编码依赖分级的例子；
[0020] 图3示出了可缩放视频流的编码依赖分级的另一例子；
[0021] 图4示出了涉及到FGS层的可缩放视频流的编码依赖分级的例子；
[0022] 图5示出了作为图4依赖分级的一种变形的可缩放视频流的编码依赖分级的例 子；
[0023] 图6示出了可缩放视频流的编码依赖分级的另一个例子；
[0024] 图7示出了根据一实施例的编码设备的简化框图；
[0025] 图8示出了根据一实施例的解码设备的简化框图；
[0026] 图9示出了根据一优选实施例的移动通信设备的框图；
[0027] 图10示出了本发明所应用的视频通信系统。
【具体实施方式】
[0028] 本发明适用于所有使用可缩放视频编码的视频编码方法。视频编码标准包括 ITU-T H. 26UIS0/IEC MPEG-lVisual、ITU-T 比 262 或者 IS0/IEC MPEG-2Visual、ITU-T 比 263、IS0/IEC MPEG-4Visual 和口U-T H. 264(也称为 IS0/IEC MPEG-4AVC)。此外，针对 新的视频编码标准也正在付诸努力。其中之一是将变为H. 264/AVC的可缩放扩展的可缩放 视频编码（SVC)标准。当前正在JVT之下开发SVC标准，JVT是由口U-T VCEG和IS0/IEC MPEG形成的联合视频团队。第二项努力是由中国音频视频编码标准工作组（AV巧组织的对 中国视频编码标准的开发。
[0029] 下文是W H. 264视频编码为例对本发明的示例性说明。将W认为满足于理解本 发明及其优选实施例的细节程度来描述H. 264编码。至于对实施H. 264的更具体描述可 参见H. 264标准，该标准的最新规范在2005年1月18-21日中国香港第14届JVT会议的 N050dl "Draft of Version 4of 比 264/AVC"中有描述。
[0030] 根据图1，比264/AVC区分视频编码层（VCL)和网络抽象层（ML)该两个不同的概 念层。V化和NAL是H. 264/AVC标准的部分。V化指定了编码视频信号的高效表示。H. 264/ AVC的NAL定义了在视频编码器本身与外界之间的接口。它在NAL单元上进行操作，该些 NAL单元对多数现有网络的基于分组的方式给予支持。在NAL解码器接口，假设W解码顺序 递送NAL单元而分组要么被正确地接收、被丢失或者如果净荷包含位错误则可W提高NAL 单元报头中的错误标志。后一特征不是该标准的部分，因为该标志可W用于不同目的。然 而，它提供一种用W通过整个网络用信号发送错误指示的方式。此外