用于可缩放视频译码及3d视频译码的多假设运动补偿的制作方法
【技术领域】
[0001] 本发明涉及视频译码。
【背景技术】
[0002] 数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播系统、无线广 播系统、个人数字助理（PDA)、膝上型或桌上型计算机、平板计算机、电子图书阅读器、数码 相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线 电电话、所谓的"智能电话"、视频电话会议装置、视频流式传输装置及其类似者。数字视频 装置实施视频译码技术，例如由MPEG-2、MPEG-4、ITU-T H. 263或ITU-T H. 264/MPEG-4第 10部分高级视频译码（AVC)所界定的标准、目前正在开发的高效率视频译码（HEVC)标准及 这些标准的扩展中所描述的视频译码技术。视频装置可通过实施此类视频译码技术而更有 效率地传输、接收、编码、解码及/或存储数字视频信息。
[0003] 视频译码技术包含空间（图片内）预测及/或时间（图片间）预测以减少或移除 视频序列中固有的冗余。对于基于块的视频译码来说，视频切片（即，视频帧或视频帧的一 部分）可以分割成视频块，视频块还可被称作树块、译码单元（CU)及/或译码节点。使用 相对于同一图片中的相邻块中的参考样本的空间预测对图片的经帧内译码（I)切片中的 视频块进行编码。图片的经帧间编码（P或B)切片中的视频块可使用相对于同一图片中的 相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可 被称为帧，且参考图片可涉及参考帧。
[0004] 空间或时间预测导致对块的预测块进行译码。残差数据表示待译码的原始块与预 测块之间的像素差。经帧间译码块是根据指向形成预测块的参考样本块的运动向量及指示 经译码块与预测块之间的差的残差数据编码的。经帧内译码块是根据帧内译码模式及残差 数据来编码。为了实现进一步压缩，可以将残差数据从像素域变换到变换域，从而产生残差 变换系数，接着可以对残差变换系数进行量化。可扫描最初布置为二维阵列的经量化变换 系数，以便产生变换系数的一维向量，且可应用熵译码以实现更多压缩。
【发明内容】
[0005] -般来说，本发明描述与可缩放视频译码（SVC)相关的技术。在一些实施例中，使 用采用显式地编码的假设及隐式地导出的假设两者的多假设运动补偿以便减轻归因于视 频压缩而引起的图像失真。举例来说，在译码增强层中的视频单元时，视频译码器可使用来 自参考层的信息以获得可用于识别额外假设的额外运动补偿数据。在从视频位流中的已经 存在的数据隐式地导出这些额外假设时，可以极少或没有位流大小上的额外成本而获得视 频译码中的额外性能。在另一实例中，来自在空间上相邻的视频单元的运动信息可用于定 位额外假设。所导出的假设可随后被平均或另外与显式地编码的假设组合以产生对视频单 元的值的更好预测。
[0006] 附图和以下描述中陈述一或多个实例的细节。其它特征、目标及优势将从所述描 述及所述图式以及从权利要求书而显而易见。
【附图说明】
[0007] 在整个图式中，参考数字可再使用以指示参考元件之间的对应关系。提供图式以 说明本文中描述的实例实施例，并且无意限制本发明的范围。
[0008] 图1为说明可利用根据本发明中描述的方面的技术的实例视频编码及解码系统 的框图。
[0009] 图2是说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框图。
[0010] 图3是说明可实施根据本发明中描述的方面的技术的视频解码器的实例的框图。
[0011] 图4是说明根据本发明的方面的实例候选运动向量的框图。
[0012] 图5是说明根据本发明的方面的空间候选扫描的框图。
[0013] 图6是说明根据本发明的方面的导出用于B切片的空间MVP候选者的实例的框 图。
[0014] 图7是说明根据本发明的方面的三个不同维度上的可缩放性的框图。
[0015] 图8是说明根据本发明的方面的SVC位流的实例结构的框图。
[0016] 图9是说明根据本发明的方面的位流中的实例SVC存取单元的框图。
[0017] 图10是说明根据本发明的方面的用于隐式多假设运动补偿（IMMC)的实例方法的 框图。
[0018] 图11为说明根据本发明的方面的用于编码例程的方法的实施例的流程图。
[0019] 图12是说明根据本发明的方面的用于解码例程的方法的一个实施例的流程图。
【具体实施方式】
[0020] 本发明中描述的技术通常涉及可缩放视频译码（SVC)及3D视频译码。举例来说， 所述技术可与高效率视频译码01EVC)可缩放视频译码（SVC)扩展相关，及供该HEVCSVC扩 展使用或在该ffiVC SVC扩展内使用。在SVC扩展中，可存在多个视频信息层。在极底层级 处的层可充当基层（BL)，且在极顶部的层可充当增强层（EL)。"增强型层"有时被称作"增 强层"，且这些术语可互换地使用。所有在中间的层可充当EL或参考层（RL)，或EL及参考 层两者。举例来说，在中间的层可为在其下方的层（例如基层或任何介入增强层）的EL，且 同时充当在其上方的增强层的RL。
[0021] 仅出于说明的目的，使用仅包含两个层（例如，较低层级层（例如基础层）及较高 层级层（例如增强型层））的实例来描述本发明中描述的技术。应理解，本发明中描述的实 例也可扩展到具有多个基础层及增强层的实例。另外，为便于说明，以下揭示内容主要使用 术语"帧"或"块"。然而，这些术语不打算是限制性的。举例来说，下文描述的技术可与不 同视频单元（例如块（例如，CU、PU、TU、宏块等）、切片、帧等）一起使用。
[0022] 视频译码标准
[0023]视频译码标准包含 ITU-T H. 261、ISO/IEC MPEG-1 Visual、ITU-T H. 262 或 ISO/ IEC MPEG-2 Visual、ITU-T H. 263、ISO/IEC MPEG-4 Visual 及 ITU-T H.264(也被称为 ISO/IEC MPEG-4 AVC)，包含其可缩放视频译码（SVC)及多视图视频译码（MVC)扩展。此 夕卜，存在一种新的视频译码标准，即高效率视频译码01EVC)，其正由ITU-T视频译码专家 组（VCEG)及ISO/IEC运动图片专家组（MPEG)的视频译码联合合作小组（JCT-VC)进行 开发。截至 2012年6 月 7 日，可从 http://wgll.sc29.Org/jct/doc_end_user/cu:rrent_ document.php? id = 5885/JCTVC-I1003-v2 获得 HEVC 的最近草案。截至 2012年6 月 7 日， 可从 http ://phenix. it_sudparis.eu/jct/doc_end_user/documents/9_Geneva/wgll/ JCTVC-11003-v3. zip下载被称作"HEVC工作草案7 "的HEVC标准的另一最近草案。对HEVC 工作草案7的完全引用是布洛斯等人的文献HCTVC-I1003 "高效率视频译码（HEVC)文本 规范草案 7 (High Efficiency Video Coding (HEVC) Text Specification Draft7)"，ITU_T SG16WP3及ISO/IEC JTC1/SC29/WG11的视频译码联合合作小组（JCT-VC)，第9次会议：瑞 士日内瓦，2012年4月27日到2012年5月7日。这些参考文献中的每一者以全文引用的 方式并入本文中。
[0024] 可缩放视频译码（SVC)可用于提供质量（还被称作信噪比（SNR))可缩放性、空间 可缩放性及/或时间可缩放性。举例来说，在一个实施例中，参考层（例如，基础层）包含 足以在第一质量水平下显示视频的视频信息，且增强层包含相对于所述参考层的额外视频 信息，以使得所述参考层及所述增强层一起包含足以在高于所述第一水平的第二质量水平 (例如，更少的噪声、更大的分辨率、更好的帧速率等）下显示视频的视频信息。增强型层可 具有与基础层不同的空间分辨率。举例来说，EL与BL之间的空间纵横比可为1. 0、1. 5、2. 0 或其它不同比率。换句话说，EL的空间方面可等于BL的空间方面的1. 0、1. 5或2. 0倍。在 一些实例中，EL的缩放因数可大于BL。举例来说，EL中的图片的大小可大于BL中的图片 的大小。以此方式，可有可能（但不限制）EL的空间分辨率大于BL的空间分辨率。
[0025] 在H. 264的SVC扩展中，可使用针对SVC提供的不同层来执行对当前块的预测。此 预测可被称作层间预测。在SVC中可利用层间预测方法以便减少层间冗余。层间预测的一 些实例可包含层间帧内预测、层间运动预测及层间残差预测。层间帧内预测使用基础层中 的位于同一地点的块的重构来预测增强层中的当前块。层间运动预测使用基础层的运动来 预测增强层中的运动。层间残差预测使用基础层的残差来预测增强层的残差。
[0026] 在层间运动预测的一些实施例中，基础层（例如，位于同一地点的块）的运动数据 可用于预测增强层中的当前块。举例来说，在译码增强层中的视频单元时，视频译码器可使 用来自参考层的信息以获得可用于识别额外假设的额外运动补偿数据。在从视频位流中的 已经存在的数据隐式地导出这些额外假设时，可以极少或没有位流大小上的额外成本而获 得视频译码中的额外性能。在另一实例中，来自在空间上相邻的视频单元的运动信息可用 于定位额外假设。所导出的假设可随后被平均或另外与显式地编码的假设组合以产生对视 频单元的值的更好预测。
[0027] 下文参考附图更充分地描述新颖系统、设备及方法的各种方面。然而，本发明可以 许多不同形式来体现，且不应将其解释为限于贯穿本发明所呈现的任何特定结构或功能。 而是，提供这些方面以使得本发明将为透彻且完整的，并且将向所属领域的技术人员充分 传达本发明的范围。基于本文中的教示，所属领域的技术人员应了解，本发明的范围既定涵 盖无论是独立于本发明的任何其它方面而实施还是与之组合而实施的本文中所揭示的新 颖系统、设备及方法的任何方面。举例来说，可使用本文中所阐述的任何数目个方面来实施 设备或实践方法。另外，本发明的范围既定涵盖使用除本文中所阐述的本发明的各种方面 之外的或不同于本文中所阐述的本发明的各种方面的其它结构、功能性或结构与功能性来 实践的此设备或方法。应理解，可通过技术方案的一或多个要素来体现本文中所揭示的任 何方面。
[0028] 尽管本文描述了特定方面，但这些方面的许多变化和排列属于本发明的范围。尽 管提及优选方面的一些益处及优点，但本发明的范围无意限于特定益处、用途或目标。而 是，本发明的方面既定广泛地适用于不同无线技术、系统配置、网络和传输协议，其中的一 些是作为实例而在图中以及在优选实施例的以下描述中得以说明。详细描述和图式仅说明 本发明，而不是限制由所附权利要求书及其等效者界定的本发明的范围。
[0029] 图1为说明可利用根据本发明中描述的方面的技术的实例视频编码及解码系统 的框图。如图1中所示，系统10包含源装置12,所述源装置12提供经编码视频数据以在稍 后时间由目的地装置14解码。具体来说，源装置12经由计算机可读媒体16将视频数据提 供给目的地装置14。源装置12及目的地装置14可包括广泛范围的装置中的任一者，包含 桌上型计算机、笔记型（例如，膝上型）计算机、平板计算机、机顶盒、例如所谓的"智能"电 话等电话手持机、所谓的"智能"板、电视、相机、显示装置、数字媒体播放器、视频游戏控制 台、视频流式传输装置或其类似者。在一些情况下，源装置12和目的地装置14可能经装备 以用于无线通信。
[0030] 目的地装置14可经由计算机可读媒体16接收待解码的经编码视频数据。计算机 可读媒体16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型 的媒体或装置。在一个实例中，计算机可读媒体16可包括使得源装置12能够实时将经编 码视频数据直接传输到目的地装置14的通信媒体。经编码视频数据可根据通信标准（例 如，无线通信协议）来调制，且被传输到目的地装置14。通信媒体可包括任何无线或有线通 信媒体，例如射频（RF)频谱或一或多个物理传输线路。通信媒体可形成基于包的网络（例 如，局域网、广域网或全球网络，例如因特网）的部分。通信媒体可包含路由器、交换器、基 站或可用于促进从源装置12到目的地装置14的通信的任何其它装备。
[0031] 在一些实例中，经编码数据可以从输出接口 22输出到存储装置。类似地，可以通 过输入接口从存储装置存取经编码数据。存储装置可包含多种分布式或本地存取的数据存 储媒体中的任一者，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失 性存储器或任何其它用于存储经编码视频数据的合适的数字存储媒体。在另一实例中，存 储装置可以对应于文件服务器或可存储由源装置12产生的经编码视频的另一中间存储装 置。目的地装置14可经由流式传输或下载从存储装置存取经存储的视频数据。文件服务 器可以是能够存储经编码视频数据并且将所述经编码视频数据传输到目的地装置14的任 何类型的服务器。实例文件服务器包含网络服务器（例如，用于网站）、FTP服务器、网络附 接存储（NAS)装置或本地磁盘驱动器。目的地装置14可以通过任何标准数据连接（包含 因特网连接）来存取经编码视频数据。此可包含无线通道（例如，Wi-Fi连接）、有线连接 (例如，DSL、缆线调制解调器，等等），或适合于存取存储于文件服务器上的经编码视频数 据的以上两者的组合。经编码视频数据从存储装置的传输可能是流式传输、下载传输或两 者的组合。
[0032] 本发明的技术不必限于无线应用或环境。所述技术可以应用于支持多种多媒体应 用中的任一者的视频译码，例如空中协议电视广播、有线电视传输、卫星电视传输、因特网 流式视频传输（例如，动态自适应HTTP流式传输（DASH))、经编码到数据存储媒体上的数字 视频，存储在数据存储媒体上的数字视频的解码，或其它应用。在一些实例中，系统10可经 配置以支持单向或双向视频传输，以支持例如视频流式传输、视频回放、视频广播和/或视 频电话等应用。
[0033] 在图1的实例中，源装置12包含视频源18、视频编码器20及输出接口 22。目的 地装置14包含输入接口 28、视频解码器30和显示装置32。根据本发明，源装置12的视频 编码器20可经配置以应用用于对包含符合多个标准或标准扩展的视频数据的位流进行译 码的技术。在其它实例中，源装置和目的地装置可包含其它组件或布置。举例来说，源装置 12可从外部视频源18 (例如外部相机）接收视频数据。同样，目的地装置14可以与外部显 示装置介接，而非包含集成显示装置。
[0034]图1的所说明的系统10只是一个实例。用于确定当前块的运动向量预测符的候 选列表的候选者的技术可由任何数字视频编码和/或解码装置执行。尽管本发明的技术一 般通过视频编码装置来执行，但是所述技术还可通过视频编码器/解码器（通常被称作"编 码解码器"）来执行。此外，本发明的