用于随机访问的多层视频编码的方法和设备以及用于随机访问的多层视频解码的方法和设备的制造方法
【技术领域】
[0001] 本发明涉及通过使用基于帧间预测、帧内预测和层间预测的多层预测结构来对视 频进行编码和解码。
【背景技术】
[0002] 随着用于再现和存储高分辨率或高质量视频内容的硬件的开发和提供，对于用于 有效地对高分辨率或高质量视频内容进行编码或解码的视频编解码器的需求正在增加。根 据传统的视频编解码器，基于具有预定尺寸的宏块，根据受限的编码方法来对视频进行编 码。
[0003] 经由频率变换将空间域的图像数据变换为频率域的系数。根据视频编解码器，将 图像划分为具有预定尺寸的块，对每个块执行离散余弦变换（DCT)，并以块为单元对频率系 数进行编码，以进行频率变换的快速计算。与空间域的图像数据相比，频率域的系数容易被 压缩。具体地，由于根据视频编解码器的帧间预测或帧内预测的预测误差来表示空间域的 图像像素值，因此当对预测误差执行频率变换时，大量数据可被变换为0。根据视频编解码 器，可通过将连续并重复产生的数据替换为小量数据来减少数据量。
[0004] 多层视频编解码器对基本层视频和至少一个增强层视频进行编码和解码。可通过 移除基本层视频和增强层视频的时间/空间冗余和层冗余来减少基本层视频和增强层视 频的数据量。
【发明内容】
[0005] 技术问题
[0006] 本发明提供了一种多层视频编码方法和设备以及多层视频解码方法和设备，其 中，在多视点视频重构处理期间，通过提供新的多层视频预测结构来根据层对随机访问进 行同步和执行。
[0007] 技术方案
[0008] 根据本发明的一方面，提供了一种多层视频解码方法，包括：通过对基本层流执行 运动补偿和帧内解码来重构基本层图像；通过从增强层流重构与基本层图像中的能够随机 访问的基本层随机访问点（RAP)图像相应的相同类型的增强层RAP图像，并通过使用基本 层图像对包括重构的增强层RAP图像的增强层图像执行运动补偿和层间解码，来重构增强 层图像。
[0009] 有益效果
[0010] 根据基于实施例的多层视频预测结构，在基本层图像与增强层图像之间同步的输 出可被保证为在基本层图像序列与增强层图像序列之间执行基本层图像与增强层图像之 间的帧间层编码或帧间层解码，其中，基本层图像和增强层图像被分配了相同再现顺序画 面顺序计数（POC)。
【附图说明】
[0011] 图la是根据本发明实施例的多层视频编码设备的框图。
[0012] 图lb是图la的多层视频编码设备的多层视频编码方法的流程图。
[0013] 图2a是根据本发明实施例的多层视频解码设备的框图。
[0014] 图2b是图2a的多层视频解码设备的多层视频解码方法的流程图。
[0015] 图3是根据本发明实施例的层间预测结构的示图。
[0016] 图4a是多层图像的多层预测结构的示图。
[0017] 图4b是根据时间分层编码和解码方法的多层预测结构的示图。
[0018] 图5a和图5b示出根据本发明两个实施例的瞬时解码刷新（Instantaneous DecodingRefresh(IDR))图像的再现顺序和解码顺序。
[0019] 图6a和图6b示出根据本发明两个实施例的纯净随机访问（ClearRandom Access(CRA))图像的再现顺序和解码顺序。
[0020] 图7a和图7b示出根据本发明两个实施例的断链访问（BrokenLink Access(BLA))图像的再现顺序和解码顺序。
[0021] 图8是根据本发明实施例的基于根据树结构的编码单元的视频编码设备的框图。
[0022] 图9是根据本发明实施例的基于根据树结构的编码单元的视频解码设备的框图。
[0023] 图10是用于描述根据本发明实施例的编码单元的概念的示图。
[0024] 图11是根据本发明实施例的基于编码单元的图像编码器的框图。
[0025] 图12是根据本发明实施例的基于编码单元的图像解码器的框图。
[0026] 图13是根据本发明实施例的根据深度的较深层编码单元以及分区的示图。
[0027] 图14是用于描述根据本发明实施例的编码单元与变换单元之间的关系的示图。
[0028] 图15是用于描述根据本发明实施例的与编码深度相应的编码单元的编码信息的 示图。
[0029] 图16是根据本发明实施例的根据深度的较深层编码单元的示图。
[0030] 图17至图19是用于描述根据本发明实施例的编码单元、预测单元和变换单元之 间的关系的不图。
[0031] 图20是用于描述根据表1的编码模式信息的编码单元、预测单元和变换单元之间 的关系的不图。
[0032] 图21是根据本发明实施例的存储程序的盘的物理结构的示图。
[0033] 图22是通过使用盘来记录和读取程序的盘驱动器的示图。
[0034] 图23是用于提供内容分配服务的内容供应系统的整体结构的示图。
[0035] 图24和图25分别是根据本发明实施例的应用了视频编码方法和视频解码方法的 移动电话的外部结构和内部结构的示图。
[0036] 图26是根据本发明实施例的采用通信系统的数字广播系统的示图。
[0037] 图27是示出根据本发明实施例的使用视频编码设备和视频解码设备的云计算系 统的网络结构的示图。
【具体实施方式】
[0038] 最佳模式
[0039] 根据本发明的一方面，提供了一种多层视频解码方法，包括：通过对基本层流执行 运动补偿和帧内解码来重构基本层图像；通过从增强层流重构与基本层图像中的能够随机 访问的基本层随机访问点（RAP)图像相应的相同类型的增强层RAP图像，并通过使用基本 层图像对包括重构的增强层RAP图像的增强层图像执行运动补偿和层间解码，来重构增强 层图像。
[0040] 重构增强层图像的步骤可包括：将与第一基本层IDR图像相应的第一增强层图像 确定为第一增强层IDR图像，并通过参考第一基本层IDR图像对第一增强层IDR图像执行 层间解码；通过参考第一增强层IDR图像对至少一个增强层图像执行运动补偿。
[0041] 重构增强层图像的步骤可包括：将与第一基本层CRA图像相应的第一增强层图像 确定为第一增强层CRA图像，并通过参考第一基本层CRA图像对第一增强层CRA图像执行 层间解码；通过参考第一增强层CRA图像对至少一个增强层图像执行运动补偿。
[0042] 重构增强层图像的步骤可包括：将与第一基本层BLA图像相应的第一增强层图像 确定为第一增强层BLA图像，并通过参考第一基本层BLA图像对第一增强层BLA图像执行 层间解码；通过参考第一增强层BLA图像对至少一个增强层图像执行运动补偿。
[0043] 重构增强层图像的步骤可包括：将与第一基本层RASL图像相应的第一增强层图 像确定为第一增强层RASL图像，并对第一增强层RASL图像执行参考第一基本层RASL图像 的层间解码和参考第一增强层RAP图像和按照解码顺序在第一增强层RAP图像之前的增强 层RAP图像的运动补偿。
[0044] 重构增强层图像的步骤可包括：将与第一基本层普通图像相应的第一增强层图像 确定为第一增强层纯净随机访问（CRA)图像、第一增强层随机访问跳过领导（RASL)图像和 第一增强层普通图像中的一个，并对第一增强层普通图像执行参考第一基本层普通图像的 层间解码和参考增强层RAP图像的运动补偿。
[0045] 重构增强层图像的步骤可包括：基于视点改变请求来确定与作为RAP图像和非 RAP图像之一的第一基本层图像相应的第一增强层查看层访问（VLA)图像，并通过参考第 一基本层图像来对第一增强层VLA图像执行层间解码；通过参考按照解码顺序和再现顺序 在第一增强层VLA图像之后或与第一增强层VLA图像顺序相同的增强层图像中的至少一 个，对按照解码顺序在第一增强层VLA图像之后的增强层图像执行运动补偿。
[0046] 重构基本层图像的步骤可包括：跳过对按照解码顺序在第一基本层RAP图像之前 的基本层随机访问跳过领导（RASL)图像中的至少一个基本层RASL图像的解码，重构增强 层图像的步骤可包括：跳过对与基本层RASL图像中的解码被跳过的所述至少一个基本层 RASL图像相应的增强层图像的解码。
[0047] 重构增强层图像的步骤可包括：对于基本层流和增强层流的时间分层解码，通过 参考被分配了低于第一增强层图像的时间分层识别号的时间分层识别号的第一基本层图 像对第一增强层图像执行层间解码。
[0048] 根据本发明的另一方面，提供了一种多层视频编码方法，包括：对基本层图像执行 帧间预测和帧内预测；将与基本层图像中的能够随机访问的基本层随机访问点（RAP)图像 相应的增强层图像确定为与基本层RAP图像相同类型的增强层RAP图像，并使用基本层图 像对包括增强层RAP图像的增强层图像执行帧间预测和层间预测。
[0049] 执行帧间预测和层间预测的步骤可包括：将与第一基本层IDR图像相应的第一增 强层图像确定为第一增强层IDR图像，并通过参考第一基本层IDR图像对第一增强层IDR 图像执行层间解码；通过参考第一增强层IDR图像对至少一个增强层图像执行运动补偿。
[0050] 执行帧间预测和层间预测的步骤可包括：将与第一基本层CRA图像相应的第一增 强层图像确定为第一增强层CRA图像，并通过参考第一基本层CRA图像对第一增强层CRA 图像执行层间解码；通过参考第一增强层CRA图像对至少一个增强层图像执行运动补偿。
[0051] 执行帧间预测和层间预测的步骤可包括：将与第一基本层BLA图像相应的第一增 强层图像确定为第一增强层BLA图像，并通过参考第一基本层BLA图像对第一增强层BLA 图像执行层间解码；通过参考第一增强层BLA图像对至少一个增强层图像执行运动补偿。
[0052] 执行帧间预测和层间预测的步骤可包括：将与第一基本层RASL图像相应的第一 增强层图像确定为第一增强层RASL图像，并对第一增强层RASL图像执行参考第一基本层 RASL图像的层间解码和参考第一增强层RAP图像和按照解码顺序在第一增强层RAP图像之 前的增强层RAP图像的运动补偿。
[0053] 执行帧间预测和层间预测的步骤可包括：将与第一基本层普通图像相应的第一 增强层图像确定为第一增强层纯净随机访问（CRA)图像、第一增强层随机访问跳过领导 (RASL)图像和第一增强层普通图像中的一个，并对第一增强层普通图像执行参考第一基本 层普通图像的层间解码和参考增强层RAP图像的运动补偿。
[0054] 执行帧间预测和层间预测的步骤可包括：基于视点改变请求来确定与作为RAP图 像和非RAP图像之一的第一基本层图像相应的第一增强层查看层访问（VLA)图像，并通过 参考第一基本层图像来对第一增强层VLA图像执行层间解码；通过参考按照解码顺序和再 现顺序在第一增强层VLA图像之后或与第一增强层VLA图像顺序相同的增强层图像中的至 少一个，对按照解码顺序在第一增强层VLA图像之后的增强层图像执行运动补偿。
[0055] 执行帧间预测和层间预测的步骤可包括：对于基本层流和增强层流的时间分层解 码，通过参考被分配了低于第一增强层图像的时间分层识别号的时间分层识别号的第一基 本层图像对第一增强层图像执行层间解码。
[0056] 根据本发明的另一方面，提供了一种多层视频解码设备，包括：基本层解码器，通 过对基本层流执行运动补偿和帧内解码来重构基本层图像；增强层解码器，通过从增强层 流重构与基本层图像中的能够随机访问的基本层随机访问点（RAP)图像相应的相同类型 的增强层RAP图像，并通过使用基本层图像对包括重构的增强层RAP图像的增强层图像执 行运动补偿和层间解码，来重构增强层图像。
[0057] 根据本发明的另一方面，提供了一种多层视频编码设备，包括：基本层编码器，对 基本层图像执行帧间预测和帧内预测；增强层编码器，将与基本层图像中的能够随机访问 的基本层随机访问点（RAP)图像相应的增强层图像确定为与基本层RAP图像相同类型的增 强层RAP图像，并使用基本层图像对包括增强层RAP图像的增强层图像执行帧间预测和层 间预测。
[0058] 根据本发明的另一方面，提供了一种记录有用于执行多层视频编码方法的程序的 非暂时性计算机可读记录介质。根据本发明的另一方面，提供了一种记录有用于执行多层 视频解码方法的程序的非暂时性计算机可读记录介质。
[0059] 发明模式
[0060] 在下文中，将参考图la至图7b来描述根据本发明实施例的多层视频编码设备、多 层视频解码设备、多层视频编码方法和多层视频解码方法。此外，将参考图8至图20来描 述根据本发明实施例的基于具有树结构的编码单元的多层视频编码设备、多层视频解码设 备、多层视频编码方法和多层视频解码方法。另外，将参考图21至图27来描述可应用多层 视频编码设备、多层视频解码设备、多层视频编码方法和多层视频解码方法的各个实施例。 在下文中，"图像"可以表示视频的静止图像或运动图像或者视频本身。
[0061] 首先，将参考图la至图7b来描述多层视频编码设备、多层视频解码设备、多层视 频编码方法和多层视频解码方法。
[0062] 图la是根据本发明实施例的多层视频编码设备10的框图。图lb是图la的多层 视频编码设备10的多层视频编码方法11的流程图。
[0063] 根据实施例的多层视频编码设备10包括基本层编码器12和增强层编码器14。
[0064] 根据实施例的多层视频编码设备10可根据层对多个视频流进行分类，并根据可 伸缩视频编码方法对每个视频流进行编码。根据实施例的多层视频编码设备10对基本层 图像和增强层图像进行编码。
[0065] 例如，可根据可伸缩视频编码方法对多视点视频进行编码。中间视点图像、左视点 图像和右视点图像被分别编码，其中，中间视点图像可作为基本层图像被编码，左视点图像 可作为第一增强层图像被编码，右视点图像可作为第二增强层图像被编码。基本层图像的 编码结果可被输出为基本视点层流，第一增强层图像和第二增强层图像的编码结果可被分 别输出为第一增强层图像流和第二增强层图像流。
[0066] 可选择地，可根据时间分层预测来执行可伸缩视频编码方法。包括通过对基本帧 率图像进行编码而产生的编码信息的基本层流可被输出。通过参考基本帧率图像进一步对 高帧率图像进行编码，可输出包括高速帧率的编码信息的增强层流。后面将参照图4a来描 述根据时间分层预测的可伸缩视频编码方法。
[0067] 另外，可对基本层和多个增强层执行可伸缩视频编码。当存在至少三个增强层时， 基本层图像和第一至第K增强层图像可被编码。因此，基本层图像的编码结果可被输出为 基本层流，第一至第K增强层图像的编码结果可被分别输出为第一至第K增强层流。
[0068] 根据实施例的多层视频编码设备10可根据层并根据视频的每个图像的块来执行 编码。块可具有正方形、矩形或任意几何形状，但不限于具有预定尺寸的数据单元。根据实 施例的块可以是根据树结构的编码单元中的最大编码单元、编码单元、预测单元或变换单 元。后面将参照图8至图20来描述基于根据树结构的编码单元的视频编码和解码方法。
[0069] 根据实施例的多层视频编码设备10可执行帧间预测，在所述帧间预测中，相同层 的图像被参考以对图像进行预测。通过执行帧间预测，可产生指示当前图像与参考图像之 间的运动信息的运动矢量以及作为当前图像与参考图像之间的差分量的残差。
[0070] 另外，根据实施例的多层视频编码设备10可执行层间预测以通过参考基本层图 像来对增强层图像进行预测。根据实施例的多层视频编码设备10可执行用于通过参考第 一增强层图像对第二增强层图像进行预测的层间预测。通过执行层间预测，可产生当前图 像与和当前图像的层不同的层的参考图像之间的位置差分量以及当前图像与所述不同的 层的参考图像之间的残差。
[0071] 当根据实施例的多层视频编码设备10允许至少两个增强层时，可根据多层预测 结构在一个基本层图像与至少两个增强层图像之间执行层间预测。
[0072] 可基于数据单元（诸如，编码单元、预测单元或变换单元）来执行帧间预测和层间 预测。
[0073] 根据实施例的基本层编码器12通过对基本层图像进行编码来产生基本层流。基 本层编码器12可执行基本层图像之间的帧间预测。根据实施例的基本层编码器12可对基 本层图像中的能够随机访问的随机访问点（RAP)图像进行编码，而不必参考其它图像。
[0074] I类型RAP图像可以是瞬时解码刷新（IDR)图像、纯净随机访问（CRA)图像、断链 访问（BLA)图像、时间子层访问（TemporalSublayerAccess(TSA))图像和逐步时间子层 访问（StepwiseTemporalSublayerAccess(STSA))图像中的任意一种。
[0075] 另外，RAP图像可被领导画面（LeadingPicture)和追随画面（Trailing Picture)参考。领导画面和追随画面按照解码顺序在RAP图像之后，而领导画面按照再现 顺序在RAP图像之前，追随画面按照再现顺序在RAP图像之后。追随画面也可被称为正常 画面。
[0076] 领导画面可被分类为随机访问可解码领导（RADL)图像和随机访问跳过领导 (RASL)图像。当针对按照再现顺序在领导画面之后的RAP图像发生随机访问时，RADL图像 是可解码图像，但是RASL不可解码。
[0077] 根据实施例的基本层编码器12可对通过将基本层RAP图像排除出基本层图像而 获得的非RAP图像执行帧间预测。可对基本层RAP图像执行参考图像中的邻近像素的帧内 预测。根据实施例的基本层编码器12可通过对经由执行帧间预测或帧内预测而获得的结 果数据进行编码来产生编码数据。例如，可对包括通过执行帧间预测或帧内预测而获得的 结果数据的图像块执行变换、量化或熵编码。
[0078] 根据实施例的基本层编码器12可产生包括基本层RAP图像的编码数据和剩余层 图像的编码数据的基本层流。基本层编码器12可与基本层流一起输出经由对基本层图像 执行帧间预测而产生的运动矢量。
[0079] 根据实施例的增强层编码器14通过对增强层图像进行编码来产生增强层流。当 多个增强层图像被编码时，根据实施例的增强层编码器14通过根据层对多个增强层图像 进行编码来产生根据层的增强层流。以下，为了描述方便，根据实施例的增强层编码器14 的编码操作将被描述为对一个层的增强层图像执行的操作。然而，增强层编码器14的编码 操作不仅只对一个层的增强层图像执行，还可对其它层的每个增强层图像执行。
[0080] 根据实施例的增强层编码器14可执行参考基本层图像的层间预测和参考相同层 的图像的帧间预测，以对增强层图像进行编码。
[0081] 仅当将被参考的图像被预重构时执行帧间预测或层间预测。因此，当将通过参考 当前层的另一图像来对当前层的第一图像进行初始解码时，不能对第一图像进行解码。因 此，能够随机访问的RAP图像需要不参考相同层的另一图像而被编码。根据实施例，当在 RAP图像中发生随机访问时，即使没有相同层的预重构的图像，也可立即对RAP图像进行解 码并输出。
[0082] 基于根据实施例的多层视频编码设备10的多层预测结构，可根据在对第一层图 像进行解码时的层改变来对第二层图像进行解码。例如，当在多视点图像结构中发生视点 改变或在时间分层预测结构中发生时间分层改变时，可在多层预测结构中执行层改变。此 时，由于在层改变点不存在相同层的预重构的图像，故不能执行帧间预测。
[0083] 以下，将描述根据实施例的多层视频编码设备10的根据多层预测结构执行可伸 缩视频编码的操作，其中，在所述多层预测结构中，根据层指定了层改变点，从而在层改变 点的图像被立即解码。
[0084] 在根据实施例的多层预测结构中，当基本层RAP图像存在于基本层图像中时，增 强层图像中的与基本层RAP图像相应的增强层图像可被确定为与基本层RAP图像相同类型 的增强层RAP图像。例如，当基本层RAP图像是IDR图像时，与基本层RAP图像相应的增强 层图像也可被确