利用颜色位深缩放的视频压缩的制作方法
【技术领域】
[0001] 本公开总体涉及视频编码，更具体地讲，涉及用于视频编码的颜色空间预测。
【背景技术】
[0002] 许多系统包括视频编码器以实现视频编码标准并且压缩视频数据以便于经由具 有有限带宽和/或有限存储容量的信道来传输。这些视频编码标准可包括多个编码阶段， 例如帧内预测、从空域到频域的变换、从频域到空域的逆变换、量化、熵编码、运动估计和运 动补偿，以便更有效地对帧进行编码。
[0003] 传统数字高清（HD)内容可通过视频编码标准国际电信联盟无线电通信部门 (ITU-R)建议BT. 709所描述的格式来表示，其定义了视频内容的分辨率、色域、灰度系数 (gamma)和量化位深。随着更高分辨率视频标准的出现，例如ITU-R超高清电视（UHDTV)，其 与BT. 709相比，除了具有更高分辨率以外，还可具有更宽的色域和增加的量化位深，基于 较低分辨率HD内容的许多传统系统可能无法使用压缩的UHDTV内容。维持这些传统系统 的可用性的当前解决方案之一包括分别同播压缩的HD内容和压缩的UHDTV内容二者。尽 管接收同播的传统系统能够解码并使用压缩的HD内容，但是压缩并同播具有相同的下层 内容的多个比特流对处理、带宽和存储资源的使用效率低。
【发明内容】
[0004] 问题的解决方案
[0005] 本发明的一个方面提供一种视频解码方法，该视频解码方法提供编码视频的解 码，所述编码视频包括参考画面以及与具有不同位深的至少两种数字视频格式之一对应的 画面，在该视频解码方法中的改进之处包括：对层间参考画面集进行解码，获得重采样的层 间参考画面，以当前画面的位深和参考画面的位深，利用所述重采样的层间参考画面得出 当前画面。
[0006] 本发明的一个方面提供一种视频解码方法，该视频解码方法提供编码视频的解 码，所述编码视频包括参考画面以及与具有不同颜色特性的至少两种数字视频格式之一对 应的画面样本值，在该视频解码方法中的改进包括：编码视频中的参考画面的位深缩放以 及编码视频中的画面样本值的位深缩放。
[0007] 本发明的另一个方面提供一种视频解码器，该视频解码器提供编码视频的解码， 所述编码视频包括参考画面以及与具有不同颜色特性的至少两种数字视频格式之一对应 的画面样本值，在该视频解码方法中的改进包括：位深缩放操作器，其提供编码视频中的参 考画面的位深缩放以及编码视频中的画面样本值的位深缩放。
【附图说明】
[0008] 图1是视频编码系统的框图不例。
[0009] 图2是示出BT. 709视频标准中和UHDTV视频标准中支持的色域的示例曲线图 200〇
[0010] 图3Α是图1所示的视频编码器的框图示例。
[0011] 图3B是图1所示的视频编码器的框图示例。
[0012] 图4是图3A和图3B所示的颜色空间预测器的框图示例。
[0013] 图5A是图1所示的视频解码器的框图示例。
[0014] 图5B是图1所示的视频解码器的框图示例。
[0015] 图6是图5A和图5B所示的颜色空间预测器的框图示例。
[0016] 图7是图1所示的视频编码器中的颜色空间预测的示例操作流程图。
[0017] 图8是图1所示的视频解码器中的颜色空间预测的示例操作流程图。
[0018] 图9是图1所示的视频解码器中的颜色空间预测的另一示例操作流程图。
[0019] 图IOA是包括颜色位深缩放的视频编码器的框图示例。
[0020] 图IOB是包括颜色位深缩放的视频编码器的框图示例。
[0021] 图11是包括位深缩放的编码方法的流程图。
[0022] 图12A是包括颜色位深缩放的视频解码器的框图示例。
[0023] 图12B是包括颜色位深缩放的视频解码器的框图示例。
[0024] 图13是包括位深缩放的解码方法的流程图。
【具体实施方式】
[0025] 图1是视频编码系统100的框图示例。视频编码系统100可包括视频编码器300， 以接收被标准化为BT. 2020、例如超高清电视（UHDTV)视频流102的视频流和BT. 709视频 流104,并且基于所述视频流生成编码视频流112。视频编码器300可将编码视频流112发 送到视频解码器500。视频解码器500可将编码视频流112解码以生成解码的UHDTV视频 流122和/或解码的BT. 709视频流124。
[0026] 与BT. 709视频流104相比，UHDTV视频流102可具有不同的分辨率、不同的量化位 深，并且表示不同的色域。例如，UHDTV或BT. 2020视频标准具有可支持4k (3840 X 2160像 素）或8k(7680X4320像素）分辨率以及10或12位的量化位深的格式建议。BT. 709视频 标准具有可支持2k (1920 X 1080像素）分辨率和8或10位的量化位深的格式建议。UHDTV 格式建议还可支持比BT. 709格式建议更宽的色域。UHDTV视频标准与BT. 709视频标准之 间的色域差的实施例将在下面参照图2更详细地示出并描述。
[0027] 视频编码器300可包括增强层编码器302和基本层编码器304。基本层编码器304 可例如利用实现运动图像专家组（MPEG)-2标准等的编解码器实现高清（HD)内容的视频编 码。增强层编码器302可实现UHDTV内容的视频编码。在一些实施例中，增强层编码器302 可通过从在基本层编码器302中编码的BT. 709图像帧，利用运动补偿预测、帧内预测和缩 放颜色预测，生成UHDTV图像帧的至少一部分的预测，来对UHDTV视频帧进行编码。视频编 码器3〇〇可利用预测来生成预测残差，例如预测与UHDTV图像帧之差，并且将预测残差编码 在编码视频流112中。
[0028] 在一些实施例中，当视频编码器300利用从BT. 709图像帧的缩放颜色预测时，视 频编码器300可将颜色预测参数114发送到视频解码器500。颜色预测参数114可包括由 视频编码器300用来生成缩放颜色预测的参数。例如，视频编码器300可通过独立信道预 测或者基于仿射矩阵的颜色预测来生成缩放颜色预测，其各自具有不同的参数，例如每信 道的增益参数或者每信道的增益参数和偏移参数。颜色预测参数114可包括与视频编码器 300所使用的独立信道预测或者基于仿射矩阵的颜色预测对应的参数。在一些实施例中， 编码器300可将颜色预测参数114包括在编码视频流112的规范部分中，例如序列参数集 (SPS)、画面参数集（PPS)或者编码视频流112的规范部分的另一下级部分中。在一些实施 例中，视频编码器300可利用视频解码器500中可能预设的默认颜色预测参数114,从而使 得视频编码器300免于将颜色预测参数114发送到视频解码器500。视频编码器300的实 施例将在下面更详细地描述。
[0029] 视频解码器500可包括增强层解码器502和基本层解码器504。基本层解码器504 可例如利用实现运动图像专家组（MPEG)-2标准等的编解码器实现高清（HD)内容的视频解 码，并且对编码视频流112进行解码以生成解码的BT. 709视频流124。增强层解码器502 可实现UHDTV内容的视频解码，并且对编码视频流112进行解码以生成解码的UHDTV视频 流 122。
[0030] 在一些实施例中，增强层解码器502可将编码视频流112的至少一部分解码为 UHDTV视频帧的预测残差。增强层解码器502可生成由视频编码器300在编码处理期间生成 的UHDTV图像帧的相同或相似的预测，然后将该预测与预测残差组合以生成解码的UHDTV 视频流122。增强层解码器502可从在基本层解码器504中解码的BT. 709图像帧通过运动 补偿预测、帧内预测或缩放颜色预测生成UHDTV图像帧的预测。视频编码器300的实施例 将在下面更详细地描述。
[0031] 尽管图1示出了利用视频编码器300和视频解码器500的UHDTV视频流和BT. 709 视频流的基于颜色预测的视频编码，在一些实施例中，可利用基于颜色预测的视频编码来 对表示不同色域的任何视频流进行编码或解码。
[0032] 图2是示出BT. 709视频标准中和UHDTV视频标准中支持的色域的示例曲线图 200。参照图2,曲线图200示出国际照明委员会（CIE) 1931色度xy图格式中的色域的二 维表示。曲线图200包括标准观测者色域210,其表示由CIE在1931确定的标准人观测者 能够观察到的颜色范围。曲线图200包括UHDTV色域220,其表示支持UHDTV视频标准的 颜色范围。曲线图200包括BT. 709色域230,其表示支持BT. 709视频标准的颜色范围，比 UHDTV色域220要窄。该曲线图还包括表示白色240的点，其被包括在标准观测者色域210、 UHDTV色域220和BT. 709色域230中。
[0033] 图3A和图3B是图1所示的视频编码器300的框图示例。参照图3A，视频编码器 300可包括增强层编码器302和基本层编码器304。基本层编码器304可包括视频输入362 以接收具有HD图像帧的BT. 709视频流104。基本层编码器304可包括编码预测回路364 以对从视频输入362接收的BT. 709视频流104进行编码，并且将BT. 709视频流的重构的 帧存储在参考缓冲器368中。参考缓冲器368可将重构的BT. 709图像帧重新提供到编码 预测回路364以用于对BT. 709视频流104的相同帧或其它帧的其它部分进行编码。参考 缓冲器368可存储由编码预测回路364编码的图像帧。基本层编码器304可包括熵编码功 能366以对来自编码预测回路364的BT. 709视频流的编码版本执行熵编码操作，并且将熵 编码的流提供到输出接口 380。
[0034] 增强层编码器302可包括视频输入310以接收具有UHDTV图像帧的UHDTV视频流 102。增强层编码器302可生成UHDTV图像帧的预测并且利用该预测来生成预测残差，例如 该预测与利用组合功能315确定的UHDTV图像帧之差。在一些实施例中，组合功能315可 包括加权，例如线性加权，以从UHDTV图像帧的预测生成预测残差。增强层编码器302可利 用变换和量化功能320对预测残差进行变换和量化。熵编码功能330可对变换和量化功能 320的输出进行编码，并且将熵编码的流提供到输出接口 380。输出接口 380可将来自熵编 码功能366和330的熵编码的流复用，以生成编码视频流112。
[0035] 增强层编码器302可包括颜色空间预测器400、运动补偿预测功能354和帧内预测 器356,其中每一个可生成UHDTV图像帧的预测。增强层编码器302可包括预测选择功能 350以选择由颜色空间预测器400、运动补偿预测功能354和/或帧内预测器356生成的预 测，以提供到组合功能315。
[0036] 在一些实施例中，运动补偿预测功能354和帧内预测器356可基于先前已由增强 层编码器302编码和解码的UHDTV图像帧来生成它们各自的预测。例如，在预测残差被变 换和量化之后，变换和量化功能320可将变换和量化的预测残差提供到缩放和逆变换功能 322,其结果可在组合功能325中与用于生成预测残差的预测进行组合并生成解码的UHDTV 图像帧。组合功能325可将解码的UHDTV图像帧提供到去块功能351，去块功能351可将解 码的UHDTV图像帧存储在参考缓冲器340中，参考缓冲器340保存解码的UHDTV图像帧以 便于运动补偿预测功能354和帧内预测器356使用。在一些实施例中，去块功能351可对 解码的UHDTV图像帧进行滤波，例如以使与解码的UHDTV图像帧对应的宏块之间的图像中 的锐边平滑。
[0037] 运动补偿预测功能354可从参考缓冲器340接收一个或多个解码的UHDTV图像 帧。运动补偿预测功能354可基于来自参考缓冲器340的所述一个或多个解码的UHDTV图 像帧与UHDTV图像帧之间的图像运动来生成当前UHDTV图像帧的预测。
[0038] 帧内预测器356可从参考缓冲器340接收当前UHDTV图像帧的第一部分。帧内预 测器356可基于至少先前已由增强层编码器302编码和解码的当前UHDTV图像帧的第二部 分来生成与当前UHDTV图像帧的第一部分对应的预测。
[0039] 颜色空间预测器400可基于先前已由基本层编码器304编码的BT. 709图像帧来 生成UHDTV图像帧的预测。在一些实施例中，基本层编码器3