用于帧间帧内联合预测模式的二次变换的制作方法

本技术实施例涉及先进的视频编/解码技术集合，尤其涉及用于帧间帧内联合预测模式的变换技术和配置。

背景技术：

1、本文所提供的背景描述旨在整体呈现本技术的背景。在背景技术部分以及本说明书的各个方面中所描述的目前已署名的发明人的工作所进行的程度，并不表明其在本技术提交时作为现有技术，且从未明示或暗示其被承认为本技术的现有技术。

2、通过具有运动补偿的帧间图片预测技术，可以进行视频编码和解码。未压缩的数字视频可包括一系列图片，每个图片具有例如1920×1080亮度样本及相关色度样本的空间维度。所述系列图片具有固定的或可变的图片速率(也非正式地称为帧率)，例如每秒60个图片或60hz。未压缩的视频具有非常大的比特率要求。例如，每个样本8比特的1080p60 4:2:0的视频(1920x1080亮度样本分辨率，60hz帧率)要求接近1.5gbit/s带宽。一小时这样的视频就需要超过600gb的存储空间。

3、视频编码和解码的一个目的，是通过压缩减少输入视频信号的冗余信息。视频压缩可以帮助降低对上述带宽或存储空间的要求，在某些情况下可降低两个或更多数量级。无损和有损压缩，以及两者的组合均可采用。无损压缩是指从压缩的原始信号中重建原始信号精确副本的技术。当使用有损压缩时，重建信号可能与原始信号不完全相同，但是原始信号和重建信号之间的失真足够小，使得重建信号可用于预期应用。有损压缩广泛应用于视频。容许的失真量取决于应用。例如，相比于电视应用的用户，某些消费流媒体应用的用户可以容忍更高的失真。可实现的压缩比反映出：较高的允许/容许失真可产生较高的压缩比。

4、视频编码器和解码器可利用几大类技术，例如包括：运动补偿、变换、量化和熵编码。

5、视频编解码器技术可包括已知的帧内编码技术。在帧内编码中，在不参考先前重建的参考图片的样本或其它数据的情况下表示样本值。在一些视频编解码器中，图片在空间上被细分为样本块。当所有的样本块都以帧内模式编码时，该图片可以为帧内图片。帧内图片及其衍生(例如独立解码器刷新图片)可用于复位解码器状态，因此可用作编码视频码流和视频会话中的第一图片，或用作静止图像。帧内块的样本可用于变换，且可在熵编码之前量化变换系数。帧内预测可以是使预变换域中的样本值最小化的技术。在某些情形下，变换后的dc值越小，且ac系数越小，则在给定的量化步长尺寸下需要越少的比特来表示熵编码之后的块。

6、如同从诸如mpeg-2代编码技术中所获知的，传统帧内编码不使用帧内预测。然而，一些较新的视频压缩技术包括：试图从例如周围样本数据和/或元数据中得到数据块的技术，其中周围样本数据和/或元数据是在空间相邻的编码/解码期间、且在解码顺序之前获得的。这种技术后来被称为"帧内预测"技术。需要注意的是，至少在某些情形下，帧内预测仅使用正在重建的当前图片的参考数据，而不使用参考图片的参考数据。

7、可以存在许多不同形式的帧内预测。当在给定的视频编码技术中可以使用超过一种这样的技术时，所使用的技术可以按帧内预测模式进行编码。在某些情形下，模式可具有子模式和/或参数，且这些模式可单独编码或包含在模式码字中。将哪个码字用于给定模式/子模式/参数组合会通过帧内预测影响编解码效率增益，因此用于将码字转换成码流的熵编码技术也会出现这种情况。

8、h.264引入了一种帧内预测模式，其在h.265中进行了改进，且在更新的编码技术中进一步被改进，诸如联合开发模式(joint exploration model,jem)，通用视频编码(versatile video coding，vvc)，以及基准集合(benchmark set，bms)。可以使用属于已有样本的相邻样本的值，来形成预测块。根据方向，相邻样本的样本值被复制到预测块。所使用方向的参考，可以在码流中被编码，或者可以自身被预测。

9、参照图1a，右下方描绘了来自h.265的33个可能的预测方向(对应35个帧内预测模式中的33个角度模式)中已知的九个预测方向的子集。箭头会聚的点(101)表示正在被预测的样本。箭头表示样本正在被预测的方向。例如，箭头(102)表示根据右上方与水平方向成45度角的至少一个样本，预测样本(101)。类似地，箭头(103)表示根据左下方与水平方向成22.5度角的至少一个样本，预测样本(101)。

10、仍然参考图1a，在左上方示出了一个包括4×4个样本的正方形块(104)(由粗虚线表示)。正方形块(104)由16个样本组成，每个样本用“s”、以及其在y维度上的位置(例如，行索引)和在x纬度上的位置(例如，列索引)来标记。例如，样本s21是y维度上的第二个(从最上方)样本和x维度上的第一个样本(从左侧开始)。类似地，样本s44在x维度和y维度上都是块(104)中的第四个样本。由于该块为4×4大小的样本，因此s44位于右下角。还示出了遵循类似编号方案的参考样本。参考样本用"r"、以及其相对于块(104)的y位置(例如，行索引)和x位置(列索引)来标记。在h.264和h.265中，在重建时预测样本和块相邻，因此，不需要使用负值。

11、通过从信号通知的预测方向所占用的相邻样本来复制参考样本值，可以进行块104的帧内图片预测。例如，假设编码视频码流包括信令，对于该块，该信令指示与箭头(102)一致的预测方向，即，根据右上方与水平方向成45度角的至少一个预测样本来预测样本。在这种情况下，根据同一参考样本r05，预测样本s41、s32、s23和s14。然后，根据参考样本r08预测样本s44。

12、在某些情况下，例如通过内插，可以合并多个参考样本的值，以便计算参考样本，尤其是当方向不能被45度整除时。

13、随着视频编码技术的发展，方向的数量逐渐增加。在h.264(2003年)中，可以表示九种不同的方向。在h.265(2013年)和jem/vvc/bms中增加到了33个，而在此申请时，可以支持多达65个方向。已经进行试验来识别出最可能的方向，熵编码中的某些技术可以用于以少量的比特来标识这些最可能的方向，接收损失某些不太可能的方向。进一步，这些方向本身有时可以从相邻、已解码的块所使用的相邻方向中预测得到。

14、图1b示出了根据jem描绘65个帧内预测方向的示意图(180)，以示出随时间增加的预测方向的数量。

15、表示方向的编码后视频码流中帧内预测方向比特的映射可以根据不同的视频编码技术而不同；并且其范围可以例如从预测方向的简单直接映射到帧内预测模式、到码字、到涉及最可能模式的复杂自适应方案，以及类似技术。然而，在所有的情况下，统计地来看，有一些方向在视频内容中出现的可能性比其他方向小。由于视频压缩的目的是降低冗余，在一个良好工作的视频编解码技术中，这些不太可能的方向，相比更可能的方向，使用更多的比特进行表示。

16、运动补偿可以是一种有损压缩技术，且可涉及如下技术：来自先前重建的图片或重建图片一部分(参考图片)的样本数据块在空间上按运动矢量(下文称为mv)指示的方向移位后，用于新重建的图片或图片部分的预测。在某些情况下，参考图片可与当前正在重建的图片相同。mv可具有两个维度x和y，或者三个维度，其中第三个维度表示使用中的参考图片(后者间接地可为时间维度)。

17、在一些视频压缩技术中，应用于某个样本数据区域的mv可根据其它mv来预测，例如根据与正在重建的区域空间相邻的另一个样本数据区域相关的、且按解码顺序在该mv前面的那些mv。这样做可以大大减少编码mv所需的数据量，从而消除冗余信息并增加压缩量。mv预测可以有效地进行，例如，当对从相机导出的输入视频信号(称为自然视频)进行编码时，存在一种统计上的可能性，即面积大于单个mv适用区域的区域，会朝着类似的方向移动，因此，在某些情况下，可以用邻近区域的mv导出的相似运动矢量进行预测。这导致针对给定区域发现的mv与根据周围mv预测的mv相似或相同，并且在熵编码之后，又可以用比直接编码mv时使用的比特数更少的比特数来表示。在某些情况下，mv预测可以是对从原始信号(即样本流)导出的信号(即mv)进行无损压缩的示例。在其它情况下，mv预测本身可能是有损的，例如由于根据几个周围mv计算预测值时产生的取整误差。

18、h.265/hevc(itu-t h.265建议书，“高效视频编解码(high efficiency videocoding)”，2016年12月)中描述了各种mv预测机制。在h.265提供的多种mv预测机制中，本技术描述的是下文称作“空间合并”的技术。

19、请参考图2，当前块(201)包括在运动搜索过程期间已由编码器发现的样本，根据已产生空间偏移的相同大小的先前块，可预测所述样本。另外，可从一个或至少两个参考图片相关联的元数据中导出所述mv，而非对mv直接编码。例如，使用关联于a0、a1和b0、b1、b2(分别对应202到206)五个周围样本中的任一样本的mv，(按解码次序)从最近的参考图片的元数据中导出所述mv。在h.265中，mv预测可使用相邻块也正在使用的相同参考图片的预测值。

技术实现思路

1、本技术实施例涉及先进的视频编/解码技术集合，尤其涉及用于帧间帧内联合预测模式的变换技术和配置。

2、在示例性实施方式中，公开了一种对视频码流中的视频块进行解码的方法。所述方法包括：确定所述当前块是在ciip模式下预测的；针对所述视频码流中的所述当前块，生成二次变换系数集合；通过以下方式，应用组合的帧间帧内二次变换：对所述二次变换系数集合执行反向可分离二次变换或反向不可分离二次变换，以获得所述当前块的主变换系数集合；对所述主变换系数集合执行反向主变换，以获得所述当前块的残差块；及，在所述ciip模式下，基于所述残差块对所述当前块进行解码。

3、在上述实施方式中，所述方法进一步包括：在ciip子模式候选集合中，确定用于所述视频码流中的所述当前块的所述ciip模式的ciip子模式，所述ciip子模式指示在帧内预测模式集合中在所述当前块的所述ciip模式下使用的帧内预测模式；基于所述帧内预测模式，确定用于所述反向可分离二次变换或所述反向不可分离二次变换的变换核。

4、在上述任一实施方式中，所述方法进一步包括：基于所述帧内预测模式，从多个变换核集合中确定变换核集合；从所述视频码流中抽取出与所述当前块相关联的核选择指标；基于所述核选择指标，从所述变换核集合中选择出所述变换核。

5、在一些实施方式中，公开了视频设备。所述视频设备包括用于存储计算机指令的存储器以及处理电路，所述处理电路被配置为执行所述计算机指令以实现上述任一方法。

6、本技术实施例还提供了一种非暂时性计算机可读存储介质，其上存储有指令，当所述指令由用于视频解码和/或编码的计算机执行时，使得所述计算机实现上述任一用于视频解码和/或编码的方法。