对帧内预测的融合的修改的制作方法

本公开描述了总体上涉及视频编码的实施例。

背景技术：

1、本文所提供的背景描述是出于总体上呈现本公开内容的目的。在该背景技术部分以及本说明书的各个方面中所描述的、目前已署名的发明人的工作所进行的程度，并不表明其在提交时有资格作为现有技术，且从未明示或暗示其被承认为本公开的现有技术。

2、视频编码和解码可使用带有运动补偿的帧间图片预测来执行。未压缩的数字视频可包括一系列图片，每个图片具有例如为1920×1080的亮度样本及相关联的色度样本的空间大小。该一系列图片可具有例如每秒60幅图片或60hz的固定或可变的图片速率(非正式地，还称为帧率)。未压缩的视频具有特定比特率要求。例如，每个样本8位(在60hz帧率下，具有1920×1080亮度样本分辨率)的1080p60 4：2：0视频需要接近1.5gbit/s的带宽。一小时的此类视频需要600gb以上的存储空间。

3、视频编码和解码的一个目的可以是通过压缩来减少输入视频信号中的冗余。压缩可有助于减小上述带宽和/或存储空间需求，在一些情况下可减小两个数量级或大于两个数量级。可采用无损压缩和有损压缩以及它们的组合。无损压缩指的是可以从已压缩的原始信号中重建原始信号的精确副本的技术。当使用有损压缩时，已重建的信号可能与原始信号不同，但是原始信号和已重建的信号之间的失真足够小，以使已重建的信号可用于预期的应用。在视频的情况下，广泛采用有损压缩。可容忍的失真量取决于应用；例如，某些消费流式应用的用户相比电视分布应用的用户来说可以容忍更高的失真。可实现的压缩率可以反映：更高的可容忍/可容许的失真可产生更高的压缩率。

4、视频编码器和解码器可利用来自多个宽泛类别的技术，这些技术包括例如运动补偿、变换、量化和熵编码。

5、视频编解码器技术可包括称为帧内编码的技术。在帧内编码中，在不参考来自先前重建的参考图片的样本或其它数据的情况下表示样本值。在一些视频编解码器中，图片在空间上细分成样本块。当所有样本块都以帧内模式编码时，该图片可以是帧内图片。帧内图片及其派生物(例如，独立解码器刷新图片)可用于重置解码器状态，因此可用作已编码视频码流和视频会话中的第一张图片，或者用作静止图像。帧内块的样本可受到变换，且可以在熵编码之前对变换系数进行量化。帧内预测可以是一种使预变换域中的样本值最小化的技术。在一些情况下，变换之后的dc值越小，且ac系数越小，则在给定的量化步长下表示熵编码之后的块所需的位越少。

6、例如从诸如mpeg-2代编码技术已知的传统帧内编码不使用帧内预测。然而，一些更新的视频压缩技术包括基于例如在空间相邻的编码和/或解码期间获得的、按解码次序在数据块之前的周围样本数据和/或元数据来进行尝试的技术。在下文中这样的技术称为“帧内预测”技术。应注意，至少在一些情况下，帧内预测仅使用来自正在重建的当前图片的参考数据，而不使用来自参考图片的参考数据。

7、帧内预测可以有许多不同形式。当在给定的视频编码技术中可使用不止一种这样的技术时，使用中的技术可以在帧内预测模式中进行编码。在一些情况下，模式可具有子模式和/或参数，且这些子模式和参数可单独编码或包含在模式码字中。给定的模式、子模式和/或参数组合使用哪个码字，可能会影响通过帧内预测的编码效率增益，因此可能会影响用于将码字转换成码流的熵编码技术。

8、h.264引入了某种帧内预测模式，该帧内预测模式在h.265中得到完善，且在诸如联合探索模型(jem)、下一代视频编码(vvc)和基准集(bms)的更新的编码技术中进一步得到完善。可使用属于已经可用的样本的相邻样本值来形成预测块。相邻样本的样本值沿着一定方向复制到预测块中。对使用中的方向的参考可以在码流中进行编码，或者可以对其本身进行预测。

9、参考图1，在右下方描绘了从h.265的33种可能的预测方向(对应于35个帧内模式的33个角模式)中已知的9个预测方向的子集。箭头汇聚的点(101)表示正在被预测的样本。箭头表示对样本进行预测所沿的方向。例如，箭头(102)指示从在右上方、与水平方向成45度角的一个或多个样本预测样本(101)。类似地，箭头(103)指示从在样本(101)的左下方、与水平方向成22.5度角的一个或多个样本预测样本(101)。

10、仍然参考图1，在左上方描绘了4×4个样本的正方形块(104)(由粗体虚线指示)。正方形块(104)包括16个样本，每个样本用“s”、其在y维度上的位置(例如，行索引)和其在x维度上的位置(例如，列索引)来标记。例如，样本s21是在y维度上(从顶部开始)的第二个样本和在x维度上(从左侧开始)的第一个样本。类似地，样本s44是在y和x维度上、块(104)中的第四个样本。由于块的大小为4×4个样本，因此s44位于右下角。还示出了遵循类似编号方案的参考样本。参考样本用r、其相对于块(104)的y位置(例如，行索引)和x位置(列索引)来标记。在h.264和h.265中，使用与正在重建的块相邻的预测样本，因而无需使用负值。

11、帧内图片预测可通过根据用信号表示的预测方向的表示从相邻样本复制参考样本值来开始。例如，假设已编码视频码流包括信令，该信令针对该块指示与箭头(102)一致的预测方向，即从在右上方、与水平方向成45度角的一个或多个预测样本来预测样本。在这种情况下，从同一个参考样本r05预测样本s41、s32、s23和s14。然后从参考样本r08预测样本s44。

12、在一些情况下，可例如通过插值来组合多个参考样本的值，以计算参考样本；尤其是当方向无法以45度均匀分开时。

13、随着视频编码技术继续发展，可能的方向的数量增加。在h.264(2003年)中，可表示九个不同的方向。在h.265(2013年)中，增加到33个方向，以及在本公开时，jem/vvc/bms可支持多达65个方向。已进行实验来识别最可能的方向，且熵编码中的一些技术用于以少量比特来表示那些可能的方向，对于不太可能的方向，接受一定的代价。此外，有时可以从已经解码的相邻块中使用的相邻方向来预测方向本身。

14、图2示出了示意图(201)，其描绘了根据jem的65个帧内预测方向，以说明随着时间的推移，预测方向的数量增加。

15、已编码视频码流中表示方向的位到帧内预测方向的映射方式，可能因视频编码技术的不同而不同；例如，其范围可以从预测方向简单直接映射到帧内预测模式，映射到码字，映射到涉及最可能模式的复杂自适应方案，以及类似技术。然而，在所有情况下，可存在某些方向，这些方向与某些其它方向相比，在统计上在视频内容中出现的可能性较小。由于视频压缩的目标是减少冗余，因此在一种设计良好的视频编码技术中，那些不太可能的方向相比更可能的方向来说，可由更多的位数表示。

技术实现思路

1、本公开的各方面提供用于视频编码/解码的方法和装置。在一些示例中，一种用于视频解码的装置包括接收电路和处理电路。

2、根据本公开的一方面，提供一种在视频解码器中执行的视频解码方法。在该方法中，可以从已编码视频码流中接收当前块的已编码信息和当前块的相邻样本。可确定当前块的一个或多个帧内模式预测值，其中，一个或多个帧内模式预测值可基于当前块的相邻样本，通过解码器侧帧内模式推导(dimd)或基于模板的帧内模式推导(timd)而推导出。可基于一个或多个帧内模式预测值，确定是否应用位置相关帧内预测组合(pdpc)。响应于确定应用pdpc，可以对一个或多个帧内模式预测值执行融合过程，其中，融合过程可以将一个或多个帧内模式预测值组合以生成单个帧内模式预测值。可基于单个帧内模式预测值来应用pdpc，以在对一个或多个帧内模式预测值的融合过程之后生成当前块的修改的预测值。可基于由pdpc生成的修改的预测值，重建当前块。

3、在一些实施例中，融合过程可包括：基于一个或多个帧内模式预测值的加权组合，生成单个帧内模式预测值。在一些实施例中，pdpc可进一步包括：基于(i)相邻样本中的一个或多个相邻样本和(ii)单个帧内模式预测值的加权组合，生成修改的预测值。

4、响应于一个或多个帧内模式预测值是基于dimd而推导出的，可基于第一帧内模式，确定一个或多个帧内模式预测值中的第一帧内模式预测值。第一帧内模式可基于相邻样本来确定且与相邻样本的最高梯度直方图(hog)相关联。可基于第二帧内模式，确定一个或多个帧内模式预测值中的第二帧内模式预测值。第二帧内模式可基于相邻样本来确定且与相邻样本的第二最高hog相关联。可基于平面模式，确定一个或多个帧内模式预测值中的第三帧内模式预测值。

5、在一些实施例中，可基于基于dimd而推导出的第一帧内模式，确定pdpc是否能够被应用。

6、响应于第一帧内模式和第二帧内模式是角度模式，可基于第一帧内模式和第二帧内模式的平均角度值，确定pdpc是否能够被应用。响应于第一帧内模式和第二帧内模式中的一个帧内模式是角度模式，可基于第一帧内模式和第二帧内模式中、是角度模式的这一个帧内模式，确定pdpc是否能够被应用。

7、在一些实施例中，响应于一个或多个帧内模式预测值中的至少一个帧内模式预测值是基于平面模式或dc模式而生成的，可确定pdpc能够被应用。

8、响应于一个或多个帧内模式预测值是基于timd而推导出的，可基于第一帧内模式，确定一个或多个帧内模式预测值中的第一帧内模式预测值，其中，第一帧内模式可基于相邻样本来确定且与相邻样本的最小成本值相关联。可基于第二帧内模式，确定一个或多个帧内模式预测值中的第二帧内模式预测值，其中，第二帧内模式可基于相邻样本来确定且与相邻样本的第二最小成本值相关联。

9、在一些实施例中，可基于基于timd而推导出的第一帧内模式，确定pdpc是否能够被应用。

10、响应于第一帧内模式和第二帧内模式是角度模式，可基于第一帧内模式和第二帧内模式的平均角度值，确定pdpc是否能够被应用。响应于第一帧内模式和第二帧内模式中的一个帧内模式是角度模式，可基于第一帧内模式和第二帧内模式中、是角度模式的这一个帧内模式，确定pdpc是否能够被应用。

11、在一些实施例中，响应于第一帧内模式和第二帧内模式中的至少一个帧内模式是平面模式或dc模式，可确定pdpc能够被应用。

12、根据本公开的另一方面，提供一种装置。该装置具有处理电路。处理电路可配置成执行用于视频解码的方法中的任一个。

13、本公开的各方面还提供一种非暂时性计算机可读介质，非暂时性计算机可读介质存储有指令，当指令由用于视频解码的计算机执行时，指令使得计算机执行用于视频解码的方法中的任一个。