利用样本值的非相邻参考线进行帧内图片预测的方法与流程

本公开涉及利用样本值的非相邻参考线进行帧内图片预测的方法。

背景技术：

1、工程师使用压缩(也称为源译码或源编码)来降低数字视频的位率。压缩通过将信息转换为较低位率的形式来降低存储和传送视频信息的成本。解压缩(也称为解码)从压缩形式重构原始信息的版本。“编解码器”是编码器/解码器系统。

2、在过去的25年中，采用了各种视频编解码器标准，包括itu-t h.261、h.262(mpeg-2或iso/iec 13818-2)、h.263、h.264(mpeg-4 avc或iso/iec 14496-10)标准、mpeg-1(iso/iec 11172-2)和mpeg-4可视(iso/iec 14496-2)标准、以及smpte 421m(vc-1)标准。最近，h.265/hevc标准(itu-t h.265或iso/iec 2400 8-2)已获批准。视频编解码器标准通常定义用于经编码的视频位流的句法的选项，当在编码和解码中使用特定特征时详细说明位流中的参数。在许多情况下，视频编解码器标准还提供关于视频解码器应该执行以在解码中实现一致结果的解码操作的细节。除了编解码器标准之外，各种专有的编解码器格式定义了经编码的视频位流的句法和相应的解码操作的其他选项。

3、一些编解码器标准和格式在压缩图片时使用帧内图片预测。一般而言，对于帧内图片预测，使用邻近样本值来预测当前块的样本值。邻近样本值(也被称为参考样本值)已在当前块之前被编码和重构(在编码期间)或重构(在解码期间)。传统上，当前块上方最近行(相邻行)中的参考样本值和当前块左侧最近列(相邻列)中的参考样本值可用于当前块的帧内图片预测。一些帧内图片预测模式是方向或角度模式，其中参考样本值沿着预测方向传播到当前块中。诸如dc(平均)预测模式和平面预测模式之类的其他帧内图片预测模式不是方向的，而是使用参考样本值的组合来预测当前块的样本值。在编码期间，在帧内图片预测之后，可计算和编码当前块的原始样本值与当前块的经预测样本值之间的差(称为残量值)。在解码期间，可解码当前块的残量值并将其与当前块的经预测样本值组合以重构当前块的样本值。

4、传统上，帧内图片预测使用当前块上方相邻行中的参考样本值和/或当前块左侧相邻列中的参考样本值。在一些情况下，参考样本值不提供有效的帧内图片预测。例如，当相邻行/列中的参考样本值包括由于捕捉(即，捕捉噪声)或压缩(即，量化误差，重构噪声)引起的噪声时，就可能是这种情况。或者，作为另一示例，当相邻行/列中存在遮挡当前块中所示对象的对象时，就可能是这种情况。无论原因如何，在一些情况下，使用相邻行/列的参考样本值的帧内图片预测是无效的。

技术实现思路

1、概括地说，详细描述呈现了采用可用的多个候选参考线的帧内图片预测的创新。例如，帧内图片预测使用参考样本值的非相邻行和/或列来预测当前块的样本值。当与当前块相邻的参考样本值的行和/或列包括由于遮挡而导致的显著捕捉噪声、显著量化误差、或与当前块相比显著不同的样本值时，这可提高帧内图片预测的有效性。

2、根据本文描述的发明的一个方面，视频编码器或图像编码器接收图片、对图片进行编码以产生经编码的数据、并且将经编码的数据输出作为位流的一部分。作为编码的一部分，编码器对图片中的当前样本值块执行帧内图片预测。样本值的非相邻参考线(例如，行或列)可用于帧内图片预测。作为编码的一部分，编码器可确定参考线索引的预测器。参考线索引标识被用于当前块的帧内图片预测的样本值的参考线(例如，行或列)。预测器被用于编码参考线索引。当多个候选参考线可用于帧内图片预测时，参考线指标的有效预测可降低与信令化参考线指标相关联的位率。

3、相应的视频解码器或图像解码器接收经编码的数据作为位流的一部分，解码经编码的数据以重构图片，并输出经重构的图片。作为解码的一部分，解码器对图片中的当前样本值块执行帧内图片预测。样本值的非相邻参考线(例如，行或列)可用于帧内图片预测。作为解码的一部分，解码器可确定参考线索引的预测器。预测器被用于解码参考线索引。

4、根据本文描述的创新的另一方面，编码器或解码器在采用可用的多个候选参考线的帧内图片预测中使用残量补偿。例如，作为残量补偿的一部分，对于当前块的给定位置处的经预测样本值，编码器或解码器计算残量值并使用残量值来调整当前块中给定位置处的经预测样本值。残量值基于当前块之外的偏移区域中给定位置处的重构样本值与偏移区域中给定位置处的经预测样本值之间的差。残量补偿可通过基于相邻偏移区域中的帧内图片预测的结果调整当前块的经预测样本值来提高当前块的帧内图片预测的有效性。

5、根据本文描述的创新的另一方面，编码器或解码器在采用可用的多个候选参考线的帧内图片预测中使用对参考线的滤波。例如，编码器或解码器选择当前块之外的样本值的多个候选参考线中的一者(包括样本值的非相邻参考线)并滤波样本值的经选择的参考线。通过平滑经选择的参考线的样本值中的异常值，对经选择的参考线进行滤波可提高当前块的帧内图片预测的有效性。

6、根据本文描述的创新的另一方面，编码器或解码器在采用可用的多个候选参考线的帧内图片预测期间执行加权预测。例如，对于多个参考线中的每一个，编码器或解码器使用该参考线的至少一个样本值在当前块中的给定位置处生成中间经预测样本值，并将权重应用于该中间经预测样本值。这会在当前块中的给定位置处产生加权样本值。编码器或解码器组合给定位置处的加权样本值(来自采用相应参考线的帧内图片预测)以在当前块中的给定位置处产生最终经预测样本值。当没有单个参考线提供更好的性能时，加权预测可通过混合来自不同参考线的经预测样本值来提高当前块的帧内图片预测的有效性。

7、根据本文描述的创新的另一方面，编码器或解码器在采用可用的多个候选参考线的帧内图片预测期间执行依赖于模式的填充以替换一个或多个不可用的样本值。例如，在选择样本值的多个候选参考线中的一个之后，编码器或解码器确定经选择的参考线的样本值在经选择的参考线的给定位置处不可用。编码器或解码器标识帧内图片预测模式的填充方向，然后确定沿着填充方向在穿过经选择的参考线的给定位置的投射上的另一参考线的样本值。编码器或解码器至少部分地基于所确定的另一参考线的样本值在经选择的参考线的给定位置处设置不可用的样本值。与参考线内的简单填充相比，依赖于模式的填充可产生经填充的样本值，从而提供更有效的帧内图片预测。

8、根据本文描述的创新的另一方面，在一些情况下，编码器或解码器利用经环内滤波的参考样本值来执行帧内图片预测。例如，当编码器或解码器为用于当前块的帧内图片预测选择样本值的非相邻参考线时，在用于当前块的帧内图片预测之前，经选择的参考线的至少一些样本值已由环内滤波修改。只要参考样本值不依赖于当前块(或其他尚未重构的块)的样本值，对参考样本值进行环内滤波可使用参考样本值来提高后续帧内图片预测的有效性。

9、根据本文描述的创新的另一方面，编码器使用各种方式中的任一种来选择一个或多个参考线以用于帧内图片预测。以计算上有效的方式，这些方式可标识在帧内图片预测中使用的适当的参考线。

10、根据本文描述的创新的另一方面，编码器或解码器在帧内图片预测期间滤波经预测样本值。例如，在选择当前块之外的一个或多个样本值的参考线之后，编码器或解码器使用一个或多个经选择的参考线的至少一些样本值来预测当前块的样本值。然后，编码器或解码器使用在当前块之外和相邻参考线之外的至少一些样本值对当前块的至少一些经预测样本值进行滤波。在一些情况下，通过使用相邻参考线之外的参考样本值，滤波产生更接近原始样本值的经预测样本值。

11、根据本文描述的创新的另一方面，编码器或解码器在帧内图片预测期间利用依赖于方向的滤波来滤波参考样本值。例如，在选择当前块之外的样本值的参考线之后，编码器或解码器滤波样本值的经选择的参考线。滤波适用于沿着帧内图片预测的预测方向的样本值集的差，其中样本值集中的至少一些在当前块之外并且在相邻参考线之外。在一些情况下，此类滤波产生参考样本值，其提供更有效的帧内图片预测。

12、这些创新可被实现为方法的一部分、被配置以执行该方法的操作的计算机系统的一部分、或者存储用于使计算机系统执行该方法的操作的计算机可执行指令的一个或多个计算机可读介质的一部分。各种创新可被组合地或分开地使用。提供本概述以便以简化的形式介绍将在以下的详细描述中进一步描述的一些概念。本概述并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于限定所要求保护的主题的范围。参考附图阅读以下详细描述，将更清楚本发明的前述和其他目标、特征和优点。