使用元数据的压缩视频的环路内滤波和后滤波的空间分辨率适配的制作方法

1.本发明实施方案中的至少一个实施方案整体涉及一种用于控制在视频编码和解码应用中执行环路内滤波和环路外后滤波所使用的分辨率的方法和装置。

背景技术：

0、2.背景技术

1、为了实现高压缩效率，视频编码方案通常采用预测和变换来利用视频内容中的空间和时间冗余。在编码期间，将视频内容的图像划分为样本块(即像素)，然后将这些块分区为一个或多个子块，在下文称为原始子块。然后对每个子块应用帧内或帧间预测以利用帧内或帧间图像相关性。无论使用何种预测方法(帧内或帧间)，都针对每个原始子块确定预测值子块。然后，对表示原始子块与预测值子块之间的差的子块(通常表示为预测误差子块、预测残差子块或简单地表示为残差块)进行变换、量化和熵编码，以生成编码视频流。为了重构视频，通过对应于变换、量化和熵编码的逆过程来解码压缩数据。

2、上一代视频压缩标准，例如mpeg-4/avc(iso/cei 14496-10)、hevc(iso/iec23008-2-mpeg-h part 2，高效视频编码/itu-t h.265)或由itu-t和iso/iec专家组成的联合协作团队(称为联合视频专家团队(jvet))正在开发的名为通用视频编码(vvc)的国际标准均包含环路内滤波工具，并且通过经适配的元数据的定义来支持后滤波的使用。环路内滤波工具包括解块滤波(dbf)、样本自适应偏移(sao)和自适应环路滤波器(alf)。例如，alf参数由vvc中的自适应参数集(aps)传送。补充增强信息(sei)消息用于传送一些后滤波参数。在这些元数据容器中通过发信号通知其参数的滤波器通常被设计为以特定空间分辨率应用。然而，它们实际应用的空间分辨率不一定是它们所设计的空间分辨率。例如，在流传输应用中对内容进行下采样以适应网络约束的情况下，解码视频的分辨率会降低，可能不是分辨率适应过程之前的原始视频的分辨率，或者目标的显示渲染分辨率。

3、一种称为参考图片重采样(rpr)的工具允许动态更改编码图片的分辨率。图片以其实际编码/解码分辨率存储在解码图片缓冲区(通常称为解码图片缓冲区(dpb))中，该实际编码/解码分辨率可能低于比特流的高级语法(hls)中发信号通知的视频空间分辨率。当以给定分辨率编码的图片使用不处于相同分辨率的参考图片用于时间或层间预测时，应用纹理的参考图片重采样，使得预测图片和参考图片具有相同分辨率。需注意，根据具体实施，重采样过程不一定应用于整个参考图片(整个参考图片重采样)，而是可以仅应用于当执行当前图片的解码和重构时被识别为参考块的块(基于块的参考图片重采样)。在这种情况下，在当前图片中的当前块使用具有与当前图片不同的分辨率的参考图片时，根据计算为当前图片分辨率和参考图片分辨率之间的比率的重采样比率，对参考图片中用于当前块的时间预测的样本进行重采样。在本文档下文中，用于描述本发明的具体实施对应于整个参考图片重采样的解决方案，但是本发明可以自然地扩展到基于块的参考图片重采样的解决方案。

4、在一些具体实施中，rpr和运动补偿的步骤被组合在一个单样本插值步骤中。

5、图1表示rpr工具的应用。在图1中，图片4由对图片3进行时间预测得出。图片3由对图片2进行时间预测得出。图片2由对图片1进行时间预测得出。由于图片4和图片3具有不同的分辨率，因此图片3被上采样到图片4的分辨率。图片3和图片2具有相同的分辨率。不对图片2应用上采样或下采样以进行时间预测。图片1大于图片2。对图片1应用下采样以对图片2进行时间预测。在任何情况下，以相同分辨率对所有图片进行上采样或下采样以供显示。

6、在使用rpr的情况下，这种设计的问题在于环路内滤波和后滤波可能以与显示或渲染分辨率不同或与用于时间预测的分辨率不同的不适当的分辨率来应用。这可能导致潜在的质量损失。例如，当图片被上采样以用于时间预测和/或显示时，所述图像已经以初始分辨率被环路内滤波和后滤波，然后被上采样。对环路内滤波或后滤波图片应用上采样会减少由环路内滤波和后滤波带来的益处。实际上，上采样对对象边缘具有模糊效应，而例如，sao边缘偏移试图增强已经受量化影响的边缘。如果在上采样之后应用sao边缘偏移，则边缘将被更好地保留。对于后滤波可以说明类似的问题，该后滤波包括将噪声添加到表示图片胶片颗粒的解码图片，以便例如掩蔽编码伪像。胶片颗粒通常基于具有相关参数的噪声模型。如果针对降低的分辨率计算参数，则在解码分辨率下添加到解码图片的合成胶片颗粒的伪像掩蔽益处可能不如针对显示或渲染分辨率导出和添加的那样好。

7、希望提出允许克服上述问题的解决方案。尤其是希望更好地定义应当在何种分辨率下应用环路内滤波和后滤波。

8、3.
技术实现要素：

9、在第一方面，本发明实施方案中的一个或多个实施方案提供了一种用于视频编码图片的方法，该方法包括：

10、以第一空间分辨率重构图片；以及，

11、将元数据与所述图片进行关联，该元数据表示指定允许以不同于第一分辨率的第二空间分辨率对该重构图片的至少一部分应用至少一次环路内滤波和/或至少一次后滤波的信息。

12、在第二方面，本发明实施方案中的一个或多个实施方案提供了一种用于视频解码图片的方法，该方法包括：

13、以第一空间分辨率重构图片；以及，

14、获得与所述图片相关联的元数据，该元数据表示指定允许以不同于第一分辨率的第二空间分辨率对所述重构图片的至少一部分应用至少一次环路内滤波和/或至少一次后滤波的信息。

15、在第三方面，本发明实施方案中的一个或多个实施方案提供了一种用于视频编码图片的设备，该设备包括电子电路，该电子电路适于：

16、以第一空间分辨率重构图片；以及，

17、将元数据与所述图片进行关联，该元数据表示指定允许以不同于第一分辨率的第二空间分辨率对该重构图片的至少一部分应用至少一次环路内滤波和/或至少一次后滤波的信息。

18、在第四方面，本发明实施方案中的一个或多个实施方案提供了一种用于视频解码图片的设备，该设备包括电子电路，该电子电路适于：

19、以第一空间分辨率重构图片；以及，

20、获得与所述图片相关联的元数据，该元数据表示指定允许以不同于第一分辨率的第二空间分辨率对所述重构图片的至少一部分应用至少一次环路内滤波和/或至少一次后滤波的信息。

21、在第五方面，本发明实施方案中的一个或多个实施方案提供了一种装置，该装置包括根据第三方面和第四方面所述的设备。

22、在第六方面，本发明实施方案中的一个或多个实施方案提供了一种信号，该信号包括根据第一方面所述的方法、由根据第三方面所述的设备或由根据第五方面所述的装置生成的数据。

23、在第七方面，本发明实施方案中的一个或多个实施方案提供了一种计算机程序，包括用于实现根据第一方面所述的方法或用于实现根据第二方面所述的方法的程序代码指令。

24、在第八方面，本发明实施方案中的一个或多个实施方案提供了一种信息存储介质，存储用于实现根据第一方面所述的方法或用于实现根据第二方面所述的方法的程序代码指令。

25、在一个实施方案中，元数据指定至少一个空间分辨率，推荐以该空间分辨率对所述重构图片应用至少一次环路内滤波和/或至少一次后滤波。

26、在一个实施方案中，元数据指定至少一个空间分辨率范围，推荐以该空间分辨率范围对所述重构图片应用至少一次环路内滤波和/或至少一次后滤波。

27、在一个实施方案中，当元数据指定多个空间分辨率或多个空间分辨率范围时，元数据还指定与每个空间分辨率或每个分辨率范围相对应的环路内滤波器和/或后滤波器。

28、在一个实施方案中，元数据还针对每个指定的空间分辨率或空间分辨率范围指定表示以所述指定的空间分辨率或空间分辨率范围应用环路内滤波或后滤波的质量影响和/或复杂度影响和/或能量影响的信息。

技术实现思路