用于视频编解码的方法及其装置与流程

本发明涉及视频编解码系统中的自适应环路滤波器(adaptive loop filter，alf)处理。更具体地，本发明涉及视频编码器或解码器中的跨分量alf处理。

背景技术：

1、运动估计(motion estimation)是有效的帧间(inter-frame)编解码技术来利用视频序列中的时间冗余(temporal redundancy)。运动补偿的帧间编解码已经广泛地用于各种国际视频编解码标准中。各种编解码标准中所采用的运动估计通常是基于块的技术，其中运动信息(如编解码模式以及运动向量)被决定用于每一宏块(macroblock)或者类似的块配置。此外，也适应性地应用帧内(intra-frame)编解码，其中在没有参考任何其他图像的情况下处理该图像。帧间预测的或帧内预测的残差通常进一步由变换、量化以及熵编解码处理来生成压缩的视频比特流。在编码进程中，引入了编解码伪影(artefact)，特别是量化进程中。为了缓和编解码伪影，额外的处理已经被应用于重构的视频来增强新编解码系统中的图像质量。额外的处理通过在环路操作中配置使得编码器以及解码器可以导出相同的参考图像来实现改善的系统性能。

2、图1a示出了合并包括自适应环路滤波器(adaptive loop filter，alf)的环路处理的示例性适应性帧间/帧内视频编解码系统。对于帧间预测，运动估计(motionestimation，me)/运动补偿(motion compensation，mc)112用于基于来自其他一个或多个图像的视频数据提供预测数据。开关114选择帧内预测110或帧间预测数据以及所选择的预测数据被提供给加法器116来形成预测误差，也称为残差。预测误差然后由变换(transformation，t)118紧接着量化(quantization，q)120处理。已变换以及已量化的残差然后由熵编码器122进行编码来形成对应于压缩的视频数据的比特流。与变换系数有关的比特流然后与辅助信息(如运动、模式、以及其他与图像区域相关的信息)一起打包。该辅助信息也可以被熵编解码来减少所需要的带宽。因此，与辅助信息相关的数据被提供给如图1a所示的熵编码器122。当使用帧间预测模式时，也需要在编码器重构一个或多个参考图像。因此，已变换以及已量化的残差由逆量化(inverse quantization，iq)124以及逆变换(inverse transformation，it)126处理来恢复残差。然后在重构(reconstruction，rec)128将残差添加回预测数据136来重构视频数据。重构的视频数据可以被存储于参考图像缓冲器134并用于其他帧的预测。

3、如图1a所示，进来的是视频数据在编码系统中经过一系列的处理。由于一系列的处理，来自rec 128的重构的视频数据可能受到各种损坏。因此，在该重构的视频数据被存储于参考图像缓冲器134之前，将各种环路滤波处理应用于该重构的视频数据以改善视频质量。在视频编解码系统中，如去块滤波(deblocking filter，df)130、样本自适应偏移(sample adaptive offset，sao)131以及alf 132的各种滤波器已经被用于增强图像质量。

4、图1b示出了图1a中编码器的对应的解码器。视频比特流由熵解码器142进行解码来恢复已变换以及已量化的残差。在解码器侧，仅执行运动补偿(mc)113而不执行me/mc。解码进程类似于在编码器侧的重构回路。所恢复的已变换以及已量化残差、sao/alf信息以及其他系统信息用于重构视频数据。重构的视频进一步由df 130、sao 131以及alf 132处理来生成最终增强的解码视频。

5、跨分量的alf处理

6、在jvet-o0636中(2019年7月3-12日，歌德堡，itu-t sg 16wp3以及iso/iec jtc1/sc 29/wg 11的联合视频专家组，第15次会议，kiran misra等人“cross-componentadaptive loop filter for chroma”，文献：jvet-o0636)，提出了跨分量自适应环路滤波器(cross-component adaptive loop filtering，cc-alf)处理。cc-alf利用亮度样本值来细化每一色度分量。图2a示出了根据jvet-o0636的关于其他环路滤波器的cc-alf结构。在图2a中，在各自的sao(210、212以及214)后执行alf处理。在传统的视频编解码系统中，仅使用了alf亮度220以及alf色度230。在jvet-o0636中，两个额外的alf滤波器(即，cc alf cb222以及cc alf cr 224)用于导出调整信号来分别使用加法器240以及242添加到alf处理的cb以及cr。

7、如图2b示出的，根据jvet-o0636，cc-alf将线性、菱形形状的滤波器应用于亮度通道用于每一色度分量。滤波器系数在aps中被传输(由210因子缩放)，以及被旋转用于固定的点表示。滤波器的应用基于可变块尺寸控制以及由为每一样本块所接收的上下文编解码旗标(flag)来发信令通知。在条带(slice)层级一起接收块尺寸以及cc-alf启用旗标用于每一色度分量。在jvet-o0636中也公开了cc-alf的语法以及语义。

8、非线性alf操作

9、在vtm 3.0(vvc(通用视频编解码)测试模式版本3.0)中，自适应环路滤波器的滤波进程被执行如下：

10、

11、在上述等式中，样本i(x+i,y+j)是输入样本，o(x,y)是已滤波输出样本(即，滤波结果)，以及w(i,j)表示滤波系数。因为alf被应用于重构的样本，样本i(x+i,y+j)对应于重构的样本。在alf处理的中心位置的中心重构像素对应于(i,j)＝(0,0)，即，i(x,y)。实际上，在vtm3.0中，其使用整数算法来实施用于固定的点精度计算：

12、

13、在上述等式中，l表示滤波长度，以及其中w(i,j)是固定的点精度的滤波系数。

14、如果滤波系数的和被强制为1，没有编解码效率影响，等式(1)可以变形为如下：

15、

16、在上述等式中，除了w(0,0)，w(i,j)是与等式1中相同的滤波系数，其在等式(3)中等于1，而在等式(1)中等于

17、使用等式(3)的上述滤波公式，当相邻样本值与被滤波的当前样本值(i(x,y))非常不同时，通过使用样本限幅函数来减少相邻样本值(i(x+i,y+j))的影响，可以容易地引入非线性来使alf更加有效。

18、在jvet-m0385中(2019年9-18日，marrakech,ma，itu-t sg 16 wp3以及iso/iecjtc 1/sc 29/wg 11的联合视频专家组，第13次会议，j.taquet等人，“non-linearadaptive loop filter”，文献：jvet-m0385)，公开了非线性alf。在测试软件vtm3.0中，对自适应环路滤波器的输入样本值引入了适应性限幅(clipping)操作。这一适应性限幅的目的是引入一些非线性来剪切待滤波的限制输入值与滤波器的其他相邻输入样本值之间的差值。

19、根据jvet-m0385，alf滤波操作别修正如下：

20、o′(x,y)＝i(x,y)+∑(i，j)≠(0,0)w(i，j).k(i(x+i，y+j)-i(x,y),k(i，j))  (4)

21、在上述等式中，o’(x,y)对应于修正的alf滤波输出，i(x,y)对应于alf之前的样本，k(d，b)＝min(b，max(-b，d))是限幅函数，以及k(i,j)是限幅参数，其取决于在(i,j)的滤波系数。编码器执行优化来找到最佳k(i,j)。

22、在根据jvet-m0385的实施例中，限幅参数k(i,j)被指定用于每一alf滤波器，其中每一滤波器系数用信号表示一个限幅值。意味着在比特流中每一亮度滤波器发信令通知12个限幅值以及每一色度滤波器发信令通知6个限幅值。

23、为了限制信令成本以及编码器复杂度，限幅值被限制于jevt-m0385中可能值的较小集合。此外，仅使用用于帧间条带的4个可能值以及用于帧内条带的3个可能值。

24、因为亮度的局部差值的差异性通常高于色度，两个不同集合用于亮度以及色度滤波器。此外，最大样本值被包括于每一集合中，从而使得如果非必要，限幅可以被禁用。

25、根据jvet-m0385提出的限幅值的集合被提供于表1。

26、表1：允许的限幅值

27、

28、使用对应于集合中限幅值的索引的golomb编码，在条带报头(header)中编码限幅值。

29、在本发明中，公开了改善cc-alf编解码性能的技术。另外，也公开了与用于改善cc-alf的信令相关的技术。

技术实现思路

1、公开了用于重构的视频的环路滤波处理的方法以及装置。根据方法，接收色彩图像中重构的色度样本以及相关的重构的亮度样本。从多个第一alf候选中选择第一目标alf。对应于第一目标alf的第一alf处理被应用于相关的重构的亮度样本，以生成第一已滤波色度样本用于待处理的重构的色度样本。生成包括第一已滤波色度样本的最终已滤波色度样本，其中最终已滤波色度样本被用作视频解码输出或者用于进一步的视频编码或解码进程。

2、在一个实施例中，第二alf处理被应用于重构的色度样本来生成第二已滤波色度样本用于待处理的重构的色度样本，其中通过组合第一已滤波色度样本以及第二已滤波色度样本生成最终已滤波色度样本。在一个实施例中，对应于第二目标alf的第二alf处理，以及根据从多个第二alf候选选择第二目标alf显式导出从第一alf候选选择第一目标alf。

3、在一个实施例中，关于从多个第一alf候选中选择第一目标alf的信息在编码树块(coding tree block，ctb)层级、编码单元(coding unit，cu)层级或块层级中发信令通知或者从ctb层级、cu层级或块层级中解析。

4、在一个实施例中，在编码器侧在一个aps中发信令通知第一alf候选，或者在解码器侧从一个aps解析第一alf候选。此外，独立于一个aps中的多个第二alf候选发信号通知或解析一个aps中的第一alf候选。

5、根据另一方法，接收色彩图像中重构的色度样本以及相关的重构的亮度样本。第一alf处理应用于相关的重构的亮度样本，来生成第一已滤波色度样本用于待处理的重构的色度样本，其中第一已滤波色度样本的导出包括待处理的相关的重构的亮度样本(即对应于待处理的重构的色度样本)与待处理的相关的重构的亮度样本的第一相邻相关的重构的亮度样本之间的至少一个第一差值。生成包括第一已滤波色度样本的最终已滤波色度样本，其中最终已滤波色度样本被用作视频解码输出或者用于进一步的视频编码或解码进程。

6、在一个实施例中，第二alf处理被应用于重构的色度样本，来生成第二已滤波色度样本用于待处理的重构的色度样本。在一个实施例中，第二已滤波色度样本的导出包括待处理的重构的色度样本与待处理的重构的色度样本的第二相邻色度样本之间的至少一个第二差值。

7、本发明提出了用于视频编解码的方法及其装置，利用跨分量的alf处理，实现提高编码性能的有益效果。