用于环内去伪影滤波的方法和设备与流程

相关申请的交叉引用

本申请要求2006年11月8日递交的美国临时申请序列号No.60/864,917的权益，通过引用将其全部结合于此。

技术领域

本发明一般涉及视频编码和解码，并且具体地涉及用于环内(in-loop)去伪影(de-artifact)滤波的方法和设备。

背景技术：

所有的视频压缩伪影(artifact)都由量化引起，量化是混合视频编码架构中仅有的有损编码部分。然而，这些伪影可能以各种形式存在，例如，块状伪影(blocky artifact)、环状伪影(ringing artifact)、边缘失真(edge distortion)和/或纹理恶化(texture corruption)。一般，经过解码的序列可能由所有各种视觉伪影组成，但有不同的区别。在不同类型的视觉伪影中，块状伪影是基于块的视频编码所共有的。这些伪影可能既源自剩余编码(residue coding)中基于块的变换阶段又源自运动补偿阶段。过去已经研究了自适应去块滤波器，并且已经提出了并在各种标准中采用了一些公知的去块滤波方法(例如，在国际标准化组织/国际电工委员会(ISO/IEC)运动图像专家组-4(MPEG-4)Part 10高级视频编码(AVC)标准/国际电信联盟远程通信标准化组(ITU-T)H.264推荐(以下称为“MPEG-4 AVC标准”)中所采用的去块滤波方法)。当设计很好时，去块滤波器可以改善客观和主观视频质量两者。在诸如与MPEG-4 AVC标准相对应的现有视频编码器和/或解码器的情况中，自适应环内去块滤波器被设计用来减少块状伪影，其中，滤波的强度由一些语法元素的值来控制。基本思想是：如果在块边缘附近的样本之间相对大的绝对差被测量到，则该差很可能是成块伪影因此应当被减小。然而，如果该差的幅值如此之大以致它不能通过编码中所使用的量化的粗糙度(coarseness)来解释，则该边缘更可能反映源图像的实际行为并且不应当被平滑。以这种方式，减少了了内容的块状化，同时内容的清晰度基本不变。去块滤波器在几个级别上是自适应的。在条带级别上，可以根据视频序列的个体特征来调整整体滤波强度。在块-边缘级别上，可以根据帧间/帧内预测判决、运动差和在两个相邻块中是否存在编码后的残差来决定滤波强度。在宏块边界上，特殊的强滤波被用来除去“拼接伪影”(tiling artifact)。在采样级别上，采样值和依赖量化器的阈值可以针对各个单独的采样关闭滤波。

根据MPEG-4 AVC标准的去块滤波被很好的设计用于减少块状伪影，但是，它并不试图对由量化噪声引起的其它伪影进行校正。例如，根据MPEG-4 AVC标准的去块滤波不理会边缘和纹理。因此，它不能改善失真的边缘或纹理。性能的这一缺失的一个原因是MPEG-4 AVC标准去块滤波器应用平滑图像模型并且所设计的滤波器通常包括一系列低通滤波器。然而，图像包括很多奇异点(singularity)、纹理等，并且因此它们没有被MPEG-4 AVC标准去块滤波器正确地处理。

为了克服MPEG-4 AVC标准去块滤波器的局限性，最近已经提出了一种涉及去噪型非线性环内滤波器方法。在这个提出的方法中，非线性去噪滤波器适应不固定图像统计，不固定图像统计开发了使用线性变换过完备集和硬阈值分割(hard-thresholding)的稀疏(sparse)图像模型。非线性去噪滤波器根据该滤波器正在对其进行操作的区域而自动变成或高通、或低通、或带通等。非线性去噪滤波器可以处理所有类型的量化噪声。该特定的去噪方法通常包括三个步骤：变换；变换系数阈值分割；和反变换。然后，在每个像素处使用加权平均，对通过使用(通常通过用同一变换的移位版本来应用去噪而产生的)变换的过完备集进行去噪而提供的几个经过去噪的估计进行合并。

基于稀疏性的去噪工具可以减少包含了由奇异点分隔的局部均匀区域(平滑、高频、纹理等)的视频帧的量化噪声。然而，去噪工具被设计用于附加的、独立同分布(independent and identically distributed，i.i.d)的噪声去除，但是，量化噪声具有明显不同的特性，就恰当的失真减少和视觉去伪影而言，这可能提出了重要的问题。这意味着这些技术会因为真实的边缘或者假的块状边缘而混乱。一种可能的解决方案是空间频率阈值自适应(spatio-frequential threshold adaptation)，空间频率阈值自适应可以校正判决，但是它的实现很不容易。不充分的阈值选择的可能结果是：稀疏去噪可能引起被过度平滑的重建图像，或者尽管进行了滤波过程，(一个或多个)块状伪影可能仍然存在。特别是，对于平滑的图像区域，如果同一变换被用于压缩和去噪，则信号和被添加到该信号的块状伪影将可能在滤波阶段具有稀疏表示。所以，阈值分割操作将很可能仍然保持伪影。现在，已经看到，基于稀疏性的去噪技术，即使它们就客观测量而言(例如，均方根误差(MSE))比其他技术表现出更高的失真减少，它们还是存在需要解决的重要的视觉伪影。

已经看到，单个去噪滤波器的使用在去除编码伪影中不是非常有效或者是无效的。原因是，通用去噪滤波器通常是基于与它所应用于的实际场景并不严格匹配的那样的失真模型的。该模型不考虑块状伪影的局部结构。另一方面，专用去伪影滤波器被设计用于减轻某种类型的伪影。因此，专用去噪滤波器不足以校正其余量化噪声。例如，MPEG-4 AVC标准中使用的环内去块滤波器是专用滤波器，它不被设计用于去除远离边界的像素处的、纹理内的噪声/伪影或者用于校正失真的边缘。

参见图1，由标号100一般地指示能够根据MPEG-4 AVC标准执行视频编码的视频编码器。

视频编码器100包括帧排序缓冲器110，帧排序缓冲器110的输出在信号通信中与组合器185的正相输入连接。组合器185的输出在信号通信中与变换器和量化器125的第一输出连接。变换器和量化器125的输出在信号通信中与熵编码器145的第一输入和反变换器和反量化器150的第一输入连接。熵编码器145的输出在信号通信中与组合器190的第一正相输入连接。组合器190在信号通信中与输出缓冲器135的第一输入连接。

编码器控制器105的第一输出在信号通信中与以下输入连接：帧排序缓冲器110的第二输入、反变换器和反量化器150的第二输入、图像型判决模块115的输入、宏块型(MB型)判决模块120的输入、帧内预测模块160的第二输入、去块滤波器165的第二输入、运动补偿器170的第一输入、运动估计器175的第一输入和参考图像缓冲器180的第二输入。

编码器控制器105的第二输出在信号通信中与以下输入连接：补充增强信息(Supplemental Enhancement Information，SEI)插入器130的第一输入、变换器和量化器125的第二输入、熵编码器145的第二输入、输出缓冲器135的第二输入和序列参数集(Sequence Parameter Set，SPS)和图像参数集(Picture Parameter Set，PPS)插入器140的输入。

图像型判决模块115的第一输出在信号通信中与帧排序缓冲器110的第三输入连接。图像型判决模块115的第二输出在信号通信中与宏块型(MB型)判决模块120的第二输入连接。

序列参数集(SPS)和图像参数集(PPS)插入器140的输出在信号通信中与组合器190的第三正相输入连接。

反变换器和反量化器150的输出在信号通信中与组合器119的第一正相输入连接。组合器119的输出在信号通信中与帧内预测模块160的第一输入和去块滤波器165的第一输入连接。去块滤波器165的输出在信号通信中与参考图像缓冲器180的第一输入连接。参考图像缓冲器180的输出在信号通信中与运动估计器175的第二输入连接。运动估计器175的第一输出在信号通信中与运动补偿器170的第二输入连接。运动估计器175的第二输出在信号通信中与熵编码器145的第三输入连接。

运动补偿器170的输出在信号通信中与开关197的第一输入连接。帧内预测模块160的输出在信号通信中与开关197的第二输入连接。宏块型判决模块120的输出在信号通信中与开关197的第三输入连接。开关197的第三输入判定：开关的“数据”输入(与控制输入，即第三输入相比而言)是否要由运动补偿器170或帧内预测模块160提供。开关197的输出在信号通信中与组合器119的第二正相输入和组合器185的反相输入连接。

帧排序缓冲器110和编码器控制器105的输入可以用作编码器100的用于接收输入图像101的输入。而且，补充增强信息(SEI)插入器130的输入可以用于编码器100的用于接收元数据的输入。输出缓冲器135的输出可以用作编码器100的用于输出比特流的输出。

参见图2，由标号200一般地指示能够根据MPEG-4 AVC标准执行视频解码的视频解码器。

视频解码器200包括输入缓冲器210，输入缓冲器210具有在信号通信中与熵解码器245的第一输入连接的输出。熵解码器245的第一输出在信号通信中与反变换器和反量化器250的第一输入连接。反变换器和反量化器250的输出在信号通信中与组合器225的第二正相输入连接。组合器225的输出在信号通信中与去块滤波器265的第二输入和帧内预测模块260的第一输入连接。去块滤波器265的第二输出在信号通信中与参考图像缓冲器280的第一输入连接。参考图像缓冲器280的输出在在信号通信中与运动补偿器270的第二输入连接。

熵解码器245的第二输出在信号通信中与运动补偿器270的第三输入和去块滤波器265的第一输入连接。熵解码器245的第三输出在信号通信中与解码器控制器205的输入连接。解码器控制器205的第一输出在信号通信中与熵解码器245的第二输入连接。解码器控制器205的第二输出在信号通信中与反变换器和反量化器250的第二输入连接。解码器控制器205的第三输出在信号通信中与去块滤波器265的第三输入连接。解码器控制器205的第四输出在信号通信中与帧内预测模块260的第二输入、运动补偿器270的第一输入和参考图像缓冲器280的第二输入连接。

运动补偿器270的输出在信号通信中与开关297的第一输入连接。帧内预测模块260的输出在信号通信中与开关297的第二正相输入连接。开关297的输出在信号通信中与组合器225的第一正相输入连接。

输入缓冲器210的输入可以用作解码器200的用于接收输入比特流的输入。去块滤波器265的第一输出可以用作解码器200的用于输出输出图像的输出。

技术实现要素：

通过本发明原理解决了现有技术的这些和其它缺点和不利，本发明原理涉及用于环内去伪影滤波的方法和设备。

根据本发明原理的一个方面，提供了一种设备。所述设备包括用于对图像区域进行编码的编码器。所述编码器具有至少两个滤波器以用于相继地执行环内滤波以分别减少至少第一种和第二种量化伪影。

根据本发明原理的另一个方面，提供了一种方法。所述方法包括对图像区域进行编码。编码步骤包括相继使用至少两个滤波器分别减少至少第一种和第二种量化伪影。

根据本发明原理的另一个方面，提供了一种设备。所述设备包括用于对图像区域进行解码的解码器。该解码器具有至少两个滤波器用于相继地执行环内滤波以分别减少至少第一种和第二种量化伪影。

根据本发明原理的另一个方面，提供了一种方法。所述方法包括对图像区域进行解码。解码步骤包括相继使用至少两个滤波器分别减少至少第一种和第二种量化伪影。

从以下对示例性实施例的详细描述中，本发明原理的这些和其它方面、特征和优点将变得显而易见，结合附图阅读示例性实施例的详细描述。

附图说明

根据以下示例性示图本发明原理可以被更好的理解，其中：

图1示出能够根据MPEG-4 AVC标准执行视频编码的视频编码器的框图；

图2示出能够根据MPEG-4 AVC标准执行视频解码的视频解码器的框图；

图3示出根据本发明原理的实施例、被修改并被扩展用于本发明原理的使用、能够根据MPEG-4 AVC标准执行视频编码的视频编码器的框图；

图4示出根据本发明原理的实施例、被修改并被扩展用于本发明原理的使用、能够根据MPEG-4 AVC标准执行视频解码的视频解码器的框图；

图5示出根据本发明原理的实施例的示例性的一连串去伪影滤波器的示图；

图6示出根据本发明原理的实施例、用于使用环内去伪影滤波对图像数据进行编码的示例性方法的流程图；

图7示出根据本发明原理的实施例、用于使用环内去伪影滤波对图像数据进行解码的示例性方法的流程图；

图8示出根据本发明原理的实施例、用于执行伪影去除/减少之后的量化约束集(QCS)系数校正的示例性设备；以及

图9示出根据本发明原理的实施例、针对视频编码/解码中的过度滤波问题和使用QCS的校正方法的示例性量化仓(quantization bin)。

具体实施方式

本原理涉及用于环内去伪影滤波的方法和设备。

本说明书说明了本原理。因此，可以明白，本技术领域技术人员将能够设想各种实施本原理并且被包含在本原理的精神和范围内的配置，尽管在此未明确描述或示出这些配置。

在此叙述的所有示例和条件性语句是为了帮助读者理解由(一个或多个)发明人改进现有技术所贡献的原理和概念，并且要被理解为不限于这样具体叙述的示例和条件。

并且，这里叙述本原理的原理、方面和实施例的所有声明以及本原理的具体示例希望包括本原理的结构和功能等同物。并且，希望这样的等同物包括当前已知的等同物和将来开发的等同物，即所开发的执行同样功能的任何元件(不论是什么结构)。

因此，例如，本技术领域技术人员将明白，在此所示的框图表示实施本原理的说明性电路的概念示图。类似地，将明白，任何流程图、流的示图、状态转换图、伪码等表示可以主要在计算机可读介质中被表示并且被计算机或处理器(不论是否明确示出这样的计算机或处理器)执行的各种处理。

可以通过专用硬件和能够与恰当的软件相关联地执行软件的硬件的使用提供图中所示的各种元件的功能。当设有处理器时，所述功能可以由单个专用处理器、单个共享处理器、或其中某些被共享的多个处理器来提供。此外，明确使用术语“处理器”或“控制器”应当被理解为是排他性地指能够执行软件的硬件，并且可以暗含包括数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)和非易失性存储装置，但不限于此。

也可以包括其它传统的和/或常规的硬件。类似地，图中示出的任何开关仅仅是概念上的。可以通过程序逻辑的操作、通过专用逻辑、通过程序控制和专用逻辑的相互作用、或者如从上下文更具体理解的，甚至可由实施者手动选择的特定技术来执行它们的功能。

在权利要求中，被表示为用于执行专门功能的装置的任何元件希望包括执行功能(例如，包括a)的任何方式、以任何方式执行该(功能或b)软件的电路元件的组合，因此，包括与执行用于执行该功能的软件的恰当的电路组合的固件、微码等。

由这样的权利要求定义的本原理存在于这样的事实：由各种所叙述的装置提供的功能性可以以权利要求所要求的方式来组合和联合。因此认为，可以提供那些功能性的任何装置是在此所述的那些装置的等同物。

说明书中对本原理的“一个实施例”或“实施例”的引用意味着结合该实施例描述的特定特征、结构、特点等被包含在本原理至少一个实施例中。因此，在整个说明书的各个地方出现的短语“在一个实施例中”或“在实施里中”不一定都指同一个实施例。

如在此使用的，“高级语法”和“高级语法元素”可交换地指在层次上驻留在宏块层以上的比特流中存在的语法。例如，如在此使用的，高级语法可以是指条带(slice)头级、补充增强信息(Supplemental Enhancement Information，SEI)级、图像参数集级、序列参数集级和网络提取层(Network Abstraction Layer，NAL)单元头级处的语法。

如在此使用的，“块级语法”和“块级语法元素”可交换地指层次上驻留在视频编码方案中被构建为块或块的分区的任何可能的编码单元处的比特流中存在的语法。例如，如在此使用的，块级语法可以指宏块级、16×8分区级、8×16分区级、8×8子块级以及这些级的任何一般分区处的语法，但不限于此。此外，如在此使用的，块级语法可以指从更小的块的联合(例如，宏块的联合)所产生的块。

短语“图像数据”是指与静止图像和运动图像(包含了运动的图像序列)的任何图像相对应的数据。

可以明白，例如在“A和/或B”的情况中使用术语“和/或”希望包括对第一个列出的选项(A)的选择，对第二个列出的选项(B)的选择或对两个选项(A和B)两者的选择。作为进一步的示例，在“A、B和/或C”的情况中，这样的短语希望包括对第一个列出的选项(A)的选择，对第二个列出的选项(B)的选择、对第三个列出的选项(C)的选择、对第一个和第二个列出的选项(A和B)的选择、对第一个和第三个列出的选项(A和C)的选择、对第二个和第三个列出的选项(B和C)的选择或对所有三个选项(A和B和C)的选择。对本技术领域和相关技术领域的技术人员非常显而易见的是，这可以随着列出的许多项进行扩展。

此外，应该明白，尽管在此关于MPEG-4 AVC标准描述了本原理的一个或多个实施例，但是本发明原理不限于仅仅这一标准，因此，可以在保持本发明原理的精神的同时，关于其它视频编码标准、推荐以及它们的扩展利用本发明原理，所述扩展包括诸如MPEG-4 AVC标准的可扩展性(和不可扩展性)扩展和/或多视图(和非多视图)扩展之类的扩展。

参见图3，由标号300一般地指示被修改和/或被扩展用于本发明原理的使用、能够根据MPEG-4 AVC标准执行视频编码的视频编码器。

视频编码器300包括帧排序缓冲器310，帧排序缓冲器310的输出在信号通信中与组合器385的正相输入连接。组合器385的输出在信号通信中与变换器和量化器325的第一输入连接。变换器和量化器325的输出在信号通信中与熵编码器345的第一输入和反变换器和反量化器350的第一输入连接。熵编码器345的输出在信号通信中与组合器390的第一反相输入连接。组合器390的输出在信号通信中与输出缓冲器335连接。

编码器控制器305的第一输出在信号通信中与以下输入连接：帧排序缓冲器310的第二输入、反变换器和反量化器350的第二输入、图像类型判决模块315的输入、宏块型(MB-类型)判决模块320的第一输入、帧内预测模块360的第二输入、去块滤波器365的第二输入、运动补偿器370的第一输入、运动估计器375的第一输入、参考图像缓冲器380的第二输入、稀疏去噪滤波器的第一输入和量化约束集(QCS)355的第一输入。

编码器控制器305的第二输出在信号通信中与以下输入连接：补充增强信息(SEI)插入器330的第一输入、变换器和量化器325的第二输入、熵编码器345的第二输入、输出缓冲器335的第二输入和序列参数集(SPS)和图像参数集(PPS)插入器340的输入。

图像类型判决模块315的第一输入在信号通信与帧排序缓冲器310的第三输入连接。图像类型判决模块315的第二输出在信号通信中与宏块型判决模块320的第二输入连接。

序列参数集(SPS)和图像参数集(PPS)插入器340在信号通信中与组合器390的第三正相输入连接。

反量化器和反变换器350的输出在信号通信中与组合器319的第一正相输入连接。组合器309的输出在信号通信中与帧内预测模块360的第一输入和去块滤波器365的第一输入连接。去块滤波器365的输出在信号通信中与稀疏去噪滤波器344的第二输入连接。稀疏去噪滤波器344的输出在信号通信中与量化约束集(QCS)355的第二输入连接。量化约束集(QCS)355的输出在信号通信中与参考图像缓冲器380的第一输入连接。参考图像缓冲器380的输出在信号通信中与运动估计器375的第二输入和运动补偿器370的第二输入连接。运动估计器375的第一输出在信号通信中与运动补偿器370的第三输入连接。运动估计器375的第二输出在信号通信中与熵编码器345的第三输入连接。

运动补偿器370的输出在信号通信中与开关397的第一输入连接。帧内预测模块360的输出在信号通信中与开关397的第二输入连接。宏块型判决模块320的输出在信号通信中与开关397的第三输入连接。开关397的第三输入判定开关的“数据”输入(与控制输入，即第三输入比较而言)是否是要由运动补偿器370或帧内预测模块360提供。开关397的输出在信号通信中与组合器319的第二正相输入和组合器385的反相输入连接。

帧排序缓冲器310和编码器控制器305的输入可以用作编码器300的用于接收输入图像301的输入。此外，补充增强信息(SEI)插入器330可以用作编码器300的用于接收元数据的输入。输出缓冲器335的输出可以用作编码器300的用户输出比特流的输出。

参见图4，由标号400一般地指示被修改和/或被扩展用于本发明原理的使用、能够根据MPEG-4 AVC标准执行视频解码的视频解码器。

视频解码器400包括输入缓冲器410，输入缓冲器410具有在信号通信中与熵解码器445的第一输入连接的输出。熵解码器445在信号通信中与反变换器和反量化器450连接。反变换器和反量化器450的输出在信号通信中与组合器425的第二正相输入连接。组合器425的输出在信号通信中与帧内预测模块460的第一输入和去块滤波器465的第二输入连接。去块滤波器465的输出在信号通信中与稀疏去噪滤波器444的第一输入连接。稀疏去噪滤波器444的输出在信号通信中与量化约束集(QCS)455的第一输入连接。量化约束集(QCS)455的第一输出在信号通信中与参考图像缓冲器480的第一输入连接。参考图像缓冲器480的输出在信号通信中与运动补偿器470的第二输入连接。

熵解码器445的第二输出在信号通信中与运动补偿器470的第三输入和去块滤波器465的第一输入连接。熵解码器445的第三输出在信号通信中与解码器控制器405的输入连接。解码器控制器405的第一输出在信号通信中与熵解码器445的第二输入连接。解码器控制器405的第二输出在信号通信中与反变换器和反量化器450的第二输入连接。解码器控制器405的第三输出在信号通信中与去块滤波器465的第三输入、稀疏去噪滤波器444的第二输入、量化约束集(QCS)455的第二输入连接。解码器控制器405的第四输出在信号通信中与帧内预测模块460的第二输入、运动补偿器470的第一输入、参考图像缓冲器480的第二输入连接。

运动补偿器470的输出在信号通信中与开关497的第一输入连接。帧内预测模块460的输出在信号通信中与开关497的第二输入连接。开关497的输出在信号通信中与组合器425的第一正相输入连接。

输入缓冲器410的输入可以用作解码器400的用于接收输入比特流的输入。量化约束集(QCS)455的第二输出可以用作解码器400的用于输出输出图像的输出。

关于图4的视频解码器400，应当明白，可以允许在功能块465的应用之前、或功能块465的应用之后、或功能块444的应用之后或功能块455的应用之后输出图像。即，有这样的灵活性：在参考缓冲器中用于预测的图像和用于显示的图像不同，所以，会有用于预测的更好的参考以及用于显示的更清晰的图像。

如上所述，本发明原理涉及用于环内去伪影滤波的方法和设备。

在一个实施例中，我们提出了在经过编码的图像上利用一连串滤波器以降低视频帧上的编码伪影量。滤波器置于编码环路中(环内)，所以经过过滤的帧被用作用于对随后的经过编码的帧进行运动补偿的参考帧。例如，滤波器中的至少一个滤波器包括：去块滤波器、去环滤波器、去噪滤波器、信号估计滤波器、线性滤波器和/或非线性滤波器。

在实施例中，我们提出使用双通道(two-pass)滤波器。在第一通道(pass)中，应用自适应去块滤波器，目的是移除块伪影。在第二通道中，应用自适应稀疏去噪滤波器，这可以进一步减少由局部均匀的区域组成的视频帧上的量化噪声(平滑、高频、纹理等)。为了进一步改善结果，可以实施压缩约束，包括但不限于量化约束，以帮助将图像重建成无伪影形式。

这里的一个或多个实施例涉及使用两个或更多环内滤波器(和/或两个或更多环内滤波通道)以除去或减少量化伪影——第一滤波器(或滤波通道)用于除去或减少第一种(或第一组类型)的量化伪影而第二滤波器(或滤波通道)用于除去或减少第二种(或第二组类型)的量化伪影。应该明白，根据本发明原理的实施例，也设想到使用更多的环内滤波器(或滤波通道)。即，根据在此提供的本发明原理的教导，在保持本发明原理的精神的同时，本技术领域或相关技术领域的技术人员将设想到本发明原理的这些和其它各种实施例和变化。

因此，根据本发明原理，建议使用一连串滤波器(或滤波通道)来除去或减少由量化造成的多个可能的编码伪影类型。如果以这种方式完成，则可以由不同的滤波器处理不同类型的伪影和量化误差。因此，通过这样的对重建的视频图像的级联滤波，经过解码的序列在主观和客观测量中实质上都更好。通过将这一方案合并进编码器/解码器环路(也称为环内滤波)，帧间预测也可以从对经过解码的参考图像的改善中受益。注意，通过使用一连串滤波器，可以不限于特定的一组通用或专用滤波器、特定数目的级联滤波器或者甚至(它们被组合的)特定的顺序。例如可以基于要使用的编码器和/或解码器以及被滤波的视频数据的特性来调整那些参数。为了防止输入视频信号被过度处理，我们也可以实施某些压缩和/或均衡约束。

实施例涉及“双通道”滤波器的使用。参见图5，由标号500一般地指示示例性的一连串去伪影滤波器。自适应稀疏去噪滤波器544被用作MPEG-4 AVC标准去块滤波器565之后和量化约束集(QCS)滤波器555之前的细化(refinement)滤波器。由于通过去块滤波器最成功地去除了视觉块伪影，所以，剩余的量化噪声往往更独立并且同分布(i.i.d)，这与自适应稀疏去噪滤波器的噪声模型假设一致。在应用第二通道稀疏去噪滤波器544之后，我们使用量化约束集滤波器555对残差(residuals)整形并且防止它们被过度处理。量化约束集滤波器555被用于将各个变换系数限制为原来的量化间隔。这个步骤有助于防止过度平滑，并且使得级联的一组滤波器的输出相对于滤波器设置中的变化更强壮，所述变化包括但不限于用于基于稀疏的去噪步骤的阈值参数中的变化。

自适应稀疏去噪滤波器544包括前向变换器571，前向变换器571具有在信号通信中与阈值模块573的输入连接的输出。阈值模块573的输出在信号通信中与反变换器575的输入连接。反变换器575的输出在信号通信中与自适应加权模块577的输入连接。前向变换器的输入可以用作稀疏去噪滤波器544的输入。自适应加权模块577的输出可以用作稀疏去噪滤波器544的输出。MPEG-4 AVC标准去块滤波器565的输出在信号通信中与前向变换器571的输入连接。自适应加权模块577的输出在信号通信中与量化约束集(QCS)滤波器555的输入连接。MPEG-4 AVC标准去块滤波器565的输入可以用作一连串去块滤波器500的输入。前向变换器571的输出可以用作一连串去块滤波器500的输出。

作为示例，图3和图4分别示出自适应去噪滤波器和量化约束集滤波器可以位于视频编码器结构和视频解码器结构中的什么位置。在示出的示例中，自适应稀疏去噪滤波器和量化约束集滤波器一个接着另一个地位于去块滤波器之后。当然，根据在此提供的本发明原理的教导，在保持本发明原理的精神的同时，本技术领域普通技术人员将设想到用于自适应稀疏去噪滤波器和量化约束集滤波器的这个和其它位置。

在一个实施例中，自适应稀疏去噪滤波器和/或量化约束集滤波器可以在宏块级、条带级、图像级、和/或序列级被打开/关闭。例如，我们可以选择仅对帧内帧而非帧间帧应用自适应稀疏去噪滤波器和量化约束集滤波器。

在一个实施例中，可以根据应用的复杂度约束、失真测量和/或编码代价将不同的伪影去除/减少步骤选择性地切换成开/关。用于稀疏去噪步骤的变换可以自适应地从可能的变换集中选出。所选出的变换可以使用高级语法来指示并且被用信号通知给解码器。恰当的阈值γ可以被用信号通知以最优化自适应稀疏去噪滤波。用信号通知的阈值γ可能需要适应量化参数和序列内容。最优的加权方法也可以用信号通知以最优化去噪增益。

表格1示出根据本发明原理的实施例、用于环内去伪影滤波中的使用的示例性图像参数集(PPS)原始字节序列载荷(RBSP)语法。

表格1

表格2示出根据本发明原理的实施例、用于环内去伪影滤波中的使用的示例性条带头语法。

表格2

关于表格1和表格2，提供以下示例性语法定义。当然，根据在此提供的本发明原理的教导，在保持本发明原理的精神的同时，本技术领域技术人员将设想到用于根据本发明原理的各种实施例的使用的这些和各种其它语法和变化。

sparse_filter_control_present_flag等于1指示在条带头中有控制稀疏去噪滤波器的特性的一组语法元素。sparse_filter_control_present_flag等于0指示在条带头中没有控制稀疏去噪滤波器的特性的一组语法元素并且他们的推断值(inferred value)有效。

qcs_control_present_flag等于1指示在条带头中有控制量化约束集(QCS)滤波器的特性的一组语法元素。qcs_control_present_fiag等于0指示在条带头中没有控制量化约束集(QCS)滤波器的特性的一组语法元素并且他们的推断值有效。

disable_sparse_filter_flag等于1指示稀疏去噪滤波器的操作是否应被禁用。当在条带头中没有disable_sparse_filter_flag时，disable_sparse_filter_flag应被推断为等于0。

sparse_threshold指示稀疏去噪中使用的阈值的值。当在条带头中没有sparsethreshold时，使用基于条带量化参数获得的默认值。

sparse_transform_type指示在稀疏去噪中使用的变换的类型。sparse_transform_type等于0指示使用4×4变换。sparse_transform_type等于1指示使用8×8变换。

adaptive_weighting_type指示在稀疏去噪中使用的加权的类型。adaptive_weighting_type等于0指示使用稀疏的加权。adaptive_weighting_type等于1指示使用平均的加权。

disable_qcs_falg指示量化约束集(QCS)滤波器的操作是否应该被禁用。当在条带头中没有disable_qcs_falg时，disable_qcs_falg应被推断为等于0。

qcs_pullback_model指示如何重新指定系数值。qcs_pullback_model等于0指示将系数拉回最近的小区(cell)边界(在以下所述的图9的最后一行中示出了拉回最近的小区边界(或量化仓(仓)边界)的示例)。qcs_pullback_model等于1指示将系数拉回小区的中心(也参见图9，如果改为使用经过均衡的系数值的话)或预定的值。

在一个实施例中，自适应去噪滤波器操作涉及以下步骤。

在一个步骤中，确定过完备变换集Hi，i＝1，…，M。与这一特定集相关的信息可以已被发送给解码器。信息例如可以在条带、图像和/或序列级被这样发送。在发送这样的信息中，高级语法可以被嵌入数据流中。例如，高级语法可以在条带、图像和/或序列级被嵌入。例如，在MPEG-4AVC标准的构架内，我们可以重新使用现有的4×4变换和8×8变换和/或阿达玛(Hadamard)变换步骤。

在另一步骤中，(例如，基于量化步骤和/或编码图像的统计信息)确定阈值γ。γ可以被发送给解码器。例如，γ可以在块、条带、图像和/或序列级被发送。在发送这样的信息中，至少一个块级语法和/或至少一个高级语法可以被嵌入数据流中。

在另一步骤中，确定用于合并可以被发送给解码器的反变换输出的自适应加权方法。权重例如可以在在块、条带、图像和/或序列级被发送。在加权是在没有明确的加权发送的情况下被直接获得的情况中，可能仍然需要发送与加权步骤相关的一些辅助信息。在发送任何加权步骤信息中，至少一个块级语法和/或至少一个高级语法可以被嵌入数据流中。例如，可以使用平均加权或使权重与非零系数的数目成反比的基于稀疏性的加权。当然，本发明原理不限于仅以上加权类型，因此，在保持本发明原理的精神的同时，还可以根据本发明原理使用其它加权类型。

在实施例中，用于细化的自适应稀疏去噪滤波器方法涉及使用指定的阈值γ从每个变换Hi获得经过去噪的估计并且使用自适应加权合成来得到最终的经过去噪的估计

在实施例中，量化约束集方法被用于最后的细化步骤，如下：

(1)计算新的残差信号(residual signal)其中，p是帧内/帧间预测信号。

(2)将和MPEG-4 AVC标准应用于残差的变换处理相同的变换处理应用于上。假定所产生的变换系数为

(3)检查是否在由原来接收到的变换系数指示的量化小区中。对于每个系数，如果在滤波步骤之后，已经降到了原来的量化小区之外，则新的系数被校正并且被重新指配为到其自身最近的原来的量化小区边界值。或者，根据每个特定系数和/或量化仓的统计信息，来自原来的量化小区内的其它可能的值可以用于重新指配过程。经过细化的系数被标为c′。

(4)获得c′的反变换，用r′表示，并且和p加到一起以获得最终的估计x′＝p+r′。

自适应稀疏去噪滤波器涉及从独立同分布(i.i.d)的噪声环境恢复原来的信号。然而，视频压缩中的量化噪声，并且特别是关于MPEG-4AVC标准，通常不是独立同分布(i.i.d)的。本发明原理与在例如MPEG-4 AVC标准去块滤波器之后使用一连串细化步骤(一连串滤波器)、每个步骤面向校正至少一部分编码伪影的现有技术不同。去块滤波器之后的信号是对独立同分布(i.i.d)噪声假设的更好匹配。由随后的量化约束集(QCS)滤波器解决从去块和去噪滤波器的使用和/或组合引起的可能的“过度滤波问题”。相继的滤波器已经示出了其在实践和理论中在除去视频压缩伪影中的优越性能。

参见图6，总的由标号600指示用于使用环内去伪影滤波对图像数据进行编码的示例性方法。

方法600包括开始块605，开始块605将控制传递给功能块610。功能块610对当前条带进行编码，并且将控制传递给功能块615。功能块615基于当前条带的统计信息判定去块滤波器、稀疏去噪滤波器、和/或量化约束集(QCS)是否将被应用到当前的条带上，并且将控制传递给判定块620。判定块620判定disable_deblocking_filter_ids是否等于0。如果是，则控制被传递给功能块625。否则，控制被传递给判定块630。

功能块625应用去块滤波器，并且将控制传递给判定块630。

判定块630判定disable_sparse_filter_flag是否等于0。如果是，则控制被传递给功能块635。否则，控制被传递给判定块640。

功能块635应用稀疏去噪滤波器，并且将控制传递给判定块640。

判定块640判定disable_qcs_falg是否等于0。如果是，则控制被传递给功能块645。否则，控制被传递给结束块699。

功能块645应用量化约束集(QCS)，并且控制传递给结束块699。

参见图7，由标号700一般地指示用于使用环内去伪影滤波对图像数据进行解码的示例性方法。

方法700包括将控制传递给功能块710的开始块705。功能块710解析比特流，对语法进行解码，并且将控制传递给功能块715。功能块715对当前的条带进行解码，并且将控制传递给判定块720。判定块720判定disable_deblocking_filter_idc是否等于0。如果是，控制被传递给功能块725。否则，控制被传递给判定块730。

功能块725应用去块滤波器，并且将控制传递给判定块730。

判定块730判定disable_sparse_filter_flag是否等于0。如果是，则控制被传递给功能块735。否则，控制被传递给判定块740。

功能块735应用稀疏去噪滤波器，并且将控制传递给判定块740。

判定块740判定disable_qcs_flag是否等于0。如果是，则控制被传递给功能块745。否则，控制被传递给结束块799。

功能块745应用量化约束集(QCS)，并且控制传递给结束块799。

参见图8，由标号800总地指示用于执行伪影去除/减少之后的量化约束集(QCS)系数校正的示例性设备。设备800包括组合器805，组合器805具有在信号通信中与MPEG-4 AVC变换器810的输入连接的输出。MPEG-4 AVC变换器810的输出在信号通信中与比较和校正模块815的第一输入连接。比较和校正模块815的输出在信号通信中与MPEG-4 AVC反变换器820的输入连接。MPEG-4 AVC反变换器820的输出在信号通信中与组合器825的第一正相输入连接。

组合器805的正相输入可以用作设备800的用于接收经过重建和滤波的视频图像的输入。组合器805的反相输入可以用作设备800的用于接收预测的视频图像的输入。比较和校正模块815的第二输入可以用作设备800的用于接收量化仓模式(pattern)的输入。比较和校正模块815的第三输入可以用作设备800的用于接收经过解码的系数的输入。组合器825的第二正相输入可以用作设备的用于接收预测的视频图像的输入。组合器825的输出可以用作设备的用于输出经过重建、滤波、量化约束集(QCS)校正的视频图像的输出。

MPEG-4 AVC变换器810被应用于解码后的残差。MPEG-4 AVC反变换器820被应用于经过解码的残差。比较和校正模块815将变换域中经过解码和滤波的图像进行比较并且对被过度滤波的系数进行校正。

参见图9，由标号900总地指示用于使用QCS来校正视频编码/解码中的过度滤波问题的示例性量化仓。假设原来的值是x，并且量化器的边界值是yi，i＝0，1，2…n，…。特定的仓由910、920、930和940标注。在仓910中，x在(yn-1，yn]的量化仓中，在仓920中在编码器中的量化处理之后，x的重建值是x’，x’在(yn-1，yn]的量化仓中。在仓930中，在去伪影处理之后，x的经过滤波的值为x”，x”在(yn，yn+1]的量化仓中。然而，系数不应该在原来的量化仓之外，原来的量化仓为(yn-1，yn]。在仓940中，应用QCS处理，并且将x”’设置为等于yn，yn是最终的经过重建的值。

现在将给出对本发明许多伴随的优点/特征，其中一些已经在上面提到过。例如，一个优点/特征是一种设备，所述设备包括了用于对图像区域进行编码的编码器。该编码器具有至少两个滤波器以用于相继地执行环内滤波以分别减少至少第一种和第二种量化伪影。

另一个优点/特征是一种设备，所述设备具有进而包含了如上所述的至少两个滤波器的编码器，其中，所述至少两个滤波器中的至少一个被用来实施至少一个压缩约束。

另一个优点/特征是一种设备，所述设备具有编码器，所述编码器又具有至少两个滤波器，如上所述，所述至少两个滤波器中的至少一个滤波器被用来实施至少一个压缩约束，其中，所述至少一个压缩约束涉及量化约束集。

另一个优点/特征是一种设备，所述设备具有编码器，所述编码器又具有至少两个滤波器，如上所述，所述至少两个滤波器中的至少一个滤波器被用来实施至少一个压缩约束，其中，用于所述至少一个压缩约束的使能信息或禁用信息和用于自适应地指示所述至少一个压缩约束的参数的与图像区域相对应的边信息(side information)中的至少一个被使用至少一个高级语法元素和至少一个块级语法元素中的至少一个被用信号通知。

此外，另一个优点/特征是一种设备，所述设备具有编码器，所述编码器又具有至少两个滤波器，如上所述，所述至少两个滤波器中的至少一个滤波器被用来实施至少一个压缩约束，其中，所述至少一个压缩约束的参数至少部分地基于与图像区域相对应的数据特征和数据统计信息中的至少一个被自适应地指示。

此外，另一个优点/特征是一种设备，所述设备具有编码器，所述编码器又具有如上所述的至少两个滤波器，其中，所述至少两个滤波器中的至少一个包括去块滤波器、去环滤波器、去噪滤波器、信号估计滤波器、线性滤波器和非线性滤波器。

并且，另一个优点/特征是一种设备，所述设备具有编码器，所述编码器又具有如上所述的至少两个滤波器，其中，所述至少两个滤波器的总数、类型和实施顺序是动态可选的。

此外，另一个优点/特征是一种设备，所述设备具有编码器，所述编码器又具有如上所述的至少两个滤波器，其中，所述两个或者更多滤波器中的至少一个根据与图像区域相对应的数据特征和数据统计信息中的至少一个被自适应地使能或禁用。

此外，另一个优点/特征是一种设备，所述设备具有编码器，所述编码器又具有如上所述的至少两个滤波器，其中，用于所述两个或更多滤波器中至少一个的使能信息或禁用信息被使用至少一个高级语法元素和至少一个块级语法元素中的至少一个来用信号发送。

此外，另一个优点/特征是一种设备，所述设备具有编码器，所述编码器又具有如上所述的至少两个滤波器，其中，所述编码器发送与图像区域相对应的边信息以自适应地指示所述两个或更多滤波器中至少一个的参数，边信息在宏块级、条带级、图像级和序列级中的至少一级处被发送。

此外，另一个优点/特征是一种设备，所述设备具有编码器，所述编码器又如上所述发送边信息，其中，所述两个或更多滤波器中至少一个的参数至少部分地基于与图像区域相对应的数据特征和数据统计信息中的至少一个被自适应地调整。

此外，另一个优点/特征是一种设备，所述设备具有编码器，所述编码器又如上所述具有至少两个滤波器，其中所述两个或更多的滤波器被包含在双通道滤波器中，双通道滤波器具有用于执行减少作为第一种量化伪影的块伪影的第一通道的去块滤波器和用于执行减少作为第二种量化伪影的噪声的第二通道的稀疏去噪滤波器。

此外，另一个优点/特征是一种设备，所述设备具有编码器，所述编码器又具有至少两个滤波器，如上所述，所述两个或更多滤波器被包含在双通道滤波器中，其中，所述编码器在第二通道之后实施量化约束集。

此外，另一个优点/特征是一种设备，所述设备具有编码器，所述编码器又具有至少两个滤波器，如上所述，所述两个或更多滤波器被包含在双通道滤波器中，其中，所述编码器使用至少一个高级语法元素和至少一个块级语法元素中的至少一个来用信号通知量化约束处理拉回(pullback)方法。

此外，另一个优点/特征是一种设备，所述设备具有编码器，所述编码器又具有至少两个滤波器，如上所述，所述两个或更多滤波器被包含在双通道滤波器中，其中，所述编码器在至少一个高级语法元素和至少一个块级语法元素中的至少一个中发送用于稀疏去噪滤波器的变换类型、阈值和加权方法中的至少一个。

此外，另一个优点/特征是一种设备，所述设备具有编码器，所述编码器又如上所述具有至少两个滤波器，其中，所述至少两个滤波器是与对图像区域进行编码相对应的环内滤波器，并且，其中所显示的图像区域的版本与以下两个信号中的至少一个不同：至少两个环内滤波器之后与图像区域相对应的输出信号和至少两个环内滤波器之前与图像区域相对应的一开始的输入信号。

基于这里的教导，本技术领域技术人员可以容易地确定本发明原理的这些和其它特征以及优点。应当理解，本发明原理的教导可以以各种形式的硬件、软件、固件、专用处理器或者它们的组合来实现。

最优地，本发明原理的教导被实现为硬件和软件的组合。此外，软件可以被实现为被有形地实施在程序存储单元上的应用程序。所述应用程序可以被上载到包含任何恰当的体系结构的机器并且被该机器执行。优选地，给机器在计算机平台上被执行，所述计算机平台具有诸如一个或多个中央处理单元(“CPU”)、随机存储器(“RAM”)和输入/输出(“I/O”)接口之类的硬件。该计算机平台也可以包括操作系统和微指令码。在此所述的各种处理和功能可以或者是可以由CPU执行的微指令代码的一部分或者是可以由CPU执行的应用程序的一部分，或者是这两者的组合。此外，各种其它外围单元可以被连接到诸如附加的数据存储单元和打印单元之类的计算机平台。

还应当理解，由于在附图中图示的某些构成系统组件和方法优选在软件中实现，所以系统组件或处理功能块之间的实际连接根据发明原理被编程的方式而不同。根据这里的教导，本技术领域技术人员将能够完成本发明原理的这些和类似的实现或配置。

尽管在此已经参考附图描述了说明性实施例，但是可以理解，本发明原理不限于这些精确的实施例，并且在不偏离本发明原理的范围或精神的情况下可以由本技术领域技术人员实现各种变化和修改。希望所有这样的变化和修改被包括在如权利要求中所记载的本发明原理的范围以内。