专利名称：使用基于多格稀疏性的滤波来进行去伪像滤波的方法和设备的制作方法
技术领域：
本发明原理总体上涉及视频编码和解码，更具体地，涉及使用基于多格稀疏性的 滤波来进行去伪像滤波的方法和设备。
背景技术：
视频编码标准典型地采用基于块的变换(例如但不限于，离散余弦变换，也被称 作DCT)和运动补偿来实现压缩效率。变换系数的粗量化以及在运动补偿预测中相邻块对 不同参考位置和不同参考画面的使用会引起视觉上造成干扰的伪像，例如边缘、纹理和块 不连续点周围的失真。通常在视频编码中应用滤波策略来衰减压缩伪像和提高解码视频信号的质量。在 国际标准化组织/国际电工委员会(IS0/IEC)运动图像专家组-4(MPEG-4)部分10高级视 频编码(AVC)标准/国际电信联盟电信部(ITU-T)H. 264推荐标准(下文中为“MPEG-4AVC 标准”)中，引入自适应去块滤波来克服关于第一现有方法描述的沿着块边界出现的伪像。 更一般地，已经提出去伪像方法，以当如关于第二现有技术方法和第三现有技术方法描述 的出现伪像时不仅克服块不连续点上的伪像还克服图像奇异点(例如，边缘和/和纹理) 周围的伪像。然而，为了最大化性能，并且根据第二现有技术方法，去伪像滤波器必须考虑 视频编码过程所施加的局部编码条件。例如，在单个帧内，MPEG-4AVC标准提供多种预测模 式(帧内、帧间、跳过等等)，每个预测模式有不同的量化噪声统计以及相应的滤波要求。此 外，时间信号变化以及画面内容随时间的变化可以影响在画面中出现的量化噪声的统计。因此，关于一般用在视频编码中以衰减压缩伪像并提高解码视频信号质量的滤波 策略，可以将所应用的滤波器部署在后处理步骤中或集成到混合视频编码器/解码器的回 路中。作为后处理步骤，滤波器在编码回路外部(回路外)操作，并且不影响参考帧。因此 解码器能够根据需要自由采用后处理步骤。另一方面，当被应用在编码回路内(回路中) 时，滤波器可以改善随后用作参考帧的画面。改善的参考帧然后可以为运动补偿提供更高 质量的预测，从而允许更高的压缩性能。在MPEG-4AVC标准中，采用了关于第一现有技术方法描述的回路中去块滤波器。 滤波器用于衰减沿着块边界出现的伪像。这样的伪像由变换(例如，DCT)系数的粗量化以 及运动补偿的预测引起。通过自适应地对块边缘应用低通滤波器，去块滤波器可以同时改 善主观和客观视频质量。滤波器通过对块边缘周围的采样执行分析来进行操作，并且改变 滤波强度，以衰减可能由于分块伪像而引起的小强度差而同时保留属于实际图像内容的一 般更大的强度差。若干块编码模式和条件还用于指示应用滤波器的强度。这些包括帧间/帧内预测判定，相邻块之间编码残差和运动差异的存在。除了在块级的自适应性以外，去块 滤波器在片级和采样级也是自适应的。在片级，可以针对视频序列的各个单独特性来调整 滤波强度。在采样级，可以根据采样值和基于量化器的阈值在每个单独采样处停止滤波。MPEG-4AVC标准去块滤波器所去除的分块伪像不是压缩视频中仅有的伪像。粗量 化也是诸如形成环、边缘失真和/或纹理恶化等其他伪像。去块滤波器不能够减少由出现 在块内的量化误差引起的伪像。此外，在去块中采用的低通滤波技术采用平滑图像模型，并 且不适于处理诸如边缘或纹理等图像奇异点。为了克服MPEG-4AVC标准去块滤波器的限制，最近已经提出了一种去噪类型非线 性回路中滤波器，例如，关于第二现有技术方法描述的滤波器。该非线性去噪滤波器使用过 完备非线性变换集合以及阈值处理操作来适应采用稀疏图像模型的非固定图像统计。非线 性去噪滤波器根据滤波器所作用的区域自动变成高通、或低通、或带通等。非线性去噪滤波 器是广泛可应用的，为包括图像奇异点在内的区域提供了鲁棒的解决方案。关于第二现有技术方法描述的去噪回路中滤波器使用由过完备变换集合提供的 去噪估计集合。该实现方式通过使用给定二维(2D)正交变换H(例如，小波或DCT)的所有 可能平移Hi来产生过完备变换集合。因此，在给定图像I的情况下，通过应用各种变换Hi 来创建图像I的一系列不同变换版本Y”然后每个变换版本Yi经过典型地包括阈值处理 操作在内的去噪过程，从而产生Y’ i序列。然后将变换和阈值处理后的系数Y’ 变换回 到空间域中，从而得到去噪估计I’ ”在过完备设置中，期望一些去噪估计提供比其他去噪 估计更好的性能，并且最后的滤波后版本受益于通过对这种去噪估计进行平均而获得的组 合。关于第二现有技术方法描述的去噪滤波器提出对去噪估计Fi进行加权平均，其中，对 权重进行优化以强调最佳去噪估计。加权方法可以不同，并且它们可以取决于要被滤波的 数据、所使用的变换、以及与噪声有关的统计假定。当使用块变换时，第二现有技术方法提 出了一种实际加权方法，该实际加权方法基于这种变换所提供的分解的稀疏度量。此外，关 于第二现有技术方法描述的方案通过以下操作来适应时间编码帧应用使所选像素不经过 滤波的掩蔽函数，以及根据编码条件和编解码器量化参数(QP)局部地确定滤波阈值。尽管广泛可应用，但是第二现有技术方法的去噪滤波器有三个主要限制。首先，给 定正交变换的平移版本Hi的使用将过完备变换集合的分析方向排他地限于垂直和水平分 量。这种对结构分析方向的限制会影响具有与垂直或水平方向不同的方向的信号结构的正 确滤波。其次，一些变换Hi类似于或等同于用于在视频编码过程中对残差信号进行编码的 变换。在编码中使用的变换通常用于减少可用于重构的系数的数目。这种减少可以改变 稀疏度量并且在滤波之后允许伪像的存在，该稀疏度量用于计算针对第二现有技术方法中 的去噪估计组合的最优权重。第三，不管适应时间编码帧的机制(掩蔽函数和空间局部阈 值)，阈值选择在时间上不适于信号结构、编码模型和/或量化噪声统计。第三现有技术方法的方向自适应去伪像滤波器是一种高性能非线性回路中滤波 器，使得可以减少各种伪像类型(包括分块伪像以及块内或图像奇异点周围出现的伪像)。 该滤波器基于过完备变换集合所提供的去噪估计的加权组合。然而，与第二现有技术方法 的去噪滤波器不同，第三现有技术方法的方向自适应去伪像滤波器使用要滤波的画面的不 同子格采样，以便将分析方向扩展为不仅限于垂直和水平分量。此外，方向自适应去伪像滤 波器从加权的组合中排除源自变换的去噪估计，这些变换类似于或紧密地对准于在编码残
5差中使用的变换。通过在图像的不同在采样上应用给定变换H的平移Hi来实现滤波器的方向自适 应性。定向子采样图案可以改变变换分解的方向。例如，转向图1，将矩形网格分解成两个 互补五点梅花格通常由参考数字100指示。两个互补五点梅花格分别由黑点集合和白点集 合来表示。然后在格子采样信号上应用适合于矩形网格的任何变换，扩展分析方向扩展为 不仅限于垂直和水平。可以通过以下变换、阈值处理、逆变换方法以及将来自互补子采样的 结果重新布置成原始格，来获得去噪估计I’ i。如关于第三现有技术方法描述的，提出了多 格处理，从而与两个五点梅花子采样格相结合来使用原始采样网格。然后通过加权组合来 组合源自多格中每一个格的去噪估计。与较大稀疏的变换分解有关的去噪估计的权重具有 较高值。这来自于稀疏分解包括最少量噪声的假定。转向图2，方向自适应去伪像滤波器总体由参考数字200指示。滤波器200于第三 现有技术方法相对应。应当注意，去噪稀疏模块212、214、和216需要知道滤波阈值。下采样和采样重新布置模块202的输出以信号通信的方式与前向变换模块(利用 冗余变换集合B) 208的输入相连接。下采样和采样重新布置模块204的输出以信号通信的 方式与前向变换模块(利用冗余变换集合B) 210的输入相连接。前向变换模块(利用冗余变换集合A) 206的输出以信号通信的方式与去噪系数模 块212相连接。前向变换模块(利用冗余变换集合B) 208的输出以信号通信的方式与去噪 系数模块214相连接。前向变换模块(利用冗余变换集合B) 210的输出以信号通信的方式 与去噪系数模块216相连接。去噪系数模块212的输出以信号通信的方式与用于计算作用于每个像素的非零 系数数目的计算模块226的输入以及逆变换模块(利用冗余变换集合A) 218的输入相连 接。去噪系数模块214的输出以信号通信的方式与用于计算作用于每个像素的非零系数数 目的计算模块230的输入以及逆变换模块(具有冗余变换集合B) 220的输入相连接。去噪 系数模块216的输出以信号通信的方式与用于计算作用于每个像素的非零系数数目的计 算模块232的输入以及逆变换模块(利用冗余变换集合B) 222的输入相连接。逆变换模块(利用冗余变换集合A) 218的输出以信号通信的方式与组合模块236 的第一输入相连接。逆变换模块(利用冗余变换集合B) 220的输出以信号通信的方式与上 采样、采样重新布置和合并陪集模块224的第一输入相连接。逆变换模块(利用冗余变换 集合B) 222的输出以信号通信的方式与上采样、采样重新布置和合并陪集模块224的第二 输入相连接。针对每个变换计算作用于每个像素的非零系数数目的计算模块230的输出以信 号通信的方式与上采样、采样重新布置和合并陪集模块228的第一输入相连接。针对每个 变换计算作用于每个像素的非零系数数目的计算模块232的输出以信号通信的方式与上 采样、采样重新布置和合并陪集模块228的第二输入相连接。上采样、采样重新布置和合并陪集模块228的输出以信号通信的方式与一般组合 权重计算模块234的第一输入相连接。用于计算作用于每个像素的非零系数数目的计算模 块226的输出以信号通信的方式与一般组合权重计算模块234的第二输入相连接。一般组 合权重计算模块234的输出以信号通信的方式与组合模块236的第二输入相连接。上采样、采样重新布置和合并陪集模块224的输出以信号通信的方式与组合模块
6236的第三输入相连接。前向变换模块(利用冗余变换集合A) 206的输入、下采样和采样重新布置模块202 的输入、以及下采样和采样重新布置模块204的输入分别可用作滤波器200的输入，以接收 输入图像。组合模块236的输出可用作滤波器的输出，以提供输出图像。转向图3，进行方向自适应去伪像滤波的方法总体由参考数字300来指示。方法 300与第三现有技术方法相对应。方法300包括开始框305，开始框300将控制传递至功能 框310。功能框310设置子格图像分解的可能族的形状和数目，并将控制传递至循环限制框 315。循环限制框315开始对每个(子)格族进行循环j，并将控制传递至功能框320。功 能框320根据子格族j对图像进行下采样并将该图像分成N个子格(其中，子格的总数取 决于每个族j)，并将控制传递至循环限制框325。循环限制框325开始针对每个子格(其 中，总数取决于族j)的循环i，并将控制传递至功能框330。功能框330对采样进行重新布 置(例如，从布置A(j，K)到B)，并将控制传递至功能框335。功能框335选择哪种变换被 允许用于给定的子格族j，并将控制传递至循环限制框340。循环限制框340开始针对每个 允许的变换(根据子格族j所选择的变换，例如，一些平移对于给定的j是不被允许的)的 循环i，并将控制传递至功能框345。功能框345利用变换矩阵i执行变换，并将控制传递 至功能框350。功能框350对系数去噪，并将控制传递至功能框355。功能框355利用逆变 换矩阵i执行逆变换，并将控制传递至循环限制框360。循环限制框360结束循环i，并将 控制传递至功能框365。功能框365对采样进行重新布置(例如，从布置B到A(j，k))，并 将控制传递至循环限制框370。循环限制框370结束循环k，并将控制传递至功能框375。 功能框375根据子格族j对子格进行上采样和合并，并将控制传递至循环限制框380。循环 限制框380结束循环j，并将控制传递至功能框385。功能框385组合(例如，局部自适应 加权求和)去噪系数图像的不同逆变换版本，并将控制传递至结束框390。方向自适应去伪像滤波器考虑使用4X4DCT或整数MPEG-4AVC标准变换或整数 MPEG-4AVC标准变换，从而产生这些变换的总共16种可能平移。当应用在原始采样网格上 时，若干平移后的变换可以与在残差编码中使用的变换交叠或几乎交叠。在这种情况下， 会发生量化噪声/伪像和信号均落在基函数的相同子空间内的情况，从而导致有伪像的大 稀疏度量。为了避免这些缺陷，第三现有技术方法提出从与在残差编码中使用的编码对准 或几乎对准的变换(例如，沿着水平或垂直方向中的至多一个方向具有1个不对准像素的 变换)中排除去噪估计。第三现有技术方法的原理也应用于其他变换，例如，8X8DCT或 MPEG-4AVC标准的整数8X8变换。在基于去噪估计的加权组合的滤波方法(例如，在第二和第三现有技术方法中公 开的那些方法)中，滤波阈值的选择很重要。对于控制滤波器的去噪能力以及计算用于强 调更好去噪估计的平均权重，所应用的阈值起到至关重要的作用。不充分的阈值选择可以 导致过于平滑的重构画面，或者可以允许伪像的存留。在第三现有技术方法的去伪像架构 中，将公共阈值应用于与权重计算相关联的变换系数和稀疏度量的全部去噪。在图2的框 图内，这些滤波阈值直接包括在去噪系数模块212、214和216，以及用于计算作用于每个像 素的非零系数数目的计算模块226、230和232中。针对第三现有技术方法的方向自适应去伪像滤波器结果证明了多格分析的功效， 然而，使用唯一且统一的阈值的使用会限制滤波潜能。例如，阈值取决于信号特性，并且这
7些信号特性可以随空间和时间而变化。对多视频帧进行处理会说明这一点，即使在帧内编 码模式下也是如此，因此考虑针对阈值自适应性的方法。此外，第三现有技术方法没有解决 针对时间编码内容的阈值选择。这种情况很受关注并提出了新的挑战，这是由于各种预测 模式(帧内、帧间、跳过等等)可以共同存在于单个帧内。这些模式中的每一个呈现唯一量 化噪声统计并需要专用滤波策略。总之，第二或第三现有技术方法都不能解决滤波过程中 量化噪声统计的联合空时变化。转向图4，能够根据MPEG-4AVC标准执行视频编码的视频编码器总体由参考数字 400来指示。视频编码器400包括帧排序缓冲器410，帧排序缓冲器410具有与组合器485的非 反相输入信号通信的输出。组合器485的输出以信号通信的方式与变换器和量化器425的 第一输入相连接。变换器和量化器425的输出以信号通信的方式与熵编码器445的第一输 入以及逆变换器和逆量化器450的第一输入相连接。熵编码器445的输出以信号通信的方 式与组合器490的第一非反相输入相连接。组合器490的输出以信号通信的方式与输出缓 冲器435的第一输入相连接。编码器控制器405的第一输出以信号通信的方式与帧排序缓冲器410的第二输 入、逆变换器和逆量化器450的第二输入、画面类型判定模块415的输入、宏块类型(MB类 型)判定模块420的第一输入、帧内预测模块460的第二输入、去块滤波器465的第二输入、 运动补偿器470的第一输入、运动估计器475的第一输入、以及参考画面缓冲器480的第二 输入相连接。编码器控制器405的第二输出以信号通信的方式与补充增强信息(SEI)插入器 430的第一输入、变换器和量化器425的第二输入、熵编码器445的第二输入、输出缓冲器 435的第二输入、以及序列参数集(SPS)和画面参数集(PPS)插入器440的输入相连接。SEI插入器430的输出以信号通信的方式与组合器490的第二非反相输入相连接。画面类型判定模块415的第一输出以信号通信的方式与帧排序缓冲器410的第三 输入相连接。画面类型判定模块415的第二输出以信号通信的方式与宏块类型判定模块 420的第二输入相连接。序列参数集和画面参数集插入器440的输出以信号通信的方式与组合器490的第 三非反相输入相连接。逆量化器和逆变换器450的输出以信号通信的方式与组合器419的第一非反相输 入相连接。组合器419的输出以信号通信的方式与帧内预测模块460的第一输入和去块滤 波器465的第一输入相连接。去块滤波器465的输出以信号通信的方式与参考画面缓冲器 480的第一输入相连接。参考画面缓冲器480的输出以信号通信的方式与运动估计器475 的第二输入以及运动补偿器470的第三输入相连接。运动估计器475的第一输出以信号通 信的方式与运动补偿器470的第二输入相连接。运动估计器475的第二输出以信号通信的 方式与熵编码器445的第三输入相连接。运动补偿器470的输出以信号通信的方式与开关497的第一输入相连接。帧内预 定模块460的输出以信号通信的方式与开关497的第二输入相连接。宏块类型判定模块 420的输出以信号通信的方式与开关497的第三输入相连接。开关497的第三输入确定开 关的“数据”输入(与控制输入相比，即，第三输入)由运动补偿器470提供还是由帧内预
8测模块460来提供。开关497的输出以信号通信的方式与组合器419的第二非反相输入以 及组合器485的反相输入相连接。帧排序缓冲器410的第一输入和编码器控制器405的输入可用作编码器400的输 入，以接收输入画面。此外，补充增强信息(SEI)插入器430的第二输入可用作编码器400 的输入，以接收元数据。输出缓冲器435的输出可用作编码器400的输出，以输出比特流。转向图5，能够根据MPEG-4AVC标准执行视频解码的视频解码器总体由参考数字 500来指示。视频解码器500包括输入缓冲器510，输入缓冲器510具有以信号通信的方式与熵 解码器545的第一输入相连接的输出。熵解码器545的第一输出以信号通信的方式与逆变 换器和逆量化器550的第一输入相连接。逆变换器和逆量化器550的输出以信号通信的方 式与组合器525的第二非反相输入相连接。组合器525的输出以信号通信的方式与去块滤 波器565的第二输入以及帧内预测模块560的第一输入相连接。去块滤波器565的第二输 出以信号通信的方式与参考画面缓冲器580的第一输入相连接。参考画面缓冲器580的输 出以信号通信的方式与运动补偿器570的第二输入相连接。熵解码器545的第二输出以信号通信的方式与运动补偿器570的第三输入以及去 块滤波器565的第一输入相连接。熵解码器545的第三输出以信号通信的方式与解码器控 制器505的输入相连接。解码器控制器505的第一输出以信号通信的方式与熵解码器545 的第二输入相连接。解码器控制器505的第二输出以信号通信的方式与逆变换器和逆量化 器550的第二输入相连接。解码器控制器505的第三输出以信号通信的方式与去块滤波器 565的第三输入相连接。解码器控制器505的第四输出以信号通信的方式与帧内预测模块 560的第二输入、运动补偿器570的第一输入、以及参考画面缓冲器580的第二输入相连接。运动补偿器570的输出以信号通信的方式与开关597的第一输入相连接。帧内预 测模块560的输出以信号通信的方式与开关597的第二输入相连接。开关597的输出以信 号通信的方式与组合器525的第一非反相输入相连接。输入缓冲器510的输入可用作解码器500的输入，以接收输入比特流。去块滤波 器565的第一输出可用作解码器500的输出，以输出输出画面。
发明内容
本发明原理能够解决现有技术的这些和其他缺陷和缺点，本发明原理涉及使用基 于多格稀疏性的滤波来进行去伪像滤波的方法和设备。根据本发明原理的一个方面，提供了一种设备。该设备包括用于对画面的画面数 据进行去伪像滤波的基于稀疏性的滤波器。画面数据包括画面的不同子格采样。滤波器的 基于稀疏性的滤波阈值在时间上改变。根据本发明原理的另一方面，提供了一种方法。该方法包括对画面的画面数据进 行去伪像滤波。该画面数据包括画面的不同子格采样。针对滤波的基于稀疏性的滤波阈值 在时间上改变。根据结合附图阅读的示例实施例的以下详细描述，本发明原理的这些和其他方 面、特征和优点将变得显而易见。
9
根据以下示例附图可以更好地理解本发明原理，在附图中图1是示出了根据现有技术的将矩形网格分解成两个互补五点梅花格的图；图2是根据现有技术的方向自适应去伪像滤波器的框图；图3是根据现有技术的方向自适应去伪像滤波方法的流程图；图4是能够执行视频编码的示例编码器的框图；图5是能够执行视频解码的示例解码器的框图；图6是根据本发明原理实施例的用于编码器的示例回路外方向自适应去伪像滤 波器的框图；图7是根据本发明原理实施例的在编码器处进行回路外方向自适应去伪像滤波 的示例方法的流程图；图8是根据本发明原理实施例的用于解码器的示例回路外方向自适应去伪像滤 波器的框图；图9是根据本发明原理实施例的在解码器处进行回路外方向自适应去伪像滤波 的示例方法的流程图；图10示出了根据本发明原理实施例的被扩展与本发明原理一同使用的、能够执 行视频编码的示例视频编码器的框图；图11示出了根据本发明原理实施例的被扩展与本发明原理一同使用的、能够执 行视频解码的示例视频解码器的框图；图12示出了根据本发明原理实施例的用于编码器的示例回路中方向自适应去伪 像滤波器的框图；图13示出了根据本发明原理实施例的在编码器处进行回路中方向自适应去伪像 滤波的示例方法的流程图；图14示出了根据本发明原理实施例的用于解码器的示例回路中方向自适应去伪 像滤波器的框图；图15是根据本发明原理实施例的在解码器处进行回路中方向自适应去伪像滤波 的示例方法的流程图；图16示出了根据本发明原理实施例的被扩展与本发明原理一同使用的、能够执 行视频编码的另一示例视频编码器的框图；以及图17示出了根据本发明原理实施例的被扩展与本发明原理一同使用的、能够执 行视频解码的另一示例视频解码器的框图。
具体实施例方式本发明原理涉及使用基于多格稀疏性的滤波来进行去伪像滤波的方法和设备。本说明书示意了本发明原理。因此将理解的是，尽管这里没有明确描述或示出，本 领域的技术人员将能够设想体现本发明原理并包括在本发明精神和范围内的各种布置。这里所记载的所有示例和条件性语言均为了教导的目的，以帮助读者理解本发明 原理以及发明人对现有技术做出贡献的构思，而不应被视为限于这里具体记载的示例和条 件。
10
此外，这里对本发明的原理、方面、实施例及其特定示例做出记载的所有声明意在 包括其结构和功能上的等同物。另外，该等同物将包括当前已知的等同物以及将来开发出 的等同物，即，所开发出来的无论结构如何都执行相同功能的任何组件。因此，本领域的技术人员可以理解，例如这里所表示的框图表示体现本发明原理 的示意性电路的概念图。类似地，将理解，任何流程、流程图、状态转移图、伪码等都表示各 种过程，这些过程实质上可以表示在计算机可读介质上并且由计算机或处理器来执行，无 论是否明确示出该计算机或处理器。可以通过使用专用硬件和与适当软件相结合的能够执行软件的硬件来实现图中 所示各个组件的功能。当由处理器来提供时，这些功能可以由单个的专用处理器、单个的共 享处理器、或多个单独的处理器来提供，其中所述多个单独处理器中的一些可以是被共享 的。此外，术语“处理器”或“控制器”的显式使用不应被解释为排他性地指代能够执行软 件的硬件，而是可以隐式地包括而不限于数字信号处理器(“DSP”)硬件、用于存储软件的 只读存储器(“ROM”)、随机存取存储器(“RAM”)以及非易失性存储器。还可以包括常规和/或定制的其它硬件。类似地，图中所示的任何开关仅是概念 上的。这些开关的功能可以通过程序逻辑的操作、通过专用逻辑、通过程序控制与专用逻辑 的交互、或甚至以手动方式来实现，如从上下文中更具体理解的，具体技术可以由实施者来 选择。在权利要求书中，表示为用于执行指定功能的装置的任何组件意在包括执行该功 能的任何方式，例如包括a)执行该功能的电路元件的组合，或b)任意形式的软件，包括固 件、微代码等，与用于执行该软件的电路相组合以执行该功能。由权利要求所限定的本发 明原理在于如下事实将各个记载的装置所提供的功能以权利要求所要求的方式组合在一 起。因此，可以把能够提供这些功能的任意装置看作与这里所示的装置相等同。在说明书中提到的本发明原理的“一个实施例”或“实施例”及其其他变型是指: 结合实施例描述的特定特征、结构、特性等包括在本发明的至少一个实施例中。因此，贯穿 说明书在不同地方出现的短语“在一个实施例中”或“在实施例中”以及任何其他变型不一 定均指相同的实施例。应当理解的是，以下“/”、“和/或”以及“......中的至少一个”的使用(例如“A/
B”、“A和/或B”以及“A和B中的至少一个”)意在包括只选择第一所列项目(A)、或只选 择第二所列项目(B)、或选择两个项目(A和B)。作为另一示例，在“A、B和/或C”和“A、B 和C中的至少一个”的情况下，这样的表示意在包括只选择第一所列项目(A)、或只选择第 二所列项目(B)、或只选择第三所列项目(C)、或只选择第一和第二所列项目(A和B)、或只 选择第一和第三所列项目(A和C)、或只选择第二和第三所列项目(B和C)、或选择所有三 个项目(A和B和C)。对于本领域和相关领域的普通技术人员来说显而易见的是，对于所列 的许多项目，上述内容是可以扩展的。这里所使用的术语“画面”是指包括与静止和运动视频有关的图像和/或画面在 内的图像和/或画面。此外，这里所使用的术语“稀疏性”是指信号在变换域中具有几个非零系数的情 况。作为示例，采用具有5个非零系数的变换表示的信号与使用相同变换架构具有10个非 零系数的另一信号相比具有更稀疏的表示。
11
此外，如这里所使用的，如关于画面的子采样所使用的术语“格”或“基于格”以及 等同地“子格采样”的是指可以根据空间连续和/或不连续采样的给定结构图案来选择采 样的子采样。在示例中，这样的图案可以是诸如矩形图案等几何图案。同样，这里所使用的术语“局部”是指，感兴趣项目(包括但不限于，平均幅度测 量、平均噪声能量、或权重测量的偏离)与像素位置级别的关系，和/或感兴趣项目与画面 内的像素或像素的局部邻域的对应关系。此外，这里所使用的术语“全局”是指感兴趣项目(包括但不限于，平均幅度测 量、平均噪声能量、或权重测量的偏离)与画面级别的关系，和/或感兴趣项目与画面或序 列的总像素的对应关系。此外，这里所使用的“高级语法”是指分级驻留在宏块层之上、存在于比特流中的 语法。例如，这里所使用的高级语法是指，但不限于，片首部级别、补充增强信息(SEI)级 别、画面参数集(PPS)级别、序列参数集(SPS)级别以及网络抽象层(NAL)单元首部级别处 的语法。此外，应当认识到，尽管这里关于MPEG-4AVC标准描述了本发明原理的一个或多 个实施例，但是本发明原理仅不限于该标准，因此可以关于其他视频编码标准、推荐标准及 其扩展(包括MPEG-4AVC标准的扩展)来使用本发明原理，而同时保持本发明原理的精神。如上所述，本发明原理涉及使用基于多格稀疏性的滤波来进行去伪像滤波的方法 和设备。有利地，本发明原理的一个或多个实施例涉及通过使用针对滤波的空时自适应阈 值对画面的不同子格采样进行基于稀疏性的滤波，来实现高性能去伪像滤波。例如，在一个 实施例中，滤波基于若干基于稀疏性的滤波步骤的加权组合，这些基于稀疏性的滤波步骤 被应用于要进行滤波的画面的不子格采样。针对基于稀疏性的滤波步骤的阈值在空间和时 间上改变，以便最佳地适合量化噪声的统计和/或其他参数。例如，本发明原理根据以下中 的至少一个(但不限于)来适配滤波阈值信号特性；编码配置(回路中滤波和/或回路外 滤波)；预测模式；量化噪声统计；解码画面和原始信号的局部编码模式；压缩参数；压缩 要求；编码性能；用户选择(例如，更尖锐的图像或更平滑的图像)；以及质量度量和/或编 码成本度量。当然，适配滤波器阈值所基于的预测参数仅是示意性的，在给出这里提供的本 发明原理的教导的情况下，本领域普通技术人员能够设想适配滤波阈值所基于的这些和各 种其他参数，而同时保持本发明原理的精神。本发明原理扩展了适用性，并改善了用于对解码视频画面进行去伪像的基于稀疏 性的滤波器的性能。使用过完备变换的基于稀疏性的滤波技术提供了用于减小具体边缘、 纹理以及其他奇异点周围的量化噪声的鲁棒机制。然而，这些技术的性能很大程度上取决 于适当滤波阈值的选择，这种选择必须反映出大范围的信号、编码以及滤波特征。有利地， 本发明原理提供的灵活性在于，可以将本发明原理实现为回路中滤波器配置，以及后滤波 和/或回路外滤波器配置。对所选阈值进行编码并且可以将其作为辅助信息传送至解码 器。本发明原理的使用提供了显著的比特率节约以及视觉质量增强。回路外滤波后滤波策略已经普遍应用于增强解码视频信号。被称作“回路之外”或“回路外” 的后滤波器被置于混合视频编码回路外部。本发明原理将第三现有技术方法的方向自适应去伪像滤波器修改为解码视频的回路外滤波。为此，视频序列的高效编码包括滤波阈值的 自适应选择。根据本发明原理，本发明在空间和/或时间上适配滤波阈值。由于回路外滤波器不参与视频编码回路，因此在时间预测中使用的参考帧仍不被 滤波结果的改变。与回路中滤波策略(例如在MPEG-4AVC标准中出现的那些策略)不同， 回路外滤波允许减小编码回路的处理延迟。实际上，不需要对参考帧进行滤波操作，以便对 后续编码帧进行解码。在典型的编码情况下，以帧内模式编码的第一帧遭遇噪声和压缩伪 像。后续帧的编码针对运动补偿预测使用有噪和伪像倾向数据。无论通过帧内编码引入的 伪像还是通过重复破坏参考数据固有的伪像在解码视频序列的每个帧中都普遍存在，而不 管编码模式如何。已经证明第三现有技术方法的方向自适应去伪像滤波器能够高效地对帧内编码 的帧进行操作。如上所述，当抑制回路中滤波时，可以将与量化噪声以及在帧内出现的伪像 的假定扩展至时间编码的帧。在这样的情况下，方向自适应去伪像滤波器在适合于回路外 滤波时有可能成功克服解码视频序列的每个帧内的压缩伪像。在被称作回路外方向自适应去伪像滤波器的实施例中，考虑非固定信号特性。例 如，场景内容随时间的变化可以包括不同的滤波阈值，以便保持性能。因此在编码时针对每 个帧产生并分别选择阈值。转向图6，用于编码器的示例回路外方向自适应去伪像滤波器总体由参考数字 600来指示。滤波器600包括阈值产生器610，阈值产生器610具有以信号通信的方式与方 向自适应去伪像滤波器605的第一输入以及阈值选择器615的第一输入相连接的输出。方 向自适应去伪像滤波器605的输出以信号通信的方式与阈值选择器615的第二输入相连 接。方向自适应去伪像滤波器605的第二输入可用作滤波器600的输入，以接收输入画面。 阈值产生器610的输入可用作滤波器600的输入，以接收控制数据。阈值选择器615的第 三输入可用作滤波器600的输入，以接收原始画面。阈值选择器615的输出可用作滤波器 600的输出，以输出最优阈值。转向图7，在编码器处进行回路外方向自适应去伪像滤波的示例方法总体由参考 数字700来指示。方法700包括开始框705，开始框705将控制传递至功能框710。功能框 710为当前帧设置滤波阈值集合，并将控制传递至循环限制框715。循环限制框715执行针 对每个滤波阈值(th)的循环，并将控制传递至功能框720。功能框720对输入画面应用方 向自适应去伪像滤波器，并将控制传递至功能框725。功能框725选择最优阈值(例如，最 大峰值信噪比(PSNR))，更新去伪像后的画面，并将控制传递至循环限制框730。循环限制 框730结束针对每个滤波阈值的循环，并将控制传递至功能框735。功能框735向比特流输 出最优阈值，并将控制传递至结束框799。再次参照图6，阈值产生器610使用控制数据来选择用于从中选择出最优阈值的 集合，例如通过使编码质量度量、编码成本或联合编码质量和成本中的至少一个最大化，来 从所述集合中选择最优阈值。控制数据可以考虑但不限于压缩参数(例如，QP)、用户偏好 和/或信号结构和统计。应当认识到，关于控制数据考虑的前述项目仅是示意性的，在给出 这里提供的本发明原理的教导的情况下，本领域以及相关领域的普通技术人员将设想与控 制数据有关的这些和各种其他项目，而同时保持本发明原理的精神。由于阈值选择器615 使用仅在编码器侧可用的信息(原始图像I)，因此在视频编码方案的比特流中传输所选阈
13值。解码器然后从比特流中提取该信息，以便利用正确的回路外滤波器对解码信号进行去 伪像。转向图8，用于解码器的示例回路外方向自适应去伪像滤波器总体由参考数字 800来指示。滤波器800包括方向自适应去伪像滤波器805。方向自适应去伪像滤波器805 的第一输入可用作滤波器800的输入，以接收输入画面。方向自适应去伪像滤波器805的 第二输入可用作滤波器800的输入，以接收最优阈值。方向自适应去伪像滤波器805的输 出可用作滤波器800的输出，以输出去伪像后的画面。转向图9，在解码器处进行回路外方向自适应去伪像滤波的示例方法总体由参考 数字900来指示。方法900包括开始框905，开始框905将控制传递至功能框910。功能框910取回 最优滤波阈值，并将控制传递至功能915。功能框915对输入画面应用方向自适应去伪像滤 波器，并将控制传递至功能框920。功能框920输出去伪像后的画面，并将控制传递至结束 框 999。可以在视频流的不同级别的数据单元处进行滤波阈值的编码、传输以及解码。阈 值可以应用于画面区域、画面、和/或整个序列。可以使用例如但不限于一个或多个高级语 法元素在比特流中弓丨入定义上述的机制。在实施例中，可以对每片阈值进行编码。可以利用简单的均勻码(但不限于这样 的方式)对该阈值进行编码。例如，可以相对于先前片和/或视频帧差分地对阈值进行编 码。此外，在编码器和解码器处可以已知平均阈值，平均阈值取决于例如但不限于编码设 置、编码简档和/或量化参数。可以相对于该平均阈值差分地对自适应阈值进行编码。然 后，可以使用例如但不限于均勻码、可变长码(VLC)和/或算术编码(例如，上下文自适应 算术二进制编码(CABAC))，对均勻编码值和/或差分值进行编码。在实施例中，在编码视频 比特流中，传输与针对每个片/帧/序列的所选阈值有关的信息，作为补充增强信息数据和 /或某种(些)其他高级语法元素。在实施例中，针对重构数据的后滤波器可以应用于MPEG-4AVC标准。在这样的实 施例中，当回路外方向自适应去伪像滤波器操作时，可以禁用在分别关于图4和5所示和描 述的标准编码器和解码器内的MPEG-4AVC标准去块滤波器。转向图10，被扩展与本发明原理一同使用、能够根据MPEG-4AVC标准执行视频编 码的示例视频编码器总体由参考数字1000来指示。应用于视频编码器1000的扩展提供对 回路外方向自适应去伪像滤波的支持。视频编码器1000包括帧排序缓冲器1010，帧排序缓冲器1010具有与组合器1085 的非反相输入进行信号通信的输出。组合器1085的输出以信号通信的方式与变换器和量 化器1025的第一输入相连接。变换器和量化器1025的输出以信号通信的方式与上编码器 1045的第一输入以及逆变换器和逆量化器1050的第一输入相连接。熵编码器1045的输出 以信号通信的方式与组合器1090的第一非反相输入相连接。组合器1090的输出以信号通 信的方式与输出缓冲器1035的第一输入相连接。具有扩展(以控制回路外方向自适应去伪像滤波器1047的)编码器控制器1005 的第一输出以信号通信的方式与帧排序缓冲器1010的第二输入、逆变换器和逆量化器 1050的第二输入、画面类型判定模块1015的输入、宏块类型(MB类型)判定模块1020的第一输入、帧内预测模块1060的第二输入、运动补偿器1070的第一输入、运动估计器1075 的第一输入、参考画面缓冲器1080的第二输入、以及回路外方向自适应去伪像滤波器1047 的第三输入相连接。具有扩展(以控制回路外方向自适应去伪像滤波器1047的)编码器控制器1005 的第二输入以信号通信的方式与补充增强信息(SEI)插入器1030的第一输入、变换器和量 化器1025的第二输入、熵编码器1045的第二输入、输出缓冲器1035的第二输入、以及序列 参数集(SPS)和画面参数集(PPS)插入器1040的输入相连接。SEI插入器1030的输出以信号通信的方式与组合器1090的第二非反相输入相连接。画面类型判定模块1015的第一输出以信号通信的方式与帧排序缓冲器1010的第 三输入相连接。画面类型判定模块1015的第二输出以信号通信的方式与宏块类型判定模 块1020的第二输入相连接。序列参数集和画面参数集插入器1040的输出以信号通信的方式与组合器1090的 第三非反相输入相连接。逆量化器和逆变换器1050的输出以信号通信的方式组合器1019的第一非反相输 入相连接。组合器1019的输出以信号通信的方式与帧内预测模块1060的第一输入、回路 外方向自适应去伪像滤波器1047的的第一输入、以及参考画面缓冲器1080的第一输入相 连接。参考画面缓冲器1080的输出以信号通信的方式与运动估计器1075的第二输入以及 运动补偿器1070的第三输入相连接。运动估计器1075的第一输出以信号通信的方式与运 动补偿器1070的第二输入相连接。运动估计器1075的第二输出以信号通信的方式与熵编 码器1045的第三输入相连接。回路外方向自适应去伪像滤波器1047的第二输出以信号通 信方式与SEI插入器1030的第三输入相连接。运动补偿器1070的输出以信号通信的方式与开关1097的第一输入相连接。帧内 预测模块1060的输出以信号通信的方式与开关1097的第二输入相连接。宏块类型判定模 块1020的输出以信号通信的方式与开关1097的第三输入相连接。开关1097的第三输入 确定开关的“数据”输入(与控制输入相比，即，第三输入)由运动补偿器1070提供还是由 帧内预测模块1060来提供。开关1097的输出以信号通信的方式与组合器1019的第二非 反相输入以及组合器1085的反相输入相连接。帧排序缓冲器1010的第一输入、具有扩展(以控制回路外方向自适应去伪像滤波 器1047的)编码器控制器1005的输入、以及回路外方向自适应去伪像滤波器1047的第二 输入可用作编码器1000的输入，以接收输入画面。此外，补充增强信息(SEI)插入器1030 的第二输入可用作编码器1000的输入，以接收元数据。输出缓冲器1035的输出可用作编 码器1000的输出，以输出比特流。回路外方向自适应去伪像滤波器1047的第一输出可用 作编码器1000的输出，以输出滤波后的画面。转向图11，被扩展与本发明原理一同使用、能够根据MPEG-4AVC标准执行视频解 码的示例视频解码器总体由参考数字1100来指示。应用于视频解码器1100的扩展提供了 对回路外方向自适应去伪像滤波的支持。视频解码器1100包括输入缓冲器1110，输入缓冲器1110具有以信号通信的方式 与熵解码器1145的第一输入以及回路外方向自适应去伪像滤波器1147的第三输入相连接
15的输出。熵解码器1145的第一输出以信号通信的方式与逆变换器和逆量化器1150的第一 输入相连接。逆变换器和逆量化器1150的输出以信号通信的方式与组合器1125的第二非 反相输入相连接。组合器1125的输出以信号通信的方式与帧内预测模块1160的第一输入 以及参考画面缓冲器1180的第一输入相连接。参考画面缓冲器1180的输出以信号通信的 方式与运动补偿器1170的第二输入相连接。熵解码器1145的第二输出以信号通信的方式与运动补偿器1170的第三输入以及 回路外方向自适应去伪像滤波器1147的第一输入相连接。熵解码器1145的第三输出以信 号通信的方式与具有扩展(以控制回路外方向自适应去伪像滤波器1147的)解码器控制 器1105的输入相连接。具有扩展(以控制回路外方向自适应去伪像滤波器1147的)解码 器控制器1105的第一输出以信号通信的方式与熵解码器1145的第二输入相连接。具有扩 展(以控制回路外方向自适应去伪像滤波器1147的)解码器控制器1105的第二输出以信 号通信的方式与逆变换器和逆量化器1150的第二输入相连接。具有扩展(以控制回路外 方向自适应去伪像滤波器1147的)解码器控制器1105的第三输出以信号通信的方式与回 路外方向自适应去伪像滤波器1147的第二输入相连接。具有扩展(以控制回路外方向自 适应去伪像滤波器1147的)解码器控制器1105的第四输出以信号通信的方式与帧内预测 模块1160的第二输入、运动补偿器1170的第一输入、以及参考画面缓冲器1180的第二输 入相连接。运动补偿器1170的输出以信号通信的方式与开关1197的第一输入相连接。帧内 预测模块1160的输出以信号通信的方式与开关1197的第二输入相连接。开关1197的输 出以信号通信的方式与组合器1125的第一非反相输入相连接。输入缓冲器1110的输入可用作解码器1100的输入，以接收输入比特流。回路外 方向自适应去伪像滤波器1147的输出可用作解码器1100的输出，以输出画面。回路外方 向自适应去伪像滤波器1147的第三输入可用作解码器1100的输入，以接收来自于SEI数 据的最优阈值。分别修改与图8和9有关的编码器控制器805和解码器控制905，以获得具有扩展 以控制回路外方向自适应滤波器(即，分别为滤波器1047和1147)的编码器控制器1005和 解码器控制器1105。这会影响针对最高效操作来设置、配置以及适配回路外滤波器的块级 语法和/或高级语法的可能要求。为此，可以在不同级别处定义若干语法字段。表1示出 了根据实施例的针对回路外和回路中方向自适应去伪像滤波的示例画面参数集语法数据。 表2示出了根据实施例的针对回路外和回路中方向自适应去伪像滤波的示例片首部数据。 当然，其他高级语法元素也可以用于设置、配置以及适配回路外滤波器，而同时保持本发明 原理的精神。在实施例中，可以将编码阈值嵌入到片首部中，以便正确设置解码器侧的滤波
ο表1
表2 现在根据实施例描述表1和2中所示的一些语法元素。deart_filter_present_flag 如果等于1，则指定在片首部中存在对方向自适应 去伪像滤波器的特性加以控制的语法元素集合。如果等于0，则指示在片首部中不存在对方 向自适应去伪像滤波器的特性加以控制的语法元素集合，而这些语法元素的引用值是有效 的。selection_filter_type 指定在去伪像中使用的滤波器配置。如果等于0，则指 定应当禁用方向自适应去伪像滤波。如果等于1，则指定使用回路外方向自适应去伪像滤 波。如果等于2，则指定使用回路中方向自适应去伪像滤波。enable_threshold—generation_type、enable_selection_type 是會邑够处于例如 但不限于序列参数集和/或画面参数集级别的高级语法值。在实施例中，这些值使得能够 改变滤波器类型的缺省值、阈值产生形式以及阈值选择方法。thresho 1 d_generation_type 指定在方向自适应去伪像滤波中使用哪个阈值集 合。例如，在实施例中，该集合可以取决于压缩参数、用户偏好、和/或信号特性。threshold_selection_type 指定在利用方向自适应去伪像滤波的编码中使用哪 个最优阈值选择方法。例如，在实施例中，可以最大化编码质量、编码成本、或联合编码质量 和成本。回路中滤波回路中滤波的一个优点是视频编码器能够使用滤波的参考帧来进行运动估计和 补偿。与回路外滤波备选方式相比，这种滤波配置可以改善视频流的客观和主观质量。然 而，不加以区分的滤波意味着从先前滤波的参考帧开始重复的图像区域。为了避免对这种 区域的可能过滤波，方向自适应去伪像滤波器的回路中实现方式必须是关于在块级以及像 素级的编码差异而局部自适应的。在典型混合视频编码器内的时间编码块经过各种局部编码模式和条件，这些局部 编码模式和条件对不同量化噪声统计作出贡献。三种不同的块编码模式或条件可以定义 为(1)帧内编码；(2)编码残差的帧间编码；以及(3)不编码残差的帧间编码。前两种情况包括不同模式的预测编码以及它们的量化效应。此外，这种块之间的 边界遭受变化剧烈的分块伪像。基于MPEG-4AVC标准去块滤波器的滤波强度观察，不编码 残差的帧间编码块的边界同样受到块伪像的影响，该边界呈现多于一个像素的块运动的差 异或来自不同参考帧的运动补偿。以上描述的条件可以用于识别和隔离需要专用滤波策略的图像区域。根据局部编
18码条件将亮度图像的每个像素分组成特定类别。在示例实施例中，对条件进行全面评估，从 而指示所选块内或沿着这种块的边界的像素。在本实施例中，注意，如果像素与块边缘相距 距离d以内，则认为该像素属于块的边界。分类获得滤波图，滤波图提供了具有不同量化效应的图像区域的局部区分。在实 施例中，被称作回路中方向自适应去伪像滤波器的图创建模块用于执行以上分类并针对视 频序列的每个帧提供滤波图。经由亮度的子采样来获得针对图像的色度分量的滤波图。转向图12，用于编码器的示例回路中方向自适应去伪像滤波器总体由参考数字 200来指示。滤波器1200包括方向自适应去伪像滤波器1205，方向自适应去伪像滤波器 1205具有与阈值选择器(针对每个类别)1215的第二输入以及滤波图像构造器1225的第 三输入的进行信号通信的输出。阈值选择器1215的输出以信号通信的方式与滤波图像构 造器1225的第二输入相连接。阈值产生器1210的输出以信号通信的方式阈值选择器1215 的第一输入以及方向自适应去伪像滤波器1205的第二输入相连接。图创建器1220的输出 以信号通信的方式与阈值选择器1215的第四输入以及滤波图像构造器1225的第一输入相 连接。方向自适应去伪像滤波器1205的第一输入可用作滤波器1200的输入，以接收输入 画面。阈值产生器1210的输入可用作滤波器1200的输入，以接收控制数据。阈值选择器 1215的第三输入可用作滤波器1200的输入，以接收原始画面。图创建器1220的输入可用 作滤波器1200的输入，以接收编码信息。阈值选择器1215的输出还可用作滤波器1200的 输出，以输出针对每个类别的最优阈值。滤波图像重构1225的输出可用作滤波器1200的 输出，以输出去伪像的画面。转向图13，在编码器处进行回路中方向自适应去伪像滤波的示例方法总体由参考 数字1300来指示。方法1300包括开始框1305，开始框1305将控制传递至功能框1310。功 能框1310设置针对当前帧的滤波阈值集合和滤波图，并将控制传递至循环限制框1315。循 环限制框1315执行针对每个滤波阈值(th)的循环，并将控制传递至功能框1320。功能框 1320对输入画面应用方向自适应去伪像滤波，并将控制传递至循环限制框1325。循环限制 框1325执行针对滤波图的每个类别的循环，并将控制传递至功能框1330。功能框1330选 择最优阈值(例如，最大PSNR)，利用每个类别中的滤波像素来更新去伪像的画面，并将控 制传递至循环限制框1335。循环限制框1335结束针对每个类别的循环，并将控制传递至循 环限制框1340。循环限制框1340结束针对每个滤波阈值(th)的循环，并将控制传递至功 能框1345。功能框1345将针对每个类别的最优阈值输出至比特流，输出去伪像的画面，并 将控制传递至结束框1399。在实施例中，借助于滤波图，在每个指定类别内的像素去伪像中应用专用滤波阈 值。再次参照图12，阈值产生器1210使用控制数据来定义阈值集合，该阈值集合在编码过 程期间应用于图像的方向自适应去伪像滤波。控制数据可以考虑但不限于，压缩参数(例 如，量化参数(QP))、用户偏好、局部和/或全局信号特性、和/或局部和/或全局噪声/失 真特性。阈值可以被自适应地设置为使例如但不限于视频质量度量、编码成本度量、以及联 合质量中的至少一个最优化。例如，对于每个类别，选择最优阈值，使得类别内滤波后的像 素与原始像素之间的PSNR最大化。应认识到，可以以并行方式来实现各个阈值下的滤波操 作。在实施例中，可以使用若干独立滤波操作，其中每个滤波操作使用可应用于每个类别的 可能阈值之一，以便产生画面的不同滤波版本。这种情况下的滤波器是基于与要滤波画面的不同子格采样有关的若干基于稀疏性的滤波步骤的加权组合。在实施例中，(例如，通过 滤波图像构造器1225)构造包括针对每个类别的最优滤波数据在内的合成图像，并使其可 用于其余的编码模块。由于阈值选择器1215使用仅在编码器处可用的信息(原始图像)， 因此在视频编码方案的比特流中传输针对每个类别的所选阈值。在实施例中，可以对每片所选阈值进行编码。这是阈值可以是但不限于利用简单 的均勻码进行编码。例如，可以相对于先前片和/或视频帧差分地对这些阈值进行编码。此 外，在编码器和解码器处可以已知例如取决于编码设置、编码简档和/或量化参数的某种 平均阈值。可以相对于该平均阈值差分地对自适应阈值进行编码。然后，可以使用例如但 不限于均勻码、可用长度码(VLC)、和/或算术编码(例如，上下文自适应算术二进制编码 (CABAC))对均勻编码的值和/或差分值进行编码。在实施例中，在编码视频比特流内传输 与针对每个片/帧/序列的所选阈值有关的信息作为SEI (补充增强信息)数据。本领域 普通技术人员将认识到，诸如任何高级语法参数集合等其他数据单元和/或首部(例如，片 参数集合、画面参数集合、序列参数集合等)也可以用于阈值传输。解码器还构造滤波图，并且利用从比特流中提取的最优阈值信息相应地继续对每 个类别内像素进行去伪像。方向自适应去伪像滤波结果用于产生滤波后的图像，在滤波后 的图像中，每个类别中的像素已经经过特定滤波阈值的处理。转向图14，用于解码器的示例回路中方向自适应去伪像滤波器总体由参考数字 1400来指示。滤波器1400包括方向自适应去伪像滤波器1405，方向自适应去伪像滤波器 1405具有以信号通信方式与滤波图像构造器1415的第三输入相连接的输出。图创建器 1410的输出以信号通信方式与滤波图像构造器1415的第一输入相连接。方向自适应去伪 像滤波器1405的输入可用作滤波器1400的输入，以接收输入画面。方向自适应去伪像滤 波器1405的第二输入以及滤波图像构造器1415的第二输入可用作滤波器1400的输入，以 接收针对每个类别的最优阈值。图创建器1410的输入可用作滤波器1400的输入，以接收 编码信息。滤波图像构造器1415的输出可用作滤波器1400的输出，以输出去伪像的画面。转向图15，在解码器处进行回路中方向自适应去伪像滤波的示例方法总体由参考 数字1500来指示。方法1500包括开始框1505，开始框1505将控制传递至功能框1510。 功能框1510取回最优滤波阈值并设置针对当前帧的滤波图，并将控制传递至循环限制框 1515。循环限制框1515执行针对每个滤波阈值(th)的循环，并将控制传递至功能框1520。 功能框1520对输入画面应用方向自适应去伪像滤波器，并将控制传递至功能框1525。功能 框1525利用针对滤波图的每个类别的滤波像素来更新去伪像的画面，并将控制传递至循 环限制框1530。循环限制框1530结束针对每个滤波阈值(th)的循环，并将控制传递至功 能框1535。功能框1535输出去伪像的画面，并将控制传递至结束框1599。具有空时自适应阈值的回路中方向自适应去伪像滤波器嵌入在混合视频编码器/ 解码器的回路中。例如视频编码器/解码器可以作为MPEG-4AVC标准视频编码器/解码器 的扩展。在这种情况下，在回路中方向自适应去伪像滤波器进行操作时可以代替、补充和/ 或禁用MPEG-4AVC标准去块滤波器。可以在编码视频比特流中传输与针对帧内每个类别的 所选阈值有关的信息作为例如但不限于SEI (补充增强信息)数据。在实施例中，用于重构数据的回路中滤波器可以应用于MPEG-4AVC标准。在这种 情况下，当回路中方向自适应去伪像滤波器正在操作时，可以禁用图8和9所示的标准编码器和解码器内的MPEG-4AVC标准去块滤波器。转向图16，被扩展与本发明原理一同使用的、能够根据MPEG-4AVC标准执行视频 编码的另一示例视频编码器总体由参考数字1600来指示。应用于视频编码器1600的扩展 提供对回路中方向自适应去伪像滤波的支持。视频编码器1600包括帧排序缓冲器1610，帧排序缓冲器1610具有与组合器1685 的非反相输入进行信号通信的输出。组合器1685的输出以信号通信方式与变换器和量化 器1625的第一输入相连接。变换器和量化器1625的输出以信号通信方式与熵编码器1645 的第一输入以及逆变换器和逆量化器1650的第一输入相连接。熵编码器1645的输出以信 号通信方式与组合器1690的第一非反相输入相连接。组合器1690的输出以信号通信方式 与输出缓冲器1635的第一输入相连接。具有扩展(以控制回路中方向自适应去伪像滤波器1647的)编码器控制器1605 的第一输出以信号通信的方式与帧排序缓冲器1610的第二输入、逆变换器和逆量化器 1650的第二输入、画面类型判定模块1615的输入、宏块类型(MB类型)判定模块1620的 第一输入、帧内预测模块1660的第二输入、回路中方向自适应去伪像滤波器1647的第二输 入、运动补偿器1670的第一输入、运动估计器1675的第一输入、以及参考画面缓冲器1680 的第二输入相连接。具有扩展(以控制回路中方向自适应去伪像滤波器1647的)编码器控制器1605 的第二输出以信号通信的方式与补充增强信息(SEI)插入器1630的第一输入、变换器和量 化器1625的第二输入、熵编码器1645的第二输入、输出缓冲器1635的第二输入、以及序列 参数集(SPS)和画面参数集(PPS)插入器1640的输入相连接。SEI插入器1630的输出以信号通信的方式与组合器1690的第二非反相输入相连接。画面类型判定模块1615的第一输出以信号通信的方式与帧排序缓冲器1610的第 三输入相连接。画面类型判定模块1615的第二输出以信号通信的方式与宏块类型判定模 块1620的第二输入相连接。序列参数集(SPS)和画面参数集(PPS)插入器1640的输出以信号通信的方式与 组合器1690的第三非反相输入相连接。逆量化器和逆变换器1650的输出以信号通信的方式组合器1619的第一非反相输 入相连接。组合器1619的输出以信号通信的方式与帧内预测模块1660的第一输入、以及 回路中方向自适应去伪像滤波器1647的第一输入相连接。回路中方向自适应去伪像滤波 器1665的第一输出以信号通信方式与参考画面缓冲器1680的第一输入相连接。参考画面 缓冲器1680的输出以信号通信的方式与运动估计器1675的第二输入以及运动补偿器1670 的第三输入相连接。运动估计器1675的第一输出以信号通信的方式与运动补偿器1670的 第二输入相连接。运动估计器1675的第二输出以信号通信的方式与熵编码器1645的第三 输入相连接。回路中方向自适应去伪像滤波器1647的第二输出以信号通信方式与SEI插 入器1630的第三输入相连接。运动补偿器1670的输出以信号通信的方式与开关1697的第一输入相连接。帧内 预测模块1660的输出以信号通信的方式与开关1697的第二输入相连接。宏块类型判定模 块1620的输出以信号通信的方式与开关1697的第三输入相连接。开关1697的第三输入确定开关的“数据”输入(与控制输入相比，即，第三输入)由运动补偿器1670提供还是由 帧内预测模块1660来提供。开关1697的输出以信号通信的方式与组合器1619的第二非 反相输入以及组合器1685的反相输入相连接。帧排序缓冲器1610的第一输入、(具有扩展以控制回路中方向自适应去伪像滤波 器1647的)编码器控制器1605的输入、以及回路中方向自适应去伪像滤波器1647的第三 输入可用作编码器1600的输入，以接收输入画面。此外，补充增强信息(SEI)插入器1630 的第二输入可用作编码器1600的输入，以接收元数据。输出缓冲器1635的输出可用作编 码器1600的输出，以输出比特流。转向图17，被扩展与本发明原理一同使用、能够根据MPEG-4AVC标准执行视频解 码的示例视频解码器总体由参考数字1700来指示。应用于视频解码器1700的扩展提供对 回路中方向自适应去伪像滤波的支持。视频解码器1700包括输入缓冲器1710，输入缓冲器1710具有以信号通信的方式 与熵解码器1745的第一输入以及回路中方向自适应去伪像滤波器1747的第四输入相连接 的输出。熵解码器1745的第一输出以信号通信的方式与逆变换器和逆量化器1750的第一 输入相连接。逆变换器和逆量化器1750的输出以信号通信的方式与组合器1725的第二非 反相输入相连接。组合器1725的输出以信号通信的方式与回路中方向自适应去伪像滤波 器1747的第二输入以及帧内预测模块1760的第一输入相连接。回路中方向自适应去伪像 滤波器1747的第二输出以信号通信方式与参考画面缓冲器1780的第一输入相连接。参考 画面缓冲器1780的输出以信号通信的方式与运动补偿器1770的第二输入相连接。熵解码器1745的第二输出以信号通信的方式与运动补偿器1770的第三输入以及 回路中方向自适应去伪像滤波器1747的第一输入相连接。熵解码器1745的第三输出以信 号通信的方式与解码器控制器1705的输入相连接。解码器控制器1705的第一输出以信号 通信的方式与熵解码器1745的第二输入相连接。解码器控制器1705的第二输出以信号通 信的方式与逆变换器和逆量化器1750的第二输入相连接。解码器控制器1705的第三输 出以信号通信的方式与回路中方向自适应去伪像滤波器1747的第三输入相连接。解码器 控制器1705的第四输出以信号通信的方式与帧内预测模块1760的第二输入、运动补偿器 1770的第一输入、以及参考画面缓冲器1780的第二输入相连接。运动补偿器1770的输出以信号通信的方式与开关1797的第一输入相连接。帧内 预测模块1760的输出以信号通信的方式与开关1797的第二输入相连接。开关1797的输 出以信号通信的方式与组合器1725的第一非反相输入相连接。输入缓冲器1710的输入可用作解码器1700的输入，以接收输入比特流。回路中 方向自适应去伪像滤波器1747的第一输出可用作解码器1700的输出，以输出输出画面。修改分别与图8和9有关的编码器控制器805和解码器控制905，以获得具有扩展 以控制回路中方向自适应滤波器(即，分别为滤波器1647和1747)的编码器控制器1605和 解码器控制器1705。这会影响针对最高效操作来设置、配置以及适配回路中滤波器的块级 语法和/或高级语法的可能要求。为此，可以在不同级别处定义若干语法字段。表1示出 了根据实施例的针对回路外和回路中方向自适应去伪像滤波的示例画面参数集语法数据。 表2示出了根据实施例的针对回路外和回路中方向自适应去伪像滤波的示例片首部数据。 当然，其他高级语法元素也可以用于设置、配置以及适配回路外滤波器，而同时保持本发明原理的精神。现在根据实施例描述表1和2中所示的一些语法元素。。enab 1 e_map_creation_type 是例如能够位于序列参数集和/或画面参数集级别 处的高级语法元素。在实施例中，该元素的值使得能够改变针对滤波图类型的缺省值。map_creation_type 指定在回路中方向自适应去伪像滤波中使用的滤波图的类 型。例如，在实施例中，其可以用于设置类别的数目以及滤波图的边界大小。现在将对本发明的许多附加优点/特征给出描述，其中的一些以上已经提及。例 如，一个优点/特征是一种设备，该设备具有用于对画面的画面数据进行去伪像滤波的基 于稀疏性的滤波器。画面数据包括画面的不同子格采样。用于滤波器的基于稀疏性的滤波 阈值在时间上改变。另一优点/特征是如上所述具有基于稀疏性的滤波器的设备，其中，基于稀疏性 的滤波阈值在空间上改变。又一优点/特征是如上所述具有基于稀疏性的滤波器的设备，其中，基于稀疏性 的滤波阈值响应于以下中的至少一个而改变局部信号统计、全局信号统计、局部噪声、全 局噪声、局部失真、全局失真、压缩参数、预测模式、用户选择、视频质量度量、以及编码成本度量。又一优点/特征是如上所述具有基于稀疏性的滤波器的设备，其中，创建与多个 类别相对应的类别图，并且针对多个类别中的每一个类别选择相应阈值。多个类别中的每 一个类别与特定编码条件集合相对应。又一优点/特征是如上所述具有基于稀疏性的滤波器的设备，其中，使用均勻编 码值、相对于先前阈值差分地编码的值、以及平均阈值中的至少一个，来对基于稀疏性的滤 波阈值进行编码。平均阈值取决于至少一个编码设置、至少一个编码简档、以及至少一个量 化参数中的至少一个。使用均勻码、可变长码以及算术码中的至少一个对均勻编码值和差 分值中的至少一个进行编码。此外，另一优点/特征是如上所述具有基于稀疏性的滤波器的设备，其中，使用至 少一个高级语法元素在编码视频比特流中传输滤波阈值信息。此外，另一优点/特征是如上所述具有基于稀疏性的滤波器的设备，其中，滤波器 被配置对画面数据进行回路中处理和回路外处理中的至少一个。同样，另一优点/特征是如上所述具有基于稀疏性的滤波器的设备，其中，滤波器 包括在视频编码器和视频解码器中的至少一个中。此外，另一优点/特征是如上所述具有基于稀疏性的滤波器的设备，其中，基于稀 疏性的滤波阈值被有选择地对与画面数据相对应的整个画面或部分画面。此外，另一优点/特征是如上所述具有基于稀疏性的滤波器的、其中有选择地应 用基于稀疏性的滤波阈值的设备，其中，独立或联合地适配基于稀疏性的滤波阈值。此外，另一优点/特征是如上所述具有基于稀疏性的滤波器的设备，其中，能够对 滤波器所执行的基于稀疏性的滤波操作进行组合、适配、启用以及禁用中的至少一个。同样，另一优点/特征是如上所述具有基于稀疏性的滤波器的设备，其中，滤波器 包括在视频编码器中，使用至少一个高级语法元素向相应解码器信号通知是否对任何去伪 像操作进行了组合、适配、启用以及禁用中的至少一个。
此外，另一优点/特征是如上所述具有基于稀疏性的滤波器的设备，其中，滤波器 包括在视频解码器中，根据至少一个高级语法元素来确定是否对任何去伪像操作进行了组 合、适配、启用以及禁用中的至少一个。基于这里的教导，本领域的普通技术人员可以容易地确定本发明的这些以及其它 特征和优点。应理解的是，本发明的教导可以以硬件、软件、固件、专用处理器或其组合的各 种形式来实现。最优选地，将本发明的教导实现为硬件和软件的组合。此外，可以将软件实现为在 程序存储单元上具体体现的应用程序。可将该应用程序上载到包括任何适合架构在内的机 器并由该机器执行。优选地，在具有硬件(如，一个或多个中央处理单元(“CPU”)、随机访 问存储器(“RAM”)以及输入/输出(“I/O”)接口)的计算机平台上实现该机器。该计 算机平台还可以包括操作系统和微指令代码。这里描述的各种处理和功能可以是可由CPU 执行的微指令代码的一部分或应用程序的一部分或其组合。此外，可将其它各种外围单元 连接到计算机平台，如附加的数据存储单元和打印单元。还应理解的是，由于在附图中描述的一些构成系统组件和方法优选地以软件来实 现，系统组件或处理功能块之间的实际连接可以根据对本发明原理编程的方式而有所不 同。在这里给出教导的情况下，本领域的普通技术人员将能够想到本发明的这些以及类似 的实现方式或配置。虽然这里参考附图描述了示意性的实施例，但是应理解的是，本发明并不限于这 些确定的实施例，在不背离本发明的范围或精神的情况下，本领域的普通技术人员可以实 现各种变化和修改。所有这些变化和修改旨在包括在如所附权利要求中所阐述的本发明的 范围内。
权利要求
一种设备，包括用于对画面的画面数据进行去伪像滤波的基于稀疏性的滤波器(600、800、1047、1147、1200、1400、1647、1747)，所述画面数据包括画面的不同子格采样，其中滤波器的基于稀疏性的滤波阈值在时间上改变。
2.根据权利要求1所述的设备，其中，基于稀疏性的滤波阈值在空间上改变(1210、 1220)。
3.根据权利要求2所述的设备，其中，基于稀疏性的滤波阈值响应于以下中的至少一 个而改变局部信号统计、全局信号统计、局部噪声、全局噪声、局部失真、全局失真、压缩参 数、预测模式、用户选择、视频质量度量、以及编码成本度量(1215)。
4.根据权利要求1所述的设备，其中，创建与多个类别相对应的类别图，并且针对多 个类别中的每一个选择相应阈值，多个类别中的每一个与特定编码条件集合相对应(1210、 1215,1220)。
5.根据权利要求1所述的设备，其中，使用均勻编码值、相对于先前阈值差分地编码的 值、以及平均阈值中的至少一个来对基于稀疏性的滤波阈值进行编码，其中，平均阈值取决 于至少一个编码设置、至少一个编码简档、以及至少一个量化参数中的至少一个，使用均勻 码、可变长码以及算术码中的至少一个对均勻编码值和差分值中的至少一个进行编码。
6.根据权利要求1所述的设备，其中，使用至少一个高级语法元素在编码视频比特流 中传输滤波阈值信息(1030)。
7.根据权利要求1所述的设备，其中，所述基于稀疏性的滤波器(600、800、1047、1147、 1200、1400、1647、1747)被配置为对画面数据进行回路中处理以及回路外处理中的至少一 个。
8.根据权利要求1所述的设备，其中，所述基于稀疏性的滤波器(600、800、1047、1147、 1200、1400、1647、1747)包括在视频编码器和视频解码器中的至少一个中。
9.根据权利要求1所述的设备，其中，基于稀疏性的滤波阈值被有选择地应用于与画 面数据相对应的整个画面或部分画面(800)。
10.根据权利要求9所述的设备，其中，独立或联合地适配基于稀疏性的滤波阈值。
11.根据权利要求1所述的设备，其中，能够对所述基于稀疏性的滤波器(600、800、 1047、1147、1200、1400、1647、1747)所执行的基于稀疏性的滤波操作进行组合、适配、启用 以及禁用中的至少一个。
12.根据权利要求11所述的设备，其中，基于稀疏性的滤波器(600、800、1047、1147、 1200、1400、1647、1747)包括在视频编码器中，使用至少一个高级语法元素向相应解码器信 号通知是否对任何去伪像操作进行了组合、适配、启用以及禁用中的至少一个。
13.根据权利要求11所述的设备，其中，基于稀疏性的滤波器(600、800、1047、1147、 1200、1400、1647、1747)包括在视频解码器中，根据至少一个高级语法元素来确定是否对任 何去伪像操作进行了组合、适配、启用以及禁用中的至少一个。
14.一种方法，包括用于对画面的画面数据进行去伪像滤波，所述画面数据包括画面的不同子格采样，其 中，针对滤波的基于稀疏性的滤波阈值在时间上改变(725、910、1130、1510)。
15.根据权利要求14所述的方法，其中，基于稀疏性的滤波阈值在空间上改变(1330、1510)。
16.根据权利要求15所述的方法，其中，基于稀疏性的滤波阈值响应于以下中的至少 一个而改变局部信号统计、全局信号统计、局部噪声、全局噪声、局部失真、全局失真、压缩 参数、预测模式、用户选择、视频质量度量、以及编码成本度量(1215)。
17.根据权利要求14所述的方法，还包括创建与多个类别相对应的类别图(1310、1510)；以及针对多个类别中的每一个选择相应阈值，多个类别中的每一个与特定编码条件集合相 对应(1330、1510)。
18.根据权利要求14所述的方法，其中，使用均勻编码值、相对于先前阈值差分地编 码的值、以及平均阈值中的至少一个来对基于稀疏性的滤波阈值进行编码，其中，平均阈值 取决于至少一个编码设置、至少一个编码简档、以及至少一个量化参数中的至少一个，使用 均勻码、可变长码以及算术码中的至少一个对均勻编码值和差分值中的至少一个进行编码 (1345,1510)。
19.根据权利要求14所述的方法，还包括使用至少一个高级语法元素在编码视频比 特流中传输滤波阈值信息(1345、1510)。
20.根据权利要求14所述的方法，还包括进行基于稀疏性的滤波，以对画面数据进行 回路中处理以及回路外处理中的至少一个(700、900、1300、1500)。
21.根据权利要求14所述的方法，其中，基于稀疏性的滤波在视频编码器和视频解码 器中的至少一个中执行(700、900、1300、1500)。
22.根据权利要求14所述的方法，其中，将基于稀疏性的滤波阈值有选择地应用于与 画面数据相对应的整个画面或部分画面(710、915、1345、1510)。
23.根据权利要求22所述的方法，其中，独立或联合地适配基于稀疏性的滤波阈值。
24.根据权利要求14所述的方法，其中，所述基于稀疏性的滤波步骤包括对画面数据 应用至少一个基于稀疏性的滤波操作，其中能够对基于稀疏性的滤波操作进行组合、适配、 启用以及禁用中的至少一个。
25.根据权利要求24所述的方法，其中，基于稀疏性的滤波在视频编码器中执行，所述 方法还包括使用至少一个高级语法元素向相应解码器信号通知是否对任何去伪像操作进 行了组合、适配、启用以及禁用中的至少一个。
26.根据权利要求24所述的方法，其中，基于稀疏性的滤波在视频解码器中执行，所述 方法还包括根据至少一个高级语法元素来确定是否对任何去伪像操作进行了组合、适配、 启用以及禁用中的至少一个。
全文摘要
提供了使用基于多格稀疏的滤波来进行去伪像滤波的方法和设备。该设备包括用于对画面的画面数据进行去伪像滤波的基于稀疏性的滤波器(600)。画面数据包括画面的不同子格采样。用于滤波器的基于稀疏性的滤波阈值在时间上改变。
文档编号H04N7/46GK101911704SQ200980102170
公开日2010年12月8日 申请日期2009年1月12日 优先权日2008年1月14日
发明者卡米洛·昌·多雷亚, 奥斯卡·迪沃拉·埃斯科达, 尹鹏 申请人:汤姆森许可贸易公司