用于自动视觉伪影分析和伪影减轻的方法和装置的制作方法

专利名称：用于自动视觉伪影分析和伪影减轻的方法和装置的制作方法
技术领域：
本发明原理一般地涉及视频数据的处理，更具体而言涉及对视频数据 流内的伪影(artifact)的校正。
背景技术：
视频数据的压縮固有地涉及降低图片质量以提高数据存储效率和/或减 小所需的传输带宽。虽然压縮算法的目的是仅消除视频帧的不可感知的特 性，经过压縮的视频帧却经常包括能被察觉到的瑕疵，这种瑕疵被称为伪 影。常见的压縮伪影包括块化(blocking)、带化(banding)、暗斑 (dark patch)和环化(ringing)伪影，这些伪影在低压縮率和高压縮率下 都可能存在。
用于减轻伪影和伪影严重性的各种方法在经压縮的视频数据流被解码 之后作为后处理操作被执行。后处理技术的一种示例是H. S. Kong, A. Vetro, H. Sun, "Edge map guided adaptive post-filter for blocking and ringing artifacts removal", IEEE International Svmuosium on Circuits and Systems (ISCAS), vol. 3， pp. 929-932, May 2004和A. Kaup， "Reduction of ringing noise in transform image coding using a simple adaptive filter", Electronics Letters, vol. 34, no. 22, pp. 2110-2112, Oct. 1998中记载的自适应滤波。此 夕卜，V. Monga, N. Damera-Venkata， B. L. Evans， "Image Halftoning by Error Diffusion: A Survey of Methods for Artifact Reduction", Journal of Electronic Imaging, 2003提供了一种抖动的描述。然而，为了确保高图片质量和很低伪影出现率，应当在视频处理的压縮阶段对伪影进行校正。
对于使用离散余弦变换(DCT)的压縮方法，这种压縮域处理的己知
方法包括改变一些经过量化的DCT系数。DCT系数表示给定的图像块中 存在的每个频率的功率。对于大多数图像块来说，在DCT变换后，大部 分的信号能量仅由少量的低阶DCT系数来承载。与更高阶系数相比，这 些系数需要被更精细地量化，以避免引入可见的伪影。改变经过量化的 DCT系数可能会减轻也可能会增强对压縮伪影的感知。
B. Gu血rk， Y. Altunbasak, R. M. Merserau, "Multi-frame blocking-artifact reduction for transform-coded video", 7>a/w, C/rcw.te朋c /or Tec/mo/ogy, vol. 12, no. 4, April 2002公开了通过使用一种投影到凸集 上的方法来改变经过量化的DCT系数的示例。或者，G. A. Triantafyllidis, D. Tzovras, M. G. Strintzis, "Blocking artifact detection and reduction in compressed data", IEEE Trans， on Circuits and Systems for Video Technology, vol. 12， no. 10, Oct. 2002记载了一种通过最小化变换域中的误差标准来优 化DCT系数的量化的方法。另外，其他压縮域参数也可被改变以减轻伪 影的严重性。例如，Ruol的美国公开No. 2003/0156642 Al公开了一种通 过对于在伪影图中标识的帧的宏块调整量化器步长来减轻两遍编码器中的 视频流中的伪影的严重性的方法。
然而，以上描述的已知方法未能解决下述问题即，以高效的方式利 用有限的编码系统资源(例如，比特预算和/或编码时间)，以通过调整诸 如模式判决或量化参数之类的压縮域参数，来消除伪影或减轻伪影的严重 性。具体而言，已知的方法没有通过考虑视频帧内的不同类型的伪影或者 视频帧的内容来对视频帧进行优先级区分，从而来调整模式判决或量化参 数。

发明内容
根据本发明，公开了一种视频处理方法。本发明的一个方面包括响应 于与视频图片中存在的各种类型的伪影相对应的若干个衡量(度量)的生 成来对视频图片进行校正。本发明的其他实施例包括根据视频图片的度量和内容来对图片序列中包括的视频图片进行选择和优先级区分。另外，根 据本发明的另一个方面，通过对与图片的至少一个块相对应的量化参数和 模式判决中的至少一个进行调整来执行校正。
本发明还可以被实现在一种视频处理系统中，该系统包括被配置为响 应于与视频图片序列中包括的视频图片中存在的多种视频压縮伪影类型相 对应的多个度量来生成压縮域参数的伪影校正单元；以及被配置为根据压 縮域参数来对视频图片进行校正的编码器。与本发明的其他实施例一致， 伪影校正单元可被配置为根据视频图片的度量和内容对图片序列中包括的 视频图片进行选择和优先级区分。另外，伪影校正单元和编码器还可适合 于通过对与图片的至少一个块相对应的量化参数和模式判决中的至少一个 进行调整来对视频图片进行校正。
一种或多种实现方式的细节在附图和以下描述中给出。即使是以一种 特定的方式来描述的，也应当清楚实现方式可以通过各种方式来配置或实 现。例如， 一种实现方式可以作为方法来执行，或者可以实现为被配置为 执行一组操作的装置或者存储用于执行一组操作的指令的装置。通过结合 附图和权利要求考虑以下详细描述，其他方面和特征将变得清楚。


图1是示例性的伪影校正单元的框图。
图2是包括伪影校正单元的多遍编码系统的说明性示例的框图。
图3是根据本发明原理的实现方式可利用的典型编码器的框图。
图4是示出由判决模块执行的基于各种伪影强度和类型的优先级区分
处理的示例的流程图。
图5是示出基于判决模块所编制和排序的各种伪影类型的示例性伪影
列表的流程图。
图6是提供由判决模块执行的处理的示例的流程图，该处理包括将新 的伪影级别指派给帧并且通过考虑各种伪影类型、其相应的强度以及(在 一些实现方式中)视频数据流的内容来计算平均伪影级别。
图7是根据平均伪影级别被排序、被指派以最终伪影级别并且被选择
6来进行伪影校正的帧的示例性表示。
图8是经过分类的帧的示例性表示。
图9是校正模块的示例性实现方式的流程图。
图10是示出由校正模块执行的、基于调整由判决模块选择的图片的 块的量化参数的伪影校正处理的示例的流程图。
图11是示出基于考虑各种伪影类型和强度以及(在一些实现方式 中)视频图片的内容来调整包括伪影的图片的块的量化参数的伪影校正处 理的示例的流程图。
图12是示出在伪影校正期间可以采用的双级量化参数偏移量的示例 的示图。
图13是示出在伪影校正期间可以采用的多级量化参数偏移量的示例
的示图。
图14A和14B是可向其应用量化参数偏移量的块的示例的表示。
具体实施例方式
本发明原理涉及通过调整诸如模式判决或量化参数之类的压縮域参 数，从而高效地利用有限的资源来消除伪影或减轻伪影的严重性。本发明 原理的一个方面包括通过考虑帧中存在的不同类型的伪影的严重性来就校 正对视频帧进行优先级区分。另外，由于某些类型的伪影在某些类型的视 频内容中往往比其他类型的伪影更为普遍，所以在对视频帧进行优先级区 分时也可考虑视频流的内容。因此，本发明原理从而以高效的方式利用了 编码器系统资源，从而通过调整诸如模式判决或量化参数之类的压縮域参 数，来校正经过压縮的视频流中的最易感知到的伪影。
本发明原理可校正若干类伪影。 一个这种常见的伪影包括块化伪影， 其特征在于帧中的像素块的可见边缘。具体的块化伪影包括色度块化和亮 度块化伪影。带化伪影是本发明原理可校正的另一种常见伪影，这种伪影 看起来是能够在颜色渐变中感知到明显的颜色带。此外，根据本发明原理 的实现方式，也可以减轻诸如暗斑、蛟式噪声和环化伪影之类的移动区 域。然而，应当注意，上述的伪影类型是非限制性示例，本发明原理也可应用到其他类型的视频压縮伪影。
具体参考附图，在附图中类似的标号在若干幅图中始终标识相似或相 同的元件，首先参考图1，其中示出了根据本发明原理的一个方面的示例 性伪影校正单元100。伪影校正单元100可包括判决模块110和校正模块
120。图2提供了多遍视频编码系统中的伪影校正单元的示例，该系统具 有编码器90和130，编码器90和130分别可以可选地包括伪影检测器80 和150。编码器130还可包括伪影校正器140，其功能在下文中进一步描 述。伪影校正器140可具有在编码之前处理图片以防止在编码处理期间产 生压縮伪影的能力。
视频流输入202被编码器90接收并且在根据本发明原理的处理(下 文将更全面描述)之后，经过校正的压縮视频流208被编码器130输出。 压縮视频流208可以被提供到另一编码器以进行额外的一遍校正，包括由 伪影检测器150提供的对伪影206的存在的指示。或者，伪影检测器150 可以在最终的比特流中报告伪影206的存在。
可结合本发明原理使用的典型编码器300的示例在图3中示出。这种 编码器可包括以下元件被配置为接收输入视频流302的帧排序缓冲器 304、变换和量化模块306、逆变换和逆量化模块308、内预测模块314、 解块滤波器316、参考图片缓冲器318、运动估计模块320、运动补偿模块 322、图片类型判决模块310、宏块类型判决模块312、熵编码模块324、 序列参数集和图片参数集插入器326、被配置为处理元数据334的补充增 强信息插入器332、率控制模块330、以及被配置为输出经编码的视频数 据流336的输出缓冲器328。
参考图1和图2，根据本发明原理的实现方式的处理开始于生成与视 频流中的一帧相对应的伪影衡量单位，即伪影度量112以及伪影图122。 伪影图示出了每个图片中的伪影的位置，并且可以指示出伪影的类型，其 中可包括块化、带化、暗斑、环化伪影或其他类型视频压縮伪影。伪影图 还可指示出固定尺寸的块(例如8像素乘8像素)或者任意尺寸的块内伪 影的存在性或严重性。相反，伪影度量包括对一帧中存在的每类伪影的整 体严重级别的指示。根据一种实现方式，如图2所示，伪影度量和伪影图
8是由编码器90在根据给定的视频压縮方法的参数配置来压縮视频帧之后 经由伪影检测器80生成的，所述参数配置可包括量化参数、模式判决、 参考帧选择和比特率分配中的一种或多种。然而，应当注意，伪影图和伪 影度量可通过任何类型的压縮操作器生成。
在其被生成之后，除了经压縮的视频流204之外，伪影图122和伪影 度量112也被发送到判决模块110。配置数据114也可被编码器90或任何 其他类型的操作器提供给判决模块110。根据本发明原理的另一个方面， 配置数据114可被包括在判决模块110中的默认文件中。在本发明原理的 一种实现方式中，配置数据包括伪影校正单元100可使用的压縮视频流的 可用比特率。例如，如果视频流的目标比特率是10Mbps而在编码器90 压縮之后视频流的比特率是9 Mbps，则伪影校正单元IOO可用来校正伪影 的可用比特率是l Mbps。另外，配置数据还可包括伪影校正单元应当校正 的图片的最小或最大百分比。根据本发明原理的另一方面，所压縮的视频 内容的类型113，例如动画内容、电影内容或其他有关内容类型，也可被 编码器90或任何其他类型的操作器提供给判决模块110。
根据本发明原理的特定实现方式的判决模块IIO执行的处理在图4中 示出。如上所述，判决模块IIO接收伪影度量112和伪影图122，这可发 生在判决模块启动期间(步骤402)。伪影度量提供这样的信息根据该 信息可以直接或间接推断出特定帧中存在的每类伪影的严重级别。例如， 如果某个帧具有亮度块化伪影、色度块化伪影、带化伪影和暗斑伪影，则 伪影度量为该帧指定四个伪影强度值。当在判决模块启动时接收伪影度量 和伪影图之后，判决模块110或者伪影检测器80针对每类伪影编制与不 同帧相对应的伪影强度的列表。作为非限制性示例，如图5的左部所示， 判决模块110可以为色度块化伪影编制一列表，该列表具有与每个帧相对 应的色度块化强度级别的条目。
在编制列表之后，判决模块110根据从高到低的伪影强度级别为每个 伪影类型列表中的条目排序(图4中的步骤404)，如图5所示。判决模 块110随后可基于排序后的列表中的伪影强度级别排名，为集合中的每个 帧指派针对每种伪影类型的新的伪影级别(步骤406)。新的级别可对应于正规化的伪影强度级别，或者它可以就是伪影检测器80提供的那个伪 影强度级别。在以上提供的示例中，帧将根据列表排名被指派四个新的伪 影级别，这四个新的伪影级别对应于亮度块化伪影、色度块化伪影、带化
伪影和暗斑伪影，在图6中分别由a、 b、 c和d表示。接下来，判决模块 110为集合中的每个帧计算先前指派的基于排名的伪影级别的平均(歩骤 408)，这在图6中由"A"表示。
在为每个帧计算平均伪影级别之后，判决模块iio根据平均伪影级别 的降序为帧排序(步骤410)，例如图7所示。判决模块110随后基于平 均伪影级别排名为每个帧指派最终伪影级别(步骤412)，即图7中的 "F"。具有最高的最终伪影级别的帧被选择来进行伪影校正，并且判决 模块110随后向校正模块120提供所选择的要校正的帧116或者提供对耍 校正的帧的指示。此外，判决模块110可以根据最终伪影级别对帧集合分 类(步骤414)。例如，根据帧在平均伪影级别列表中的位置，图片可被 分类为具有非常严重、严重、中等、轻微或非常轻微的伪影，如图8所
示。分类可连同对高于指定的严重性分类的图片进行校正的指令被提供给 校正模块120。
根据本发明原理的一种实现方式，要校正的帧的数目(或者相反地阈 值)是基于上述的配置数据的。例如，配置数据可以指定在视频帧的序列 中要校正的图片的百分比。或者，判决模块110可以根据可用比特率来动 态地决定要被选择来进行校正的帧的数目，该可用比特率也可构成上述的 配置数据。可用比特率对应于在分配给编码处理的比特预算中未用比特的 数目。例如，如果编码处理被分配了 M比特的比特预算而只使用了 N比 特来对视频流编码，其中N小于M，则伪影校正的可用比特率等于M-N 比特。如果可用比特率高，被校正的帧的数目就可增大，而如果可用比特 率低，被校正的帧的数目就可减小。
此外，在本发明原理的其他实现方式中，由伪影图提供的最终伪影强 度级别或者伪影强度级别可用于确定被校正的帧的数目。例如，判决模块 110可估计对一组帧中具有最高的最终伪影级别的帧进行校正所需的比特 数目。如果可用比特率大于对具有最高的最终伪影级别的帧进行校正所需的比特率，判决模块110则计算对具有次高的平均伪影级别的帧进行校正 所需的比特率，并且判定可用比特率是否大于对这两个帧进行校正所需的 组合比特率。判决模块110继续该处理，直到校正若干个帧所需的比特率 超过可用比特率为止，从而确定将被校正的帧的数目。
在一种更具体的实现方式中，判决模块110在选择要校正的视频帧时 还考虑视频帧的内容，因为在某些类别的视频内容中，某些类型的伪影往 往比其他类型的伪影更普遍。例如，在具有动画内容的视频帧中，带化伪 影是最易察觉的，而在电影内容中，块化伪影往往占主导地位。根据本发 明原理的一个方面，判决模块110考虑视频帧的内容并且在为帧计算平均 伪影级别"A"时，为特定的伪影类型赋予比其他伪影类型更高的权重。
作为非限制性示例，如果视频由电影内容构成，判决模块iio则朝着更高
的块化伪影级别来对平均伪影级别加权，而如果视频由动画内容构成，判 决模块110则使得平均级别偏向于更高的带化伪影级别。另外，应当注
意，在另一种实现方式中，伪影检测器80可以在伪影图122中提供的伪 影强度级别中包括加权因子。
在上述的示例性实现方式中，本发明原理通过考虑以下各项中的至少
一种或多种来使具有观看者最易感知的伪影的帧优先视频帧内的伪影的
严重性、视频帧中存在的伪影类型、以及视频流的内容。因此，当编码器 对于压縮视频帧序列具有有限的资源或者受到目标比特率的约束时，本发 明原理帮助校正具有最易感知的伪影的帧，从而尽管有限资源约束被施加 于编码器上，也能提供高质量的视频流。
在优先级区分之后，如上所述，校正模块120接收关于校正图片序列 中的哪些图片的指示。应当注意，虽然校正模块可如图1和图2所示那样 被包括在伪影校正单元中，但校正模块也可如图9所示是独立的装置。图 IO示出了校正模块120执行的伪影校正处理的一种实现方式。该处理开始 于在校正模块启动(步骤1002)之后接收对要校正的图片的指示(步骤 1004)。此外，校正模块还接收针对要校正的每个帧的伪影图和压縮域参 数(步骤1004)。伪影图和压縮域参数可由编码器90或任何其他类型的 操作器提供。压縮域参数可包括量化参数和/或模式判决，以及与帧内要校
ii正的块相对应的其他类型的压縮域参数，例如DCT系数。出于简化目 的，图10提供的示例只调整量化参数。然而，应当理解，本发明原理也 可额外地适用于调整其他压縮域参数，或者改为适用于调整其他压縮域参 数。
在接收对要校正的图片的指示116、伪影图和配置参数信息之后，校 正模块120检查与要校正的图片相对应的伪影图(步骤1006)。利用伪影 图，校正模块120可具有检测图片内的哪些块受伪影影响的能力。如果该 信息可用，伪影校正则可以通过不仅修改帧级别编码参数(例如解块滤波 器)还修改宏块(MB)级别编码参数(例如量化参数QP)来执行。校正 模块120搜索图片的伪影图内的每个块并且判定该块是否包括伪影(步骤 1008、 1010)。在找到具有伪影的块后，校正模块120调整该块的量化参 数(步骤1012)，下文将对此进行更全面描述。如果校正模块没有找到伪 影，则它应用用来压縮该块的原始量化参数(步骤1014)。然后，校正模 块120搜索图片中的下一个块(步骤1008)。在对图片内的所有块进行处 理之后，校正模块120为图片形成量化参数图(步骤1018)，该量化参数 图指示出与图片的每个块相对应的经过调整的量化参数。然后，校正模块 120检查与要校正的下一个图片相对应的伪影图(步骤1006)，并且重复 量化参数调整方法，直到所有所指示的图片都已被处理为止。包括判决模 块IIO和校正模块120两者执行的处理在内的伪影校正单元IOO的整体工 作流程在图ll中提供。
根据本发明原理可通过多种方式来调整量化参数。如上所述，量化参 数被与应用到DCT系数的标度因子相关，以去除图片的不那么易于感知 的特征。 一般来说，较低的量化参数值对应于DCT系数的更精细标度的 表示。因此，降低量化参数使得可以对原始像素值进行更准确的重构，并 且减少了伪影尤其是块化和带化伪影的出现。
根据本发明原理的一种实现方式，校正模块120使针对包括伪影的块 的量化参数偏移预定的量。同样的预定偏移量被应用到包括伪影的每个块 整体，如图12所示，该图示出了量化参数偏移量的绝对值。此方法最好 在伪影校正单元100使用不指示伪影强度的伪影图(二元伪影图)时采用。
在本发明原理的另一种实现方式中，应用到包括伪影的块的量化参数 偏移量是不同的并且对应于该块中的伪影的强度级别，如图13所示，该 图示出了量化参数偏移量的绝对值。例如，QP1表示对应于弱伪影的偏移 量幅度；QP2表示对应于中等强度伪影的一种不同的偏移量幅度；并且
QP3表示对应于强伪影的另一种偏移量幅度。伪影的强度可通过参考伪影 检测器80提供的伪影图来获得。如果所使用的伪影图是二元的，则也可 以采用一外部强度检测器来确定块内的伪影的强度。与先前描述的实现方 式中一样，量化参数偏移量被应用到包括至少一个伪影的整个块。应当明
白，可以采用任意数目的偏移量值和相应的伪影强度。另外，图片的块的 大小也可被改变。
应当理解，任一种实现方式的任何量化参数偏移量都取决于目标比特 率。校正模块120选择带来等于或低于视频流的目标比特率的比特率的量 化参数调整幅度。另外，任一种实现方式的量化参数偏移量的幅度也可取 决于判决模块110提供的伪影强度级别118。例如，较低的伪影强度级别 要求较低的量化参数偏移量。另外，较高的伪影强度级别要求较高的量化 参数偏移量并且还要求调整其他参数，例如解块滤波器参数和舍入偏移量 (rounding offset)。
此外，根据本发明原理的另一方面，校正模块120可以利用复杂性模 型来确定在参数调整之后得到的比特率。校正模块120可被集成到编码器 中，或者可执行至少一部分编码处理，来估计对伪影进行校正所需的比特 的数目。该复杂性模型通过考虑原始的量化参数、为每个块分配的比特的 原始幅度以及新指派的量化参数，来估计所得到的比特率。但是，也可以 采用其他用于确定所得到的比特率的手段。
根据本发明原理的另一种实现方式，可以调整在包括伪影的块(即图 14中的"BA")周围的块的量化参数。如图14A和图14B所示，例如， 可根据偏移量O。、 Oi、 02、 03....来对周围块进行调整。根据本发明原 理，块偏移量的数目和偏移量的幅度都可被改变。另外，即使邻居块不包 括伪影，也可调整邻居块的量化参数。使邻居块的量化参数偏移确保了帧的视频质量一致，因为邻居块的量化参数的突变会导致帧中的块之间的视 觉上可感知的差异。为了维持感知上一致的视频质量，根据本发明原理的 一个方面，从包括伪影的块起，逐渐向外改变邻居块的量化参数偏移量的 幅度。另外，其中量化参数被改变的、在具有伪影的块周围的块邻域的大 小也可取决于包括伪影的块的量化参数调整的幅度。
然而，应当明白，为了生成具有改善的质量的视频流，周围块的量化 参数可根据需要被增大或减小。例如，周围块的量化参数可被减小，如果 它们包括使其应当被校正的那种强度和类型的伪影的话(在伪影跨跃若 干个块时就经常是这种情况)。
此外，量化参数偏移量的幅度也可取决于伪影周围的块的模式。对视 频流的序列进行编码的一种常见方法包括运动补偿，其中，视频帧之间的 差异被编码以减少存储视频序列所需的存储器。在此编码方案中，块可以
按互模式(inter-mode)或内模式(intra-mode)被编码。互块是通过参考 另外的块被解码的，而内块是在不参考任何其他块的情况下被解码的。自 然，内块包括比互块更多的信息。因此，为了校正伪影，内块通常要求比 互块更低的量化参数偏移量幅度。在本发明原理的一个方面中，校正模块 120根据其正在调整的块的模式来确定量化参数偏移量幅度。类似地，校 正模块120可以通过考虑周围块各自的模式来确定周围块的任何量化参数 偏移量。应当理解，调整内块的量化参数不可避免地会影响在视频序列的 先前或随后的图片中参考该内块的任何互块的压縮和编码，因为这些互块 结合了该内块中存储的信息。
如上所述，虽然已经针对调整图片的块的量化参数以减少伪影的出现 并减轻伪影的严重性来描述了本发明原理，但是也可以额外调整或者改为 调整其他压縮域参数。例如，根据本发明原理的一种实现方式，可以调整 对应于块的模式判决。如上所述，内块包括比互块更多的信息并从而包括 比互块更多的比特。为了对互块内的伪影进行校正，校正模块120可以将 该块转换成内块以消除伪影或减轻伪影的严重性。此外，根据本发明原理 的另一方面，校正模块120还可针对量化参数的调整来转换周围块，这些 周围块包括伪影或者不包括伪影，如上所述。作为非限制性示例，校正模
14块120可以额外地将先前编码的周围内块转换成互块以维持目标比特间 隔。
在完成压縮域参数调整后，校正模块120向编码器130或一个不同的 压縮操作器提供经过调整的压縮域参数126和要校正的图片或场景128。 如上所述，经过调整的压縮域参数126可以按量化参数图的形式来提供。 然后，编码器130利用伪影校正器140来根据伪影校正压縮域参数126对 所指示的图片进行压縮，从而提供伪影出现率和严重性较低的视频流。
应当明白，例如图2所示的实现本发明原理的系统还可包括用户接口 (未示出)。根据该实现方式，可经由用户接口来将视频序列的图片中存 在的伪影的类型通知给用户。此外，可以将根据图片中存在的伪影的严重 性对视频图片的分类通知给用户。例如，如上所述，伪影校正模块]20可 根据图片的计算出的最终伪影级别来将图片分类为非常严重、严重、中 等、轻微或非常轻微。
所描述的实现方式的特征和方面可被应用到各种应用。应用例如包括 DVD盘制作和其他用于非实时压縮应用的专业设备。这里描述的实现方式 可以实现在例如方法或处理、装置或软件程序中。即使只是在单一一种形 式的实现方式的上下文中论述的(例如作为方法来论述的)，所论述的特 征的实现方式也可按其他形式来实现(例如，装置或程序)。装置例如可 用适当的硬件、软件和固件来实现。方法例如可以实现在诸如处理器之类 的装置中，该处理器指的是一般的处理设备，其中例如包括计算机、微处 理器、集成电路或可编程逻辑器件。处理设备还包括通信设备，例如计算 机、蜂窝电话、便携式/个人数字助理("PDA")以及有助于终端用户之 间的信息通信的其他设备。
这里描述的各种处理和特征的实现方式可以实现在多种不同的设备或 应用中，尤其例如是与数据发送和接收相关联的设备或应用。设备的示例 包括视频编码器、视频解码器、视频编解码器、web服务器、机顶盒、膝 上型计算机、个人计算机以及其他通信设备。应当清楚，该设备可以是移 动的，或者甚至被安装在移动交通工具中。
此外，这些方法可以通过由处理器执行的指令来实现，并且这种指令
15可被存储在诸如集成电路、软件载体或其他存储设备(例如硬盘、紧凑
盘、随机访问存储器("RAM")或只读存储器("ROM"))之类的
处理器可读介质上。指令可形成有形地包含在处理器可读介质上的应用程 序。应当清楚，处理器可包括具有例如用于执行处理的指令的处理器可读 介质。
本领域的技术人员应当清楚，某些实现方式还可产生被格式化来携带 信息的信号，该信息例如可被存储或传输。该信息例如可包括用于执行方 法的指令或者由所述实现方式之一产生的数据。这种信号可被格式化为例 如电磁波(例如，利用频谱的射频部分)或者基带信号。格式化例如可包 括对数据流编码、对经过编码的流进行分组化、以及利用分组化的流来调 制载波。信号携带的信息例如可以是模拟或数字信息。信号可以通过多种 不同的有线或无线链路来传输，这是已知的。
已经描述了若干种实现方式。然而，应当理解，可以进行各种修改。 例如，不同实现方式的要素可被组合、补充、修改或去除，以产生其他实 现方式。此外，本领域的普通技术人员应当理解，可以用其他结构和处理 来替换所公开的那些，并且由此得到的实现方式将以与所公开的实现方式 至少基本相同的(一个或多个)方式来执行与所公开的实现方式至少基本 相同的(一个或多个)功能，以实现与所公开的实现方式至少基本相同的 (一个或多个)结果。因此，这些和其他实现方式在所附权利要求的范围 之内。
权利要求
1.一种视频处理方法，包括生成与视频图片序列中包括的视频图片中存在的多种视频压缩伪影类型相对应的多个度量；以及响应于所述度量来对所述视频图片进行校正。
2. 如权利要求1所述的方法，还包括以下步骤根据所述视频图片序 列的内容从所述图片序列中选择一 图片来进行校正。
3. 如权利要求2所述的方法，其中，所述选择步骤是响应于根据所述 度量对图片进行优先级区分而执行的。
4. 如权利要求2所述的方法，其中，所述内容包括动画内容和电影内 容中的至少一种。
5. 如权利要求1所述的方法，其中，所述视频压縮伪影类型包括以下 各项中的至少一种块化伪影、带化伪影、暗斑伪影、环化伪影。
6. 如权利要求1所述的方法，其中，所述校正步骤包括利用伪影图来对所述图片的包括伪影的第一块进行校正。
7. 如权利要求6所述的方法，其中，所述伪影图被分割成固定大小的块。
8. 如权利要求6所述的方法，其中，所述校正步骤还包括对不包括伪 影的第二块进行校正。
9. 如权利要求1所述的方法，其中，所述校正步骤还包括对与所述视 频图片的至少一个块相对应的量化参数和模式判决中的至少一个进行调整。
10. 如权利要求9所述的方法，其中，所述调整被用于在所述调整之 后对视频信息进行调整。
11. 如权利要求l所述的方法，还包括以下步骤提供用户接口；以及将所述视频图片中存在的至少一类伪影通知给用户。
12. 如权利要求11所述的方法，包括以下步骤 根据至少一种伪影的严重性来对所述视频图片分类；以及将所述视频图片的分类通知给用户。
13. —种处理系统，包括被配置为响应于与视频图片序列中包括的视频图片中存在的多种视频 压縮伪影类型相对应的多个度量来生成压縮域参数的单元；以及被配置为根据所述压縮域参数来对所述视频图片进行校正的处理器。
14. 如权利要求13所述的系统，其中，伪影校正单元被配置为根据所述视频图片序列的内容从所述图片序列中选择一图片来进行校正。
15. 如权利要求14所述的系统，其中，所述伪影校正单元被配置为响应于根据所述度量对图片进行优先级区分来选择所述图片。
16. 如权利要求14所述的系统，其中，所述内容包括动画内容和电影 内容中的至少一种。
17. 如权利要求13所述的系统，其中，所述视频压縮伪影类型包括以下各项中的至少一种块化伪影、带化伪影、暗斑伪影、环化伪影。
18. 如权利要求13所述的系统，其中，所述伪影校正单元利用伪影图 来对所述图片的包括伪影的第一块进行校正。
19. 如权利要求18所述的系统，其中，所述伪影图被分割成固定大小 的块。
20. 如权利要求18所述的系统，其中，所述伪影校正单元被配置为对 所述图片的不包括伪影的第二块进行校正。
21. 如权利要求13所述的系统，其中，所述伪影校正单元被配置为对 与所述视频图片的至少一个块相对应的量化参数和模式判决中的至少一个 进行调整。
22. 如权利要求21所述的系统，其中，所述伪影校正将调整信息提供 给所述处理器，所述处理器还适合于在所述调整之后对视频信息进行调 整。
23. 如权利要求13所述的系统，包括被配置为将所述视频图片中存 在的至少一类伪影通知给用户的用户接口 。
24. 如权利要求23所述的系统，其中，所述伪影校正单元被配置为根 据至少一种伪影的严重性来生成所述视频图片的分类，并且所述用户接口 被配置为将所述视频图片的分类通知给用户。
全文摘要
公开了用于对视频帧中存在的伪影进行校正的系统和方法。该系统包括判决模块(110)和伪影校正单元(120)。该系统接收与视频帧中存在的伪影相对应的伪影度量(112)和伪影图(122)，并且通过考虑伪影的类型和严重性以及视频帧的内容(113)来对要校正的视频帧进行优先级区分。在对视频帧进行优先级区分之后，系统通过调整压缩域参数(126)(例如量化参数和模式判决)来对所选帧的伪影进行校正。编码器(130)根据调整后的压缩域参数来对视频帧进行压缩，以自动提供伪影出现率和严重性更低的视频流。
文档编号H04N7/50GK101578869SQ200780048765
公开日2009年11月11日 申请日期2007年12月5日 优先权日2006年12月28日
发明者乌缇朋·库维赖斯卡, 克里斯蒂娜·古米拉, 高科斯·丹恩 申请人:汤姆逊许可证公司