专利名称：控制视频数据中的伪影的制作方法
技术领域：
本发明的各个实施方式涉及视频处理领域。
背景技术：
典型的视频捕获管线应用压缩和处理来进行分析和增强。通常，典型的压缩和处理不会模仿由照相机的自动曝光控制引起的图片亮度的改变，这通常随机地产生伪影。此外，这些亮度的改变能够导致整个视频帧的全面改变，包括固定的背景。在编码器处对速率控制和带宽的限制随后使得这些全面的亮度改变看起来像分散块。
合并到说明书并形成说明书的一部分的附图示出了本发明的实施方式图1是根据本发明的一个实施方式的用于控制视频数据中的伪影的系统的框图。图2A是根据本发明的一个实施方式的示例性的帧的示例性的稳健直线拟合的图。图2B是根据本发明的一个实施方式的示例性的帧的示例性的稳健直线拟合的图，其中该示例性的帧比图2A的示例性的帧包括更多的运动。图2C是根据本发明的一个实施方式的示例性的帧的示例性的稳健直线拟合的图，其中与标准最小二乘法拟合相比，该示例性的帧比图2A的示例性的帧包括更多的运动。图3是根据本发明的一个实施方式的示出用于控制视频数据中的伪影的过程的流程图。除非特别指出，不应该将在对实施方式的描述中所涉及的附图理解为是按照比例绘制的。
具体实施例方式在此描述了控制视频数据中的伪影的本发明的各种实施方式。在一个实施方式中，描述了控制视频数据中的伪影的方法。对视频数据的多个帧的并置像素的图像数据进行采样，其中，多个帧中的每个帧的至少一部分对应于不穿过该多个帧移动的对象。对并置的像素的采样图像数据执行统计曲线拟合，其中，该统计曲线拟合较少考虑与穿过多个帧的对象的移动相对应的采样的并置的像素。至少部分基于统计曲线拟合的至少一个参数， 生成调整帧。为了减少假伪影，希望一种只使用像素值来补偿照相机照明改变的简单、有效且低延迟的方法。本发明的实施方式提供了低延迟的解决方案，其能够作为独立的模块插入到任何照相机和处理模块之间。以这种方式，具有不同的自动曝光算法和性能的照相机可互换地用于通信应用。本发明的实施方式提供了一种用于控制由静止视频照相机的自动曝光控制或者自动增益控制(AGC)引起的虚块的方法。例如，视频会议通常应用静止照相机记录呈现。没有受控照明的视频会议通常遭受例如伪AGC再调整，例如，如在典型的网络摄像头中所常见到的。因为目前的视频编码器不会模拟强度改变，所以这些AGC错误能够反过来引起严重的虚块。本发明的实施方式提供控制这种伪影。本发明的各种实施方式通过在视频数据中把AGC错误和实际的改变区分开来提供控制视频数据中的伪影。本发明的实施方式仅依赖于像素值，并且能够作为独立的模块将其插入到任何视频捕获设备(例如，照相机)和处理模块之间。因此，具有不同的AGC功能和性能的照相机可互换地用于通信应用。现在将详细地参考本发明的各种实施方式，附图中示出了本发明的各种实施方式的例子。尽管将结合各种实施方式来描述本发明，但是应当理解，它们并不旨在将本发明限制到这些实施方式。相反，本发明的实施方式旨在覆盖可供选择的方案、修改以及等价物， 它们可包括在随附的权利要求的精神和范围内。此外，在以下对本发明的各种实施方式的描述中，提出了大量的特定细节，以便提供对本发明的实施方式的全面理解。在其他例子中，没有详细描述公知的方法、程序、组件和电路，以免不必要的使本发明的实施方式的方面不清楚。为了直接的描述本发明的实施方式的目的，视频数据指包括代表物理对象的图像数据的数据。在各种实施方式中，视频数据包括代表物理对象的静止图像的多个帧。例如， 图像数据包括代表物理对象的摄影图像的至少一部分的帧。本发明的实施方式通过生成调整的图像数据，提供了调整(例如，转换)输入图像数据，以控制虚块。图1是根据本发明的一个实施方式的用于控制视频数据中的伪影的系统100的框图。系统100包括伪影控制器102，该伪影控制器102包括视频数据接收器115、视频数据采样器125、曲线拟合模块135和帧调整器145。在一个实施方式中，系统100还包括错误消除(error dampening)模块155。在一个实施方式中，系统100还包括视频编码器165。 在一个实施方式中，系统100还包括视频源105。在一个实施方式中，在能够接收视频数据的计算装置中实现系统100。例如，系统 100可为任何类型的计算装置，其包括但不限于计算机、数码相机、网络摄影机、蜂窝电话、 个人数字助理、电视接收机、机顶盒以及能够接收或捕获视频数据的任何其他计算装置。应当意识到的是，能够以硬件、固件、软件和硬件、软件和固件、以及硬件、软件和固件来实现伪影控制器102、视频源105、视频数据接收器115、视频数据采样器125、曲线拟合模块135、帧调整器145、错误消除模块155和视频编码器165。此外，应当意识到的是，系统100可包括附加组件，没有示出这些组件，以免不必要的使本发明的实施方式的方面不清楚。在一个实施方式中，视频源105向伪影控制器102提供视频数据的输入帧110。应当意识到的是，视频源105向伪影控制器102提供多个输入帧，并且为了简单的示出，仅显示了一个输入帧110。例如，视频源105向伪影控制器102提供包括多个顺序视频帧的整个视频文件。在一个实施方式中，视频源105的视频数据是原始视频数据，例如，还没有被编码的数据。在另一个实施方式中，已经处理视频源105的视频数据，例如，已经进行了色彩转换。此外，应当意识到的是，视频源105可为存储或捕获视频数据的任何装置或模块。例如但不限于，视频源105可包括视频存储设备、存储设备、视频捕获设备或其他视频数据设备。应当意识到的是，本发明的实施方式依赖于以下假设由基本上静止视频捕获装置来捕获视频数据。换句话说，由静止照相机捕获视频数据，并且多个帧中的每个帧的至少一部分对应于不穿过该多个帧移动的对象。视频数据接收器115从视频源105接收多个输入帧110，并且视频数据接收器115 被配置为将输入帧Iio转送至视频数据采样器125和帧调整器145。在一个实施方式中，视频数据接收器115被配置为将输入帧110转送至错误消除模块155。视频数据采样器125可操作用于对多个帧的并置像素的图像数据进行采样，其中，多个帧中的每个帧的至少一部分对应于不穿过该多个帧移动的对象。在一个实施方式中，多个帧包括视频数据的连续输入帧110。在一个实施方式中，采样的图像数据包括亮度数据。在一个实施方式中，采样的图像数据包括RGB颜色空间数据。应当意识到的是，采样的图像数据可包括其他类型的数据，并且并不旨在将其限制到描述的实施方式。特别地，可在各种实施方式中实现考虑到检测穿过多个帧移动的任何图像数据，例如，YUV颜色数据。在一个实施方式中，视频数据采样器125被配置为在网格中对多个帧的并置像素进行采样。例如，可使用有规律的二维空间网格。然而，应当意识到的是，帧的任何像素或者所有像素都可被采样。曲线拟合模块135被配置为对并置的像素的采样图像数据执行统计曲线拟合，其中，该统计曲线拟合较少考虑与穿过多个帧的对象的移动相对应的采样并置的像素。在各种实施方式中，统计曲线拟合是稳健统计曲线拟合，其中，曲线可指参数式、非参数式或直线。在一个实施方式中，统计曲线拟合包括统计的稳健线性拟合。在另一个实施方式中，统计曲线拟合包括统计的稳健参数式拟合。通常，稳健统计拟合(也称为稳健回归)被设计为减少离群数据对统计拟合的影响。在一个实施方式中，统计曲线拟合是迭代重加权最小二乘(IRLS)拟合。本发明的实施方式依赖于以下假设1)连续帧中的一部分像素对应于不移动的对象，例如，静止照相机，以及2)这些像素的强度改变是由于全局的AGC修改。在一个实施方式中，曲线拟合模块135使用模型yi = giXi+0i，其中，Xi是假设在AGC之前第i个输入视频巾贞，gi和Oi是增益和偏移量AGC参数，它们被随后应用，以形成yi、修改AGC的视频帧， 该视频帧是帧调整器145的输入。此外，一部分采样的像素是由于对象移动而改变的离群像素。在一个实施方式中，曲线拟合模块135使用当前视频帧yi和先前校正的帧的
并置像素的规律间隔二维网格计算统计稳健拟合+ )。在当前的实施方式中， 使用估计参数^和、的IRLS直线拟合。该拟合较少考虑由于对象移动而造成的离群数据，并简单地追踪AGC。应当意识到的是，在其他实施方式中，忽略了离群数据，而不是较少
^虑ο图2Α到2C示出了根据本发明的实施方式的稳健直线拟合的示例性的图。特别地， 这些示例性的图是当前帧的采样值和先前帧的采样值。应当意识到的是，帧可被连续的、周期性采样，随机采样或者根据任何其他采样方法学采样。另外，应当意识到的是，直线拟合可同时应用到所有的颜色通道，只应用到亮度，或应用到将指示穿过帧的移动的任何其他数据。图2A是根据本发明的一个实施方式的示例性的帧的示例性的稳健直线拟合202 的图200。特别地，示例性的稳健直线拟合202用于具有最小运动的示例性的帧，如由与先前采样的像素的数据非常接近的当前采样像素的大部分数据的位置所示。图2B是根据本发明的一个实施方式的示例性的帧的示例性的稳健直线拟合212 的图210，其中该示例性的帧比图2A的示例性的帧包括更多的运动。如图210所示，与多个当前采样像素关联的数据具有不同于先前采样像素的数据的值。这些数据被认为是离群数据，通过在执行直线拟合时较少考虑它们来减少它们对示例性的稳健直线拟合212的影响。在一个实施方式中，对范围外的任何数据忽略直线拟合。在另一个实施方式中，当数据运动到远离先前帧中的值时，给予该数据较小的权重。图2C是根据本发明的一个实施方式的与标准最小二乘法拟合2M相比用于相同数据的示例性的稳健直线拟合212的图220。标准最小二乘法拟合不会重加权或者忽视离群数据。这样，标准最小二乘法拟合偏向于离群数据。不考虑离群数据对直线拟合的影响， 标准最小二乘法不能提供像稳健直线拟合那么精确的直线拟合。返回图1，曲线拟合模块135可操作用于从稳健直线拟合提取曲线拟合参数140。 在一个实施方式中，曲线拟合参数140包括增益和偏移量。帧调整器145被配置为至少部分基于曲线拟合参数140生成调整帧150(这里也称为中间帧)。如图所示，帧调整器145 接收相应的输入帧110，并通过将曲线拟合参数应用到相应的输入帧110来生成调整帧 150。例如，根据一个实施方式，使用以上所定义的稳健拟合参数％和h生成调整帧150
=(只_《)/ ,，其中，初始条件为ΖΛ。=Jo。在一个实施方式中，错误消除模块155简单地将没有修改的调整帧150作为最终帧1 传送到视频编码器165。在当前的实施方式中，视频编码器165通过有效地编码调整帧150生成编码视频数据160。应当意识到的是，视频编码器165能够执行任何视频编码标准，包括但不限于H. 261, H. 263, H. 264, MPEG-I, MPEG-2，MPEG-4以及其他视频编码标准。 应当意识到的是，在本发明的各种实施方式中，错误消除模块1 是可选的并不被包括，这样，调整帧150作为最终帧IM直接从帧调整器145传送到视频编码器165。在另一个实施方式中，由错误消除模块155接收并修改调整帧150。错误消除模块155被配置为通过向调整帧150应用混合滤波器生成消除错误的调整帧，这样混合滤波器将调整帧150与对应于该调整帧150的输入帧110的至少一部分进行混合。在一个实施方式中，混合滤波器被应用到调整帧150以形成最终帧154:
Xi=Oz^(I-O)yi。通过返回注入一部分输入帧110，Yi，该混合允许长期AGC增益修改来操
作，并且它还消除估计^和、中的错误，否则这些错误可能会积累。在一个实施方式中，使用了 α = . 99。在当前的实施方式中，可将最终帧154 表示为■二 =kiy,+k2,其中，ki和1 是输入帧IlOyi的校正参数。这说明伪影控制器102单独地将适应性的校正应用到每个单独的帧。此外，因为没有时域滤波，所以伪影控制器102不会引起输入视频的拖尾效应。在一个实施方式中，在视频编码器165处接收最终帧154。在当前的实施方式中，视频编码器165通过编码最终帧巧4生成编码的视频数据160。应当意识到的是，视频编码器165能够执行任何编码标准，包括但不限于H. 261, H. 263, H. 264, MPEG-I，MPEG-2， MPEG-4以及其他视频编码标准。如以上所提出的，本发明的实施方式依赖于以下假设一部分像素不会在帧之间改变位置，并且由自动曝光引起的全局改变允许校正自动曝光错误。应当意识到的是，所描述的实施方式的不同形式和变化是可能的。例如，可使用多个不同的拟合方法，并且自动曝光模型不需要为仿射拟合。可替换地，在另一个实施方式中，群集技术(例如，与适当的混合模型(例如，在并置的像素的残差值上)一起的期望最大化算法)用于估计混合的参数， 并将像素成群为变化类和不变类，其转而用于继续进行全局拟合。图3是根据本发明的一个实施方式的示出用于控制视频数据中的伪影的过程300 的流程图。在一个实施方式中，由处理器和电子组件在计算机可读和计算机可执行指令的控制下执行过程300。例如，计算机可读和计算机可执行指令位于数据存储部件中，例如，计算机可用的易失性和非易失性存储器。然而，计算机可读和计算机可执行指令可位于任何类型的计算机可读存储媒质中。在一个实施方式中，由图1的系统100来执行过程300。在过程300的310，对多个帧的并置像素的图像数据进行采样，其中，多个帧中的每个帧的至少一部分对应于不穿过该多个帧移动的对象。在一个实施方式中，该多个帧包括视频数据的连续帧。在一个实施方式中，如过程300的315所示，采样包括在网格中对多个帧的并置像素进行采样。在一个实施方式中，图像数据包括亮度数据。在另一个实施方式中，图像数据包括RGB颜色空间数据。在320，对并置像素的采样图像数据执行统计曲线拟合，其中，统计曲线拟合较少考虑与穿过多个帧的对象的移动相对应的采样并置的像素。在一个实施方式中，统计曲线拟合包括统计稳健曲线拟合。在一个实施方式中，统计曲线拟合包括统计稳健线性拟合。在另一个实施方式中，统计曲线拟合包括统计稳健线性拟合。在330，至少部分基于统计曲线拟合的至少一个参数，生成调整帧，例如，中间帧。 在一个实施方式中，参数包括增益和偏移量。在一个实施方式中，如在340所示，通过将混合滤波器应用到调整帧，生成错误消除调整帧，例如，最终帧，混合滤波器将调整帧与对应于该调整帧的输入帧的至少一部分进行混合。在一个实施方式中，如在350所示，对视频数据进行编码。在一个实施方式中，使用调整帧对视频数据进行编码。在另一个实施方式中，使用错误消除调整帧对视频数据进行编码。本发明的实施方式提供调整来自静止照相机的视频，例如，视频会议，这样减少了由对象移动引起的整个视频帧的质量降级。本发明的实施方式与现有的编码器实现和现有的照相机相兼容。此外，本发明的实施方式不需要运动估计，由此减少了视频数据调整的复杂性。此外，本发明的实施方式不需要在视频的特定部分发生运动。例如，一些运动对象处在帧的边缘是可能的。只要一部分像素来自静止对象，稳健曲线拟合能够提供改进的视频数据调整。同样地，尽管各种稳健曲线拟合是迭代的，但是本发明的实施方式比传统的背景/前景分割要快。此外，本发明的实施方式提供保持AGC在变化的照明条件下的优势的
8同时，减少由AGC引起的错误结果。本发明的实施方式提供控制视频数据中的伪影。本发明的各种实施方式提供视频处理，例如，预处理，以在图像捕获后视频编码前控制伪影，从而避免伪影。在一个实施方式中，为了减少自动曝光错误，执行连续帧的并置的像素值之间的统计稳健曲线拟合。在一个实施方式中，混合滤波器用于允许自动曝光以继续操作，同时也使系统稳定防止累积稳健曲线拟合的错误。因此，描述了本发明的控制视频数据中的伪影的各种实施方式。虽然已经以特定的实施方式描述了本发明，但是应当意识到的是，不应如由这些实施方式所限制的来构造本发明，而应根据下面的权利要求来构造本发明。
权利要求
1.一种计算机实施的用于控制视频数据中的伪影的方法(300)，所述方法(300)包括对所述视频数据的多个帧的并置像素的图像数据进行采样(310)，其中，所述多个帧中的每个帧的至少一部分对应于不穿过所述多个帧移动的对象；对所述并置像素的采样图像数据执行(320)统计曲线拟合，其中，所述统计曲线拟合较少考虑与穿过所述多个帧的对象的移动相对应的采样的并置像素；以及至少部分基于所述统计曲线拟合的至少一个参数，生成(330)调整的帧。
2.如权利要求1所述的计算机实施的方法(300)，其中，所述多个帧包括所述视频数据的连续帧。
3.如权利要求1所述的计算机实施的方法(300)，其中，所述统计曲线拟合包括统计稳健线性拟合。
4.如权利要求1所述的计算机实施的方法(300)，其中，所述统计曲线拟合包括统计稳健参数式拟合。
5.如权利要求1所述的计算机实施的方法(300)，其中，所述对所述视频数据的多个帧的并置像素的图像数据进行采样(310)包括在网格中对多个帧的并置像素进行采样(315)。
6.如权利要求1所述的计算机实施的方法(300)，其中，所述图像数据包括亮度数据。
7.如权利要求1所述的计算机实施的方法(300)，其中，所述图像数据包括RGB颜色空间数据。
8.如权利要求1所述的计算机实施的方法(300)，其中，所述至少一个参数包括增益和偏移量。
9.如权利要求1所述的计算机实施的方法(300)，进一步包括通过将混合滤波器应用到所述调整的帧，生成(340)错误消除的调整的帧，所述混合滤波器用于将所述调整的帧与对应于所述调整帧的输入帧的至少一部分进行混合。
10.如权利要求1所述的计算机实施的方法(300)，进一步包括 使用所述调整的帧对所述视频数据进行编码(350)。
11.一种用于存储指令的计算机可读存储介质，当执行控制视频数据中的伪影的方法 (300)时，由一个或多个处理器执行所述指令，所述方法(300)包括在网格中对所述视频数据的连续帧的并置像素的图像数据进行采样(310)，其中，所述连续帧的每个帧的至少一部分对应于不穿过所述连续帧移动的对象；对所述并置像素的采样图像数据执行(320)统计曲线拟合，其中，所述统计曲线拟合较少考虑与穿过所述连续帧的对象的移动相对应的经采样的并置像素；至少部分基于所述统计曲线拟合的至少一个参数，生成(330)用于所述连续帧的一个帧的中间帧；以及通过将混合滤波器应用到所述中间帧，生成(340)最终帧，所述混合滤波器将所述中间帧与对应于所述一个帧的输入帧的至少一部分进行混合。
12.如权利要求11所述的计算机可读存储介质，其中，所述统计曲线拟合包括统计稳健线性拟合。
13.如权利要求11所述的计算机可读存储介质，其中，所述统计曲线拟合包括统计稳健参数式拟合。
14.如权利要求11所述的计算机可读存储介质，其中，所述方法(300)进一步包括 使用所述最终帧对所述视频数据进行编码(350)。
15.一种用于控制视频数据中的伪影的系统(100)，所述装置包括视频数据接收器(115)，用于接收包括所述视频数据的多个帧的图像数据； 视频数据采样器(125)，用于对所述多个帧的并置像素的图像数据进行采样，其中，所述多个帧中的每个帧的至少一部分对应于不穿过所述多个帧移动的对象；曲线拟合模块(135)，用于对所述并置像素的采样图像数据执行统计稳健曲线拟合，其中，所述统计稳健曲线拟合较少考虑与穿过所述多个帧的对象的移动相对应的采样的并置像素；以及帧调整器(145)，用于至少部分基于所述统计曲线拟合的至少一个参数生成调整的帧。
全文摘要
控制视频数据中的伪影。对视频数据的多个帧的并置像素的图像数据进行采样(310)，其中，所述多个帧中的每个帧的至少一部分对应于不穿过所述多个帧移动的对象。对并置像素的采样图像数据执行(320)统计曲线拟合，其中，所述统计曲线拟合较少考虑与穿过所述多个帧的对象的移动相对应的经采样的并置像素。至少部分基于所述统计曲线拟合的至少一个参数，生成(330)调整的帧。
文档编号H04N5/217GK102257808SQ200880132406
公开日2011年11月23日 申请日期2008年12月16日 优先权日2008年12月16日
发明者R·萨马达尼, W-T·谭 申请人:惠普开发有限公司