专利名称：在数字视频中的赝像减少的制作方法
背景技术：
电影、视频和其它图像可以利用如胶片的视频介质和如摄像机的视频捕捉设备从一个或多个场景中捕捉。在处理之后，视频介质可以被用于通过利用如放映机的显示设备显示图像来重现图像。有时候，例如由灰尘和划痕所引起的赝像(artifact)可出现在所述视频介质上。所述赝像可能以不希望的方式影响视频介质的图像的显示。
例如，如用TechniColor摄像机所捕捉的如TechniColor胶片的视频介质可能在胶片的色面(color plane)中的一个或多个的表面上有灰尘或划痕形式的赝像。用TechniColor摄像机，利用用于红、绿和蓝色的单独的电影胶片捕获图像来为每个图像产生红、绿和蓝面。因此，当图像被放映到屏幕或其它显示设备上时在红、绿或蓝电影胶片的任何一个上的灰尘或划痕可以被显示。
在视频介质上的赝像也可能出现在视频介质的数字化版本中。在把视频介质转换成数字形式时，赝像也可以被转换并成为数字视频的一部分。因此，当所述数字视频被观看或显示时所述赝像可能出现。期望的是能够改善具有赝像的数字视频的显示。
发明内容
本发明的一种形式提供由处理系统执行的方法。所述方法包括利用先前帧和下一帧检测与在数字视频的当前帧中的赝像相关的第一像素值和用替换值替换第一帧中的第一像素值。
图1是根据本发明的一个实施例说明被配置用于从数字视频中消除赝像的处理系统的框图。
图2是根据本发明的一个实施例说明具有赝像的视频介质的框图。
图3是根据本发明的一个实施例说明从具有赝像的视频介质中产生数字视频的过程的框图。
图4是根据本发明的一个实施例说明用于从数字视频检测赝像的方法的流程图。
图5是根据本发明的一个实施例说明用于从数字视频检测赝像的过程的框图。
图6是根据本发明的一个实施例说明赝像掩模的框图。
图7是根据本发明的一个实施例说明非时间掩模的框图。
图8是根据本发明的一个实施例说明具有被消除的所选区域的赝像掩模的框图。
图9是根据本发明的一个实施例说明用于从数字视频消除赝像的方法的流程图。
图10是根据本发明的一个实施例说明用于从数字视频消除赝像区域的方法的流程图。
图11是根据本发明的一个实施例说明在数字视频的帧中替换具有赝像的区域的过程的框图。
具体实施例方式
在以下详述的说明中参考附图，所述附图是其一部分，并且其中通过图示示出可以实践本发明的特定实施例。在此方面，诸如“顶部”、“底部”、“前面”、“后面”、“领先的”、“尾随的”等等方向术语参考所示的(多个)图的方向来使用。因为本发明实施例的部件可以以多个不同的方向定位，所述方向术语被用于图解目的并且决不是限制性的。应当理解的是可以利用其它的实施例并且在不偏离本发明范围的情况下可以实现结构的或逻辑的变化。因此，下面的详细说明不应在限制意义上被理解，并且本发明的范围由所附的权利要求来限定。
正如在这里所描述的，提供用于产生增强型数字视频的系统、方法和程序产品。对于数字视频中的每一帧，所述系统、方法和程序产品预期检测和消除例如由灰尘和划痕引起的赝像以产生增强型数字视频。通过把在帧中的像素值与来自先前帧和/或下一帧的像素值以及与其它信息进行比较来检测该帧中的赝像。一旦被检测，所述赝像用或者从先前和/或下一帧内插的像素值或者来自先前或下一帧的区域来替换。因此，数据视频的可视外观可以被增强。
图1是说明被配置用于从数字视频120中消除赝像的处理系统100的框图。处理系统100包括处理器102、存储器系统104、输入/输出单元106和网络设备108。存储器系统104用于存储赝像减少模块110、赝像检测模块112、赝像消除模块114、数字视频120和增强型数字视频122。
处理系统100被配置用于利用赝像减少模块110、赝像检测模块112和赝像消除模块114从数字视频120中产生增强型数字视频122。处理系统100包括任何类型的计算机系统或便携式或非便携式电子设备。计算机系统例子包括桌上型电脑、膝上型电脑、笔记本、工作站、或服务器计算机系统，并且电子设备的例子包括数字摄像机、数字视频摄像机、打印机、扫描仪、移动电话和个人数字助理。
在一个实施例中，赝像减少模块110、赝像检测模块112和赝像消除模块114各包括存储于存储器系统104中的可以被处理器102访问和执行的指令。存储器系统104包括任何数量和类型的易失性或非易失性存储设备，例如RAM、硬盘驱动器、CD-ROM驱动器和DVD驱动器。在其它实施例中，赝像减少模块110、赝像检测模块112和赝像消除模块114也可包括被配置用于执行在这里所描述的功能的硬件和软件部件的任何组合。
处理系统100的用户能够通过利用输入/输出单元106提供输入和接收输出来管理和控制赝像减少模块110、赝像检测模块112和赝像消除模块114的操作。输入/输出单元106可包括键盘、鼠标、显示设备或直接地或间接地与处理系统100耦合的其它输入/输出设备的任何组合。
赝像减少模块110、赝像检测模块112、赝像消除模块114和数字视频120在被存储在处理系统100之前可以分别被存储在与处理系统100分开的介质(未示出)上。这种介质的例子包括硬盘驱动器、压缩盘(例如CD-ROM、CD-R、或者CD-RW)和数字视频光盘(例如DVD、DVD-R或DVD-RW)。处理系统100可以利用网络设备108访问来自包括所述介质的远程处理或存储系统(未示出)的赝像减少模块110、赝像检测模块112、赝像消除模块114和数字视频120。网络设备108可以被直接地或间接地耦合到任何类型的有线的或无线的局域、广域或全球通信网络。
数字视频120包括多个数字帧。每一帧可以单独地被显示以形成图像或连续地(例如每秒24或30帧)被显示以形成视频(也就是可以看起来正在移动的一组图像)。数字视频120可以包括一个或多个场景(scene)，其中场景包括一组相关的帧。在一个实施例中，数字视频120包括RGB色空间，其中每一帧都具有带有红像素值的红面、带有蓝像素值的蓝面和带有绿像素值的绿面。所述红、绿和蓝像素值在显示数字视频120期间被组合以重现所述数字视频120的图像。在其它实施例中，每一帧都可以包括其它组的色面或可以组合每种颜色的像素值。
数字视频120可以要么从视频或来自另外的介质(例如胶片)的其它图像组、要么直接从摄像机或其它图像捕捉设备产生。例如，利用TechniColor摄像机所捕捉的TechniColor胶片可以利用扫描过程被转换为数字视频120。在其它实施例中，数字视频120可以包括单一的图像帧或不相关的图像帧组。
图2是说明产生数字视频120的、具有赝像206的视频介质200的框图。视频介质200包括连续系列的帧202，其中每一帧都具有红面204R、绿面204G和蓝面204B，也就是色面204。在一个实施例中，视频介质200包括TechniColor胶片。在其它实施例中，视频介质200包括其它类型的胶片或介质。
在图2所示的例子中，帧(n)202和蓝面(n)204B包括赝像206，其中n是指定序列中的帧的整数。赝像206可以是视频介质200中的任何类型的像差(aberration)，诸如由灰尘或划痕引起的像差，所述像差使所不期望的形式、形状或颜色出现在视频介质200的一个或多个图像的显示中。视频介质200可以包括任何数量的赝像206使得每一帧202和每一色面204可能具有零个或多个赝像206。
图3是说明如箭头302所示从视频介质200中产生数字视频120的过程的框图。在将视频介质200转换到数字视频120的过程中，赝像206以及任何其它的赝像(未示出)在数字视频120的一个或多个帧或色面中作为赝像304被重现。
向回参考图1，处理系统100执行赝像减少模块110、赝像检测模块112和赝像消除模块114以从数字视频120中产生增强型数字视频122。这样做，赝像减少模块110、赝像检测模块112和赝像消除模块114试图从数字视频120中消除赝像304和任何其它的赝像(未示出)以产生增强型数字视频122。
赝像检测模块112的操作现在将参考图4来进行描述。图4是用于从数字视频120中检测赝像的方法的流程图。可以为数字视频120的每一帧利用赝像减少模块110和赝像检测模块112由处理系统100执行所述方法。
在图4中，处理系统100执行赝像检测模块112以访问一组帧，如在框402中所示。如在图5中所示，该组帧至少包括当前帧(n)502A、先前帧(n-1)502B和下一帧(n+1)502C，其中n是在数字视频120的连续系列帧502中指定帧502的整数。在一个实施例中，每一帧502都包括单独的红、绿和兰色面。在其它实施例中，每一帧502都可以包括其它单独的或混合的色面。
必要时，处理系统100执行赝像检测模块112以对该组帧执行运动补偿，如在框404中所示。更具体地，处理系统100执行赝像检测模块112以相对于帧502A分别地对先前帧502B和下一帧502C运动补偿。因为视频捕捉设备和/或在场景中的一个或多个对象可能在帧之间移动，运动差可以通过赝像检测模块112计算以测量在帧之间的移动量的估计。如果在帧之间的运动差比较小，那么赝像检测模块112省略执行运动补偿。如果在帧之间的运动差是比较大，那么赝像检测模块112利用仿射变换(affine transformation)来对准所述帧。如果帧之间的运动差在仿射变换之后比较大，那么赝像检测模块112应用多区配准(multi-zone registration)方案来对准所述帧。在其它实施例中，框404所述的功能可以被一起省略。
现在将描述确定在帧502A中的当前像素值是否与在先前帧502B和下一帧502C中的相应像素值显著不同的三个实施例。在这些实施例中，在帧t的位置x，y处的色像素由Pt＝(r，g，b)(x，y，t)代表，其中位置x，y在下列的描述中被省略。项(vt0，vt1，vt2)代表在帧t的位置x，y处的所述像素的三种颜色(rt，gt，bt)。变量DSx，y是二进制变量，其中一个的值表示可能的赝像像素，也就是一个的值表明在帧502A中的当前像素值与在先前帧502B和下一帧502C中的相应像素值显著不同。
在第一实施例中，针对帧502A中的每一像素，通过为色面c计算距离值|vt+1c-vt-1c|和确定是否|vt+1c-vt-1c|<tL]]>(其中tL为域值)，由处理系统100确定在先前帧502B和下一帧502C中的相应像素值是否大致是相同的值，如在框406中所示。如果该条件被满足，那么通过检查条件|vtc-vt-1c|>tH]]>与|vtc-vt+1c|>tH]]>(其中tH是另一域)，由处理系统100确定在帧502A中的当前像素值是否与在先前帧502B和下一帧502C中的相应像素值显著不同。如果上述条件仅仅在一种颜色中被满足，则所述像素被标记为候选赝像像素。
在第二实施例中，处理系统100执行赝像检测模块112以通过计算六个距离值|rt-rt-1|、|gt-gt-1|、|bt-bt-1|、|rt-rt+1|、|gt-gt+1|和|bt-bt+1|来确定在帧502A中的当前像素值是否与在先前帧502B和下一帧502C中的相应像素值显著不同。如果满足下列条件，则所述像素被标记为候选赝像像素 其中tH和tL分别是高和低域。
对于tL＜tH，通过至多一种颜色与DS的色面相对应可以满足上述的条件。作为证明，如果假设对于具有指数i1和i2的两种颜色满足所述条件，那么|vti1-vt-1i1|>tH]]>与|vti1-vt+1i1|>tH]]>和|vti2-vt-1i2|>tH]]>与|vti2-vt+1i2|>tH.]]>这同其它条件相矛盾 与|vti3-vt-1i3|<tL)]]>或(|vti2-vt+1i2|<tL]]>与 在第三实施例中，处理系统100执行赝像检测模块112以通过定义距离测量Dzi1=(vti2-vt+zi2)2+(vti3-vt+zi3)2]]>和计算六个距离D-1b=(rt-rt-1)2+(gt-gt-1)2,]]>D-1g=(rt-rt-1)2+(bt-bt-1)2,]]>D-1r=(gt-gt-1)2+(bt-bt-1)2,]]>D1b=(rt-rt+1)2+(gt-gt+1)2,]]>
D1g=(rt-rt+1)2+(bt-bt+1)2,]]>和D1r=(gt-gt+1)2+(bt-bt+1)2]]>来确定在帧502A中的当前像素值是否与在先前帧502B和下一帧502C中的相应像素值显著不同。在找到六个距离中的最小距离Dzi1之后，如果下列条件被满足，则所述像素被标记为候选赝像像素 其中tH是固定的域并且k是在范围(0，1]中的实数。参数tH和k控制检测率和误报(false alarm)、也就是像素不正确地被识别为赝像像素。tH的较低值可以导致高检测率和高误报率。K的较高值可能导致高检测率和高误报率。
所述三个实施例可以处于赝像检测和误报的较高比率的渐增的顺序中。例如刚刚所述的第二实施例可以比上述的第一实施例找到更多赝像像素和更多误报。
如果当前的像素没有被标记为候选，那么当前的像素不被加到如在图6中所示的赝像掩模602，如在框410中所示。另外，由处理系统100进一步确定在帧502A中的当前像素值是否在赝像的颜色范围内，如在框412中所示。像灰尘和划痕之类的赝像典型地引起像素颜色或者反常的亮或者反常的暗。因此，处理系统100执行赝像检测模块112以确定当前像素的颜色是否是在一个或多个已知赝像的范围内。
如果在帧502A中的当前像素值不在赝像的颜色范围内，那么当前像素就不被加到赝像掩模(mask)602，如在框410中所示。如果当前像素值不在赝像的颜色范围内，那么所述像素值很可能不包括赝像。
如果在帧502A中的当前像素值在赝像的颜色范围内，那么处理系统100执行赝像检测模块112以在赝像掩模602中标识像素，如在框414中所示。图6是示出赝像掩模602的框图。赝像掩模602包括一组标识符604，其中每一个标识符604与在帧502A中的包括可能的赝像的像素相关联。在图6所示的实施例中，每一个标识符604在空间上对应于其所标识的像素。在其它实施例中，其它类型的标识符可以被使用。
如果在先前帧502B和下一帧502C中的相应像素值不是大致地相同，如在框406中所确定的那样，那么当前像素被加到非时间(non-temporal)掩模，如在框416中所示。图7是示出非时间掩模702的框图。非时间掩模702包括一组标识符704，其中每一标识符704与在帧502A中的、在时间上与在先前帧502B或下一帧502C中的相应像素无关的像素相关联。在图7所示的实施例中，每一标识符704在空间上对应于其所标识的像素。在其它实施例中，其它类型的标识符可以被使用。
由处理系统100确定在帧502A中的当前像素值是否在赝像的颜色范围内，如框418中所示。如果在帧502A中的当前像素值不在赝像的颜色范围内，那么当前像素不被加到赝像掩模602，如框410中所示。
如果在帧502A中的当前像素值在赝像的颜色范围内，那么由处理系统确定当前像素的颜色是否在帧502A中出现在附近，如框420中所示。处理系统100执行赝像检测模块112以搜索像素的颜色匹配。与在帧502A中的附近像素的颜色匹配表明所述像素很可能是图像所期望的一部分并且不是赝像。在一个实施例中，处理系统100执行赝像检测模块112来按螺旋顺序搜索与帧502A中的当前像素邻近的像素。在其它实施例中，处理系统100执行赝像检测模块112以用其它方式搜索在帧502A中的附近像素。
如果当前像素的颜色在帧502A中出现在附近，那么所述当前像素不被加到赝像掩模602，如在框410中所示。如果当前像素的颜色在帧502A中不出现在附近，那么处理系统100执行赝像检测模块112以在赝像掩模602标识像素，如在框414中所示。
在对帧502A的每个像素执行了上述功能之后，由处理系统100确定赝像区域是否在已知的赝像的尺寸范围之内，如在框422中所示。赝像区域是在赝像掩模602中包围标识符604的区域。在一个实施例中，处理系统100执行赝像检测模块112以执行一系列的形态学膨胀和腐蚀来产生如在图8中所示的第二赝像掩模802。
如果赝像区域不在已知的赝像的尺寸范围之内，那么处理系统100执行赝像检测模块112以从赝像掩模602中消除区域，如在框424中所示。如通过比较赝像掩模802和图6中的赝像掩模602可以看出，在赝像掩模802中太小的区域被排除。因此，赝像掩模802包括剩余的标识符604。在赝像掩模602中的太大的区域(未示出)同样被排除。
如果赝像区域在已知的赝像的尺寸范围之内，那么所述区域保留在赝像掩模802中。
在一个实施例中，如刚刚所描述的那样在一个或多个赝像被检测到之后，处理系统100执行赝像消除模块114来利用或在图9中所示的方法或在图10中所示的方法消除赝像。
图9是说明用于从数字视频120中消除赝像的方法的流程图。可以为在数字视频120的每一帧502中的每一像素利用赝像消除模块114通过处理系统100执行该方法。
对于在帧502A中的每一像素，由处理系统100利用赝像消除模块114确定像素是否与赝像相关，如在框902中所示。赝像消除模块114通过检验在赝像掩模602中的与像素相关的位置进行确定。如果赝像掩模802包括与所述像素相关的标识符604、也就是与所述像素相关的标识符604是赝像区域的一部分，那么所述位置表明所述像素与赝像相关。如果所述像素与赝像不相关，那么赝像消除模块114不替换与所述像素相关的像素值，如在框904中所示。
如果所述像素与赝像相关，那么通过赝像消除模块114确定所述像素是否被非时间掩模702标识，如在框906中所示。如果所述像素不被非时间掩模702标识，那么赝像消除模块114用从先前帧502B和下一帧502C内插的值替换所述像素的像素值，如在框908中所示。在一个实施例中，通过为与所述赝像像素对应的、来自先前帧502B和下一帧502C的像素值解决线性回归(linear regression)和应用来自线性回归的估计来计算内插的值，赝像消除模块114计算所述内插的值。在另一个实施例中，赝像消除模块114通过对与帧502A中的像素相对应的在先前帧502B和下一帧502C中的像素值求平均来计算内插的值。在其它实施例中，赝像消除模块114以其它方式计算内插的值并且可以在计算中使用在先前帧502B之前的帧(未示出)和/或在下一帧502C之后的帧(未示出)的相应像素。
如果所述像素被非时间掩模702标识，那么赝像消除模块114用从在帧502A中的像素值内插的值替换像素的像素值，如在框910中所示。在一个实施例中，通过为与所述赝像像素相对应的来自其它色面的像素值解决线性回归并且应用来自线性回归的估计来计算内插的值，赝像消除模块114计算所述的内插的值。在其它实施例中，赝像消除模块114以其它方式计算内插的值。
图10是描述用于从数字视频120消除赝像区域的方法的流程图。由处理系统100利用赝像减少模块110和赝像消除模块114为具有一个或多个赝像区域的数字视频120的每一帧502执行该方法。
在图10中，处理系统100执行赝像消除模块114以进行与先前帧502B和下一帧502C的块匹配，如在框1002中所示。赝像消除模块114利用赝像掩模802标识赝像区域。赝像消除模块114必要时利用运动补偿技术搜索先前帧502B和下一帧502C以找到在先前帧502B和下一帧502C中分别与不包括任何赝像区域在内的帧(n)502A的最近匹配。
处理系统100执行赝像消除模块114以用来自先前帧502B或下一帧502中的相应区域替换在帧502A中的每一赝像区域，如在框1004中所示。图11是说明用于替换在数字视频120的帧502A中包括赝像304的赝像区域1102的过程的框图。如果先前帧502B是与帧502A的最近匹配，那么赝像消除模块114用来自先前帧502B的区域1104替换帧502A中的赝像区域602。如果下一帧502C是与帧502A的最近匹配，那么赝像消除模块114用来自下一帧502C的区域1106替换帧502A中的赝像区域602。其它赝像区域(未示出)类似地被替换。
利用上述的系统和方法，数字视频中的赝像(例如在数字视频所来自的视频介质中所出现的所述赝像)可以被消除。因此，所述数字视频的显示可以被增强。
尽管特定实施例在这里已经被举例说明和描述，但是本领域普通技术人员应理解的是多个替代的和/或等效的实施方式可以在不偏离本分明的范畴的情况下取代所示的和所述的特定实施例。该申请意欲覆盖这里所讨论的特定实施例的任意修改或变型。因此意图是通过权利要求和其等价物来限制本分明。
权利要求
1.由处理系统(100)执行的方法，所述方法包括利用先前帧(502B)和下一帧(502C)检测与在数字视频(120)的当前帧(502A)中的赝像(304)相关的第一像素值；并且用替换值替换第一帧中的第一像素值。
2.根据权利要求1所述的方法还包括通过比较第一像素值与颜色范围来检测与当前帧中的赝像相关的第一像素值。
3.根据权利要求1所述的方法还包括至少利用在先前帧中的第二像素值和在下一帧中的第三像素值内插所述替换值。
4.根据权利要求1所述的方法还包括通过利用当前帧、先前帧和下一帧计算多个距离来检测与在当前帧中的赝像相关的第一像素值。
5.根据权利要求1所述的方法还包括通过比较在先前帧中的第二像素值与在下一帧中的第三像素值来检测与在当前帧中的赝像相关的第一像素值。
6.根据权利要求5所述的方法还包括响应于在先前帧中的第二像素值与在下一帧中的第三像素值不同，在非时间掩模(702)中标识与所述第一像素值相关的像素。
7.根据权利要求6所述的方法还包括响应于在先前帧中的第二像素值与在下一帧中的第三像素值不同，利用第一帧中的多个值内插所述替换值。
8.根据权利要求5所述的方法还包括通过比较第一像素值的颜色与在当前帧中的多个像素值的颜色来检测与在当前帧中的赝像相关的第一像素值。
9.系统(100)包括处理器(102)；和用于存储数字视频(120)和赝像减少模块(110)的存储器系统(104)；其中所述处理器被配置用于执行所述的赝像减少模块以利用先前帧(502B)和下一帧(502C)检测与在数字视频的当前帧(502A)中的赝像(304)相关的第一像素值；并且用替换值替换在第一帧中的第一像素值。
10.根据权利要求9所述的系统，其中所述处理器被配置用于执行赝像减少模块以利用当前帧、先前帧和下一帧计算多个距离；并且利用多个距离检测与在当前帧中的赝像相关的第一像素值。
全文摘要
提供一种由处理系统(100)执行的方法。所述方法包括利用先前帧(502B)和下一帧(502C)检测与在数字视频(120)的当前帧(502A)中的赝像(304)相关的第一像素值和用替换值替换在第一帧中的第一像素值。
文档编号H04N1/409GK101069416SQ200580041370
公开日2007年11月7日 申请日期2005年11月30日 优先权日2004年12月1日
发明者A·D·西尔弗斯坦, J·范 申请人:惠普开发有限公司