用于图像帧的降噪方法和单元的制作方法

专利名称：用于图像帧的降噪方法和单元的制作方法
技术领域：
本发明涉及用于当前图像帧中的降噪方法以及用于降低当前图像帧中的噪声的降噪单元。本发明还涉及图像捕获装置。本发明还涉及图像显示装置以及计算机程序产品。
背景技术：
现今，在许多电子装置和消费者装置中，使用成像技术以便提供信息或多媒体娱乐。为了确保所传送的图像信息的高质量再现，通常使用降噪方法。常规技术会遇到运动伪影的问题，尤其是在低对比度的图像区域中更是如此。在那些区域中，这些算法不能区别期望的图像内容和
噪声干扰。结果，由时间(temporal)降噪滤波器造成运动伪影。噪声水平越高，常规技术所遇到的问题越严重。
除了运动伪影之外，还可能面临如何保持所讨论图像的自然印象(impression)的才兆战。

发明内容
本发明的目标是避免这样的问题。
该目标是通过分别根据权利要求1、 27、 37、 38和39的方法、降噪单元、图像捕获装置、图像显示装置和计算机程序产品而实现的。进一步的实施例被限定在从属权利要求中。
本发明的进一步细节将通过考虑附图和随后描述而变得显而易见。


图1示出了本发明的一个实施例的主要步骤，图2示出了本发明的进一步实施例的框图，图3示出了本发明的进一步实施例的框图，图4示出了本发明的进一步实施例的框图，
图5示出了用于确定像素的像素权重因子(weight factor)的实施
例，图6示出了用于确定像素的像素权重因子的进一步实施例，
图7到ll是用于说明根据本发明实施例的堆积(piling)过程的图
示，
图12A、 12B示例性地示出了用于根据像素值确定像素阈值的曲线
图，
图13A-C关于不同取心(coring)结构说明了本发明的实施例。
图14A、 B是用于关于块权重因子说明本发明实施例的示意框图。
图15是用于关于颜色权重因子说明本发明实施例的示意框图。
图16是用于关于累积权重因子说明本发明实施例的示意图。
图17A、 17B示出了用于确定堆积值的实施例的框图。
图18示出了根据本发明实施例的降噪单元的框图。
图19A-19D是用于关于所谓的噪声掩盖(noise concealment )的子
过程说明本发明实施例的示意框图，
图20是用于关于其整体结构进一步说明本发明实施例的示意框图。图21是用于在图像处理方法和系统的意义上说明本发明实施例的
更详细示意框图。
图22A、B是用于关于预处理方面说明本发明实施例的进一步细节的示意框图。
具体实施例方式
下面描述本发明的实施例。重要的是注意，下面所有描述的实施例以及其性质和技术特征可以任何方式进行组合，即不存在某些描述的实施例、性质和技术特征不能与其他实施例、性质和技术特征进行组合的限制。
在图1中，在步骤SIOO,将当前图像帧内的像素的当前像素值与至少一个相邻图像帧中的像素的对应像素值进行比较，所述至少一个相邻图像帧在图像帧的序列或集合中在时域上与当前图像帧相邻。所述图像帧被布置成序列或集合并且可能被作为图像捕获装置的用于静止图像的数字照相机或摄像机获取。图像帧还可能被称为"图像"或"帧"。相邻图像帧是在该序列中相对于当前图像帧的先前图像帧或接下来(nex t )的图像帧。在该序列中在当前图像帧之前或当前图像帧之后的、但不必是该图像帧序列或集合中的直接邻居的图像帧也可能被称为"相
8邻"图像帧。
像素的对应像素值被视为是具有与该像素的当前像素值相同类型信息的像素值，例如对应像素值以及当前像素值都可能表示亮度或色度或者另一用于描述相同测量类别的值。
在步骤S102,确定当前像素值和对应像素值之间的像素差。更进一步，检查该像素差是否低于像素阈值。所述像素阈值取决于对应像素值和/或当前像素值。
在步骤S104,根据当前像素值和对应像素值确定堆积值。
措辞"堆积值(piled-up value)"指的是根据当前像素值和对应像素值计算的值，该值可能是例如当前像素值和对应像素值的平均值或加权平均值或加权中值。还可能使用其他统计算符，其中当前像素值和对应像素值两者的影响都存在。
换言之，当来自不同图像帧的像素值差异不太大时，对像素值进行平均。利用这种方法，能够避免因连续图像帧之间的运动所致的伪影。如果对象在图像帧的区域内移动，则对象区中的连续图像帧的像素值会显著不同。在这种情况下，如果应用堆积值操作或平均值操作，则该运动会极大地影响堆积值操作。这还可能导致移动对象在最终图像中不再可见的后果，原因在于不移动的背景会对堆积值具有强得多的影响。如果在用于堆积值操作的某个时间间隔期间，例如移动对象在该像素处仅存在该时间间隔的十分之 一 ，则背景的像素值可能用于最终堆积值的9/10而移动对象的像素值仅用于最终平均像素值的1/10。在这个实施例中，在这种情况下将不存在堆积值计算，使得具有移动对象的当前图像将保持与其最初被拍摄的一样。所述阔值可以被存储在查找表(LUT)中。堆积值的确定在本说明书中也被称为"堆积(piling)"。
用于区分图像内容与噪声的阈值可以对应于图像噪声水平(noiselevel)。因而，当选择阈值时可以把噪声统计量考虑在内。例如，图像噪声可能不是高斯分布的，即噪声方差或其他类似统计量不是恒定的而是泊松分布的，即其方差与图像像素值成比例。因而，可能自适应地选择阈值。然而，阈值还可能被选择为对于所有像素值是恒定的，在TV传输中所出现的才莫拟高斯白噪声(Analog WhiteGaussian Noise, AWGN)的情况下尤其如此。
在进一步的实施例中，确定像素权重因子，其取决于像素差；其中在确定堆积值的步骤中，像素权重因子被用来减小对应像素值对堆积值的影响。在本说明书内，"像素权重因子"还被称为"来自像素的堆积因子"。
所谓的取心技术有时候被用来分离噪声与图像内容。输入通常是差信号，将该输入与阈值进行比较。根据比较结果，取心过程的输出将支
持(in favour of)噪声或者图像内容。逻辑或硬取心是取心技术的其中一种变型。其实施简单。其输出具有两种状态真(l)或假(O)。软取心或模糊取心是取心技术的另一种变型。其输出具有在真(1)和假(G)之间的过渡状态以致通常能够很好地避免脉冲噪声。此外，由于过渡状态，对阈值的要求通常不像硬取心技术那样苛刻。存在其他种类的也能够应用于相同目的的取心技术。
取心技术可能还被用来识别失效的运动补偿。
在进一步的实施例中，把当前图像帧和该至少一个相邻图像帧划分成多个块；基于包括该像素的相应块的当前像素值确定当前块堆积值；基于所述相应块的对应像素值确定对应块堆积值；将当前块堆积值与对应块堆积值进行比较；并且如果当前块堆积值和对应块堆积值之间的块
差低于预定块阈值，则确定该堆积值。通过这个实施例，可以有效地降低图像帧内的脉沖噪声，原因在于脉沖噪声不会导致大的块差。
对应块堆积值被视为是具有与当前块堆积值相同类型信息的块堆积值，例如对应块堆积值以及当前块堆积值都可能表示亮度或色度或者另一用于描述相同测量类别的值。块堆积值可能是块平均值或块中值或者另 一描述块中像素值的平均的统计值。
逐块处理与逐像素处理相比通常对噪声不那么敏感，因为它倾向于评估所讨论的两个块的所有像素，例如对两个块的所有像素的绝对差一起进行相加。同时，降低了单个像素的影响。
该块可以从图像的左上部移到右下部。为了避免块伪影(blockingartefact),可以叠加这些块。为了节省计算负荷，可以^吏用中间运动估计结果，例如匹配准则的SAD (SAD-绝对差之和)(若适用的话)。优选的是根据通过空间降噪滤波器所预先滤波的图像来计算SAD。代替SAD，还能够应用其他中间运动估计结果，例如MSE (均方误差)或互相关系数。
如果运动估计没有被应用于帧堆积系统，或者中间运动估计结果由于与数据传输有关的ASIC设计问题而不便于从前端传输到后端，则能够在单独的步骤中计算SAD值。即，根据输入数据或其他类似度量来直接计算SAD。
在进一步的实施例中，根据块差来确定块权重因子；其中在确定堆积值的步骤中，块权重因子被用来减小对应像素值对堆积值的影响。该块权重因子在本说明书内也被称为来自块的堆积因子。块堆积值可能是该块的像素的像素值的绝对差之和。如同逐像素处理，逐块处理结果还经过取心技术。
在进一步的实施例中，当前像素值和对应像素值描述像素的亮度。在进一步的实施例中，当前像素值和对应像素值描述像素的色度。在进一步的实施例中，为每个像素提供多个像素值，所述多个像素值描述像素在色空间模型中的色值，其中如果像素的该多个像素值的每个像素值之间的色差低于相应阈值，则确定该多个像素值的每个像素值的堆积值。
像素的对应色值被视为是具有与该像素的当前色值相同类型信息的色值，例如对应色值以及当前色值都可能表示特殊的测量类别，例如HSV(色调、饱和度、值)的色调值或饱和度值或者YUV色空间的Cb-或Cr-色度值或者另 一用于描述相同测量类别的值。
在进一步的实施例中，根据色差来确定颜色权重因子；其中在确定堆积值的步骤中，颜色权重因子被用来减小对应像素值对堆积值的影响。该颜色权重因子在本说明书内也^R称为来自颜色的堆积因子。
可以利用颜色信息来帮助区别期望的图像内容和噪声干扰。为了这个目的，能够利用颜色恒常性原理或色差度量，例如CIEAE'简写为dE',即在由CIE Lab/Luv坐标表示的两个颜色之间的欧几里德距离或直线距离[注意CIE-国际照明委员会]。可以对颜色分量进行强的滤波以降低颜色噪声的影响，其中利用对人类视觉系统的知识。区别决策是借助于对人类视觉系统的知识而做出的，并且与图像素材无关。根据所讨论的两个颜色像素(color pixel)计算的"色差，，与"阈值"之间的比较结果被应用来区别期望的图像内容和噪声干扰。
在进一步的实施例中，色空间(例如YUV色空间)的亮度值、第一色度值和笫二色度值被用作所述多个像素值的相应像素值。通过使用YCba色空间，与在RGB和HSV空间中相比能够更有效地降低噪声。因而，"色差"是从YCbCr色空间计算的。
在进一步的实施例中，基于像素值之差、基于块堆积值之差以及基 于色值之差确定累积权重因子，其中在确定堆积值的步骤中，累积权重 因子被用来减小对应像素值对堆积值的影响。累积权重因子在本说明书 内也被称为"总堆积因子"。
在进一步的实施例中，如果颜色权重值的分辨率低于像素权重值的 分辨率，则颜色权重因子被上采样至像素权重因子的分辨率。"上采样"
必须处理不同的输入图像格式，例如4:2:2。根据输入图像格式，累积 权重因子例如就U分量和V分量进行下采样，例如在4: 2: 2格式的情况 下按2进行下采样(dow雄mple by 2 )。
在进 一 步的实施例中，不移动对象的图像帧的前序列 (pre-sequence)被存储，通过对图像帧的前序列的一个像素的像素值 进行平均而生成降噪图像，通过比较图像帧的前序列的像素的像素值来 确定像素值的方差，并且根据该方差确定像素阈值。利用这个实施例， 确定简单可靠的像素阈值，该阈值取决于像素值。
在进一步的实施例中，估计该序列的图像帧之间的运动并且补偿该 运动以便空间对准该序列中的连续图像，由于像素调整到图像中的对 象，这导致更好的降噪。这可能通过利用关于当前帧的运动内插/传播 来执行。在另一种情形下，可能关于当前帧在该序列中的每个帧之间估 计该运动。通过使用这个直接估计，运动补偿的质量可能得以提高，并 且因此降噪图像的整体质量也可能得以提高。这种情形例如可以应用于 软件实施例中，其中用户可以选择该序列中的任何帧进行降噪并且一旦 完成了此就能够应用空间对准。对于硬件实施方式而言，由于诸如帧存 储器等之类的硬件限制，第一情形(即空间对准连续图像)可能是可应 用的。
在进一步的实施例中，在比较当前像素值和对应像素值的步骤之前， 对像素值进行空间滤波。
在进一步的实施例中，确定图像帧的像素的堆积值的差值，并且如 果该差值低于差异阈值，则在图像帧的相邻像素的堆积值之间执行空间 降噪。该差值可能是方差值。空间降噪在本说明书中也被称为"噪声掩 盖(noise concealment)"。噪声掩盖意指对非堆积或4支少堆积区域 的空间降噪。空间降噪能够由任何边缘保持滤波器来实现。然而，已知
12的空间降噪方法会造成图像锐度损失。期望的是掩盖噪声并且使图像锐 度损失保持尽可能小。
通常，仅在高频区域中遇到图像锐度损失问题。因此，可能检测高 频信号区域。
一种方法是检查方差值或本领域技术人员已知的类似度 量。如果方差值很大，则断定所讨论的图像区域含有高频信号。否则， 所讨论的图像区域仅含有低频信号。
能够在重叠或非重叠窗口中计算该方差或类似度量。为了提高高频
信号区域检测的可靠性，能够根据按比例缩小(down-scaled)的图像 计算方差或类似度量。
空间降噪可以仅;故应用于低频区域。在高频信号的区域中，不应用 或应用较少的空间降噪，这起到锐度保持乃至增强的作用。
在进一步的实施例中，空间降噪量是基于差值的。
在进一步的实施例中，确定当前图像帧中的紋理区域和均匀区域； 并且紋理区域的累积权重因子是基于两个差(即像素差和块差)的。
在进一步的实施例中，确定当前图像帧中的紋理区域和均匀区域并 且均匀区域的累积权重因子是基于像素差、块差和色差的。
可能造成颜色才莫式干4尤(color pattern disturbance )。这才羊的l贞
色模式干扰通常仅在平坦图像区域中才明显。为了纠正这个问题，可以 识别均匀区域或紋理区域。从像素差和块差导出均匀区域的堆积因子， 而从像素差、SAD和色度差导出紋理区域的堆积因子。
在进一步的实施例中，存储该序列的多个图像帧的权重因子并且确 定堆积值的步骤Sl04是基于该多个图像帧的像素值和权重因子。
在进一步的实施例中，存储在前图像帧的堆积值，并且确定当前图 像帧的堆积值的步骤S104是基于在前图像帧的堆积值。因此不必存储 整个参考帧使得能够降低存储器要求。
在进一步的实施例中，在比较当前像素值和对应像素值的步骤之前，
生成具有参照像素值的参考帧，该参考帧被视为该序列的第 一图像帧。 在进 一 步的实施例中，确定堆积值的步骤S1 0 4是基于参考帧的参考
像素值。所谓的"递归方法"不要求保存所有帧，这就导致低存储器要 求。对于递归方法，先前堆积结果净皮保存并且将^皮应用于与当前帧的帧 堆积。递归帧堆积方法具有两种变型。开始时，参考帧被用来初始化先 前堆积结果。在进一 步的实施例中，像素阈值基于参考帧的参考像素值。 在进 一 步的实施例中，像素阈值基于在前图像帧的堆积值。
在图2中，描绘了用于降低当前图像帧中的噪声的降噪单元200。 该降噪单元包括像素比较器202,被配置成比较当前图像帧内的像素 的当前像素值与至少 一 个相邻图像帧中的该像素的对应像素值；以及处 理器204,被配置成如果当前像素值和对应像素值之间的像素差低于像 素阈值则确定当前像素值和对应像素值的堆积值，其中像素阈值取决于 对应像素值和/或当前像素值。
降噪单元200可能被实现为数字或模拟电路。换言之，当来自不同 图像帧的像素值相差不太大时，如关于图1已经讨论的，对像素值进行 平均。能够避免因连续图像帧之间的运动引起的伪影。
根据进一步的实施例，像素比较器202被进一步配置成根据像素差 来确定像素权重因子；并且处理器204被进一步配置成基于像素权重因 子来确定堆积值以便减小对应像素值对堆积值的影响。
根据进一步的实施例，降噪单元200包括块比较器，该块比较器被 配置成将当前图像帧和该至少一个相邻图像帧划分成多个块、并且根据 包括该像素的当前图像帧的相应块的当前像素值确定当前块堆积值以 及根据包括该像素的相邻图像帧的该相应块的对应像素值确定对应块 堆积值、并且比较当前块堆积值和对应块堆积值。
根据进一步的实施例，降噪单元200可以包括块比较器，该块比较 器被配置成接收当前图像帧的当前块堆积值、接收相邻图像帧的对应块 堆积值并且被进一步配置成比较当前块堆积值和对应块堆积值。
根据进一步的实施例，块比较器被进一步配置成根据当前块堆积值 和对应块堆积值之间的块差来确定块权重因子；并且处理器被进一步配 置成基于块权重因子来确定堆积值以便减小对应像素值对堆积值的影 响。
根据进一步的实施例，降噪单元200包括颜色比较器，该颜色比较 器被配置成将当前图像帧内的像素的当前色值和至少一个相邻图像帧 中的该像素的对应色值进行比较；其中该处理器被进一步配置成如果当 前色值和对应色值之间的色差低于颜色阈值则确定堆积值。
根据进一步的实施例，颜色比较器被进一步配置成根据当前色值和 对应色值之间的色差来确定颜色权重因子；并且该处理器被进一步配置成基于颜色权重因子来确定堆积值以便减小对应像素值对堆积值的影 响。
根据进一步的实施例，降噪单元200包括查找表，该查找表被配置 成存储与像素值相关的阈值。
根据进一步的实施例，降噪单元20G包括运动估计及运动补偿机构。
根据进一步的实施例，降噪单元200包括噪声掩盖机构，该噪声掩 盖机构被配置成确定图像帧的像素的堆积值的差值并且如果该差值低 于差异阈值则执行图像帧的相邻像素的堆积值之间的空间降噪。
在图3中，描绘了图像显示装置300，例如电视机或监视器，其包 括显示器302和如上所描述的降噪单元200。例如在视频游戏应用中或 在显示影片中，图像显示装置300能够使用降噪单元的降噪来显示具有 较少噪声的图像。
在图4中，描绘了图像捕获装置400,例如视频图像捕获装置，其 包括被配置成生成图像帧序列的光学设备402以及如上所描述的降噪单 元200。图像捕获装置400可以使用降噪单元200的降噪来在存储芯片 404上存储降噪图像。
根据进一步的实施例，提供包括程序代码的计算机程序产品，所述 程序代码当被加载到处理器内时被配置成执行上面描述的方法。
图5和6示出了逐像素处理。"像素1"和"像素2"是来自待堆积 的两个帧的两个像素。将它们差的绝对值与阈值/LUT值进行比较。然后， 使比较结果经受取心处理500。这意味着对参考帧的每个像素做出模糊 决策。使用选定的色空间YUV (可选地可以使用HSV色空间[色调、饱和 度、值]的V分量)，基于像素的决策是基于YUV色空间的亮度通道的。 亮度通道代表图像集合中所描绘的场景的黑到白(black-to-white)表 示(典型地为8位；覆盖从0到255的值范围)。由于大多数信号信息 被存储在Y通道中(色度通道含有低范围的值)的事实；将使用这个数 据来解释实际的处理。
图6示出了两个图像(两者均来自图像集合 一个是参考图像(例 如图像Yn被视为参考图像))的基于像素的处理。
假设运动补偿获得了 "完美结果"(整体和局部运动都被完美补偿)， 则在这种情况下两个信号被完全对准。图7描绘了在'通过运动估计和 补偿而完全对准，的假设下的这种情况。
15两者的差
分信号的绝对值(参见图6;信号III),能够假设留在信号III中的 仅有信号分量代表噪声。差分信号示于图8中。
使用基于对应信号处的亮度值的自适应阈值(查找表；LUT)。降噪 能力的总性能很大程度取决于这个LUT的精确设计。如图6中可见，将 被用来选择与亮度相关的阈值的亮度值是参考帧的空间滤波(降噪)版 本。这样做的目的是为了对LUT被应用在其上的亮度值进行空间平滑。 通过应用这个滤波器，能够避免LUT阈值的局部不连续性。
如果在图9中取决于亮度值的阈值被应用于剩余噪声分量，则所有 这些值应当小于自适应阈值。(根据亮度值的)自适应阈值也示于图9 中。
可以看到，与亮度值无关，剩余噪声分量小于这些阈值。这意味着 所有那些像素可以被完全'堆积，。在这种情况下，所有那些像素的基 于像素的决策准则为1 (权重=1 )。在根据图6所描绘的信号路径的正 确处理之后，将从噪声分量中减去与亮度相关的阈值。由于所有值都低 于自适应阈值，所以这个减去的结果是负的。即使它未示于图9中，但 是低于零的那些逐像素结果(减去之后为负值)将被截取(clip)到零 (并且因此在应用'软取心，块之后这个基于像素的决策的最终决策值仍 将为1，即"全堆积，，那些像素)。
在基于像素的准则的第 一示例中已经假设待堆积的这两个图像是完 全对准的(任何整体和/或局部的运动都已被补偿)。第二示例示例性 示出了如果这两个图像是'未完全对准的，(例如由于上面提及的原因； 例如不正确的运动估计和补偿或者根本没有补偿)时基于像素的准则的 性能。
对于第二示例，图10B示出'未对准图像，。由于阈值取决于经过 空间滤波的参考帧的亮度值的事实，它们具有已经用于图IOA所示的第 一示例的相同值。
通过应用图6所描绘的信号路径，图11中能够看到差分信号的绝对值。
示出了由于非对准信号(在一些像素位置上的一些非对准信号)， 差分值高于LUT阈值(由偏移e表示；还参见图6,信号IV)。这进而 指示空间对准不足并且这些位置和像素值应小心处理。如果'全堆积，那些像素(两个亮度值的加权平均)，则效果是边缘变得模糊和/或运 动伪影可能出现在结果中。
使用硬取心技术，逐像素的决策将不堆积那些像素(这将由权重=0
表示)。但如图6中可见，存在软取心块600。软取心负责将剩余差分 信号s (还参见图6,信号IV)映射到例如从O到1的整个范围。
为了合并已经用来获得( 一个或多个)图像的传感器和/或人类视觉 系统(HVS)的噪声敏感度的一些先验知识，与值相关的阈值可以被建 模/设计/指定以便合并这个附加信息，其效果是就可靠区分噪声和期望 的信号而言决策会更加精确、鲁棒得多。
可以应用以下步骤从而获得与强度相关的先验方差。稳定光源被用 于成像。选择成像对象以使得所得到的图像能够代表整个值范围，例如 对于8位数据范围而言该值从0到255。数字图像捕获装置可以被安装 到三脚架上并且拍摄大量的无运动图像，例如20幅以上图像。每个单 独图像可能表现出某种严重噪声。这些单独图像被平均以获得其噪声水 平可忽略的参考图像。参考图像可以用于两个目的作为用于噪声方差 估计的无噪声图像以及其像素值被用作与值相关的阈值的索引 (index)。利用这种方法，像素值阈值可能关于用于对应系统的实际 图像捕获装置(例如传感器特性)进行适配。
用参考图像和噪声图像估计噪声方差(或其它统计结果，像例如绝 对差的标准偏差)。在大图像尺寸的情况下，存在许多具有相同像素值 的像素。对于每个像素值，计算其噪声水平。对于8位数据范围，总共 生成256个噪声水平(从0到255 )。在图12A中，描绘了对应曲线图。
在下一步骤，与数据值相关的曲线(也称作查找表LUT)通过使用 低通滤波器(优选地为递归滤波器)进行平滑。平滑后的方差曲线示于 图12B中。还可能使用与数据值相关的曲线而无需低通滤波。
由于递归滤波器的性质，在数据范围边界处的方差值缺失了 (数据 范围的上边界)。即使低通滤波器不造成缺失值，在数据范围边界处的 方差值仍可能较小，因为与其它种类的像素相比存在更少的极暗或极亮 像素。例如，标准电视信号的像素值从16变化到235。为了在数据范围 的边界区处获得可靠的方差值，能够使用外插技术来生成这些值。
在应用外插技术之后，获得整个数据范围的与数据值相关的阈值。 也能够使用其它噪声水平估计方法和后处理技术。图13A到13C示出了如何可以应用映射的一些示例性特性曲线。通 过在应用自适应阈值后使用软取心，能够避免二元决策'全堆积，和'不 堆积'之间的突变，这尤其就降噪能力而言产生结果的更加平滑的总印象。
在利用以下方程应用软取心之后，能够总结基于像素的处理的最终 决策，而软取心曲线的实际形状由残差s的函数(f (s))根据比率的定 义方程(1 )来建模
"0 :=1
(1)
在图14A和14B中描绘逐块处理的实施例。逐块处理与逐^象素处理 相比通常对噪声不那么敏感，因为它倾向于评估所讨论的两个块的所有 像素，例如对两个块的所有像素的差一起进行相加。同时，降低了单个 像素的影响。
该块通常从图像的左上部移到右下部。为了避免块伪影，应当叠加 这些块(例如滑动窗口)。为了节省计算负荷，可以使用中间运动估计 结果，例如匹配准则的SAD (SAD—色对差之和)(若适用的话)，并且 运动估计已经成为预处理块的一部分。优选的是根据由空间降噪滤波器 所预先滤波的图像来计算SAD,因为SAD对噪声干扰很敏感。代替SAD, 还能够应用其他中间运动估计结果，例如MSE (均方误差)或互相关系 数或者两个块之间的DC偏移。
如果没有运动估计被作为预处理步骤应用于帧堆积系统，或者中间 运动估计结果由于与数据传输有关的ASIC设计问题而不便于从前端传 输到后端，则能够在单独的步骤中计算SAD值。即，根据输入数据或本 领域技术人员已知的其他类似度量来直接计算SAD。
如同逐像素处理，逐块处理结果也经受取心技术，如图14A所描绘 的取心块1400。关于软取心块1410 (图14B)的^f吏用的细节在讨论逐4象 素处理的部分中进行解释。
图15以示意方式说明了用于颜色的特征/堆积因子pc的构成。可以 看出，对于两个不同的图l象或帧，组合两个相应颜色通道(例如b和r )。生用于颜色的特征/堆积因子pc。
可以利用颜色信息来帮助区别期望的图像内容和噪声干扰。为了这
个目的，能够利用颜色恒常性原理或色差度量-CIE AE'简写为dE',即在由CIE Lab/Luv坐标表示的两个颜色之间的欧几里德距离或直线距离[注意CIE=国际照明委员会]。可以对颜色分量进行强的滤波以降低颜色噪声的影响，其中再次利用对人类视觉系统的知识。区别决策是借助于对人类一见觉系统的知识而做出的，并且与图像素材(imagematerial )无关。根据所讨论的两个颜色像素计算的"色差，，与"阈值"之间的比较结果被应用来区别期望的图像内容和噪声干扰。
使用YCb"色空间，与在RGB和HSV空间中相比能够更有效地降低噪多。因而，"色差，，是从YCbCr色空间计算的。
根据本发明的实施例，用于图像处理的方法和系统可以基于堆积因子p的概念，该堆积因子p可以被称为总或整体堆积因子。图16以示意方式说明了堆积因子P或整体或总堆积因子P的构成。如图16所示，总堆积因子p形成为组合，例如形成为一组特征因子或"局部"堆积因子的值的乘积。这些特征因子可以是来自像素的特征/堆积因子pp、来自块的特征/堆积因子pb、以及来自颜色的特征/堆积因子pc。然而，根据本发明的其它实施例，提及的特征/堆积因子PP、 pb、 pc或图16的任何子集都可能足以构成总或整体堆积因子P。然而，根据本发明的其它实施例，可以扩大这组特征/堆积因子。
为了实际确定堆积值或为了堆积帧，不同的结构是可能的。
这样的结构的实施例是堆积图(piling map)方法。这种方法尤其与硬取心技术有关，因为仅需要对1和0进行计数。对于每个像素，对堆积因子进行计数。这种计数从通常在参考帧(帧0)和其直接邻近帧(帧1 )之间的第一个分离结果开始，而止于最后帧。所计数的数量意指能够堆积多少帧而不造成运动伪影。如果该数量等于1,则其意味着没有其它帧能够与参考帧进行堆积。对于这种方法，必须为每个像素存储计数结果，因为计数结果可能随像素而不同。
这样的结构的进一步实施例是堆积图的后处理的方法。它也被称为决策图方法，其类似于上面描述的堆积图方法。代替简单计数，对于每个帧，首先由排序(rank-order)滤波器(优选地是递归中值滤波器)处理为1或0的堆积因子，以使得能够将脉沖噪声保持得尽可能不可见。然后对处理后的堆积决策进行计数。
在借助于堆积图方法或决策图方法进行计数之后，所有帧被加权并且被一起相加。如果所讨论的两个像素不应当被堆积，则加权因子等于
0;相反，加权因子等于l。将相加结果除以计数数量，所述计数数量已经从堆积图或决策图中导出。
这样的结构的另 一个实施例是递归方法。该递归方法不要求所有帧都被保存。因此，与堆积图和决策图方法相比其对存储器的要求更低。对于递归方法，先前堆积结果被保存并且^皮应用于与当前帧的帧堆积。递归帧堆积方法具有两种变型。开始时，参考帧被用来初始化先前的堆
积结果。
在图17A所示的第一变型中，可以^吏用通过加权相加三个输入的递归方法。该第一变型使用参考帧ref (通常为帧0，并且标记为x( 0))、标记为x( t )的实际帧图像或者实际运动补偿的图像、以及标记为y( t-1 )的先前堆积结果。加权因子等于堆积因子。在图17A中，n代表当前帧的号，ref代表参考帧。参考帧被用来初始化y (t)。
在图17B所示的第二变型中，可以使用通过加权相加两个输入的递归方法。它需要两个输入实际图像或者实际运动补偿的图像、以及先前堆积结果。符号具有与图17A中的相同意义。
从第二帧起，第二变型不堆积通常有噪声的参考帧。因而，对于第二变型而言能够预期更有效的降噪。此外，不需要存储参考帧以致与第一变型相比能够降低存储器要求。
图18示出了降噪单元2 00的实施例的简化整体结构。这个框图描绘了单独的三个模块1802、 18(M和1806以及NC (噪声掩盖)系数估计块1810的互连。这些模块群是堆积因子/权重块1802、亮度处理块1804以及颜色处理块1806。
堆积因子/权重块1802确定累积的权重因子或堆积因子。'堆积因子，具有与Y分量(亮度)相同的空间分辨率，即使色度分量已经被空间子采样也是如此。非常普遍的是使用YUV色空间的YUV 4: 2: 2表示，而色度分量按因子二进行空间(水平)子采样。为了提供与Y分量相同的分辨率，必须上采样那些颜色堆积因子。
亮度处理块1804可以包括两个功能模块。第一功能模块是递归滤波1820而第二功能模块是噪声掩盖1822。
20颜色处理块1806中的颜色处理类似于亮度处理。在这个实施例中，'下采样，块1830已经被添加到该信号路径并且噪声掩盖的方式是不同的。下采样块1830可能用于4:2:2或4:2:0格式，但不会用于4:4:4格式。
在噪声掩盖块1810中计算将用于处理亮度和/或色度信号的噪声掩盖量，即噪声掩盖系数(NC系数)。
噪声掩盖意味着对非堆积或堆积较少区域的空间降噪。空间降噪能够通过任何边缘保持滤波器实现。然而，已知的空间降噪方法造成图像锐度损失。期望的是掩盖噪声并且将图像锐度损失保持得尽可能小。
通常，仅在高频区域中遇到图像锐度损失问题。因而，应当检测高频信号区域。 一种方法是检查方差值或本领域技术人员已知的类似度量。如果方差值很大，则断定所讨论的图像区域含有高频信号。否则，所讨论的图像区域仅含有低频信号。
能够在重叠或非重叠窗口中计算该方差或类似度量。为了提高高频信号区域检测的可靠性，能够从按比例缩小的图像中计算方差或类似度量。
空间降噪仅被应用于低频区域。在高频信号的区域中，不应用或应用较少的空间降噪，这起到锐度保持乃至增强的作用。
如果对于在"实施噪声掩盖(1)"或"不实施噪声掩盖(0)，，之间的转换而言没有过渡状态，即采用硬取心块1900,则排序滤波器(优选地为中值滤波器1910)应当被应用以便尽可能地防止造成脉冲噪声。如果平滑曲线被用来决定由高频信号度量(例如方差)所控制的噪声掩盖量(软取心)，则能够省略这样的非线性滤波。
图19A示出了利用硬取心技术的噪声掩盖方法。
虽然图19A描绘了三个输入，但是这三个输入通常并且也优选地为相同的从而使得能够降低图像存储器要求。
利用软取心技术的噪声掩盖方法示于图19B中。它类似于利用硬取心技术的噪声掩盖方法，除了硬取心由软取心替代以及省略了中值滤波器。
图19A所示的方法能够更好地保持图像锐度。然而，它造成脉沖干扰的印象。图19B所示的方法与图19A所示的相比具有较低复杂度，并且能够抑制脉冲干扰。然而，它造成锐度损失的印象。关于如何计算该系数的详细描述可以从图19C中看到。NC系数计算纯粹基于亮度分量Y并且与噪声掩盖阈值thresholdNC进行比较。图19D描绘了噪声掩盖块1822的进一步实施例。与图18的整体功能视图对应的实施例的更详细视图示于图20中。Y(n)和Y(n+l)代表所讨论的两个图像的Y分量，其中n为帧号。类似地，Cr (n)和。(n+l)代表所讨论的两个图像的RMY (V)分量；Cb (n)和Cb (n+l)代表所讨论的两个图像的BMY (U)分量。索引"n，，被用来除以堆积系数，该堆积系数指的是图16的右部分。
开始时，即11=1,还没有中间帧堆积结果。因而，LUT由应当通过空间降噪滤波器预先滤波的参考帧图像寻址。从11 = 2起，LUT由中间帧堆积结果寻址。
nc (n)代表噪声掩盖结果。fp (n)和"堆积系数"来自帧堆积部分。
使用非二元(实际上该决策能够被视为是'模糊的，，覆盖从O...l的范围)权重的原因在于以下事实二元决策/权重可能导致结果中'椒盐，类的噪声。使用最终二元准则可能起因于以下事实对于给定的像素，所有单独准则可能都指示不满足单独的条件(=〉不堆积这个像素)，但唯独因为该准则被应用于其上的值稍微大于准则阈值。在这个帧堆积系统中使用的所有阈值都已经被非常精确地选择。
帧堆积系统的 一个方面是抑制图像噪声并且同时防止造成运动伪影。所公开的帧堆积系统集成了不同技术。它可以由运动估计过程(作为前端部)和帧堆积过程(作为后端部)组成。这例证于图21、 22A、22B中，示出了前端和后端结构。
图21借助于示意框图说明了本发明从方法的角度以及从系统的角度看的进一步实施例，其中分别增加了附加预处理步骤SO和单元0、以及预处理步骤S4和单元4。预处理步骤SO或单元Q接收图像II，或帧的集合、系列或序列S，作为原始数据。在预处理之后，根据步骤SO或单元0，输入图像或帧II的集合、系列或序列S被获得，其被供应到帧堆积步骤S2或单元2，步骤S2或单元2的产物是帧堆积的图像或帧，作为后续步骤S3或单元3中的输出图像或帧01，所述帧堆积的图像或帧然后根据图21的实施例可以被供应到后处理步骤S4或单元4以便生成经过后处理的输出图像或帧or。
22图22A和22B说明了包含运动估计S0-1和运动补偿SO-2的概念的后处理步骤SO和单元0。应当注意，可选地或附加地，可以包含其它预处理步骤或单元。然而，还应当注意，预处理步骤或单元不是必需的，因为本发明的概念在其可以被使用而没有预处理的意义上例如在运动估计/补偿的意义上来说是有利的。
该预处理可以是例如
* 色空间转换，或者
*关于参考帧的运动估计和补偿系统，或者
*所有/单独信号分量的空间滤波(降噪)(参见主题来自颜色的堆积因子)
*根本不处理，或者
*任何其它种类的典型预处理步骤/技术
*和/或上述的任何组合。
权利要求
1、用于当前图像帧中的降噪方法，其中所述当前图像帧是图像帧序列的一部分，该方法包括比较所述当前图像帧内的像素的当前像素值与至少一个相邻图像帧中的该像素的对应像素值；如果所述当前像素值和所述对应像素值之间的像素差低于像素阈值，则确定所述当前像素值和所述对应像素值的堆积值，其中所述像素阈值取决于所述对应像素值和/或所述当前像素值。
2、 根据权利要求l的方法，进一步包括根据像素差确定像素权重因子；其中在确定堆积值的步骤中，所述像素权重因子被用来减小所述对应像素值对所述堆积值的影响。
3、 根据权利要求1或2中任一项的方法，进一步包括将当前图像帧和该至少 一 个相邻图像帧划分成多个块；基于包括该像素的相应块的当前像素值，确定当前块堆积值；基于所述相应块的对应像素值，确定对应块堆积值；比较所述当前块堆积值和所述对应块堆积值；如果所述当前块堆积值和以前的块堆积值之间的块差低于预定块阈<直，则确定该堆积i直。
4、 根据权利要求3的方法，进一步包括根据块差确定块权重因子；其中在确定堆积值的步骤中，所述块权重因子被用来减小所述对应像素值对所述堆积值的影响。
5、 根据权利要求3或4中任一项的方法，其中所述块堆积值是该块的像素的像素值的绝对差之和。
6、 根据权利要求1-5中任一项的方法，其中当前像素值和对应像素值描述该像素的亮度。
7、 根据权利要求1-5中任一项的方法，其中当前像素值和对应像素值描述该像素的色度。
8、 根据权利要求1-7中任一项的方法，其中为每个像素提供多个像素值，所述多个像素值描述该像素在色空间模型中的色值，其中如果像素的所述多个像素值的每个像素值之间的色差低于相应阔值，则确定所述多个像素值的每个像素值的堆积值。
9、 根据权利要求8的方法，进一步包括根据色差确定颜色权重因子；其中在确定堆积值的步骤中，所述颜 色权重因子被用来减小所述对应像素值对所述堆积值的影响。
10、 根据权利要求9的方法，其中色空间的亮度值、第一色度值和第二色度值被用作所述多个像素值的相应像素值。
11、 根据权利要求8-10中任一项的方法，进一步包括 基于像素值之差、基于块堆积值之差以及基于色值之差，确定累积权重因子；其中在确定堆积值的步骤中，所述累积权重因子被用来减小 所述对应像素值对所述堆积值的影响。
12、 根据权利要求9-11中任一项的方法，进一步包括如果颜色权重值的分辨率低于像素权重值的分辨率，则将颜色权重 因子上采样至像素权重因子的分辨率。
13、 根据权利要求1-12中任一项的方法，进一步包括 存储不移动对象的图像帧的前序列；通过对所述图像帧的前序列的 一个像素的像素值进行平均来生成 降噪图像；通过比较所述图像帧的前序列的像素的像素值来确定像素值的方差；并且根据所述方差确定像素阈值。
14、 根据权利要求1-13中任一项的方法，进一步包括 在比较当前像素值和对应像素值的步骤之前，估计和补偿该序列的图像帧之间的运动。
15、 根据权利要求1-14中任一项的方法，进一步包括 在比较当前像素值和对应像素值的步骤之前，对像素值进行空间滤波。
16、 根据权利要求1-15中任一项的方法，进一步包括 确定图像帧的像素的堆积值的差值；如果该差值低于差异阈值，则在图像帧的相邻像素的堆积值之间执 行空间降噪。
17、 根据权利要求16的方法，其中该差值是方差值。
18 、根据权利要求16或17中任一项的方法，其中空间降噪量是基 于该差值的。
19、 根据权利要求1-18中任一项的方法，进一步包括 确定当前图像帧中的紋理区域和均匀区域；基于紋理区域的像素差和块差来确定累积权重因子。
20、 根据权利要求1-19中任一项的方法，进一步包括 确定当前图像帧中的紋理区域和均匀区域；基于像素差、块差以及色差来确定均匀区域的累积权重因子。
21、 根据权利要求1-20中任一项的方法，进一步包括 存储该序列的多个图像帧的权重因子；其中确定堆积值的步骤基于所述多个图像帧的像素值和权重因子。
22、 根据权利要求1-20中任一项的方法，进一步包括存储在前图像帧的堆积值；其中确定当前图像帧的堆积值的步骤是 基于所述在前图像帧的堆积值的。
23、 根据权利要求1-22中任一项的方法，进一步包括 在比较当前像素值和对应像素值的步骤之前，生成具有参照像素值的参考帧，该参考帧被视为该序列的第一图像帧。
24、 根据权利要求2 3的方法，其中确定堆积值的步骤基于参考帧 的参考像素值。
25、 根据权利要求1-24中任一项的方法，其中像素阈值基于参考 帧的参考像素值。
26、 根据权利要求22-25中任一项的方法，其中像素阈值基于在前 图像帧的堆积值。
27、 用于降低当前图像帧中的噪声的降噪单元，包括像素比较器，其被配置成比较所述当前图像帧内的像素的当前像素 值与至少 一 个相邻图像帧中的该像素的对应像素值；处理器，其被配置成如果所述当前像素值和对应像素值之间的像素 差低于像素阔值则确定所述当前像素值和所述对应像素值的堆积值，其 中所述像素阈值取决于所述对应像素值和/或所述当前像素值。
28、 根据权利要求27的降噪单元，其中像素比较器被进一步配置 成根据像素差来确定像素权重因子；并且处理器被进一步配置成基于像 素权重因子来确定所述堆积值以便减小所述对应像素值对所述堆积值 的影响。
29、 根据权利要求27-28中任一项的降噪单元，进一步包括块比较器，其被配置成将所述当前图像帧和所述至少一个相邻图像 帧划分成多个块，并且根据包括该像素的所述当前图像帧的相应块的当 前像素值确定当前块堆积值以及根据包括该像素的相邻图像帧的该相 应块的对应像素值确定对应块堆积值，并且比较所述当前块堆积值和所 述对应块堆积值。
30、 根据权利要求27-28中任一项的降噪单元，进一步包括 块比较器，其被配置成接收当前图像帧的当前块堆积值，接收相邻图像帧的对应块堆积值并且被进一步配置成比较当前块堆积值和对应 块堆积值。
31、 根据权利要求29-30中任一项的降噪单元，其中所述块比较器 被进一步配置成根据当前块堆积值和对应块堆积值之间的块差来确定 块权重因子；并且所述处理器被进一步配置成基于块权重因子来确定堆 积值以便减小所述对应像素值对所述堆积值的影响。
32、 根据权利要求27-31中任一项的降噪单元，进一步包括颜色比较器，其被配置成将当前图像帧内的像素的当前色值和至少 一个相邻图像帧中的该像素的对应色值进行比较；其中该处理器被进一 步配置成如果所述当前色值和所述对应色值之间的色差低于颜色阈值 则确定所述堆积值。
33、 根据权利要求32的降噪单元，其中所述颜色比较器被进一步 配置成根据当前色值和对应色值之间的色差来确定颜色权重因子；并且 该处理器被进一步配置成基于颜色权重因子来确定所述堆积值以便减 小所述对应像素值对所述堆积值的影响。
34、 根据权利要求27-33中任一项的降噪单元，进一步包括 查找表，其被配置成存储与像素值相关的阈值。
35、 根据权利要求27-34中任一项的降噪单元，进一步包括 运动估计及运动补偿一几构。
36、 根据权利要求27-25中任一项的降噪单元，进一步包括 噪声掩盖机构，其被配置成确定该图像帧的像素的堆积值的差值并且如果该差值低于差异阈值则执行该图像帧的相邻像素的堆积值之间 的空间降噪。
37、 图像捕获装置，包括光学设备，其被配置成生成图像帧序列；以及根据权利要求27-36中任一项的降噪单元。
38、 图像显示装置，包括 显示器；以及根据权利要求27-36中任一项的降噪单元。
39、 包括程序代码的计算机程序产品，所述程序代码当被加载到处 理器中时被配置成执行根据权利要求1-26中任一项的方法。
全文摘要
用于当前图像帧中的降噪的方法，其中当前图像帧是图像帧序列的一部分，包括比较当前图像帧内的像素的当前像素值与至少一个相邻图像帧中的该像素的对应像素值；如果当前像素值和对应像素值之间的像素差低于像素阈值，则确定当前像素值和对应像素值的堆积值，其中像素阈值取决于对应像素值和/或当前像素值，还提供了用于块和颜色处理的对应方法以及降噪单元。
文档编号H04N5/21GK101658027SQ200880011153
公开日2010年2月24日 申请日期2008年3月20日 优先权日2007年3月31日
发明者C·昂鲁, M·西迪奎, Z·雷 申请人:索尼德国有限责任公司