图像去噪声方法及其装置与流程

本发明提供一种图像去噪声方法及其装置，于时间域(timedomain)进行图像去噪声方法及其装置。

背景技术：

在实时数字图像处理中，有一类的图像去噪声(de-noising)是在时间域(timedomain)进行，即同时考虑前一个帧(frame)和目前帧的相似性，来进行一个适当的加权平均以达到去噪声的效果。此种方式最大的优点是几乎不会造成图像的模湖或是细节的损失。

然而，在时间域进行去噪声容易因为场景变化过大(即前一个帧和目前帧的差异过大)而造成残影，或是图像不自然的现象。若要避免上述状况发生，势必要针对光源变化与场景变化来调整去噪声方法。

技术实现要素：

本发明提供了一种图像去噪声方法及其装置，其在时间域根据场景变化来适应性地调整加权平均，以依序去除目前帧中每个像素的噪声，并输出去噪声后的像素，据此达到更好的去噪声效果。

本发明实施例提供一种图像去噪声方法，适用于一图像去噪声装置，用以去除一目前帧中的一像素的噪声以输出一输出像素。图像去噪声方法包括如下步骤：接收目前帧，并将目前帧中的像素分成一第一低频像素与一第一高频像素，第一低频像素具有一第一权重，且第一高频像素具有一第二权重；将一前一帧中对应于像素的位置的一前一像素分成一第二低频像素与一第二高频像素，第二低频像素具有一第三权重，且第二高频像素具有一第四权重；调整第一权重与第三权重，并计算第一低频像素与第二低频像素的加权总和，以产生一低频像素数据，且第一权重与第三权重的 总和为一；调整第二权重与第四权重，并计算第一高频像素与第二高频像素的加权总和，以产生一高频像素数据，且第二权重与第四权重的总和为一；以及计算低频像素数据与高频像素数据的总和，以产生输出像素。

为使能更进一步了解本发明的特征及技术内容，请参阅以下有关本发明的详细说明与附图，但是此等说明与所附附图仅是用来说明本发明，而非对本发明的权利范围作任何的限制。

附图说明

图1是本发明一实施例的图像去噪声装置的示意图。

图2是本发明一实施例的像素与对应于像素之位置的一前一像素进行去噪声运算而产生输出像素的示意图。

图3是本发明一实施例的图像去噪声方法的流程图。

图4是本发明一实施例的调整第一权重与第三权重的流程图。

图5a是本发明一实施例的一低频线性关系的关系图。

图5b是本发明另一实施例的一低频线性关系的关系图。

图6是本发明一实施例的设定差异上限值与差异下限值的流程图。

图7是本发明一实施例的调整第二权重与第四权重的流程图。

图8a是本发明一实施例的一高频线性关系的关系图。

图8b是本发明另一实施例的一高频线性关系的关系图。

附图标记说明：

100：图像去噪声装置

110：图像撷取装置

120：图像处理器

130：去噪声装置

c0：下限参数

c1：上限参数

d0：差异下限值

d1：差异上限值

dif：差异程度

iin：图像

is：图像信号

fr：目前帧

fr-1：前一帧

f(t)：像素

fl(t)：第一低频像素

fh(t)：第一高频像素

favg(t)：输出像素

favg(t-1)：前一像素

flavg(t-1)：第二低频像素

fhavg(t-1)：第二高频像素

flavg(t)：低频像素数据

fhavg(t)：高频像素数据

rl(t)：低频更新率

rlmax(t)：低频上限值

rlmin(t)：低频下限值

rh(t)：高频更新率

rhmax(t)：高频上限值

rhmin(t)：高频下限值

s310、s320、s330、s340、s350：步骤

s410、s420、s430、s440：步骤

s610、s620、s630、s640：步骤

s710、s720、s730、s740：步骤

具体实施方式

在下文中，将通过附图说明本发明的各种例示实施例来详细描述本发明。然而，本发明概念可能以许多不同形式来体现，且不应解释为限于本文中所阐述的示例性实施例。此外，附图中相同参考数字可用以表示类似的元件。

本发明实施例所提供的图像去噪声方法及其装置，其将像素分成低频像素与高频像素，以及将对应于像素的位置的前一像素分成另一低频像素与另一高频像素，并根据场景变化来适应性地调整像素与前一像素中的低频像素的权重，以及调整像素与前一像素中的高频像素的权重。若场景变化不大，则将前一像素的低频像素与高频像素的权重调高；若场景变化较大，则将像素的低频像素与高频像素的权重调高。接着再计算前一像素与像素的低频像素的加权总和(即低频像素数据)以及前一像素与像素的高频像素的加权总和(即高频像素数据)，并加总低频像素数据与高频像素数据以产生去噪声后的输出像素。更进一步来说，场景变化是为受到光影变化、物体移动与像素本身噪声的影响。故本发明的图像去噪声方法及其装置将根据上述影响来计算场景变化，以适应性地调整每个权重，以据此达到更好的去噪声效果。以下将进一步介绍本发明公开的图像去噪声方法及其装置。

首先，请参考图1，其显示本发明一实施例的图像去噪声装置的示意图。如图1所示，图像去噪声装置100为用来依序去除目前帧中每个像素的噪声，并输出去噪声后的像素。在本实施例中，图像去噪声装置100可为智能手机、录影机、平板电脑、笔记本电脑或其他需要去除图像噪声的图像去噪声装置100，本发明对此不作限制。

图像去噪声装置100包括一图像撷取装置110、一图像处理器120与一去噪声装置130。图像撷取装置110用以撷取一图像iin，并将图像iin转换为一特定图像格式的一图像信号is。更进一步来说，图像撷取装置110为撷取连续图像，且图像iin为连续图像中的其中一张。而特定图像格式例如为rgb图像格式、yuv图像格式、或其他图像格式，本发明对此不作限制。

图像处理器120耦接图像撷取装置110，且接收图像信号is并将图像信号is转换为目前帧fr。而所属领域技术人员应知图像撷取装置110将图像iin转换为特定图像格式的图像信号is，以及图像处理器120将图像信号is转换为目前帧fr的实施方式，故在此不再赘述。而为了方便说明，以下例子皆以yuv图像格式作为特定图像格式。

去噪声装置130耦接图像处理器120且执行以下步骤，以依序去除目 前帧fr中每个像素的噪声，并输出去噪声后的像素。为了方便说明，以下以去除目前帧fr中的一像素f(t)的噪声，以输出去噪声后的一输出像素favg(t)来作说明。请同时参考图1-2。值得注意的是，场景变化(即前一个帧和目前帧的差异)会影响去噪声的效果，且场景变化会受到光影变化(像素的低频部分)、物体移动(像素的高频部分)与像素本身噪声(像素的高频部分)的影响。因此，去噪声装置130将对像素f(t)分成低频部分与高频部分，且对前一帧fr-1中对应于像素f(t)的位置的前一像素favg(t-1)分成低频部分与高频部分，以根据场景变化来适应性地调整像素f(t)与前一像素favg(t-1)中的低频部分的权重，以及高频部分的权重，进而去除像素f(t)的噪声。详细说明如下所示。

图3显示本发明一实施例的图像去噪声方法的流程图。首先，去噪声装置130接收由图像处理器120传来的目前帧fr，并将目前帧fr中的像素f(t)分成一第一低频像素fl(t)与一第一高频像素fh(t)。其中第一低频像素fl(t)具有一第一权重，且第一高频像素fh(t)具有一第二权重(步骤s310)。

在本实施例中，第一低频像素fl(t)是在目前帧fr中，平均像素f(t)与位于像素f(t)周围的多个邻近像素而产生。而第一高频像素fh(t)则是将像素f(t)减去第一低频像素fl(t)而产生。举例来说，如图2所示，像素f(t)为155，且像素f(t)周围的邻近像素皆为101。故第一低频像素fl(t)＝(155+8*101)/9＝107，而第一高频像素fh(t)＝155-107＝48。而第一低频像素fl(t)与第一高频像素fh(t)亦可以其他计算方式得到，本发明对此不作限制。

接着，去噪声装置130将前一帧fr-1中对应于像素f(t)的位置的前一像素favg(t-1)分成一第二低频像素flavg(t-1)与一第二高频像素fhavg(t-1)。其中第二低频像素flavg(t-1)具有一第三权重，且第二高频像素fhavg(t-1)具有一第四权重(步骤s320)。

在本实施例中，第二低频像素flavg(t-1)是在前一帧fr-1中，平均前一像素favg(t-1)与位于前一像素favg(t-1)周围的多个邻近像素而产生。而第二高频像素fhavg(t-1)则是将前一像素favg(t-1)减去第二低频像素flavg(t-1)而产生。举例来说，如图2所示，前一像素favg(t-1)为136，且前一像素favg(t-1)周围的邻近像素皆为100。故第二低频像素flavg(t-1)＝(136+8*100)/9＝104，而第二 高频像素fhavg(t-1)＝136-104＝32。同样地，第二低频像素flavg(t-1)与第二高频像素fhavg(t-1)亦可以其他计算方式得到，本发明对此不作限制。

接下来，去噪声装置130将调整第一权重与第三权重，并计算第一低频像素fl(t)与第二低频像素flavg(t-1)的加权总和，以产生低频像素数据flavg(t)，而第一权重与第三权重的总和为一(步骤s330)。根据上述低频像素数据flavg(t)说明可整理为下式(1)，如下所示：

式(1)

其中，wl为第一低频像素fl(t)的第一权重，且(1-wl)为第二低频像素flavg(t-1)的第三权重。

进一步来说，去噪声装置130将根据场景变化(即前一个帧和目前帧的差异)来调整第一权重与第三权重。若场景变化较大，表示此变化受到物体移动的影响较大。去噪声装置130将升高第一低频像素fl(t)的第一权重wl且降低第二低频像素flavg(t-1)的第三权重(1-wl)，以取得较多的第一低频像素fl(t)。反之，若场景变化较小，表示此变化受到其他噪声的影响较大。去噪声装置130将降低第一低频像素fl(t)的第一权重wl且升高第二低频像素flavg(t-1)的第三权重(1-wl)，以取得较多的第二低频像素flavg(t-1)。详细的调整第一权重与第三权重说明如下。

请同时参考图4、5a与5b，图4显示本发明一实施例的调整第一权重与第三权重的流程图。首先，去噪声装置130建立第一低频像素fl(t)与第二低频像素flavg(t-1)的一差异程度dif与一低频更新率(learningrate)rl(t)的一低频线性关系，如图5a所示(步骤s410)。差异程度dif具有一差异上限值d1与一差异下限值d0。差异上限值d1对应到低频更新率rl(t)的一低频上限值rlmax(t)，差异下限值d0对应到低频更新率rl(t)的一低频下限值rlmin(t)。在本实施例中，低频上限值rlmax(t)与低频下限值rlmin(t)是设定为常数，分别为1.0与0.4(如图5b所示)，且亦可根据实际状况作设定，本发明对此不作限制。

而差异上限值d1与差异下限值d0是关联于像素f(t)对应到目前帧fr的一像素亮度以及像素f(t)位于目前帧fr中的一像素位置。更进一步来说，请同时参考图6，其显示本发明一实施例的设定差异上限值与差异下限值的流程图。如图6所示，首先，去噪声装置130根据像素f(t)的像素亮度，计 算像素亮度占一最高亮度的一亮度比例。而基于光源越弱噪声越多的因素，若像素亮度越高，噪声越小。亮度比例将被去噪声装置130设定为较低，以模拟光源与噪声的关系(步骤s610)。

在本实施例中，像素亮度是撷取例如yuv图像格式的像素f(t)中的y值(即亮度值)，且最高亮度为255。故亮度比例可表示为下式(2)，如下所示：

式(2)

举例来说，若像素f(t)的y值为125，亮度比例＝(255-125)/255＝0.51。而像素亮度亦可根据实际图像格式计算而得，以及亮度比例亦可由其他方式计算而得，在此不作限制。

在取得亮度比例(即步骤s610)后，去噪声装置130将根据像素f(t)的像素位置与亮度比例，计算一距离比例。而基于像素位置距离目前帧fr的画面中心越远噪声越多的因素，若像素位置距离目前帧的画面中心越远，距离比例将被去噪声装置130设定为越高，以模拟像素位置与噪声的关系(步骤s620)。

在本实施例中，距离比例可由下式(3)-式(5)计算而得，如下所示：

式(3)

式(4)

式(5)

其中，innerdistrate、innerdist、outerdist与maxrateadjust皆为外部参数，dist为像素位置到画面中心的距离。据此，距离比例将随着dist增加而增加，以达到去除在画面角落因增益量而被放大的噪声。至于outerdistrate与innerdistrate的差异会随着亮度比例变大而递减，以避免在亮度比例较高时，容易在画面角落发生残影。

承接上述例子，像素f(t)的亮度比例为0.51。像素f(t)的座标为(389,209)且画面中心的座标为(639,359)。innerdistrate、innerdist、outerdist与maxrateadjust的外部参数分别设定为1.0、359、639、1.14。因此，outerdistrate＝1.0+0.51*1.14＝1.58；dist＝|389-639|+|209-359|＝400；β＝(400-359)/(639-359)＝0.15；以及距离比例＝(1-0.15)*1.0+0.15*1.58＝1.087。而距离比例亦可由其他方式计算而得，在此不作限制。

在取得距离比例(即步骤s620)后，去噪声装置130将根据亮度比例、 距离比例与噪声参数产生噪声估测值(步骤s630)。在本实施例中，噪声估测值可由下式(6)计算而得，如下所示：

式(6)

承接上述例子，噪声参数为常数且设定为5.0。因此，噪声估测值＝5.0*0.51*1.087＝2.77。而噪声估测值亦可由其他方式计算而得，在此不作限制。

接下来，去噪声装置130将根据噪声估测值与一上限参数计算差异上限值d1，以及根据噪声估测值与一下限参数计算差异下限值d0(步骤s640)。此外，上限参数大于该下限参数，以确保差异下限值d0到差异上限值d1为递增。

在本实施例中，差异上限值d1可由下式(7)计算而得，且差异下限值d0可由下式(8)计算而得，其中c1为上限参数，且c0为下限参数。如下所示：

d1＝c1*噪声估测值式(7)

d0＝c0*噪声估测值式(8)

承接上述例子，上限参数c1与下限参数c0皆为常数且分别设定为3.04与1.04。因此，差异上限值d1＝3.04*2.77＝8.42。差异下限值d0＝1.04*2.77＝2.88，如图5b所示。而差异上限值d1与差异下限值d0亦可由其他方式计算而得，在此不作限制。

设定完差异上限值d1、差异下限值d0、低频上限值rlmax(t)与低频下限值rlmin(t)之后，去噪声装置130将建立差异程度dif与低频更新率rl(t)的低频线性关系，如图5a与5b所示。而低频线性关系可由下式(9)计算而得，如下所示：

式(9)

其中，a与b为根据差异上限值d1、差异下限值d0、低频上限值rlmax(t)与低频下限值rlmin(t)通过直线方程式所计算出的常数值，故在此不再赘述。

在建立出低频线性关系(即步骤s410)后，去噪声装置130将进一步计 算第一低频像素fl(t)与第二低频像素flavg(t-1)的差异程度dif(步骤s420)。接下来，去噪声装置130根据低频线性关系将差异程度dif对应到某个低频更新率rl(t)，并将对应到的低频更新率rl(t)作为第一权重(步骤s430)。再来，去噪声装置130将一减去第一权重，以产生第三权重(步骤s440)。

在计算出调整后的第一权重与第三权重之后，去噪声装置130将可通过式(1)而计算出低频像素数据flavg(t)。承接上述例子，第一低频像素fl(t)为107，且第二低频像素flavg(t-1)为104。因此，差异程度dif＝∣fl(t)-flavg(t-1)∣＝107-104＝3。如图5b所示，差异程度dif将对应到低频更新率rl(t)为0.41，并作为第一权重。而去噪声装置130计算第三权重为1-0.41。此时，去噪声装置130将根据式(1)而计算出低频像素数据flavg(t)＝0.41*107+(1-0.41)*104＝105.23，即完成步骤s330的计算。

请重新回到图2-3，在完成步骤s330后，去噪声装置130将调整第二权重与第四权重，并计算第一高频像素fh(t)与第二高频像素fhavg(t-1)的加权总和，以产生高频像素数据fhavg(t)，而第二权重与第四权重的总和为一(步骤s340)。根据上述高频像素数据fhavg(t)说明可整理为下式(10)，如下所示：

式(10)

其中，wh为第一高频像素fh(t)的第二权重，且(1-wh)为第二高频像素fhavg(t-1)的第四权重。

更进一步来说去噪声装置130将根据场景变化(即前一个帧和目前帧的差异)来调整第二权重与第四权重。而有关调整第二权重与第四权重的方法相似于调整第一权重与第三权重(即图4的步骤s410-s440)的方法，故大致上可由步骤s410-s440来推得步骤s710-s740，故在此不再详述。因此，如图7、8a与8b所示，首先，去噪声装置130建立第一高频像素fh(t)与第二高频像素fhavg(t-1)的差异程度dif与高频更新率rh(t)的一高频线性关是，如图8a所示(步骤s710)。差异上限值d1对应到高频更新率rh(t)的高频上限值rhmax(t)，差异下限值d0对应到高频更新率rh(t)的高低频下限值rhmin(t)。

在本实施例中，高频上限值rhmax(t)与高频下限值rhmin(t)是为常数且分别设定为1.0与0.2。而设定差异上限值与差异下限值的方法可通过图6的步骤s610-s640而推得，故在此不再赘述。故根据图6中的例子，将可 计算出差异上限值d1为8.42且差异下限值d0为2.88，如图8b所示。

设定完差异上限值d1、差异下限值d0、高频上限值rhmax(t)与高频下限值rhmin(t)之后，去噪声装置130将建立差异程度dif与高频更新率rh(t)之高频线性关系，如图8a与8b所示。而高频线性关系可由下式(11)计算而得，如下所示：

式(11)

其中，a与b为根据差异上限值d1、差异下限值d0、高频上限值rhmax(t)与高频下限值rhmin(t)通过直线方程式所计算出的常数值，故在此不再赘述。

在建立出高频线性关系(即步骤s710)后，去噪声装置130将进一步计算第一高频像素fh(t)与第二高频像素fhavg(t-1)的差异程度dif(步骤s720)。接下来，去噪声装置130根据高频线性关系将差异程度dif对应到某个高频更新率rh(t)，并将对应到的高频更新率rh(t)作为第二权重(步骤s730)。再来，去噪声装置130将一减去第二权重，以产生第四权重(步骤s740)。

在计算出调整后的第二权重与第四权重之后，去噪声装置130将可通过式(10)而计算出高频像素数据fhavg(t)。承接上述例子，第一高频像素fh(t)为48，且第二高频像素fhavg(t-1)为32。因此，差异程度dif＝∣fh(t)-fhavg(t-1)∣＝48-32＝16。如图8b所示，差异程度dif将对应到高频更新率rh(t)为1，并作为第二权重。而去噪声装置130计算第四权重为1-1。此时，去噪声装置130将根据式(1)而计算出高频像素数据fhavg(t)＝1*48+(1-1)*32＝48，即完成步骤s730的计算。

在取得低频像素数据flavg(t)与高频像素数据fhavg(t)后，去噪声装置130将计算低频像素数据flavg(t)与高频像素数据fhavg(t)的总和，以产生输出像素favg(t)。输出像素favg(t)可由下式(12)计算而得，如下所示：

式(12)

承接上述例子，低频像素数据flavg(t)计算出105.23，高频像素数据fhavg(t)计算出48。因此，输出像素favg(t)＝105.23+48＝153.23。据此，去噪声装置130将可根据场景变化而调整低频像素数据flavg(t)与高频像素数据fhavg(t)， 以去除目前帧fr中的像素f(t)的噪声，进而输出去噪声后的输出像素favg(t)。

综上所述，本发明实施例所提供的图像去噪声方法及其装置，其将像素分成低频像素与高频像素，以及将对应于像素的位置的前一像素分成另一低频像素与另一高频像素，并根据场景变化来适应性地调整像素与对应于像素的位置的前一像素中的低频像素的权重与高频像素的权重，并依序去除目前帧中每个像素的噪声，而输出去噪声后的像素，据此达到更好的去噪声效果。

以上所述仅为本发明的实施例，其并非用以局限本发明的专利范围。