专利名称：图像处理装置、图像处理方法以及程序的制作方法
技术领域：
本公开涉及一种图像处理装置、图像处理方法以及程序，并且更具体地涉及一种能够例如精确地从图像中检测出其中显示运动对象的运动区域以及其中显示非运动对象的静止区域中的至少一个的图像处理装置、图像处理方法以及程序。
背景技术：
存在例如用于通过从图像中检测运动区域和静止区域而在运动区域和静止区域之间执行不同的降噪处理的降噪技术(例如参见日本专利申请特许公开No.2001-160909)。根据降噪技术，图像被划分为多个块，并且利用块匹配等来为所述多个块中的每一个检测指示块运动的运动向量。此外，基于为每个块检测的运动向量，检测该块是运动区、域还是静止区域。被检测为运动区域的块经过用于降低在空间方向上的噪声的第一降噪处理，而被检测为静止区域的块经过用于降低在时间方向上的噪声的第二降噪处理。
发明内容
然而，在上述降噪技术中，因为用于指示在图像上产生的噪声量的噪声量增加，因此每个块的运动向量由于噪声而被错误地检测。因此，例如，可能出现以下问题要被检测为静止区域的块被检测为运动区域，并且所检测的块经过第一降噪处理。而且，相反，可能出现以下问题要被检测为运动区域的块被检测为静止区域，并且所检测的块经过第二降噪处理。相应地，为了有效地降低图像上的噪声，可能需要精确地检测图像上的运动区域和静止区域。本公开是考虑到上述环境而构思的，从而精确地检测图像上的运动区域和静止区域中的至少一个。根据本公开的实施例，提供了一种图像处理装置，包括均匀性检测器，被配置为基于构成输入的第一图像的像素的像素值的方差，来检测其中第一图像上的像素的像素值是均匀的均匀区域；差异计算部分，被配置为计算第一图像和在第一图像之前或之后连续的第二图像的对应像素的像素值之间的差异；噪声电平检测器，被配置为基于与构成第一图像上的均匀区域的每个像素对应的差异的方差，检测用于指示构成第一图像的每个像素中产生的噪声的统计噪声量的噪声电平；以及运动检测器，被配置为基于与构成第一图像的每个像素对应的差异的方差与噪声电平之间的比较结果，检测静止区域和运动区域中的至少一个，所述静止区域指示其中第一图像上的对象是静止的区域，所述运动区域指示其中对象是运动的区域。所述图像处理装置还可以包括噪声属性检测器，被配置为基于与构成第一图像上的静止区域的每个像素对应的差异，检测用于指示在静止区域中产生的噪声的属性的噪声属性信息。所述噪声属性检测器可以对通过将与构成静止区域的每个像素对应的差异分离为预定的频率分量而获得的多个功率电平的最大值进行检测，作为所述噪声属性信息，所述最大值是为每个频率分量获得的。所述图像处理装置还可以包括降噪部分，被配置为基于所述噪声属性信息和所述噪声电平中的至少一个，来降低在第一图像中产生的噪声。所述降噪部分可以包括第一校正量计算部分，被配置为基于所述噪声属性信息来计算用于降低在静止区域中产生的噪声的第一校正量；第二校正量计算部分，被配置为基于所述噪声电平来计算用于降低在运动区域中产生的噪声的第二校正量；混合部分，被配置为混合第一校正量和第二校正量；以及校正部分，被配置为基于通过在混合部分中混合而获得的第三校正量来校正第一图像的每个像素的像素值。
所述噪声电平检测器可以将与构成第一图像上的均匀区域的每个像素对应的差异的方差中最频的方差检测作为噪声电平。根据本公开的实施例，提供了一种用于被配置为处理要输入的图像的图像处理装置的图像处理方法，所述方法包括通过所述图像处理装置，基于构成所输入的第一图像的像素的像素值的方差，来检测其中第一图像上的像素的像素值是均匀的均匀区域；计算第一图像和在第一图像之前或之后连续的第二图像的对应像素的像素值之间的差异；基于与构成第一图像上的均匀区域的每个像素对应的差异的方差，检测用于指示在构成第一图像的每个像素中产生的噪声的统计噪声量的噪声电平；以及基于与构成第一图像的每个像素对应的差异的方差与噪声电平之间的比较结果，检测静止区域和运动区域中的至少一个，所述静止区域指示其中第一图像上的对象是静止的区域，所述运动区域指示其中对象是运动的区域。根据本公开的实施例，提供了一种使得计算机起如下作用的程序均匀性检测器，被配置为基于构成所输入的第一图像的像素的像素值的方差，来检测其中第一图像上的像素的像素值是均匀的均匀区域；差异计算部分，被配置为计算第一图像和在第一图像之前或之后连续的第二图像的对应像素的像素值之间的差异；噪声电平检测器，被配置为基于与构成第一图像上的均匀区域的每个像素对应的差异的方差，检测用于指示在构成第一图像的每个像素中产生的噪声的统计噪声量的噪声电平；以及运动检测器，被配置为基于与构成第一图像的每个像素对应的差异的方差与噪声电平之间的比较结果，检测静止区域和运动区域中的至少一个，所述静止区域指示其中第一图像上的对象是静止的区域，所述运动区域指示其中对象是运动的区域。根据本公开的实施例，基于构成所输入的第一图像的像素的像素值的方差，来检测其中第一图像上的像素的像素值是均匀的均匀区域，计算第一图像和在第一图像之前或之后连续的第二图像的对应像素的像素值之间的差异，基于与构成第一图像上的均匀区域的每个像素对应的差异的方差，检测用于指示在构成第一图像的每个像素中产生的噪声的统计噪声量的噪声电平；以及基于与构成第一图像的每个像素对应的差异的方差与噪声电平之间的比较结果，检测静止区域和运动区域中的至少一个，所述静止区域指示其中第一图像上的对象是静止的区域，所述运动区域指示其中对象是运动的区域。根据本公开的实施例，可以精确地检测图像上的运动区域和静止区域中的至少一个。本公开的这些和其它目的、特征和优点将从如在附图中例示的本公开最佳实施例的以下详细描述中变得更为明显。
图I是示出根据第一实施例的图像处理装置的配置示例的框图；图2是示出检测噪声电平的分布图(histogram)的示例的图；图3是示出运动电平的示例的图；图4是具体示出噪声属性检测器的配置示例的框图；图5是示出功率电平的分布图的示例的图；图6A到6D是示出噪声属性信息的示例的图；图7A到7D是示出噪声属性信息的另一示例的图；图8是具体示出时间方向NR部分的配置示例的框图；图9示出了其中基于沿时间方向的降噪而降低噪声的状态的示例；图10是具体示出空间方向NR部分的配置示例的框图；图11是示出其中根据噪声电平确定epsilon的状态的示例的图；图12是具体示出混合部分的配置示例的框图；图13是示出其中确定表示混合部分所进行的混合的程度的状态的示例的图；图14是用于解释由图I所示的图像处理装置执行的图像处理的流程图；图15是示出根据第二实施例的图像处理装置的配置示例的框图；以及图16是示出计算机的配置示例的框图。具体实现方式下文中，将描述本公开的实施例(下文中称为实施例)。将按照以下顺序给出说明。I.第一实施例(通过根据噪声电平在静止区域和运动区域之间进行区分而执行运动自适应降噪的示例)2.第二实施例(通过根据噪声电平在静止区域和运动区域之间进行区分而执行运动补偿降噪的示例)3.修改I.第一实施例[图像处理装置21的配置示例]图I图示了根据第一实施例的图像处理装置21的配置示例。此外，图像处理装置21例如布置在执行成像的成像部分(未示出)和存储运动图像的硬盘(未示出)之间，所述运动图像包括多个帧，每个帧是通过成像而获取的。然后，图像处理装置21执行噪声去除处理，以便去除(降低)在通过成像部分成像而获取的第n帧n中产生的噪声，并且将去除了噪声的帧n提供至硬盘以存储。在该实施例中，尽管将描述在帧(的图像)中产生的噪声去除，但仍可以例如去除一场(的图像)中的噪声。、图像处理装置21包括差异计算部分41、均匀性检测器42、噪声电平检测器43、运动电平检测器44、噪声属性检测器45、时间方向NR(降噪)部分46、空间方向NR部分47、混合部分48、以及校正部分49。差异计算部分41例如接收通过未示出的成像部分成像而获取的帧n-1和帧n。差异计算部分41从巾贞n上的亮度(luminance)值Y (x, y)中减去巾贞n-1上的亮度值Y(x，y)'，并将通过该减法获得的差异值diffy(x，y)通过时间方向NR部分46提供给噪声电平检测器43作为帧差异信号。在此情况下，在帧n的左上角被设置为原点(0，0)、水平方向的坐标被设置为X以及垂直方向的坐标被设置为y的情况下，例如，亮度值Y(x，y)表示位置(x，y)中的像素p(x,y)的亮度值。这也类似地应用于亮度值Y (x，yV。尽管在第一实施例中，作为帧n上的像素的像素值，将描述其中校正亮度值Y(x，
y)以去除噪声的情况，成为校正目标的像素值不限于亮度值Y(x，y)。也就是说，例如，与亮度值Y (x，y) 一起或者取代亮度值Y (x，y)，色彩差异等可以是校正目标。均匀性检测器42从未示出的成像部分接收帧n。均匀性检测器42连续地关注要提供的帧n上的每个像素p (x，y)，并且检测所关注的目标像素p (x，y)的均匀性f (x，y)。也就是说，例如，均匀性检测器42使用以下表达式⑴来计算以目标像素p (x，y)为中心的块(下文中也称为目标像素P (x，y)的块)的亮度平均AveO。AV60 = . IlY K f)■ ( I)这里，目标像素p(x，y)的块包括以目标像素p(x，y)为中心的MXN(宽度X长度)像素，并且亮度平均AveO表示在目标像素p (x，y)的块中包括的MXN像素的亮度值Y(x, y)的平均。均匀性检测器42通过以下表达式(2)基于所计算的亮度平均AveO以及在目标像素P(x，y)的块中包括的MXN像素的亮度值Y(x，y)来计算目标像素p(x，y)的空间方差
VarO0VarO = II Y x. v; AveOI…(鳴这里，空间方差varO表示目标像素p(x，y)的亮度值Y(x，y)的方差。此外，由于空间方差varO较小，因此帧n上的目标像素p(x，y)的块(所表示的区域)成为其中每个像素的亮度值Y(x，y)均匀的区域。也就是说，形成了其中目标像素p (x，y)的块中的每个像素的亮度值Y (x，y)(几乎)相同的区域，即，其中目标像素p (x，y)的块中的每个像素的亮度值Y(x，y)没有(有很小)变化的区域。因此，均匀性检测器42将目标像素p(x，y)的空间方差varO的倒数1/varO检测为目标像素P(x，y)的均匀性f(x，y) ( = 1/varO)。在此情况下，随着均匀性f (x，y)增加，对应的目标像素P (x，y)均匀。均匀性检测器42确定为帧n上的每个像素p (x，y)检测的均匀性f (x，y)是否大于或等于预定阈值。然后，基于所确定的结果，均匀性检测器42将具有与大于或等于预定阈值的均匀性f(x，y)对应的像素p(x，y)的均匀区域检测为均匀区域D (x，y)，并将其提供给噪声电平检测器43。噪声电平检测器43在来自差异计算部分41的作为帧差异信号的多个差异值diffy (x, y)中、基于与来自均勻性检测器42的均勻区域D(x, y)对应的差异值diffy (x,y)，检测帧n的噪声电平。这里，噪声电平表示在帧n的每个像素p (x，y)中产生的噪声的统计量。应注意，鉴于以下理由，噪声电平检测器43使用与均匀区域D (x，y)对应的差异值diffy (x, y)来检测噪声电平。也就是说，主要由于巾贞上的对象的运动等，差异值diffy(x, y)随着与巾贞n_l和中贞n对应的像素的位移(dislocation)以及在帧上的像素中产生的噪声而改变。
如上所述，噪声电平检测器43检测表示在帧n上的每个像素p (x，y)中产生的噪声的统计噪声量。因此，期望用于噪声电平检测的差异值diffy(x，y)满足以下条件差异值diffy(X，y)不随着对应像素的位移而改变，而随着在帧上的像素中产生的噪声而改变。如上所述，均匀区域D (x，y)是其中该均匀区域D (x，y)所具有的每个像素的亮度值Y(x，y)(几乎)相同的区域。因此，即使在均匀区域D(x，y)中出现位移，与均匀区域D(x, y)对应的差异值diffy (x，y)具有很小变化，并且随着在该帧的像素中产生的噪声而改变，从而满足了上述条件。因此，噪声电平检测器43基于与均匀区域D (x，y)对应的差异值diffy (x，y)来检测噪声电平。也就是说，例如，噪声电平检测器43连续地关注帧n上的均匀区域D (x，y)所包括的每个像素P (x，y)d，并且按照以下表达式⑶计算所关注的目标像素P(x，y)d的块中的差异平均AveI。
* I|￥#1 = '顯'| Tl Cl ;f V X. V I…,3 这里，差异平均Avel表示与目标像素p(x，y)d的块所包括的每个像素对应的差异{t diffy (x, y)的平均。噪声电平检测器43按照以下表达式(4)基于所计算的差异平均Avel和与目标像素P (x，y) d的块所包括的每个像素对应的差异值diffy (x，y)，计算目标像素p (x，y) d的时间方差varl。farl =这里，时间方差varl表示与目标像素p (x, y) d对应的差异值diffy (x, y)的方差。在此情况下，噪声电平检测器43计算均匀区域D(x，y)上的每个像素p(x，汄的时间方差varl,在所述均勻区域D (X, y)中，差异值diffy (x, y)仅随着在该巾贞上的像素中产生的噪声而改变。因此，时间方差varl表示在均匀区域D (x，y)上的每个像素p(x，y)d中产生的噪声量。噪声电平检测器43关注在帧n上的均匀区域D(x，y)中包括的所有像素p(x，y)d，并且为每个像素P (x，y) d计算时间方差varl。然后，噪声电平检测器43基于为每个像素p(x, y)d所计算的时间方差varl,测量如图2所示的分布图。应注意,在图2中,水平轴表示时间方差varl，垂直轴表示像素p(x，y)d的像素数量。噪声电平检测器43将所测量的分布图的最大部分(最高频率的时间方差varl)提供给运动电平检测器44作为噪声电平。运动电平检测器44按照表达式(3)和(4)基于来自差异计算部分41的作为帧差异信号的差异值diffy (X, y),来计算巾贞n上的每个像素p(x, y)的时间方差varl。然后，运动电平检测器44基于帧n上的每个像素p (x，y)的所计算的时间方差varl是否等于或小于来自噪声电平检测器43的噪声电平，来检测帧n上的静止区域Ds (x,y) o应注意,静止区域Ds (x, y)表示其中该区域Ds (X, y)上的对象静止(不运动)的区域、以及其中对应的差异值diffy (x，y)小于预定阈值的区域。这里，在静止区域Ds (x，y)中，由于静止区域Ds (x，y)上的对象静止，因此差异值diffy (x, y)由于噪声而增加,而不是随着对象的运动而增加。因此，静止区域Ds(x，y)上的像素p(x，y)的时间方差varl等于或小于表示在该 帧n上的每个像素p (x，y)中产生的统计噪声量的噪声电平。此外,在巾贞n上的运动区域中，差异值diffy (X, y)由于该运动区域上的对象的运动以及在该像素中产生的噪声而增加。应注意，运动区域表示其中该区域上的对象运动的区域、以及其中对应的差异值diffy (x，y)大于或等于预定阈值的区域。因此，运动区域上的像素p (x，y)的时间方差varl大于表示在该帧n上的每个像素P(x，y)中产生的统计噪声量的噪声电平。相应地，如上所述，运动电平检测器44基于在该帧n上的每个像素p (x, y)的所计算的时间方差varl是否等于或小于来自噪声电平检测器43的噪声电平，来检测帧n上的静止区域Ds (X, y)。运动电平检测器44将(示出)所检测到的静止区域Ds (x，y)(的信息)提供给噪声属性检测器45。此外，例如，如图3所示，运动电平检测器44将帧n上的每个像素p(x，y)的时间方差varl除以最大时间方差max (varl)(通过最大时间方差max (varl),将巾贞n上的每个像素P(x，y)的时间方差varl归一化)，检测每个像素的运动电平，并且将其提供给混合部分48。应注意，如图3所示，当在时间方差varl为噪声电平的情况下运动电平为0. 5时，与等于或小于0. 5的运动电平对应的像素p (X, y)是静止区域Ds(x, y)上的像素p(x, y),而与大于0. 5的运动电平对应的像素p (x，y)是运动区域上的像素p (x，y)。噪声属性检测器45在来自差异计算部分41的作为帧差异信号的多个差异值diffy(x，y)中、基于与来自运动电平检测器44的静止区域Ds(x，y)对应的差异值diffy (x，y)，检测表示在静止区域Ds (x，y)中产生的噪声的属性的噪声属性信息。这里，由于在帧n-1到帧n中静止区域Ds(x，y)上的对象是静止的(无运动的)，因此与静止区域Ds (X, y)对应的差异值diffy (x,y)仅根据在静止区域Ds (x, y)上产生的噪声而改变。因此，噪声属性检测器45基于与静止区域Ds (x，y)对应的差异值diffy (x, y)来检测噪声属性信息。将在后面参考图4详细描述噪声属性检测器45。时间方向NR部分46基于来自差异计算部分41的作为帧差异信号的差异值diffy (x, y)以及来自噪声属性检测器45的噪声属性信息，来计算校正量A，并将所计算的量提供给混合部分48。这里,校正量A是要加到巾贞n的亮度值Y (X, y)的负值{_Y(x,y)}上的值,用于在时间方向上去除在帧n上的静止区域Ds (x，y)中产生的噪声。后面将参考图8和9详细描述由时间方向NR部分46进行的处理。空间方向NR部分47基于来自未示出的成像部分的帧n和来自噪声电平检测器43的噪声电平来计算校正量B，并将所计算的量提供给混合部分48。这里，校正量B是要加到帧n的亮度值Y (x，y)的负值{_Y(x，y)}上的值，用于在空间方向上去除在帧n上的运动区域中产生的噪声。后面将参考图10和11详细描述由空间方向NR部分47进行的处理。混合部分48基于来自运动电平检测器44的帧n上的每个像素的运动电平，对于 帧n上的每个像素，将来自时间方向NR部分46的校正量A和来自空间方向NR部分47的校正量B混合。也就是说，例如，混合部分48基于来自运动电平检测器44的运动电平，确定与校正量A相乘的权重(I-a)和与校正量B相乘的权重a。但是,权重a是大于或等于零并且小于或等于一的值。然后，混合部分48以(I- a )对a的比率将校正量A和校正量B混合，并将混合后的结果{(1-cOXA+a XB}提供给校正部分49作为校正量C。后面将参考图12和13详细描述由混合部分48进行的处理。校正部分49基于来自混合部分48的校正量C来校正来自未示出的成像部分的帧n,并将其提供至例如未示出的硬盘等以存储。也就是说，例如，在来自未示出的成像部分的帧n的像素中，运动电平检测器44从自混合部分48提供的帧n上的每个像素的校正量C( = (1-a ) XA+a XB)中减去对应的亮度值Y (x，y)(加上亮度值{-Y (x，y)})。然后，通过该减法，校正部分49将以对于帧n上的每个像素获得的值作为亮度值的帧提供至未示出的硬盘等作为校正后的帧以存储。[噪声属性检测器45的细节]接下来，图4具体示出了噪声属性检测器45的配置示例。噪声属性检测器45包括频带分尚部分61和分布图测量部分62-65。频带分离部分61将来自差异计算部分41的帧差异信号分离为不同频率分量(例如，高频分量、中/高频分量、中/低频分量、以及低频分量)的功率电平。这里，对于作为帧差异信号的每个差异值diffy (x，y)计算功率电平，并且通过用于分离为预定频率分量的滤波器系数与所述差异值diffy (x，y)的乘法加法运算来计算所述功率电平。也就是说，例如，频带分离部分61连续地关注来自差异计算部分41的作为帧差异信号的差异值diffy (X, y)。在与帧差异信号对应的不同帧中，频带分离部分61计算包括在以所关注的目标差异值diffy(x，y)为中心的块中的每个像素的差异值diffy(x，y)和用于分离高频分量的滤波器系数w的乘法加法运算。然后，频带分离部分61将通过乘法加法运算获得的差异值difTy(x，y)的高频功率电平提供给分布图测量部分62。相应地,分布图测量部分62从频带分尚部分61接收与帧差异信号对应的每个差异值diffy (x，y)的高频功率电平。对于与来自运动电平检测器44的静止区域Ds(x，y)对应的每个差异值diffy (x，y)的闻频功率电平PL(x, y),分布图测量部分62测量例如如图5所不的分布的分布图(闻频功率分布图)。应注意，在图5中，水平轴表示高频功率电平，垂直轴表示静止区域Ds (X，y)上与高频功率电平PL(x，y)对应的像素数量。这里,如上所述,与静止区域Ds (X, y)对应的每个差异值diffy (X, y)仅根据在静止区域Ds(x，y)中产生的噪声而改变。因此，高频功率电平PL(x，y)表示在帧n上的静止区域Ds (x，y)的高频分量中产生的噪声的高频功率电平。因此，高频功率分布图表示在帧n上的静止区域Ds (x，y)的高频分量中产生的噪声的高频功率电平的分布。分布图测量部分62基于高频功率分布图，将高频功率电平的最大值提供给时间·方向NR部分46作为高频噪声功率的最大值。类似地，频带分离部分61对于与帧差异信号对应的每个差异值diffy (x，y)计算中/高频功率电平，并将其提供给分布图测量部分63。此外，频带分离部分61对于与帧差异信号对应的每个差异值diffy (x，y)计算中/低频功率电平，并将其提供给分布图测量部分64。此外，频带分离部分61对于与帧差异信号对应的每个差异值diffy (x，y)计算低频功率电平，并将其提供给分布图测量部分65。如同分布图测量部分62，分布图测量部分63-65从运动电平检测器44接收静止区域，并且分布图测量部分63-65进行与分布图测量部分62的处理相似的处理。也就是说，例如，分布图测量部分63基于中/高频功率分布图，将中/高频功率电平的最大值提供给时间方向NR部分46作为中/高频噪声功率的最大值。此外，分布图测量部分64基于中/低频功率分布图，将中/低频功率电平的最大值提供给时间方向NR部分46作为中/低频噪声功率的最大值。此外，分布图测量部分65基于低频功率分布图，将低频功率电平的最大值提供给时间方向NR部分46作为低频噪声功率的最大值。换句话说，高频噪声功率的最大值、中/高频噪声功率的最大值、中/低频噪声功率的最大值以及低频噪声功率的最大值分别被从分布图测量部分62-65提供给时间方向NR部分46作为噪声属性信息。接下来，参考图6A-6D以及7A-7D，将给出表示在静止区域Ds(x，y)上产生的噪声的属性的高频噪声功率的最大值、中/高频噪声功率的最大值、中/低频噪声功率的最大值以及低频噪声功率的最大值的描述。图6A-6D示出了未被运动画面专家组(MPEG)压缩等压缩的帧n的噪声属性信息的示例。图6A-6D示出了作为噪声属性信息的高频噪声功率的最大值、中/高频噪声功率的最大值、中/低频噪声功率的最大值以及低频噪声功率的最大值。如图6A-6D所示，当帧n未被MPEG压缩等压缩时，高频噪声功率的最大值、中/高频噪声功率的最大值、中/低频噪声功率的最大值以及低频噪声功率的最大值几乎相等。也就是说，作为在帧n的静止区域Ds (x，y)中产生的噪声的属性，在任何频率分量中出现相同的噪声。
图7A-7D示出了被运动画面专家组(MPEG)压缩等压缩的帧n的噪声属性信息的示例。图7A-7D示出了作为噪声属性信息的高频噪声功率的最大值、中/高频噪声功率的最大值、中/低频噪声功率的最大值以及低频噪声功率的最大值。当帧n被MPEG压缩等压缩时，频率分量越高，量化越粗糙。因此，如图7A-7D所示，显然，随着频率分量越高，噪声功率的最大值越小。也就是说，作为在帧n的静止区域Ds (x，y)中产生的噪声的属性，认识到随着频率分量越高，噪声功率的最大值越小。[时间方向NR部分46的细节]接下来，图8具体示出了时间方向NR部分46的配置示例。、
时间方向NR部分46包括频带分离部分81、校正部分82_85、以及频带合成部分86。如同频带分离部分61，频带分离部分81将来自差异计算部分41的帧差异信号分离为高频功率电平、中/高频功率电平、中/低频功率电平、以及低频功率电平。然后，频带分离部分81分别将高频功率电平提供给校正部分82，将中/高频功率电平提供给校正部分83，将中/低频功率电平提供给校正部分84，以及将低频功率电平提供给校正部分85。校正部分82从图4中所示的分布图测量部分62接收高频噪声功率的最大值。校正部分82对于来自频带分离部分81的高频功率电平中的低于或等于来自分布图测量部分62的高频噪声功率的最大值的高频功率电平执行噪声去除处理。也就是说,高频噪声功率的最大值表示在帧n的静止区域Ds (x，y)中产生的噪声的高频功率电平的最大值。因此，低于或等于高频噪声功率的最大值的高频功率电平不是由像素运动引起的而是由噪声引起的，其经历在时间方向上的噪声去除处理。因此，例如，校正部分82在接近高频噪声功率的最大值时增加噪声去除的量，并且在偏离高频噪声功率的最大值时降低噪声去除的量。图9示出了由校正部分82执行的噪声去除处理。在图9中，函数101表示代表去除噪声的程度的去除量，函数102表示通过根据该去除量校正从校正部分82输入的高频功率电平而获得的校正后的高频功率电平的输出。正如函数102那样，校正部分82向频带合成部分86提供通过在接近高频噪声功率的最大值时大幅校正来自频带分离部分81的高频功率电平而获得的高频校正功率电平。应注意，校正部分83-85进行与校正部分82相似的处理。也就是说，例如，校正部分83对于来自频带分离部分81的中/高频功率电平中的低于或等于来自分布图测量部分63的中/高频噪声功率的最大值的中/高频功率电平执行与校正部分82的噪声去除处理相似的噪声去除处理，并将作为结果的中/高频校正功率电平提供给频带合成部分86。此外，例如，校正部分84对于来自频带分离部分81的中/低频功率电平中的低于或等于来自分布图测量部分64的中/低频噪声功率的最大值的中/低频功率电平执行与校正部分82的噪声去除处理相似的噪声去除处理，并将作为结果的中/低频校正功率电平提供给频带合成部分86。此外，例如，校正部分85对于来自频带分离部分81的低频功率电平中的低于或等于来自分布图测量部分65的低频噪声功率的最大值的低频功率电平执行与校正部分82的噪声去除处理相似的噪声去除处理，并将作为结果的低频校正功率电平提供给频带合成部分86。频带合成部分86将来自校正部分82的高频校正功率电平、来自校正部分83的中/高频校正功率电平、来自校正部分84的中/低频校正功率电平以及来自校正部分85的低频校正功率电平组合，并将作为结果的校正量A提供给混合部分48。校正量A是为帧n的每个像素计算的。[空间方向NR部分47的细节]
图10具体示出了空间方向NR部分47的配置示例。空间方向NR部分47包括印silon计算部分121、垂直处理部分122、以及水平处理部分123。如图11所示，印silon计算部分121基于来自噪声电平检测器43的噪声电平来计算用于印silon滤波器的值e (印silon)，并将该值提供给垂直处理部分122和水平处理部分123。垂直处理部分122在垂直方向上使用epsilon滤波器来对来自未示出的成像部分的帧n执行滤波处理。也就是说，例如，垂直处理部分122关注于来自未示出的成像部分的帧n的每个像素，并计算所关注的像素和在垂直方向上相邻的像素之间的像素值的差异的绝对值。然后，当所计算的差异的绝对值不大于或等于来自epsilon计算部分121的值e时，垂直处理部分122使用低通滤波器对于帧n上的目标像素执行滤波处理。应注意，当所计算的差异的绝对值大于或等于来自印silon计算部分121的值e时，垂直处理部分122不执行滤波处理。垂直处理部分122关注于帧n上的所有像素，并且依序地将处理后的帧n提供给水平处理部分123。水平处理部分123在水平方向上使用epsilon滤波器来对来自垂直处理部分122的帧n执行滤波处理。也就是说，例如，水平处理部分123关注于来自垂直处理部分122的帧n的每个像素，并计算所关注的像素和在水平方向上相邻的像素之间的像素值的差异的绝对值。然后，当所计算的差异的绝对值不大于或等于来自epsilon计算部分121的值e时，水平处理部分123使用低通滤波器对于帧n上的目标像素执行滤波处理。应注意，当所计算的差异的绝对值大于或等于来自印silon计算部分121的值e时，水平处理部分123不执行滤波处理。水平处理部分123关注于帧n上的所有像素，并且依序地将处理后的帧n上的每个像素的亮度值提供给混合部分48作为用于帧n的每个像素的校正量B。[混合部分48的细节]图12具体示出了混合部分48的配置示例。混合部分48包括权重计算部分141、相减部分142、相乘部分143、相乘部分144、以及相加部分145。对于每个像素，权重计算部分141基于来自计算运动电平检测器44的用于帧n的每个像素的运动电平来计算与亮度值Y (x，y)相乘的校正量B的权重a，并将所计算的结果提供给相减部分142和相乘部分143。相减部分142从预先存储值I中减去从权重计算部分141获得的权重a，并将作为结果的权重(1-a)提供给相乘部分144。相乘部分143将从权重计算部分141获得的权重a与来自空间方向NR部分47的校正量B相乘，并将相乘的结果(a XB)提供给相加部分145。相乘部分144将从相减部分142获得的权重(1-a)与来自时间方向NR部分46的校正量A相乘，并将相乘的结果{(l-a)XA}提供给相加部分145。相加部分145将从相乘部分143获得的相乘结果(a XB)和从相乘部分144获得的相乘结果{(l-a)XA}相加，并将相加的结果{(1-a ) XA+a XB}提供给校正部分49作为校正量C。也就是说，如图13所示，混合部分48根据帧n的每个像素的运动电平来确定校正量B的权重a。[图像处理装置21的操作的解释]接下来，参考图14的流程图，将描述由图像处理装置21进行的图像处理。在提供包括通过未示出的成像部分进行成像而获取的运动图像的帧n时，图像处理开始。在步骤S21，差异计算部分41从自未示出的成像部分输入的帧n上的亮度值Y (x,y)中减去巾贞n-1上的亮度值Y(x, y)',并将作为结果的差异值diffy (x, y)通过时间方向NR部分46提供给噪声电平检测器43作为帧差异信号。在步骤S22，均匀性检测器42关注从未示出的成像部分输入的帧n上的每个像素p(x, y)，并且按照表达式⑴和⑵计算表示所关注的目标像素p (x，y)的亮度值Y(x，y)的方差的空间方差varO。此外，均匀性检测器42关注于帧n上的所有像素p (x，y)，并基于为帧n上的每个像素P (X, y)所计算的空间方差varO来依序检测每个像素p (x, y)的均勻性f (x, y)。然后，均匀性检测器42基于为帧n上的每个像素p (x，y)检测的均匀性f(x，y)来检测帧n上的均匀区域D (x，y)，并将其提供给噪声电平检测器43。在步骤S23，噪声电平检测器43在来自差异计算部分41的作为帧差异信号的多个差异值diffy (x，y)中、基于与来自均匀性检测器42的均匀区域D(x，y)对应的差异值diffy (X, y),按照表达式(3)和⑷来计算表示与均勻区域D (x,y)对应的差异值diffy (x,y)的方差的时间方差varl。然后，如图2所示，噪声电平检测器43基于所计算的时间方差varl的分布来检测帧n的噪声电平，并将其提供给运动电平检测器44和空间方向NR部分47。在步骤S24，运动电平检测器44按照表达式(3)和(4)基于来自差异计算部分41的作为帧差异信号的差异值diffy (x，y)，来计算帧n上的每个像素p(x，y)的时间方差varl o然后，运动电平检测器44基于帧n上的每个像素p(x，y)的所计算的时间方差varl是否等于或小于从噪声电平检测器43提供的噪声电平，来检测帧n上的静止区域Ds (x，y)，并将其提供给噪声属性检测器45。在步骤S25，如图3所示，运动电平检测器44将帧n上的每个像素p(x，y)的时间方差varl除以最大时间方差max(varl)(通过最大时间方差max(varl),将巾贞n上的每个像素P(x，y)的时间方差varl归一化)，检测每个像素的运动电平，并且将其提供给混合部分48。在步骤S26，噪声属性检测器45在来自差异计算部分41的作为帧差异信号的多个差异值diffy(x，y)中、基于与来自运动电平检测器44的静止区域Ds (x，y)对应的差异值diffy (x, y),检测静止区域Ds(x, y)的噪声属性信息,并将其提供给时间方向NR部分46。
在步骤S27，时间方向NR部分46基于来自差异计算部分41的作为帧差异信号的差异值diffy (x，y)以及来自噪声属性检测器45的噪声属性信息，来计算校正量A，并将所计算的量提供给混合部分48。在步骤S28，空间方向NR部分47基于来自未示出的成像部分的帧n和来自噪声电平检测器43的噪声电平来计算校正量B，并将所计算的量提供给混合部分48。在步骤S29，混合部分48基于来自运动电平检测器44的帧n上的每个像素的运动电平，对于帧n上的每个像素，将来自时间方向NR部分46的校正量A和来自空间方向NR部分47的校正量B以预定比率混合，并将通过混合结果获得的校正量C提供给校正部分49。
在步骤S30，校正部分49基于来自混合部 分48的校正量C来校正来自未示出的成像部分的帧n，并将其提供至例如未示出的硬盘等以存储。在来自未示出的成像部分的所有帧n被处理之后，图像处理完成。如上所述，根据图像处理，由于取决于噪声电平来检测静止区域，因此可以精确地检测静止区域而与在该帧中产生多少噪声无关。此外，运动电平检测器44可以基于帧n上的每个像素p(x，y)的时间方差varl是否等于或小于来自噪声电平检测器43的噪声电平，一起检测静止区域Ds (x，y)和运动区域，或者取代检测静止区域Ds (x，y)而检测运动区域。在此情况下，同样可以精确地检测运动区域而与在帧n中产生多少噪声无关。因此，由于可以精确地检测帧n上的静止区域和运动区域，因此可以适当地从静止区域和运动区域中去除噪声。相应地，例如，可以防止通过在时间方向上错误地执行从运动区域中去除噪声而引起的运动模糊等。此外，根据图像处理，在差异值diffy (x，y)仅由于噪声而改变的情况下从静止区域中检测噪声属性信息。因此，例如，与其中在差异值diffy (x，y)由于对象运动和噪声而改变的情况下从运动区域中检测噪声属性信息的情况相比，可以更精确地检测噪声属性信
肩、O因此，例如，可以精确地去除各种噪声，诸如，在模拟数字(AD)转换期间由于采样误差而产生的传输噪声、由于调谐器等而产生的弱电场噪声、由于照相机的成像期间而产生的传感器噪声、由于MPEG压缩的劣化而产生的噪声、以及由于通过按照预定尺寸缩放帧造成的频率降级而产生的噪声。2.第二实施例[图像处理装置161的配置示例]
图15示出了根据第二实施例的图像处理装置161的配置示例。在图像处理装置161中，向以与图I所示的图像处理装置121相同的方式形成的组件给出相同的标记符号，因此下面将适当地省略其解释。也就是说，除了替代图I中的时间方向NR部分46到校正部分49地提供MC型NR部分181之外，以与图像处理装置121相同的方式形成图像处理装置161。MC型NR部分181执行运动补偿(motion compensation, MC型)噪声去除(降噪)。也就是说，例如，MC型NR部分181基于来自未示出的成像部分的帧n-1和帧n、来自噪声电平检测器43的噪声电平、来自运动电平检测器44的每个像素的运动电平、以及来自噪声属性检测器45的噪声属性信息来去除在帧n中产生的噪声，并将去除了噪声的帧n提供至未示出的硬盘等以存储。
具体地，例如，当来自噪声电平检测器43的噪声电平低于预定阈值时，MC型NR部分181确定帧n具有很少噪声。当帧n具有很少噪声时，与如在第一实施例中所述地检测静止区域等的情况相t匕，通过使用运动向量检测静止区域和运动区域的精度增加。因此，在此情况下，例如，MC型NR部分181将来自未示出的成像部分的帧n分离为多个块。此外，MC型NR部分181基于来自未示出的成像部分的帧n-1和帧n，对于帧n上的所述多个块中的每一个检测表示块运动的运动向量。然后，MC型NR部分181基于所述多个块中的每个块的运动向量，来检测每个块是静止区域还是运动区域。MC型NR部分181对于被检测为运动区域的块执行在空间方向上的噪声去除处理，且强度对应于来自噪声电平检测器43的噪声电平。此外，对于每个频率分量，MC型NR部分181对于被检测为静止区域的块执行在时间方向上的噪声去除处理，且强度对应于来自噪声属性检测器45的噪声属性信息。此外，例如，当来自噪声电平检测器43的噪声电平大于或等于预定阈值时，MC型NR部分181确定帧n具有很多噪声。当帧n具有很多噪声时，运动向量可能被错误地检测，从而MC型NR部分181通过进行与图I中的时间方向NR部分46到校正部分49的处理相似的处理来去除帧n上的噪声。在具有该结构的MC型NR部分181中，由于可以精确地检测静止区域和运动区域，因此可以移除噪声从而显著地降低运动模糊。此外，在帧n具有很多噪声时，MC型NR部分181进行与图I中的时间方向NR部分46到校正部分49的处理相似的处理，从而可以防止(抑制)由于在块上产生的噪声而弓I起的对运动向量的错误检测。因此，例如，MC型NR部分181可以防止以下问题，诸如在由于对运动向量的错误检测而难以适当地从静止区域和运动区域中去除噪声时产生的噪声突发和水平行的降级。在此情况下，噪声突发意味着在帧n上产生的噪声重复地停止和开始的现象。水平行的降级意味着在帧n上的块中存在的水平行的轮廓混乱的现象。3.修改
在第一和第二实施例中，通过在差异计算部分41中从帧n的亮度值Y (x，y)中减去中贞n-1的亮度值Y (X, y)'来计算差异值diffy (X, y)。然而,计算差异值diffy (x, y)的方法不限于上述方法。也就是说，例如，在差异计算部分41中，可以通过从帧n的亮度值Y(x，y)中减去中贞n+1的亮度值Y (X, y)"来计算差异值diffy (x, y)。该技术可以被如下地配置。(I)图像处理装置，包括均匀性检测器，被配置为基于构成输入的第一图像的像素的像素值的方差，来检测其中第一图像上的像素的像素值是均匀的均匀区域；差异计算部分，被配置为计算第一图像和在第一图像之前或之后连续的第二图像的对应像素的像素值之间的差异；噪声电平检测器，被配置为基于与构成第一图像上的均匀区域的每个像素对应的差异的方差，检测用于指示构成第一图像的每个像素中产生的噪声的统计噪声量的噪声电平；以及运动检测器，被配置为基于与构成第一图像的每个像素对应的差异的方差与噪声电平之间的比较结果，检测静止区域和运动区域中的至少一个，所述静止区域指示其中第一图像上的对象是静止的区域，所述运动区域指示其中对象是运动的区域。(2)根据第(I)项的图像处理装置，还包括噪声属性检测器，被配置为基于与构成第一图像上的静止区域的每个像素对应的差异，检测用于指示在静止区域中产生的噪声的属性的噪声属性信息。(3)根据第(2)项的图像处理装置，其中，所述噪声属性检测器对通过将与构成静止区域的每个像素对应的差异分离为预定的频率分量而获得的多个功率电平的最大值进行检测，作为所述噪声属性信息，所述最大值是为每个频率分量获得的。(4)根据第(2)或(3)项的图像处理装置，还包括降噪部分，被配置为基于所述噪声属性信息和所述噪声电平中的至少一个，来降低在第一图像中产生的噪声。(5)根据第(4)项的图像处理装置，其中，所述降噪部分还包括第一校正量计算部分，被配置为基于所述噪声属性信息来计算用于降低在静止区域中产生的噪声的第一校正量；第二校正量计算部分，被配置为基于所述噪声电平来计算用于降低在运动区域中产生的噪声的第二校正量；混合部分，被配置为混合第一校正量和第二校正量；以及校正部分，被配置为基于通过在混合部分中混合而获得的第三校正量来校正第一图像的每个像素的像素值。(6)根据第(I)项的图像处理装置，其中，所述噪声电平检测器将与构成第一图像上的均匀区域的每个像素对应的差异的方差中最频的方差检测作为噪声电平。应注意，上面描述的处理序列可以由硬件执行或者可以由软件执行。当所述处理序列由软件执行时，构成软件的程序例如从程序记录介质中被安装到被并入专用硬件中的计算机中、或者被安装到能够安装各种程序以执行各种功能的通用计算机中。[计算机的配置示例]图16是示出用于利用程序实施上面描述的处理序列的计算机的硬件的配置示例的框图。中央处理单元(CPU) 201根据在只读存储器(ROM) 202或存储部分208中存储的程序来运行各种处理。要由CPU 201运行的程序、数据等被适当地存储在随机存取存储器(RAM) 203 中。CPU 201, ROM 202 和 RAM 203 通过总线 204 彼此连接。、
而且，输入/输出接口 205通过总线204与CPU 201连接。包括键盘、鼠标、麦克风等的输入部分206以及包括显示单元、扬声器等的输出部分207连接到输入/输出接口205。CPU 201根据从输入部分206输入的指令运行各种处理。然后，CPU 201将处理结果输出到输出部分207。与输入/输出接口 205连接的存储部分208包括例如硬盘，并存储要由CPU 201运行的程序和各种数据。通信部分209通过网络或诸如局域网之类的网络和与其连接的外
部装置通信。可以通过通信部分209获得程序并将其存储至存储部分208中。驱动器210与输入/输出接口 205连接。当可移除介质211 (诸如磁盘、光盘、磁 光盘、或半导体存储体)被装载到驱动器210中时，驱动器210驱动可移动介质211。由此，驱动器210获得记录在可移动介质211上的程序、数据等。根据实际需要，所获取的程序或数据被转移并存储至存储部分208中。在其上记录(存储)要被安装到计算机中或者被至于可执行状况的程序的程序记录介质可以是例如如图16所示的以包装介质形式的可移除介质211，所述包装介质是从磁盘(包括软盘)、光盘(包括⑶_R0M(压缩只读盘存储器)和DVD(数字多用途盘))、磁光盘(包括MD (迷你盘))、或半导体存储器。或者，程序记录介质可以被形成为ROM 202、在存储部分208中包括的硬盘、或其中暂时地或永久地存储程序的类似物。根据实际需要，通过通信部分209(其是诸如路由器和调制解调器之类的接口)，使用诸如局域网、网络或数字卫星广播之类的有线或无线通信介质，实施将程序记录至程序记录介质中或记录在程序记录介质上。应注意，在本说明书中，描述上面描述的处理序列的步骤可以但是不一定按照如上所述的顺序以时间序列被处理，并且可以包括并行地或者单独地运行而没有按照时间序列被处理的处理。此外，本公开的实施例不限于上述第一和第二实施例，而是可以在不偏离本公开的精神和范围的情况下作出各种变更和修改。本公开包含与在2011年4月27日向日本专利局提交的日本优先专利申请JP2011-099539中公开的主题相关的主题，通过引用将其全部内容并入于此。
权利要求
1.一种图像处理装置，包括 均匀性检测器，被配置为基于构成输入的第一图像的像素的像素值的方差，来检测其中第一图像上的像素的像素值是均匀的均匀区域； 差异计算部分，被配置为计算第一图像和在第一图像之前或之后连续的第二图像的对应像素的像素值之间的差异； 噪声电平检测器，被配置为基于与构成第一图像上的均匀区域的每个像素相对应的差异的方差，检测用于指示在构成第一图像的每个像素中产生的噪声的统计噪声量的噪声电平；以及 运动检测器，被配置为基于与构成第一图像的每个像素对应的差异的方差与噪声电平之间的比较结果，检测静止区域和运动区域中的至少一个，所述静止区域指示其中第一图像上的对象是静止的区域，所述运动区域指示其中该对象是运动的区域。
2.根据权利要求I所述的图像处理装置，还包括 噪声属性检测器，被配置为基于与构成第一图像上的静止区域的每个像素对应的差异，检测用于指示在静止区域中产生的噪声的属性的噪声属性信息。
3.根据权利要求2所述的图像处理装置，其中 所述噪声属性检测器对通过将与构成静止区域的每个像素对应的差异分离为预定的频率分量而获得的多个功率电平的最大值进行检测，作为所述噪声属性信息，所述最大值是为每个频率分量获得的。
4.根据权利要求2所述的图像处理装置，还包括 降噪部分，被配置为基于所述噪声属性信息和所述噪声电平中的至少一个，来降低在第一图像中产生的噪声。
5.根据权利要求4所述的图像处理装置，其中 所述降噪部分包括 第一校正量计算部分，被配置为基于所述噪声属性信息来计算用于降低在静止区域中产生的噪声的第一校正量； 第二校正量计算部分，被配置为基于所述噪声电平来计算用于降低在运动区域中产生的噪声的第二校正量； 混合部分，被配置为混合第一校正量和第二校正量；以及 校正部分，被配置为基于通过在混合部分中混合而获得的第三校正量来校正第一图像的每个像素的像素值。
6.根据权利要求I所述的图像处理装置，其中 所述噪声电平检测器将与构成第一图像上的均匀区域的每个像素对应的差异的方差中最频的方差检测作为所述噪声电平。
7.一种用于被配置为处理要输入的图像的图像处理装置的图像处理方法，所述方法包括通过所述图像处理装置， 基于构成输入的第一图像的像素的像素值的方差，来检测其中第一图像上的像素的像素值是均匀的均匀区域； 计算第一图像和在第一图像之前或之后连续的第二图像的对应像素的像素值之间的差异;基于与构成第一图像上的均匀区域的每个像素相对应的差异的方差，检测用于指示在构成第一图像的每个像素中产生的噪声的统计噪声量的噪声电平；以及 基于与构成第一图像的每个像素对应的差异的方差与噪声电平之间的比较结果，检测静止区域和运动区域中的至少一个，所述静止区域指示其中第一图像上的对象是静止的区域，所述运动区域指示其中该对象是运动的区域。
8.一种使得计算机用作以下功能的程序 均匀性检测器，被配置为基于构成输入的在第一图像的像素的像素值的方差，来检测其中第一图像上的像素的像素值是均匀的均匀区域； 差异计算部分，被配置为计算第一图像和第一图像之前或之后连续的第二图像的对应像素的像素值之间的差异； 噪声电平检测器，被配置为基于与构成第一图像上的均匀区域的每个像素相对应的差异的方差，检测用于指示构成第一图像的每个像素中产生的噪声的统计噪声量的噪声电平；以及 运动检测器，被配置为基于与构成第一图像的每个像素对应的差异的方差与噪声电平之间的比较结果，检测静止区域和运动区域中的至少一个，所述静止区域指示其中第一图像上的对象是静止的区域，所述运动区域指示其中该对象是运动的区域。
全文摘要
提供了一种图像处理装置、图像处理方法以及程序。该图像处理装置包括均匀性检测器、差异计算部分、噪声电平检测器、以及运动检测器。均匀性检测器基于构成输入的第一图像的像素的像素值的方差，来检测其中第一图像上的像素的像素值是均匀的均匀区域。差异计算部分计算第一图像和在第一图像之前或之后连续的第二图像的对应像素的像素值之间的差异。噪声电平检测器基于该差异的方差，检测用于指示在构成第一图像的每个像素中产生的噪声的统计噪声量的噪声电平。运动检测器检测静止区域和运动区域中的至少一个，所述静止区域指示其中第一图像上的对象是静止的区域，所述运动区域指示其中该对象是运动的区域。
文档编号H04N5/14GK102761681SQ201210118978
公开日2012年10月31日 申请日期2012年4月20日 优先权日2011年4月27日
发明者内田真树, 青山幸治 申请人:索尼公司