图像处理装置、图像处理方法和程序的制作方法
【专利摘要】本发明提供了一种图像处理装置，该图像处理装置包括将其中特定颜色的像素值被设置在每个像素中的RAW图像设置为输入图像并且降低输入图像中包含的噪声分量的图像处理单元。该图像处理单元包括局部区域选择单元、相似局部区域选择单元、带分离单元、带分类降噪单元、带合成单元和局部区域合成单元。
【专利说明】图像处理装置、图像处理方法和程序
[0001]相关申请的交叉引用
[0002]本申请要求2012年10月31日提交的日本优先权专利申请JP2012-240079的权益，该专利申请的全部内容以引用方式并入本文。
【技术领域】
[0003]本发明涉及图像处理装置、图像处理方法和程序，更具体地讲，涉及对被设定为处理对象的RAW图像执行降噪处理的图像处理装置、图像处理方法和程序，RAW图像是相机的图像传感器的输出，也就是说，其中在每个像素中只设置特定颜色的像素值的RAW图像。
【背景技术】
[0004]在成像装置诸如数码相机中使用的图像传感器包括具有(例如)RGB阵列的滤色器并且具有其中具有特定波长的光入射到每个像素上的构造。
[0005]具体地讲，可考虑使用具有(例如)拜耳阵列(Bayer array)的滤色器。
[0006]在用拜耳阵列捕获的图像中，在图像传感器的每个像素中只设置与RGB中的一种颜色对应的像素值，因此形成所谓的马赛克图像(mosaic image)。相机的图像处理单元通过对马赛克图像执行各种类型的信号处理(诸如像素值插值处理)来执行在每个像素中设置RGB的全体像素值的去马赛克处理，然后产生并输出彩色图像。
[0007]通常，在拍摄图像的像素值中包括预定量的噪声分量。因此，许多相机具有以下构造:对拍摄图像执行降噪处理，以去除像素值中包括的噪声分量并且产生输出图像。
[0008]作为成像装置(相机)中的降噪处理，可以考虑下面两个处理中的一个。
[0009]一个处理是在产生经受上述去马赛克处理的图像(也就是说，其中在每个像素中设置RGB的全体像素值的RGB图像)之后对RGB图像执行的处理。
[0010]另一个处理是在去马赛克处理之前对其中在每个像素中只设置与RGB中的一种颜色对应的像素值的所谓马赛克图像执行的处理。
[0011]日本未经审查的专利申请公开N0.2004-127064是公开了对其中在每个像素中设置RGB的全体像素值的RGB图像进行的降噪处理的文献。
[0012]日本未经审查的专利申请公开N0.2004-127064公开了在将RGB图像分成亮度信号和色差信号之后通过对每个信号执行小波变换和取样处理来降低噪声的方法。
[0013]小波变换是分离图像中包括的各种频率分量并且以频率分量的预定单位将图像分成信号的处理。取样处理是(例如)用小于预定阈值的值来破坏或减少数据并且输出数据的处理。通过取样处理而减少的分量被理解为是噪声分量。
[0014]日本未经审查的专利申请公开N0.2004-127064公开了通过以此方式执行小波变换和取样处理来执行降噪处理的方法。
[0015]日本未经审查的专利申请公开N0.2004-127064中公开的方法被配置为通过根据经受过去马赛克处理的图像(也就是说，在每个像素中设置所有RGB颜色的像素值的RGB图像)产生亮度图像和色差图像并且应用这些图像中的每一个来执行。[0016]日本未经审查的专利申请公开N0.2004-127064并没有公开使用未经受过去马赛克处理的图像(也就是说，在每个像素中只设置RGB中的一种颜色的像素值的RAW图像)执行的降噪处理。因此，日本未经审查的专利申请公开N0.2004-127064中公开的处理不能直接应用于从图像传感器输出的RAW图像。
[0017]日本未经审查的专利申请公开N0.2005-159916和2008-211627是相关领域的技术，它们公开了降低在每个像素位置只具有关于一种颜色的信息并且从图像传感器输出的RAff图像的噪声的处理方法。
[0018]日本未经审查的专利申请公开N0.2005-159916公开了对在每个像素位置只具有关于一种颜色的信息并且从图像传感器输出的RAW图像直接执行小波变换，然后通过应用低通滤波(LPF)来降低噪声的方法。
[0019]日本未经审查的专利申请公开No 2008-211627公开了通过按照拜耳阵列的RGB的颜色分离从图像传感器输出的RAW图像，以R、G和B信号为信号单位执行小波缩减，然后产生亮度信号和色差信号来降低噪声的方法。
[0020]小波缩减对应于顺序执行以下处理的过程:
[0021](a)小波变换(WT)，
[0022](b)取样处理，以及
[0023](c)小波逆变换(WT逆变换)。
[0024]在日本未经审查的专利申请公开N0.2005-159916和2008-211627中公开的减噪中，存在的问题是，根据二维小波缩减的性能来设置减噪效果的限制。在日本未经审查的专利申请公开N0.2008-211627中描述的处理中，根据RGB中的每种颜色分别地执行减噪处理。由于是在没有考虑RGB颜色之间的相关性来降低噪声的，因此存在的问题是，减噪效果降低。
【发明内容】
[0025]期望提供通过将从相机的图像传感器输出的RAW图像(也就是说，其中在每个像素位置只存在关于一种颜色的信息的RAW图像)设置为处理对象来执行降噪处理的图像处理装置、图像处理方法和程序。
[0026]在根据本发明的实施例的处理中，在局部区域的周围搜索相似局部区域并且对局部区域的三维数据执行针对每个带进行的带分离和降噪处理。另外，可以通过合成经受过降噪处理的局部区域并且降低整个图像的噪声，以高精度实现降噪。
[0027]根据本发明的第一实施例，提供了一种图像处理装置，所述图像处理装置包括图像处理单元，用于将特定颜色的像素值被设置在每个像素中的RAW图像设置为输入图像并且降低所述输入图像中包含的噪声分量。所述图像处理单元包括:局部区域选择单元，用于从所述输入图像中选择关注局部区域作为处理对象区域；相似局部区域选择单元，用于选择与所述关注局部区域具有相同相位并且与所述关注局部区域具有高相似度的相似局部区域；带分离单元，用于将所述关注局部区域和所述相似局部区域中的每一个中的局部区域分离成包括高通信号和低通信号的带分类信号；带分类降噪单元，用于执行降低在所述带分离单元中产生的所述带分类信号中包含的噪声的处理；带合成单元，用于合成由所述带分类降噪单元产生的降噪之后的带分类信号，以产生降噪的关注局部区域图像；以及局部区域合成单元，用于顺序地输入由所述带合成单元产生的降噪的关注局部区域图像并且通过输入图像合成处理来产生降噪的RAW图像。
[0028]另外，所述带分类降噪单元可以产生三维数据，在该三维数据中所述关注局部区域和所述相似局部区域的高通信号被设置在XY平面中并且在Z轴方向上被叠加。所述带分类降噪单元可以通过顺序地执行应用所述三维数据的下述处理(a)至(e)对所述关注局部区域的高通信号执行降噪处理:
[0029](a)通过对作为XY平面数据的每个局部区域的高通信号进行二维小波变换处理来产生对应于局部区域的多个二维小波变换数据的处理，
[0030](b)通过对Z轴方向上的每个一维像素行进行一维小波变换处理来产生多个一维小波变换数据的处理，其中所述一维像素行是根据对应于局部区域的多个二维小波变换数据产生的，
[0031](C)对多个一维小波变换数据中的每一个进行缩减处理，
[0032](d)对所述缩减处理之后的多个一维小波变换数据中的每个进行一维小波逆变换处理，
[0033](e)对由所述一维小波逆变换处理之后的数据形成的对应于关注局部区域的XY平面信号进行二维小波逆变换处理。
[0034]另外，所述带分类降噪单元可以产生另一个三维数据，在所述另一个三维数据中所述关注局部区域和所述相似局部区域的低通信号被设置在XY平面中并且在Z轴方向上被叠加。所述带分类降噪单元可以通过对根据所述另一个三维数据产生的Z轴方向上的多个一维数据中的每一个进行ε滤波应用处理，对所述关注局部区域的低通信号执行降噪处理。
[0035]另外，所述带分类降噪单元可以产生另一个三维数据，在所述另一个三维数据中所述关注局部区域和所述相似局部区域的低通信号被设置在XY平面中并且在Z轴方向上被叠加。所述带分类降噪单元可以通过顺序地执行应用了所述另一个三维数据的下述处理(f)至(h)对所述关注局部区域的低通信号执行降噪处理:
[0036](f)通过对根据所述另一个三维数据产生的Z轴方向上的多个一维数据中的每一个进行一维小波变换处理来产生多个一维小波变换数据的处理，
[0037](g)对所述多个一维小波变换数据中的每一个进行缩减处理，以及
[0038](h)对所述缩减处理之后的多个一维小波变换数据中的每一个进行一维小波逆变换处理。
[0039]另外，所述带分类降噪单元可以产生三维数据，在所述三维数据中所述关注局部区域和所述相似局部区域的高通信号被设置在XY平面中并且在Z轴方向上被叠加。所述带分类降噪单元可以通过顺序地执行应用了所述三维数据的下述处理(a)至(C)对所述关注局部区域的高通信号执行降噪处理:
[0040](a)通过对作为XY平面数据的每个局部区域的高通信号进行二维小波变换处理来产生对应于局部区域的多个二维小波变换数据的处理，
[0041](b)通过对根据对应于局部区域的多个二维小波变换数据产生的Z轴方向上的每个一维像素行进行ε滤波应用处理，
[0042](C)对所述ε滤波应用处理之后的数据进行二维小波逆变换处理。[0043]另外，所述带分类降噪单元可以产生另一个三维数据，在所述另一个三维数据中所述关注局部区域和所述相似局部区域的低通信号被设置在XY平面中并且在Z轴方向上被叠加。所述带分类降噪单元可以通过对根据所产生的所述另一个三维数据产生的Z轴方向上的多个一维数据中的每一个进行ε滤波应用处理，对所述关注局部区域的低通信号执行降噪处理。
[0044]另外，所述带分类降噪单元可以产生另一个三维数据，在所述另一个三维数据中所述关注局部区域和所述相似局部区域的低通信号被设置在XY平面中并且在Z轴方向上被叠加。所述带分类降噪单元可以通过顺序地执行应用了所述另一个三维数据的下述处理(d)至(f)对所述关注局部区域的低通信号执行降噪处理:
[0045](d)通过对根据所述另一个三维数据产生的Z轴方向上的多个一维数据中的每一个进行一维小波变换处理来产生多个一维小波变换数据的处理，
[0046](e)对所述多个一维小波变换数据中的每一个进行缩减处理，以及
[0047](f)对所述缩减处理之后的多个一维小波变换数据中的每个进行一维小波逆变换处理。
[0048]另外，所述带分类降噪单元可以产生三维数据，在所述三维数据中所述关注局部区域和所述相似局部区域的高通信号被设置在XY平面中并且在Z轴方向上被叠加。所述带分类降噪单元可以通过对根据所述三维数据产生的Z轴方向上的多个一维数据中的每一个进行ε滤波应用处理，对所述关注局部区域的高通信号执行降噪处理。
[0049]另外，所述带分类降噪单元可以产生另一个三维数据，在所述另一个三维数据中所述关注局部区域和所述相似局部区域的低通信号被设置在XY平面中并且在Z轴方向上被叠加。所述带分类降噪单元可以通过对根据所产生的所述另一个三维数据产生的Z轴方向上的多个一维数据中的每一个进行ε滤波应用处理，对所述关注局部区域的低通信号执行降噪处理。
[0050]另外，所述带分类降噪单元可以产生另一个三维数据，在所述另一个三维数据中所述关注局部区域和所述相似局部区域的低通信号被设置在XY平面中并且在Z轴方向上被叠加。所述带分类降噪单元可以通过顺序地执行应用了所述另一个三维数据的下述处理
(a)至(C)对所述关注局部区域的低通信号执行降噪处理:
[0051](a)通过对根据所述另一个三维数据产生的Z轴方向上的多个一维数据中的每一个进行一维小波变换处理来产生多个一维小波变换数据的处理，
[0052](b)对所述多个一维小波变换数据中的每一个进行缩减处理，以及
[0053](c)对所述缩减处理之后的多个一维小波变换数据中的每一个进行一维小波逆变换处理。
[0054]另外，所述带分离单元可以将所述关注局部区域和所述相似局部区域中的每一个中的局部区域的颜色单位的平均值设置为与各个局部区域中的各个颜色对应的低通信号。所述带分离单元可以按照下面的等式计算所述关注局部区域和所述相似局部区域中的每一个中的与局部区域中的各个像素对应的高通信号:
[0055]高通信号=(各个像素的像素值)_ (对应于各个像素的颜色平均值)
[0056]另外，所述图像处理单元还可以包括参考颜色计算单元，所述参考颜色计算单元基于RAW图像产生参考颜色图像，在所述参考颜色图像中在所述RAW图像的各个像素位置处设置参考颜色像素值。所述相似局部区域选择单元可以应用所述参考颜色图像确定与所述关注局部区域的相似度并且选择与所述关注局部区域具有高相似度的相似局部区域。
[0057]另外，所述参考颜色像素值可以是亮度值。
[0058]另外，所述RAW图像可以是具有拜耳阵列的RAW图像。
[0059]另外，所述RAW图像可以是具有拜耳阵列的RAW图像。所述带分类降噪单元可以产生三维数据，在所述三维数据中所述关注局部区域和所述相似局部区域的带分类信号被设置在XY平面中并且在Z轴方向上被叠加。所述带分类降噪单元通过对作为XY平面数据的每个局部区域的所述带分类信号执行二维小波变换处理，可以产生亮度信号和另一个信号的分离数据，并且应用每个所产生的分离数据来执行降噪处理。
[0060]另外，所述局部区域选择单元可以顺序地选择关注局部区域作为包括重叠像素区的区域。当所述局部区域合成单元顺序地输入包括重叠像素区的降噪的关注局部区域图像并且通过输入图像合成处理来产生降噪的RAW图像时，所述局部区域合成单元可以执行对多个降噪的关注局部区域图像中包括的重叠像素区的像素值求平均的处理并且设置所述降噪的RAW图像的像素值。
[0061]另外，根据本发明的第二实施例，提供了一种由图像处理装置的图像处理单元执行的图像处理方法，所述图像处理装置包括的图像处理单元用于将特定颜色的像素值被设置在每个像素中的RAW图像设置为输入图像并且降低所述输入图像中包含的噪声分量，所述方法包括:从所述输入图像中选择关注局部区域作为处理对象区域；选择与所述关注局部区域具有相同相位并且与所述关注局部区域具有高相似度的相似局部区域；将所述关注局部区域和所述相似局部区域中的每一个中的局部区域分离成包括高通信号和低通信号的带分类信号；执行降低在带分离处理中产生的所述带分类信号中包含的噪声的处理；合成带分类降噪处理中产生的降噪之后的带分类信号，以产生降噪的关注局部区域图像；以及顺序地输入带合成处理中产生的降噪的关注局部区域图像并且通过输入图像合成处理来产生降噪的RAW图像。
[0062]另外，根据本发明的第三实施例，提供了一种致使图像处理装置执行图像处理的程序，所述图像处理装置包括的图像处理单元用于将特定颜色的像素值被设置在每个像素中的RAW图像设置为输入图像并且降低所述输入图像中包含的噪声分量，所述程序致使所述图像处理单元执行以下处理:从所述输入图像中选择关注局部区域作为处理对象区域；选择与所述关注局部区域具有相同相位并且与所述关注局部区域具有高相似度的相似局部区域；将所述关注局部区域和所述相似局部区域中的每一个中的局部区域分离成包括高通信号和低通信号的带分类信号；执行降低在带分离处理中产生的所述带分类信号中包含的噪声的处理；合成带分类降噪处理中产生的降噪之后的带分类信号，以产生降噪的关注局部区域图像；以及顺序地输入带合成处理中产生的降噪的关注局部区域图像并且通过输入图像合成处理来产生降噪的RAW图像。
[0063]注意的是，例如，根据本发明的程序是可以在能够执行各种类型的程序代码的信息处理装置或计算机系统的以可读计算机形式提供的存储介质或通信介质中提供的程序。以计算机可读形式提供这种程序时的可以根据信息处理装置或计算机系统中的程序来实现处理。
[0064]随后，通过基于本发明的实施例和附图进行的更详细说明，本发明的目的、特征和优点将变得清楚。此外，本说明书中的系统不限于逻辑上聚集了都被包含在同一外壳内的多个装置的构造。
[0065]根据本发明的实施例的构造，实现了用于对RAW图像执行降噪处理的装置和方法。
[0066]具体地讲，从RAW图像中选择关注局部区域和与关注局部区域具有相同相位的相似局部区域，将每个局部区域分离成包括高通信号和低通信号的带分类信号，并且执行降低带分类信号中包含的噪声的处理。在降噪处理中，例如，产生其中高通信号被设置在XY平面中并且被叠加在Z轴方向上的三维数据，并且通过应用所述三维数据执行二维小波变换、一维小波变换、缩减处理以及一维和二维小波逆变换来产生关注局部区域的降噪高通信号图像。
[0067]至于低通信号，通过应用包括关注局部区域和相似局部区域数据的三维数据的应用ε滤波的处理、一维小波变换处理等来降低噪声。
[0068]通过合成被降低噪声的高通信号和低通信号的带，产生与关注局部区域对应的降噪图像并且合成关注局部区域的降噪图像来产生被降低噪声的RAW图像。
[0069]在根据本发明的实施例的处理中，以高精度实现对RAW图像的降噪处理。
【专利附图】
【附图说明】
[0070]图1是示出根据本发明的实施例的图像处理装置的成像装置的构造的例子的示图；
[0071]图2是示出图像传感器的构造的示图；
[0072]图3是示出根据本发明的实施例的图像处理装置的图像处理单元的构造的例子和处理的例子的示图；
[0073]图4是示出图像处理单元的RAW减噪单元的构造的例子和处理的例子的示图；
[0074]图5是示出由图像处理装置执行的相似局部区域搜索处理的示图；
[0075]图6是示出由根据本发明的实施例的图像处理装置执行的带分离处理的示图；
[0076]图7是示出由根据本发明的实施例的图像处理装置执行的降噪处理所应用的数据结构的例子的示图；
[0077]图8是示出由根据本发明的实施例的图像处理装置执行的降噪处理的序列的流程图；
[0078]图9是示出由根据本发明的实施例的图像处理装置执行的二维小波变换处理的示图；
[0079]图10是示出由根据本发明的实施例的图像处理装置执行的二维小波变换处理的示图；
[0080]图11是示出由根据本发明的实施例的图像处理装置执行的一维小波变换处理的示图；
[0081]图12是示出由根据本发明的实施例的图像处理装置执行的一维小波变换处理的示图；
[0082]图13是示出由根据本发明的实施例的图像处理装置执行的缩减处理的示图；
[0083]图14是示出图像传感器的噪声特性的示图；[0084]图15是示出由根据本发明的实施例的图像处理装置执行的二维小波变换处理的特性的示图；
[0085]图16是示出由根据本发明的实施例的图像处理装置执行的二维小波变换处理的特性的示图；
[0086]图17是示出由根据本发明的实施例的图像处理装置执行的降噪处理的序列的流程图；
[0087]图18是示出由根据本发明的实施例的图像处理装置执行的降噪处理的序列的流程图；
[0088]图19是示出由根据本发明的实施例的图像处理装置执行的降噪处理的序列的流程图；
[0089]图20是示出由根据本发明的实施例的图像处理装置执行的降噪处理的序列的流程图；
[0090]图21是示出由根据本发明的实施例的图像处理装置执行的局部区域合成处理的具体例子的示图；
[0091]图22是示出由根据本发明的实施例的图像处理装置执行的降噪处理的整个序列的流程图；
[0092]图23是示出图像处理单元的RAW降噪单元的构造的例子和处理的例子的示图；
[0093]图24是示出由图像处理单元的RAW降噪单元的参考颜色计算单元执行的处理的示图；
[0094]图25是示出由图像处理单元的RAW降噪单元的参考颜色计算单元执行的处理的示图；
[0095]图26是示出由根据本发明的实施例的图像处理装置执行的降噪处理的整个序列的流程图。
具体实施例
[0096]下文中，将参照附图详细描述本发明的优选实施例。注意的是，在本说明书和附图中，用相同的参考标号表示具有基本相同的功能和结构的结构元件，并且省去对这些结构元件的重复说明。
[0097]下文中，将参照附图描述根据本发明的实施例的图像处理装置、图像处理方法和程序。将以下面章节的次序进行描述。
[0098]1.图像处理装置的构造的例子和处理的例子
[0099]1-1.图像处理装置的构造
[0100]1-2.图像处理装置的处理
[0101]2.由根据本发明的实施例的图像处理装置执行的降噪处理的第一实施例
[0102]2-1.图像处理单元的全体构造的例子
[0103]2-2.RAW降噪单元的构造和处理
[0104]2-3局部区域选择单元的处理
[0105]2-4相似局部区域选择单元的处理
[0106]2-5带分离单元的处理[0107]2-6高通降噪单元的处理
[0108]2-6-1 (第一处理例子)通过三维小波缩减进行的降噪处理
[0109]2-6-2 (第二处理例子)通过二维小波变换+ ε滤波(印silon filter)进行的降噪处理
[0110]2-6-3 (第三处理例子)通过Z方向的ε滤波进行的降噪处理
[0111]2-7低通降噪单元的处理
[0112]2-7-1 (第一处理例子)通过一维小波缩减进行的降噪处理
[0113]2-7-2 (第二处理例子)以局部区域为单位向包括相同颜色(R、G或B)的平均(DC)信号的每个一维数据应用ε滤波的降噪处理
[0114]2-8带合成单元的处理
[0115]2-9局部区域合成单元的处理
[0116]3.降噪处理的全体序列
[0117]4.由根据本发明的实施例的图像处理装置执行的降噪处理的第二实施例
[0118]5.根据第二实施例的降噪处理的序列
[0119]6.根据本发明的实施例的构造的总结
[0120][1.图像处理装置的构造的例子和处理的例子]
[0121]首先，将描述根据本发明的实施例的图像处理装置的构造的例子和处理的例子。
[0122][1-1.图像处理装置的构造]
[0123]图1是示出作为根据本发明的实施例的图像处理装置的例子的成像装置10的构造的例子的示图。成像装置10主要包括光学系统、信号处理系统、记录系统、显示系统和控制系统。
[0124]光学系统包括:镜头11，其会聚被摄体的光图像；光阑12，其调节来自镜头11的光图像的光量；以及图像传感器13，其对会聚的光图像执行光电转换，以将光图像转换成电信号。
[0125]例如，图像传感器13是电荷耦合器件(CXD)图像传感器或互补型金属氧化物半导体(CMOS)图像传感器。
[0126]例如，如图2中所示，图像传感器13是具有带有包括RGB像素的拜耳阵列的滤色器的图像传感器。
[0127]在每个像素中设置根据滤色器的阵列与RGB中的一种颜色对应的像素值。
[0128]图2中示出的阵列是图像传感器13的像素阵列的例子。图像传感器13可以被构造为具有其它各种设置阵列。
[0129]回头参照图1，将继续描述成像装置10的构造。
[0130]信号处理系统包括采样电路14、模数(A-D)转换单元15和图像处理单元(DSP)16。
[0131]例如，采样电路14由相关双采样(⑶S)电路来实现并且对来自图像传感器13的电信号进行采样，以产生模拟信号。因此，降低了图像传感器13中出现的噪声。采样电路14得到的模拟信号是被产生用于显示被摄体的拍摄图像的图像信号。
[0132]A-D转换单元15将从采样电路14供应的模拟信号转换成数字信号并且将经转换的数字信号供应到图像处理单元16。
[0133]图像处理单元16对从A-D转换单元15输入的数字信号执行预定的图像处理。[0134]具体地讲，输入由以像素为单位具有以上参照图2描述的RGB中的一种颜色的像素值的数据形成的图像数据(RAW图像)并且执行降噪处理等来降低输入的RAW图像中包含的噪声。
[0135]以下，将详细描述降噪处理。
[0136]图像处理单元16不仅执行降噪处理而且执行通用相机中的信号处理，诸如，在RAff图像的每个像素位置中设置与RGB中的所有颜色对应的像素值的去马赛克处理、白平衡(WB)调节或伽玛校正。
[0137]记录系统包括对图像信号进行编码或解码的编码和解码单元17和记录图像信号的存储器18。
[0138]编码和解码单元17对图像信号(即经过图像处理单元16处理的数字信号)进行编码并且将图像信号记录在存储器18中。编码和解码单元从存储器18读取图像信号并且对其进行解码，并且将图像信号供应到图像处理单元16。
[0139]显示系统包括数模(D-A)转换单元19、视频编码器20和显示单元21。
[0140]D-A转换单元19将经过图像处理单元16处理的图像信号转换成模拟信号，将模拟信号供应到视频编码器20。视频编码器20将来自D-A转换单元19的图像信号编码成具有适于显示单元21的格式的视频信号。
[0141]显示单元21由(例如)液晶显示器(IXD)来实现并且基于通过视频编码器20进行编码而得到的视频信号来显示与视频信号对应的图像。显示单元21还用作对被摄体进行成像时的取景器。
[0142]控制系统包括时序产生单元22、操作输入单元23、驱动器24和控制器(CPU) 25。图像处理单元16、编码和解码单元17、存储器18、时序产生单元22、操作输入单元23和控制单元25通过总线26彼此连接。
[0143]时序产生单元22控制图像传感器13、采样电路14、A-D转换单元15和图像处理单元16的处理的时序。操作输入单元23包括按钮、开关等，接收用户的快门操作或其它命令输入，并且将基于用户操作的信号供应到控制单元25。
[0144]预定的外围装置连接到驱动器24。然后，驱动器24驱动所连接的外围装置。例如，驱动器24从记录介质(诸如磁盘、光盘、磁-光盘或者被作为外围装置连接的半导体存储器)读取数据并且将数据供应到控制单元25。
[0145]控制单元25控制整个成像装置10。例如，控制单元25包括具有程序执行功能的CPU,从通过存储器18连接到驱动器24的记录介质或驱动器24读取控制程序，并且基于控制程序、来自操作输入单元23的命令等来控制整个成像装置10的处理。
[0146][1-2图像处理装置的处理]
[0147]接下来，将描述图1中示出的成像装置10的处理。
[0148]成像装置10允许来自被摄体的入射光(也就是说，被摄体的光图像)经由镜头11和光阑12入射到图像传感器13上并且允许图像传感器13对光图像执行光电转换以产生电信号。
[0149]在采样电路14从通过图像传感器13得到的电信号中去除噪声分量并且A-D转换单元15将电信号转换成数字信号之后，将数字信号暂时存储在图像存储器诸如图像处理单元16中包括的帧缓冲器(未示出)中。[0150]在正常状态下，也就是说，在执行快门操作之前的状态下，在时序产生单元22发出的关于信号处理系统的时序的控制下，在图像处理单元16的图像存储器(帧缓冲器)中，以恒定帧速率连续覆写来自A-D转换单元15的图像信号。D-A转换单元19将图像处理单元16的图像存储器中的图像信号从数字信号转换成模拟信号，通过视频编码器20将模拟信号转换成视频信号，并且在显示单元21上显示与视频信号对应的图像。
[0151]显示单元21还起到成像装置10的取景器功能的作用。因此，用户在观看显示单元21上显示的图像的同时确定构图，并且按下用作操作输入单元23的快门按钮，以发出拍摄图像的指令。
[0152]当按下快门按钮时，控制单元25指示时序产生单元22基于来自操作输入单元23的信号保持紧接在按下快门按钮之后的图像信号。因此，信号处理系统被控制成，使得在图像处理单元16的图像存储器中不覆写图像信号。
[0153]此后，图像处理单元16对保持在图像存储器中的图像信号执行信号处理，例如，各种类型的信号处理，诸如降噪处理、去马赛克处理和白平衡调节处理，然后将经处理的图像数据输出到编码和解码单元17。
[0154]编码和解码单元17对从图像处理单元16输入的图像数据进行编码并且将图像数据记录在存储器18中。通过成像装置10的上述处理来完成一个图像信号的获取。
[0155][2.由根据本发明的实施例的图像处理装置执行的降噪处理的第一实施例]
[0156]接下来，将描述由根据本发明的实施例的成像装置的图像处理单元16执行的降噪处理的第一实施例。
[0157][2-1.图像处理单元的整体构造的例子]
[0158]图3是示出图1中的成像装置10的图像处理单元16的构造的例子的示图。
[0159]RAff降噪单元31输入由具有滤色器阵列(例如，参照图2描述的阵列)的图像传感器13所拍摄的图像(RAW图像)，在不改变颜色阵列(每个像素位置处的颜色)的情况下执行降噪处理，并且产生并输出降噪的RAW图像。
[0160]由于RAW降噪单元31执行的降噪处理可以作为对来自图像传感器13的输出进行的处理来执行，降噪处理可以作为使用以前可获得的图像传感器13的噪声特性进行的处理来执行。
[0161]当在去马赛克处理或其它信号处理之后降低噪声时，难以估计经受信号处理的图像的噪声特性。因此，存在的问题是，难以有效地根据特性来降低噪声。
[0162]相机信号处理单元32输入已经过RAW降噪单元31降噪的颜色阵列图像，通过信号处理或其它通用相机信号处理执行恢复各个像素中所有颜色的去马赛克处理，产生并且输出输出图像。
[0163][2-2.RAW降噪单元的构造和处理]
[0164]图4是示出图3中示出的图像处理单元16的RAW降噪单元31的详细构造和处理的示图。
[0165]从图1中示出的成像装置10的A-D转换单元15将RAW图像51输入到图像处理单元16的RAW降噪单元31。
[0166]RAff图像51是在每个像素中只设置RGB中的一种的像素值的图像。这里，将在假设输入具有基于图2中示出的拜耳阵列的像素阵列的RAW图像51的前提下进行描述。[0167][2-3局部区域选择单元的处理]
[0168]RAff图像51被输入到RAW降噪单元31的局部区域选择单元101。
[0169]局部区域选择单元101输入由具有特定滤色器阵列(例如，图2中示出的颜色阵列)的图像传感器13所拍摄的图像，并且顺序地选择给定的局部区域(例如，具有nXn个像素的矩形区域)作为是降噪处理对象的关注区域(关注局部区域Prll2)。这里，η是等于或大于2的整数。
[0170]关于被本地区域选择单元101选择作为处理对象的关注局部区域的图像信息连同RAW图像51 —起被输入到相似局部区域选择单元102。
[0171][2-4相似局部区域选择单元的处理]
[0172]相似局部区域选择单元102搜索与被局部区域选择单元101选择作为降噪处理对象的关注局部区域Prll2具有高相似度的局部区域，也就是说，周边区域之中的相似区域(相似局部区域)。
[0173]相似局部区域选择单元102所选择的相似局部区域是与被局部区域选择单元101选择作为降噪处理对象的关注局部区域Prll2具有相同相位的像素区，也就是说，颜色阵列相同的像素区，并且在周边区域中搜索并选择具有高相似度的多个局部区域。
[0174]相似局部区域选择单元102以与关注局部区域Prll2最相似开始的次序按预设数量来选择多个相似局部区域。
[0175]图5是示出由相似局部区域选择单元102执行的相似局部区域搜索处理的示图。
[0176]如图5 (I)中所示，例如，相似局部区域选择单元102以从最相似开始的次序从搜索区202中搜索并提取由于与关注局部区域Pr210的局部区域具有相同相位而具有高相似度的预定数量的局部区域Pi (其中，i=l、2、3...)，搜索区202被设置成中心位于关注局部区域Pr210并且被局部区域选择单元101选择作为降噪处理对象区域。
[0177]图5 (I)示出提取三个相似局部区域Pl-211a、P2_211b和P3-211C的例子。
[0178]图5(2)是示出当颜色阵列是拜耳阵列时的搜索例子的示图。例如，图中用粗虚线指示的、以位于图5(2)中示出的中心的G像素为中心的3X3像素被设置为局部区域选择单元101选择的关注局部区域。这个局部区域的相位(也就是说，颜色阵列)如下:
[0179]GRG >
[0180]BGB 和
[0181]GRG。
[0182]搜索区被设置在关注局部区域的周边。例如，假设搜索区是图5(2)中示出的11X11像素区。在这个搜索区中被搜索的区域是与关注局部区域具有相同相位的局部区域。也就是说，具有以下相位的局部区域是提取对象:
[0183]GRG、
[0184]BGB 和
[0185]GRG。
[0186]因此，搜索范围中的实际搜索对象是以用粗实线指示的G像素为中心的24个3 X 3
像素区。
[0187]从这24个候选的相似局部区域中选择与关注局部区域具有高相似度的预设数量的局部区域。[0188]至于局部区域的相似度，例如，使用基于局部区域之间的像素值的绝度差之和(SAD)或平方差之和(SSD)。顺序地选择与关注局部区域的SAD或SSD的值小的局部区域。
[0189]使用下面的(等式I)计算两个局部区域之间的绝度差之和(Rsad)。
[0190]Rsad= Σ Σ I Pr (x, y) -Pi (x, y) 1...(等式 I)
[0191]在以上的(等式I)中，Pr(x，y)是关注局部区域的坐标(x，y)的像素值并且Pi (x, y)是相似局部区域的坐标(x，y)的像素值。
[0192]使用下面的(等式2)计算两个局部区域之间的平方差之和(Rssd)。
[0193]Rssd= Σ Σ (Pr (x, y) -Pi (x, y))2...(等式 2)
[0194]在以上的(等式2)中，Pr(x，y)是关注局部区域的坐标(x，y)的像素值并且Pi (x, y)是相似局部区域的坐标(x，y)的像素值。
[0195]绝度差之和(SAD)或平方差之和(SSD)是指不随着其值越小相似度越闻的指标。
[0196]如参照图5描述的，相似局部区域选择单元102以从最相似开始的次序从搜索区202中搜索并提取由于与关注局部区域Pr210具有相同相位而具有高相似度的预定数量的局部区域Pi (其中，i=l、2、3...)，搜索区202被设置成中心位于关注局部区域Pr210并且被局部区域选择单元101选择作为降噪处理对象区域。
[0197]相似局部区域选择单元102将关于所提取的相似局部区域的图像信息连同被局部区域选择单元101选择作为降噪处理对象的关注局部区域的图像信息作为相似局部区域组数据113 (如图4中所示)输出到带分离单元103。
[0198][2-5带分离单元的处理]
[0199]带分离单元103输入来自相似局部区域选择单元102的包括具有相同相位的多个相似局部区域图像的相似局部区域组数据113。
[0200]带分离单元103计算这些局部区域中的每一个的高通分量和低通分量并且将高通分量114和低通分量115分别输出到高通降噪单元104和低通降噪单元105。
[0201]将参照图6描述由带分离单元103执行的带分离处理。
[0202]如图4中所示，带分离单元103输入来自相似局部区域选择单元102的相似局部区域组数据113。相似局部区域组数据113包括关注局部区域(即局部区域选择单元101选择的降噪处理对象区域)和由相似局部区域选择单元102选择的相似局部区域的图像数据。相似局部区域是与关注局部区域具有相同相位并且与它相似的局部区域。
[0203]图6示出相似局部区域组数据113的包括4X4像素作为一个局部区域数据的局部区域数据的例子。4X4像素的局部区域是关注局部区域或相似局部区域。
[0204]带分离单元103对关注局部区域和多个相似局部区域中的每一个执行相同处理，以产生与每个局部区域对应的高通信号图像数据114和低通信号图像数据115，并且将高通信号图像数据114和低通信号图像数据115分别输出到高通降噪单元104和低通降噪单元105,如图4中所示。
[0205]例如，当三个相似局部区域被选择作为与一个关注局部区域对应的相似局部区域时，带分离单元103对总共四个局部区域执行相同的带分离处理，以产生四个高通信号图像和四个低通信号图像，并且将这些高通信号图像和低通信号图像分别输出到高通降噪单元104和低通降噪单元105。
[0206]如图6中所示，带分离单元103产生与将经受带分离处理的局部区域数据具有相同像素阵列的高通信号图像数据114和低通信号图像数据115。
[0207]在图6中示出的高通信号图像数据114中，RH、GH和BH分别指示R的高通信号、G的高通信号和B的高通信号，并且是分别与RGB颜色的高通信号对应的信号值(像素值)。
[0208]同样，在图6中示出的低通信号图像数据115中，RL、GL和BL分别指示R的低通信号、G的低通信号和B的低通信号，并且是分别与RGB颜色的低通信号对应的信号值(像素值)。
[0209]因此，带分离单元103产生并输出与输入信号具有相同像素阵列的高通信号图像数据114和低通信号图像数据115。
[0210]如上所述，由于对每个局部区域执行带分离处理，因此针对相似局部区域组数据113中包括的相似局部区域和关注局部区域中的每一个产生并输出高通信号图像数据114和低通信号图像数据115。
[0211]带分离单元103按照下面的(等式3)计算相似局部区域组数据113中包括的关注局部区域和相似局部区域中的每一个的低通信号图像数据115和每个局部区域图像数据
的每个像素值《A,y )，并且按照下面的(等式4)计算高通信号图像数据114的每个像素
值(?.[0212]
【权利要求】
1.一种图像处理装置，包括: 图像处理单元，用于将特定颜色的像素值被设置在每个像素中的RAW图像设置为输入图像并且降低所述输入图像中包含的噪声分量， 其中，所述图像处理单元包括 局部区域选择单元，用于从所述输入图像中选择关注局部区域作为处理对象区域， 相似局部区域选择单元，用于选择与所述关注局部区域具有相同相位并且与所述关注局部区域具有高相似度的相似局部区域， 带分离单元，用于将所述关注局部区域和所述相似局部区域中的每一个中的局部区域分离成包括高通信号和低通信号的带分类信号， 带分类降噪单元，用于执行降低在所述带分离单元中产生的所述带分类信号中包含的噪声的处理， 带合成单元，用于合成由所述带分类降噪单元产生的降噪之后的带分类信号，以产生降噪的关注局部区域图像，以及 局部区域合成单元，用于顺序地输入由所述带合成单元产生的降噪的关注局部区域图像并且通过输入图像合成处理来产生降噪的RAW图像。
2.根据权利要求1所述的图像处理装置， 其中，所述带分类降噪单元产生三维数据，在该三维数据中所述关注局部区域和所述相似局部区域的高通信号被设置在XY平面中并且在Z轴方向上被叠加，并且 其中，所述带分类降噪单元通过顺序地执行应用所述三维数据的下述处理(a)至(e)对所述关注局部区域的高通信号执行降噪处理: Ca)通过对作为XY平面数据的每个局部区域的高通信号进行二维小波变换处理来产生对应于局部区域的多个二维小波变换数据的处理， (b)通过对Z轴方向上的每个一维像素行进行一维小波变换处理来产生多个一维小波变换数据的处理，其中所述一维像素行是根据对应于局部区域的多个二维小波变换数据产生的， (C)对多个一维小波变换数据中的每一个进行缩减处理， (d)对所述缩减处理之后的多个一维小波变换数据中的每个进行一维小波逆变换处理， (e)对由所述一维小波逆变换处理之后的数据形成的对应于关注局部区域的XY平面信号进行二维小波逆变换处理。
3.根据权利要求2所述的图像处理装置， 其中，所述带分类降噪单元产生另一个三维数据，在所述另一个三维数据中所述关注局部区域和所述相似局部区域的低 通信号被设置在XY平面中并且在Z轴方向上被叠加，并且其中，所述带分类降噪单元通过对根据所述另一个三维数据产生的Z轴方向上的多个一维数据中的每一个进行ε滤波应用处理，对所述关注局部区域的低通信号执行降噪处理。
4.根据权利要求2所述的图像处理装置， 其中，所述带分类降噪单元产生另一个三维数据，在所述另一个三维数据中所述关注局部区域和所述相似局部区域的低通信号被设置在XY平面中并且在Z轴方向上被叠加，并且其中，所述带分类降噪单元通过顺序地执行应用了所述另一个三维数据的下述处理(f)至(h)对所述关注局部区域的低通信号执行降噪处理: (f)通过对根据所述另一个三维数据产生的Z轴方向上的多个一维数据中的每一个进行一维小波变换处理来产生多个一维小波变换数据的处理， (g)对所述多个一维小波变换数据中的每一个进行缩减处理，以及 (h)对所述缩减处理之后的多个一维小波变换数据中的每一个进行一维小波逆变换处理。
5.根据权利要求1所述的图像处理装置， 其中，所述带分类降噪单元产生三维数据，在所述三维数据中所述关注局部区域和所述相似局部区域的高通信号被设置在XY平面中并且在Z轴方向上被叠加，并且 其中，所述带分类降噪单元通过顺序地执行应用了所述三维数据的下述处理(a)至(C)对所述关注局部区域的高通信号执行降噪处理: Ca)通过对作为XY平面数据的每个局部区域的高通信号进行二维小波变换处理来产生对应于局部区域的多个二维小波变换数据的处理， (b)通过对根据对应于局部区域的多个二维小波变换数据产生的Z轴方向上的每个一维像素行进行ε滤波应用处理， (C)对所述ε滤波应用处理之后的数据进行二维小波逆变换处理。
6.根据权利要求5所述的图像处理装置， 其中，所述带分类降噪单元产生另一个三维数据，在所述另一个三维数据中所述关注局部区域和所述相似局部区域的低通信号被设置在XY平面中并且在Z轴方向上被叠加，并且其中，所述带分类降噪单元通过对根据所产生的所述另一个三维数据产生的Z轴方向上的多个一维数据中的每一个进行ε滤波应用处理，对所述关注局部区域的低通信号执行降噪处理。
7.根据权利要求5所述的图像处理装置， 其中，所述带分类降噪单元产生另一个三维数据，在所述另一个三维数据中所述关注局部区域和所述相似局部区域的低通信号被设置在XY平面中并且在Z轴方向上被叠加，并且其中，所述带分类降噪单元通过顺序地执行应用了所述另一个三维数据的下述处理(d)至(f)对所述关注局部区域的低通信号执行降噪处理: (d)通过对根据所述另一个三维数据产生的Z轴方向上的多个一维数据中的每一个进行一维小波变换处理来产生多个一维小波变换数据的处理， (e)对所述多个一维小波变换数据中的每一个进行缩减处理，以及 (f)对所述缩减处理之后的多个一维小波变换数据中的每个进行一维小波逆变换处理。
8.根据权利要求1所述的图像处理装置， 其中，所述带分类降噪单元产生三维数据，在所述三维数据中所述关注局部区域和所述相似局部区域的高通信号被设置在XY平面中并且在Z轴方向上被叠加，并且 其中，所述带分类降噪单元通过对根据所述三维数据产生的Z轴方向上的多个一维数据中的每一个进行ε滤波应用处理，对所述关注局部区域的高通信号执行降噪处理。
9.根据权利要求8所述的图像处理装置， 其中，所述带分类降噪单元产生另一个三维数据，在所述另一个三维数据中所述关注局部区域和所述相似局部区域的低通信号被设置在XY平面中并且在Z轴方向上被叠加，并且其中，所述带分类降噪单元通过对根据所产生的所述另一个三维数据产生的Z轴方向上的多个一维数据中的每一个进行ε滤波应用处理，对所述关注局部区域的低通信号执行降噪处理。
10.根据权利要求8所述的图像处理装置， 其中，所述带分类降噪单元产生另一个三维数据，在所述另一个三维数据中所述关注局部区域和所述相似局部区域的低通信号被设置在XY平面中并且在Z轴方向上被叠加，并且其中，所述带分类降噪单元通过顺序地执行应用了所述另一个三维数据的下述处理(a)至(c)对所述关注局部区域的低通信号执行降噪处理: (a)通过对根据所述另一个三维数据产生的Z轴方向上的多个一维数据中的每一个进行一维小波变换处理来产生多个一维小波变换数据的处理， (b)对所述多个一维小波变换数据中的每一个进行缩减处理，以及 (C)对所述缩减处理之后的多个一维小波变换数据中的每一个进行一维小波逆变换处理。
11.根据权利要求1所述的图像处理装置， 其中，所述带分离单元将所述关注局部区域和所述相似局部区域中的每一个中的局部区域的颜色单位的平均值设置为与各个局部区域中的各个颜色对应的低通信号，并且 其中，所述带分离单元按照下面的等式计算所述关注局部区域和所述相似局部区域中的每一个中的与局部区域中的各个像素对应的高通信号:` 高通信号=(各个像素的像素值)-(对应于各个像素的颜色平均值)。
12.根据权利要求1所述的图像处理装置， 其中，所述图像处理单元还包括参考颜色计算单元，所述参考颜色计算单元基于RAW图像产生参考颜色图像，在所述参考颜色图像中在所述RAW图像的各个像素位置处设置参考颜色像素值， 其中，所述相似局部区域选择单元应用所述参考颜色图像确定与所述关注局部区域的相似度并且选择与所述关注局部区域具有高相似度的相似局部区域。
13.根据权利要求12所述的图像处理装置，其中，所述参考颜色像素值是亮度值。
14.根据权利要求1所述的图像处理装置，其中，所述RAW图像是具有拜耳阵列的RAW图像。
15.根据权利要求1所述的图像处理装置， 其中，所述RAW图像是具有拜耳阵列的RAW图像， 其中，所述带分类降噪单元产生三维数据，在所述三维数据中所述关注局部区域和所述相似局部区域的带分类信号被设置在XY平面中并且在Z轴方向上被叠加，并且 其中，所述带分类降噪单元通过对作为XY平面数据的每个局部区域的所述带分类信号执行二维小波变换处理，产生亮度信号和另一个信号的分离数据，并且应用每个所产生的分离数据来执行降噪处理。
16.根据权利要求1所述的图像处理装置， 其中，所述局部区域选择单元顺序地选择关注局部区域作为包括重叠像素区的区域，并且其中，当所述局部区域合成单元顺序地输入包括重叠像素区的降噪的关注局部区域图像并且通过输入图像合成处理来产生降噪的RAW图像时，所述局部区域合成单元执行对多个降噪的关注局部区域图像中包括的重叠像素区的像素值求平均的处理并且设置所述降噪的RAW图像的像素值。
17.一种由图像处理装置的图像处理单元执行的图像处理方法，所述图像处理装置包括的图像处理单元用于将特定颜色的像素值被设置在每个像素中的RAW图像设置为输入图像并且降低所述输入图像中包含的噪声分量，所述方法包括: 从所述输入图像中选择关注局部区域作为处理对象区域； 选择与所述关注局部区域具有相同相位并且与所述关注局部区域具有高相似度的相似局部区域； 将所述关注局部区域和所述相似局部区域中的每一个中的局部区域分离成包括高通信号和低通信号的带分类信号； 执行降低在带分离处理中产生的所述带分类信号中包含的噪声的处理； 合成带分类降噪处理中产生的降噪之后的带分类信号，以产生降噪的关注局部区域图像，以及 顺序地输入带合成处理中产生的降噪的关注局部区域图像并且通过输入图像合成处理来产生降噪的RAW图像。
18.一种致使图像处理装置执行图像处理的程序，所述图像处理装置包括的图像处理单元用于将特定颜色的像素值被设置在每个像素中的RAW图像设置为输入图像并且降低所述输入图像中包含的噪声分量，所述程序致使所述图像处理单元执行以下处理: 从所述输入图像中选择关注局部区域作为处理对象区域； 选择与所述关注局部区域具有相`同相位并且与所述关注局部区域具有高相似度的相似局部区域； 将所述关注局部区域和所述相似局部区域中的每一个中的局部区域分离成包括高通信号和低通信号的带分类信号； 执行降低在带分离处理中产生的所述带分类信号中包含的噪声的处理； 合成带分类降噪处理中产生的降噪之后的带分类信号，以产生降噪的关注局部区域图像，以及 顺序地输入带合成处理中产生的降噪的关注局部区域图像并且通过输入图像合成处理来产生降噪的RAW图像。
【文档编号】H04N9/04GK103795990SQ201310505255
【公开日】2014年5月14日 申请日期:2013年10月24日 优先权日:2012年10月31日
【发明者】小野博明, 栗田哲平, 光永知生 申请人:索尼公司