专利名称：图像处理装置、摄像装置及图像处理方法
技术领域：
本发明涉及，估计输入图像的PSF的技术。
背景技术：
近几年，随着数字静态照相机以及数字摄像机等中包含的摄像元件的多像素化进展，摄影图像的分辩率提高了。但是，因多像素化的影响而每一个像素的受光量减少了，摄影图像中的噪声增多了。为了抑制这样的噪声，使曝光时间变长是有效的。但是，若曝光时间变长，则容易产生手抖动(camera shake blur)以及被摄体抖动(motion blur),因此导致摄影图像的画质劣化。于是，提出了从如此画质劣化的摄影图像中，除去手抖动以及被摄体抖动的方法(参照专利文献I以及非专利文献I)。根据专利文献I以及非专利文献I的方法，通过利用摄影图像的点扩散函数(PSF:Point Spread Function)进行摄影图像的恢复处理,从而生成手抖动以及被摄体抖动被除去的图像。PSF是,表示手抖动、被摄体抖动以及散焦模糊(out — of — focus blur)的状态的函数。而且，以下，将手抖动、被摄体抖动以及散焦模糊总称为模糊(blur)。并且，会有利用PSF，估计摄影图像的距离的情况。例如，存在根据随着距离而变化的PSF来测量距离的所谓DFD (D印th from Defocus:散焦深度)的方法。具体而言，例如，利用焦点对准的全焦点图像和焦点未对准的模糊图像这两张图像，估计模糊图像的PSFji估计的PSF与预先按每个被摄体距离测量的PSF进行比较，从而估计距离。对于在这样的图像恢复或距离估计上利用的PSF，利用通过离散傅立叶变换(DFT:Discrete Fourier Transform)而变换为频域的摄影图像来估计的情况多。在DFD的情况下，得到焦点对准的全焦点图像和模糊图像。该模糊图像，与卷积全焦点图像和PSF而得到的图像一致。也就是说，模糊图像的各个频率成分，与全焦点图像的各个频率成分和PSF的各个频率成分的积一致。因此，PSF的各个频率成分是，例如，全焦点图像的各个频率成分除以模糊图像的各个频率成分来能够求出的。(现有技术文献)(专利文献)专利文献1:日本特开2007 - 116332号公报(非专利文献)非专利文献1:R.Fergus, B.Singh, A.Hertzmann, S.T.RoweiS，W.T.Freeman, "Removing Camera Shake from a Single Photograph"，ACM Trans, onGraphics, Vol.25，Issue3，pp.787 — 794 (2006)
发明概要发明要解决的问题
然而，根据所述的PSF的估计方法，会有不能准确地估计PSF的情况。
发明内容
于是，本发明，提出能够提高PSF的估计精度的图像处理装置。用于解决问题的手段本发明的实施方案之一涉及的图像处理装置，估计至少一个输入图像的点扩散函数，该图像处理装置具备:信噪比估计部，估计各个空间频率中的所述输入图像的信噪比；限制区域计算部，以所述信噪比越低的空间频率就越被包含在限制区域中的方式来计算限制区域，所述限制区域是所述输入图像的频率成分被限制的空间频率的区域；频率限制部，通过对所述限制区域内的所述输入图像的频率成分进行限制，从而生成限制图像；以及点扩散函数估计部，利用所述限制图像，估计所述输入图像的点扩散函数。而且，这样的总括性或具体的形态，可以由系统、方法、集成电路、计算机程序或计算机可读取的⑶一 ROM (Compact Disc Read Only Memory:只读光盘)等的记录介质实现，也可以由系统、方法、集成电路、计算机程序或以及记录介质的任意的组合实现。发明效果 根据本发明的实施方案之一涉及的图像处理装置，能够提高PSF的估计精度。
图1是示出实施例1的摄像装置的结构的图。图2是用于说明计算SFR的方法的图。图3是用于说明计算摄影对象的被摄体的频率特性的方法的图。图4是用于说明计算摄像元件的噪声的频率特性的方法的图。图5是用于说明估计各个频率成分的信噪比的方法的图。图6A是示出限制区域的一个例子的图。图6B是示出限制区域的另一个例子的图。图7是示出实施例1的摄像装置的处理的流程图。图8是示出实施例2的摄像装置的结构的图。图9是示出实施例3的摄像装置的结构的图。图10是示出摄像装置与每个距离的PSF的关系的图。图11是示出PSF的各个频率成分的差分的图。图12是示出各个频率成分的距离判别值的图。图13是用于说明根据距离区间而PSF的各个频率成分的差分不同的图。图14是示出其他的实施例的图像处理装置的结构的图。图15是示出其他的实施例的图像处理装置的处理的流程图。
具体实施例方式(成为本发明的基础的知见解)本发明人们，关于“背景技术”的栏中记载的PSF的估计，发现了会产生以下的问题。在估计PSF的情况下可以考虑到，因用于估计的模糊的图像的信噪比(SN比:Signal to Noise Ratio)而PSF估计精度发生大变化。考虑DFD中估计PSF的情况。在被摄体被拍摄的图像中信号成分少的情况(没有边缘且平坦的图像的情况)下，难以估计PSF。这是因为，由于信号成分少，因此全焦点图像的各个频率成分的振幅变小，与模糊图像的各个频率成分的差分变小。并且，在光量少的情况下，在拍摄的图像中噪声成分的影响大，难以估计PSF。这是因为，全焦点图像的频率成分和模糊图像的频率成分埋入在噪声成分中，因此，导致各个频率成分的差分不准确。根据所述内容可以认为，在拍摄的被摄体中信号成分多(边缘多)、噪声少的情况下，能够准确地估计PSF的各个频率成分。—般而言，摄影图像的信号成分，越是低频率，振幅就越大，越是高频率，振幅就越小。理由是，在由摄像机拍摄时，因透镜的频率特性(MTF Modulation Transfer Function)以及根据透镜的F值而决定的衍射极限，而高频率成分衰减。并且，也有以下的理由，S卩，自然图像具有不太包含高频率成分这特性。另一方面，对于摄影图像的噪声成分，具有白噪声的特性的光散粒噪声的影响大。因此，可以认为，对于直流成分以外的频率成分，噪声成分的振幅的大小均匀。根据以上的内容，具有的特性是，在比较信号成分与噪声成分时，越是低频率成分，信号成分的比率就越大，信噪比就越高。另一方面，具有的特性是，在比较信号成分与噪声成分时，越是高频率成分，噪声成分的比率就越大，信噪比就越低。如上所述，根据一般的摄影图像的信号成分与噪声成分的关系可以认为，对于各个空间频率的PSF的估计，越是信噪比高的低频域，就越容易，越是信噪比低的高频域，就越困难。特别是，在噪声成分的量多的情况下，对于高频率成分，信号成分完全埋入在噪声成分中，因此，难以估计PSF。在这样的情况下，若也估计高频率的PSF的频率成分，则导致计算时间的浪费，也成为PSF的估计精度劣化的原因。于是，本发明的实施方案之一涉及的图像处理装置，估计至少一个输入图像的点扩散函数，该图像处理装置具备:信噪比估计部，估计各个空间频率中的所述输入图像的信噪比；限制区域计算部，以所述信噪比越低的空间频率就越被包含在限制区域中的方式来计算限制区域，所述限制区域是所述输入图像的频率成分被限制的空间频率的区域；频率限制部，通过对所述限制区域内的所述输入图像的频率成分进行限制，从而生成限制图像；以及点扩散函数估计部，利用所述限制图像，估计所述输入图像的点扩散函数。根据该结构，能够对以信噪比越低的空间频率就越被包含在限制区域中的方式来计算出的限制区域内的输入图像的频率成分进行限制。进而，利用如此限制的限制图像，能够估计点扩散函数。因此，能够抑制，因噪声多的频率成分而导致的点扩散函数的估计精度的降低。进而，由于用于点扩散函数的估计的频率成分减少，因此能够减轻用于估计点扩散函数的处理负荷，或能够缩短处理时间。例如，也可以是，所述限制区域计算部，计算比所述信噪比与阈值一致的空间频率高的频率的区域，以作为所述限制区域。根据该结构，能够计算比信噪比与阈值一致的空间频率高的频率的区域，以作为限制区域。一般而言，越高的频域，信噪比就越高，因此，通过如此计算限制区域，从而能够简单地计算适当的限制区域。
例如，也可以是，所述限制区域计算部，计算所述信噪比小于阈值的空间频率的区域，以作为所述限制区域。根据该结构，能够计算信噪比小于阈值的空间频率的区域，以作为限制区域。因此，能够计算更适当的限制区域。例如，也可以是，所述点扩散函数估计部，按所述输入图像的每个区域估计所述点扩散函数，所述图像处理装置还具备距离估计部，该距离估计部，利用按每个区域估计的所述点扩散函数，估计所述输入图像在拍摄场景中的距离。根据该结构，能够估计的点扩散函数，估计输入图像在拍摄场景中的距离。例如，也可以是，所述图像处理装置还具备距离信息数据库，该距离信息数据库，保持与多个距离分别对应的多个点扩散函数的频率特性，所述限制区域计算部，以所述信噪比越低的空间频率就越被包含在所述限制区域中的方式，并且，以所述距离信息数据库所保持的所述多个点扩散函数的频率特性中频率成分的差分越小的空间频率就越被包含在所述限制区域中的方式，来计算所述限制区域。根据该结构，能够以距离信息数据库所保持的多个点扩散函数的频率特性中频率成分的差分越小的空间频率就越被包含在限制区域中的方式，来计算限制区域。该频率成分的差分越大，该空间频率中的距离的估计精度就越高。据此，能够以有效于距离的估计的空间频率不被包含在限制区域中的方式计算限制区域，因此能够提高距离的估计精度。例如，也可以是，所述图像处理装置还具备距离信息数据库，该距离信息数据库，将多个点扩散函数的频率特性与多个距离分别对应起来保持，所述至少一个输入图像包含第一输入图像和第二输入图像，所述第二输入图像的模糊比所述第一输入图像小，所述点扩散函数估计部，计算所述第一输入图像的限制图像与卷积图像的差分，所述卷积图像是对所述第二输入图像的限制图像与所述距离信息数据库所保持的点扩散函数进行卷积运算而得到的图像，根据计算出的所述差分，从所述距离信息数据库所保持的多个点扩散函数中选择一个点扩散函数，从而估计所述第一输入图像的点扩散函数。根据该结构，能够根据第一输入图像的限制图像与对第二输入图像的限制图像和点扩散函数进行卷积运算而得到的卷积图像的差分，从多个点扩散函数中选择适当的点扩散函数。例如，也可以是，所述信噪比估计部，根据拍摄所述输入图像时所利用的透镜的频率特性和所述输入图像中包含的被摄体的频率特性之中的至少一方，估计各个空间频率中的所述输入图像的信号成分，根据拍摄所述输入图像时所利用的摄像元件中的噪声的频率特性，估计各个空间频率中的所述输入图像的噪声成分，通过按每个空间频率计算所述信号成分对所述噪声成分的比率，从而估计各个空间频率中的所述输入图像的信噪比。根据该结构，能够适当地估计信号成分以及噪声成分，因此能够提高信噪比的估计精度。例如，也可以是，所述图像处理装置还具备摄影信息数据库，该摄影信息数据库，保持与多个亮度值分别对应的多个噪声的频率特性，所述信噪比估计部，从所述摄影信息数据库获得与所述输入图像的亮度值对应的所述噪声的频率特性，根据获得的所述噪声的频率特性，估计各个空间频率中的所述输入图像的噪声成分。根据该结构，能够适当地估计依赖于输入图像的亮度值的噪声成分。
例如，也可以是，所述至少一个输入图像包含多个输入图像，所述信噪比估计部，根据所述多个输入图像中的模糊小的输入图像，估计各个空间频率中的信号成分。根据该结构，能够根据模糊小的输入图像，估计各个空间频率中的信号成分。例如，也可以是，所述频率限制部，通过缩小所述输入图像，来对所述限制区域内的所述输入图像的频率成分进行限制。根据该结构，能够通过缩小输入图像，来对限制区域内的输入图像的频率成分进行限制。例如，也可以是，所述频率限制部，在所述输入图像的频率变换中，仅计算所述限制区域外的空间频率的频率成分，从而对所述限制区域内的所述输入图像的频率成分进行限制。根据该结构，在输入图像的频率变换中，仅计算限制区域外的空间频率的频率成分，从而对限制区域内的输入图像的频率成分进行限制。也就是说，在输入图像的频率变换中不需要计算限制区域内的空间频率的频率成分，因此能够减轻用于频率变换的处理负荷，或能够缩短处理时间。例如，也可以是，所述至少一个输入图像包含多个输入图像，所述限制区域计算部，按每个所述输入图像计算所述限制区域，将计算出的多个所述限制区域合并为一个限制区域，所述频率限制部，利用被合并的一个限制区域，对多个所述输入图像各自的频率成分进行限制。根据该结构，能够将从多个输入图像计算出的多个限制区域合并为一个限制区域。因此，能够更抑制信噪比低的空间频率被包含在限制区域中这情况，能够提高点扩散函数的估计精度。例如，也可以是，所述距离估计部，以所述限制区域越大，用于估计距离的点扩散函数就越少的方式，合并所述距离信息数据库所保持的多个点扩散函数，利用被合并的点扩散函数估计距离。根据该结构，能够考虑限制区域越大，距离的判别精度就越低这情况，合并距离信息数据库所保持的用于距离估计的多个点扩散函数。因此，能够提高距离的估计精度。例如，也可以是，所述距离估计部，以距离与合焦距离越类似，与该距离的近旁对应的点扩散函数就越少的方式，合并所述距离信息数据库所保持的多个点扩散函数，利用被合并的点扩散函数估计距离。根据该结构，能够考虑距离与合焦距离越类似，距离的判别精度就越低这情况，合并距离信息数据库所保持的用于距离估计的多个点扩散函数。因此，能够提高距离的估计精度。本发明的实施方案之一涉及的摄像装置是，拍摄输入图像的摄像装置，具备所述图像处理装置。而且，这样的总括性或具体的形态，可以由系统、方法、集成电路、计算机程序或计算机可读取的CD - ROM等的记录介质实现，也可以由系统、方法、集成电路、计算机程序以及记录介质的任意的组合实现。以下，参照
实施例。而且，以下说明的实施例，都示出总括性或具体的例子。以下的实施例所示的数值、形状、材料、构成要素、构成要素的配置位置以及连接形态、步骤、步骤的顺序等，是一个例子，而不是限定权利要求书的宗旨。并且，对于以下的实施例的构成要素中的、示出最上位概念的独立请求项中没有记载的构成要素，作为任意的构成要素进行说明。(实施例1)以下，参照附图具体说明实施例1的摄像装置。图1是实施例1的摄像装置100的结构图。如图1示出，摄像装置100具备，摄像部101、摄影信息数据库102、信噪比估计部103、限制区域计算部104、频率限制部105、以及PSF(点扩散函数)估计部106。在本实施例中，摄像装置100，估计由摄像部101拍摄的输入图像的PSF。以下，利用图1说明本实施例的摄像装置100的各个构成要素。摄像部101，通过将被摄体的光学像变换为数字信号，从而生成图像数据(输入图像)。而且，摄像部101，将输入图像输出到信噪比估计部103和频率限制部105。摄像部101，主要具有，用于使来自被摄体的光折射并聚集的透镜(不图示)、调整透射的光的量以及景深的光圈(不图示)、调整光的受光时间的快门(不图示)、以及将光学像变换为数字信号的摄像元件(不图示)。摄像部101，在拍摄被摄体时，按照被摄体的光量以及运动量，调整摄像机参数(例如，快门速度、光圈值、ISO感光度等)，从而能够拍摄适当的输入图像。这样的摄像机参数，被输出到信噪比估计部103，并用于估计输入图像的信噪比。摄像部101也可以，不仅拍摄一张输入图像，而连续拍摄多张输入图像。此时，摄像部101也可以，按每个输入图像改变摄像机参数，拍摄各个输入图像。例如，在连续拍摄两张输入图像的情况下，也可以使拍摄第一张输入图像时的光圈值变大，使拍摄第二张输入图像时的光圈值变小。据此，在同一场景中，拍摄景深互不相同的两张输入图像。摄影信息数据库102是，例如HDD、半导体存储器等。摄影信息数据库102，保持事先测量的各种频率特性。具体而言，摄影信息数据库102，保持例如摄像部101中包含的透镜的频率特性、摄影对象的被摄体的频率特性、以及摄像部101中包含的摄像元件的噪声的频率特性。在本实施例中，摄影信息数据库102，按每个像高以及频率成分，保持与摄像部101中包含的透镜的MTF值、或F值对应的衍射极限值等，以作为透镜的频率特性。更具体而言，摄影信息数据库102，保持例如利用IS012233的分辩率图测量的空间频率响应(SFR:Spatial Frequency Response),以作为透镜的频率特性。对于SFR,在拍摄如图2的(a)的黑白的倾斜边缘而得到的图像中，对从白到黑的亮度值的变化量的微分值进行离散傅立叶变换(DFT:Discrete Fourier Transform),从而能够计算为如图2的(b)的频率特性。在输入图像中，像素值越急剧变化，微分值就越大，SFR的高频率成分的振幅就越大。而且，透镜的频率特性，按照光圈值等的各种摄像机参数变化。因此，通过按每个摄像机参数测量透镜的频率特性，从而能够更提高透镜的频率特性的精度。在此，对于透镜的频率特性，直流成分的振幅被归一化为1.0。并且，在本实施例中，摄影信息数据库102，保持根据预先拍摄被摄体而得到的图像测量的频率特性，以作为摄影对象的被摄体的频率特性。例如，设想，摄像装置100是监视相机、摄影对象的被摄体是人物的情况。预先获得如图3的(a)的具有充分的光量且噪声少的人物的多张图像。而且，将多张图像平均化，并进行离散傅立叶变换，从而能够求出如图3的(b)的被摄体的大概的频率成分。并且，预先获得多张手抖动图像，并进行同样的处理,从而能够求出手抖动的大概的频率成分。而且，摄影对象的被摄体的频率特性，按照快门速度等的各种摄像机参数不同。因此，通过按每个摄像机参数测量摄影对象的被摄体的频率特性，从而能够更提高精度。并且，在没有特别决定被摄体的对象的情况下，可以利用自然图像的性质(频率成分的振幅与空间频率成反比例这性质)。在此，对于摄影对象的被摄体的频率特性，直流成分的振幅被归一化为1.0。并且，在本实施例中，摄影信息数据库102，保持预先测量的、与多个亮度值分别对应的多个噪声的频率特性，以作为摄像元件的噪声的频率特性。例如，对拍摄如图4的(a)的没有边缘且亮度平坦的被摄体而得到的图像进行离散傅立叶变换，从而得到如图4的(b)的噪声的频率特性。此时，对于各个频率成分，直流成分的振幅被归一化为1.0。具有白噪声的特性的光散粒噪声的影响大。因此，对于噪声的频率成分的振幅，可以认为，对于直流成分以外，成为均匀的大小。据此，能够将直流成分以外的频率成分的振幅的平均值，处理为直流成分以外的噪声的频率成分的振幅。光散粒噪声，具有亮度值越高，噪声量就越增加这特性。但是，由于直流成分的增加量比噪声成分的增加量大，因此，在被归一化的情况下，直流成分以外的频率成分的振幅变小。并且，因暗电流等的影响，亮度值越低，直流成分以外的频率成分中的振幅就越大。信噪比估计部103，估计各个空间频率中的输入图像的信噪比。而且，信噪比估计部103，将估计的信噪比输出到限制区域计算部104。在本实施例中，信噪比估计部103，估计各个空间频率中的输入图像的信号成分以及噪声成分各自。而且，信噪比估计部103，通过按每个空间频率计算信号成分对噪声成分的比率，从而估计各个空间频率中的输入图像的信噪比。在此，首先，说明估计各个空间频率中的输入图像的信号成分的方法的例子。信号成分是，输入图像中包含的成分中的、与被摄体的光学像对应的成分。也就是说，信号成分是，输入图像中包含的成分中的除了噪声成分以外的成分。因此，从一张输入图像中求出准确的信号成分是困难的。但是，输入图像中包含的信号成分中存在多少约束条件。于是，根据该约束条件，能够估计大概的信号成分。例如，输入图像中包含的信号成分，依赖于透镜的频率特性。于是，信噪比估计部103也可以，根据该透镜的频率特性，估计各个空间频率中的输入图像的信号成分。例如，信噪比估计部103也可以，将透镜的频率特性，决定为各个空间频率中的输入图像的信号成分。并且，例如，输入图像中包含的信号成分，依赖于摄影对象的被摄体的频率特性。于是，信噪比估计部103也可以，根据该摄影对象的被摄体的频率特性，估计各个空间频率中的输入图像的信号成分。例如，信噪比估计部103也可以，将摄影对象的被摄体的频率特性，决定为各个空间频率中的输入图像的信号成分。进而，信噪比估计部103也可以，根据这样的两个频率特性(透镜的频率特性以及摄影对象的被摄体的频率特性)，估计各个空间频率中的输入图像的信号成分。例如，信噪比估计部103也可以，将这样的两个频率特性的各个空间频率中的代表值(例如，平均值、最小值或最大值等)，决定为各个空间频率中的输入图像的信号成分。据此，信噪比估计部103，能够更高精度地估计输入图像的信号成分。而且，根据由摄像部101设定的摄像机参数，信号成分的频率特性变化。于是，信噪比估计部103也可以，从摄影信息数据库102获得与摄像机参数对应的透镜的频率特性或摄影对象的被摄体的频率特性。据此，信噪比估计部103，能够更高精度地估计输入图像的信号成分。并且，在摄像部101拍摄多张输入图像的情况下，信噪比估计部103也可以，根据这样的多张输入图像中的模糊小的输入图像，估计各个空间频率中的信号成分。在此情况下，信噪比估计部103，例如，利用在各个输入图像被拍摄时由摄像部101设定了的摄像机参数，判定具有比其他的输入图像小的模糊的输入图像即可。具体而言，信噪比估计部103也可以，例如，利用在各个输入图像被拍摄时由摄像部101设定了的光圈值，判定具有比其他的输入图像小的模糊的输入图像。例如，在光圈值大的第一输入图像和光圈值小的第二输入图像这两张输入图像被拍摄的情况下，信噪比估计部103也可以，判定第一输入图像具有比第二输入图像小的模糊。并且，同样，信噪比估计部103也可以，例如，利用在各个输入图像被拍摄时由摄像部101设定了的快门速度，判定具有比其他的输入图像小的手抖动以及被摄体抖动的输入图像。而且，信噪比估计部103，通过对如此判定的模糊小的输入图像进行离散傅立叶变换，从而估计各个空间频率中的输入图像的信号成分。接着，说明估计各个空间频率中的输入图像的噪声成分的方法的例子。噪声成分是，输入图像中包含的成分中的、不与被摄体的光学像对应的成分。也就是说，噪声成分是，输入图像中包含的成分中的除了信号成分以外的成分。信噪比估计部103，从摄影信息数据库102获得与输入图像的亮度值对应的噪声的频率特性。而且，信噪比估计部103，根据获得的噪声的频率特性，估计各个空间频率中的输入图像的噪声成分。具体而言，信噪比估计部103，首先，计算由摄像部101拍摄的输入图像的代表亮度值。而且，信噪比估计部103，从摄影信息数据库102获得与代表亮度值对应的噪声的频率特性，以作为输入图像的噪声成分。更具体而言，信噪比估计部103，例如，计算输入图像的整体区域的亮度值的平均值、或输入图像的点区域的亮度值的平均值，以作为输入图像的代表亮度值。而且，对于平均值，若是统计性平均值，则可以是任何平均值。例如，平均值是，算术平均值、几何平均值、调和平均值、或加权平均值。并且，对于代表亮度值，并不一定需要是亮度值的平均值，例如，也可以是中央值或最频值。也就是说，代表亮度值，是输入图像的亮度的统计性代表值即可。而且，在输入图像被进行增益处理的情况下，信噪比估计部103也可以，根据从摄像部101得到的ISO感光度的信息，以成为特定的ISO感光度(例如IS0100)的亮度值的方式，将输入图像的亮度值归一化。接着，说明估计各个空间频率中的信噪比的方法。信噪比估计部103，如图5示出，根据信号成分和噪声成分，按每个空间频率估计信噪比。具体而言，信噪比估计部103，例如，在各个空间频率中，信号成分的振幅除以噪声成分的振幅，从而求出信噪比。
在图5的情况下，在低频域中，由于信号成分的振幅比噪声成分的振幅大，因此，信噪比成为1.0以上的值。但是，在高频域中，由于信号成分的振幅比噪声成分的振幅小，因此，信噪比成为小于1.0的值。如此，各个空间频率中的信噪比，依赖信号成分和噪声成分而动态地变化。限制区域计算部104，以由信噪比估计部103估计的信噪比越低的空间频率就越被包含在限制区域中的方式，来计算作为限制输入图像的频率成分的空间频率的区域的限制区域。而且，限制区域计算部104，将计算出的限制区域输出到频率限制部105和PSF估计部106。例如，限制区域计算部104，计算比信噪比与阈值一致的空间频率高的频率的区域，以作为限制区域。也就是说，限制区域计算部104，计算信噪比与阈值一致的空间频率，以作为限制区域的下限的空间频率。具体而言，限制区域计算部104，例如，如图6的(a)示出，计算信噪比与“1.0”一致的空间频率中最大的频率A，以作为限制区域的下限的空间频率。并且，例如，限制区域计算部104也可以，计算信噪比小于阈值的空间频率的区域，以作为限制区域。也就是说，限制区域计算部104也可以，计算信噪比小于阈值的区域的始点以及终点的空间频率，以作为表示限制区域的空间频率。具体而言，限制区域计算部104，例如，如图6的(b)示出，分别计算信噪比小于“1.0”的区域的始点以及终点的空间频率的组合(As，Ae)以及(Bs，Be)。而且，用于计算限制区域的阈值是，例如，由用户自由设定的值。该阈值越大，限制区域就越大。因此，阈值越大，被限制的频率成分就越多，计算量削减的效果就越大。在由摄像部101连续拍摄多张输入图像的情况下，限制区域计算部104，按每个输入图像计算限制区域。而且，限制区域计算部104，将计算出的多个限制区域合并为一个限制区域。例如，假设，在摄像部101拍摄两张输入图像(第一输入图像及第二输入图像)的情况下，针对第一输入图像，计算下限为频率A的限制区域，针对第二输入图像，计算下限为频率B的限制区域。在此，与频率A相比，频率B是低频率。在此，在根据两张输入图像估计PSF的情况下，若双方的输入图像中不利用信噪比高的频率成分，则难以估计准确的PSF0因此，在这样的情况下，限制区域计算部104，合并两个限制区域，计算下限为频率B的限制区域。频率限制部105，通过限制由限制区域计算部104计算出的限制区域内的输入图像的频率成分，从而生成限制图像。而且，频率限制部105，将限制图像输出到PSF估计部106。而且，限制区域内的输入图像的频率成分的限制意味着，处理输入图像，以使限制区域内的频率成分不被包含在输入图像中。限制区域内的输入图像的频率成分的限制意味着，例如，从输入图像中除去限制区域内的频率成分。具体而言，频率限制部105，例如，通过缩小输入图像，对限制区域内的输入图像的频率成分进行限制。更具体而言，例如，在输入图像的频率成分存在的频率范围的一半是限制区域的情况下，频率限制部105，将输入图像缩小为一半的尺寸。例如，频率限制部105，利用双线性插值等的现有的方式来缩小输入图像。并且，频率限制部105也可以，在输入图像的频率变换中，仅计算限制区域外的空间频率的频率成分，从而对限制区域内的输入图像的频率成分进行限制。也就是说，频率限制部105也可以，不进行计算，而将限制区域内的输入图像的频率成分决定为“O”。例如，说明在将n个信号x(x0，...，xn — I)变换为n个频率成分f (f0，...，fn —I)的离散傅立叶变换的式I中限制频率成分的方法。算式I
权利要求
1.一种图像处理装置，估计至少一个输入图像的点扩散函数，该图像处理装置具备: 信噪比估计部，估计各个空间频率中的所述输入图像的信噪比； 限制区域计算部，以所述信噪比越低的空间频率就越被包含在限制区域中的方式来计算限制区域，所述限制区域是所述输入图像的频率成分被限制的空间频率的区域； 频率限制部，通过对所述限制区域内的所述输入图像的频率成分进行限制，从而生成限制图像；以及 点扩散函数估计部，利用所述限制图像，估计所述输入图像的点扩散函数。
2.如权利要求1所述的图像处理装置， 所述限制区域计算部，计算比所述信噪比与阈值一致的空间频率高的频率的区域，以作为所述限制区域。
3.如权利要求1所述的图像处理装置， 所述限制区域计算部，计算所述信噪比小于阈值的空间频率的区域，以作为所述限制区域。
4.如权利要求1至3的任一项所述的图像处理装置， 所述点扩散函数估计部，按所述输入图像的每个区域估计所述点扩散函数， 所述图像处理装置还具备距离估计部， 该距离估计部，利用按 每个区域估计的所述点扩散函数，估计所述输入图像在拍摄场景中的距离。
5.如权利要求4所述的图像处理装置， 所述图像处理装置还具备距离信息数据库， 该距离信息数据库，保持与多个距离分别对应的多个点扩散函数的频率特性， 所述限制区域计算部，以所述信噪比越低的空间频率就越被包含在所述限制区域中的方式，并且，以所述距离信息数据库所保持的所述多个点扩散函数的频率特性中频率成分的差分越小的空间频率就越被包含在所述限制区域中的方式，来计算所述限制区域。
6.如权利要求4所述的图像处理装置， 所述图像处理装置还具备距离信息数据库， 该距离信息数据库，将多个点扩散函数的频率特性与多个距离分别对应起来保持， 所述至少一个输入图像包含第一输入图像和第二输入图像，所述第二输入图像的模糊比所述第一输入图像小， 所述点扩散函数估计部， 计算所述第一输入图像的限制图像与卷积图像的差分，所述卷积图像是对所述第二输入图像的限制图像与所述距离信息数据库所保持的点扩散函数进行卷积运算而得到的图像， 根据计算出的所述差分，从所述距离信息数据库所保持的多个点扩散函数中选择一个点扩散函数，从而估计所述第一输入图像的点扩散函数。
7.如权利要求1至6的任一项所述的图像处理装置， 所述信噪比估计部， 根据拍摄所述输入图像时所利用的透镜的频率特性和所述输入图像中包含的被摄体的频率特性之中的至少一方，估计各个空间频率中的所述输入图像的信号成分，根据拍摄所述输入图像时所利用的摄像元件中的噪声的频率特性，估计各个空间频率中的所述输入图像的噪声成分， 通过按每个空间频率计算所述信号成分对所述噪声成分的比率，从而估计各个空间频率中的所述输入图像的信噪比。
8.如权利要求7所述的图像处理装置， 所述图像处理装置还具备摄影信息数据库， 该摄影信息数据库，保持与多个亮度值分别对应的多个噪声的频率特性， 所述信噪比估计部，从所述摄影信息数据库获得与所述输入图像的亮度值对应的所述噪声的频率特性，根据获得的所述噪声的频率特性，估计各个空间频率中的所述输入图像的噪声成分。
9.如权利要7或8所述的图像处理装置， 所述至少一个输入图像包含多个输入图像， 所述信噪比估计部，根据所述多个输入图像中的模糊小的输入图像，估计各个空间频率中的信号成分。
10.如权利要求2所述的图像处理装置， 所述频率限制部，通过缩小所述输入图像，来对所述限制区域内的所述输入图像的频率成分进行限制。
11.如权利要求 1至9的任一项所述的图像处理装置， 所述频率限制部，在所述输入图像的频率变换中，仅计算所述限制区域外的空间频率的频率成分，从而对所述限制区域内的所述输入图像的频率成分进行限制。
12.如权利要求1所述的图像处理装置， 所述至少一个输入图像包含多个输入图像， 所述限制区域计算部，按每个所述输入图像计算所述限制区域，将计算出的多个所述限制区域合并为一个限制区域， 所述频率限制部，利用被合并的一个限制区域，对多个所述输入图像各自的频率成分进行限制。
13.如权利要求4所述的图像处理装置， 所述距离估计部，以所述限制区域越大，用于估计距离的点扩散函数就越少的方式，合并所述距离信息数据库所保持的多个点扩散函数，利用被合并的点扩散函数估计距离。
14.如权利要求4所述的图像处理装置， 所述距离估计部，以距离与合焦距离越类似，与该距离的近旁对应的点扩散函数就越少的方式，合并所述距离信息数据库所保持的多个点扩散函数，利用被合并的点扩散函数估计距离。
15.如权利要求1所述的图像处理装置， 所述图像处理装置被构成为集成电路。
16.一种摄像装置，是拍摄输入图像的摄像装置， 所述摄像装置具备权利要求1所述的图像处理装置。
17.一种图像处理方法，估计至少一个输入图像的点扩散函数，该图像处理方法包括: 信噪比估计步骤，估计各个空间频率中的所述输入图像的信噪比；限制区域计算步骤，以所述信噪比越低的空间频率就越被包含在限制区域中的方式来计算限制区域，所述限制区域是所述输入图像的频率成分被限制的空间频率的区域； 频率限制步骤，通过对所述限制区域内的所述输入图像的频率成分进行限制，从而生成限制图像；以及 点扩散函数估计步骤，利用所述限制图像，估计所述输入图像的点扩散函数。
18.—种程序，用于 使计算机执行权利要求17所述的图像处理方法。
全文摘要
估计至少一个输入图像的PSF(Point Spread Function点扩散函数)的图像处理装置(10)，具备信噪比估计部(11)，估计各个空间频率中的输入图像的信噪比；限制区域计算部(13)，以信噪比越低的空间频率就越被包含在限制区域中的方式来计算作为输入图像的频率成分被限制的空间频率的区域的限制区域；频率限制部(13)，通过对限制区域内的输入图像的频率成分进行限制，从而生成限制图像；以及PSF估计部(14)，利用限制图像，估计输入图像的PSF。
文档编号H04N1/409GK103119927SQ201280002950
公开日2013年5月22日 申请日期2012年8月8日 优先权日2011年8月29日
发明者藤井隆志, 物部祐亮 申请人:松下电器产业株式会社