图像处理装置、摄像装置及图像处理方法
【技术领域】
[0001]本发明涉及一种对拍摄图像进行图像恢复处理的图像处理装置。
【背景技术】
[0002]针对经由摄像光学系统拍摄的被摄体，由于在摄像光学系统中发生的衍射、像差等的影响，从一个点发射的光无法会聚到其他点并且具有微小的扩散。将这种微小扩散分布称为PSF(点扩散函数)。由于摄像光学系统的影响，利用对图像卷积的PSF来形成拍摄图像，相应地，图像变模糊并且其分辨率被劣化。
[0003]近年来，一般地，将拍摄图像存储为电子数据，并提出了通过进行图像处理来校正由摄像光学系统引起的图像劣化的方法(图像恢复处理)。
[0004]日本特开2012-65187号公报公开了HXF技术，其中，将波前调制元件插入到摄像元件系统以扩大景深并使图像的光学特性均一化，由此进行图像恢复处理以提高图像质量。根据日本特开2012-65187号公报中公开的方法，针对各种摄像条件来使光学特性均一化，因此简化了图像恢复过滤器的生成过程并且能够提高处理速度。
[0005]然而，为了使用日本特开2012-65187号公报中公开的EDOF技术，有必要将波前调制元件插入到摄像元件系统中。因此，在日本特开2012-65187号公报中公开的方法中，无法通过使用一般的摄像装置来提高图像恢复处理的速度。
【发明内容】
[0006]本发明提供了能够提高了图像恢复处理的速度的图像处理装置、摄像装置以及图像处理方法。
[0007]作为本发明的一个方面，提供了一种图像处理装置，所述图像处理装置包括:图像恢复过滤器存储单元，其被构造为存储与摄像条件信息相对应的图像恢复过滤器；光学传递函数存储单元，其被构造为存储光学传递函数信息；以及图像恢复过滤器生成单元，其被构造为:确定与拍摄图像的第一摄像条件信息相对应的第一图像恢复过滤器是否被存储在所述图像恢复过滤器存储单元中，在所述第一图像恢复过滤器被存储在所述图像恢复过滤器存储单元中的情况下，从所述图像恢复过滤器存储单元选择所述第一图像恢复过滤器，以及在所述第一图像恢复过滤器未被存储在所述图像恢复过滤器存储单元中的情况下，使用所述光学传递函数信息来生成所述第一图像恢复过滤器。
[0008]作为本发明的另一方面，提供了一种摄像装置，所述摄像装置包括:摄像单元，其被构造为对经由摄像光学系统形成的光学图像进行光电转换以输出拍摄图像；图像恢复过滤器存储单元，其被构造为存储与摄像条件信息相对应的图像恢复过滤器；光学传递函数存储单元，其被构造为存储光学传递函数信息；以及图像恢复过滤器生成单元，其被构造为:确定与所述拍摄图像的第一摄像条件信息相对应的第一图像恢复过滤器是否被存储在所述图像恢复过滤器存储单元中，在所述第一图像恢复过滤器被存储在所述图像恢复过滤器存储单元中的情况下，从所述图像恢复过滤器存储单元选择所述第一图像恢复过滤器，以及在所述第一图像恢复过滤器未被存储在所述图像恢复过滤器存储单元中的情况下，使用所述光学传递函数信息来生成所述第一图像恢复过滤器。
[0009]—种图像处理方法，所述图像处理方法包括以下步骤:获取拍摄图像的摄像条件信息；确定与所述摄像条件信息相对应的图像恢复过滤器是否被存储在图像恢复过滤器存储单元中；在所述图像恢复过滤器被存储在所述图像恢复过滤器存储单元中的情况下，从所述图像恢复过滤器存储单元获取所述图像恢复过滤器，以及在所述图像恢复过滤器未被存储在所述图像恢复过滤器存储单元中的情况下，从光学传递函数存储单元获取光学传递函数信息并通过使用所述光学传递函数信息来生成所述图像恢复过滤器。
[0010]通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。
【附图说明】
[0011]图1是实施例1中的摄像装置的框图。
[0012]图2是实施例1中的图像处理方法的流程图。
[0013]图3A和图3B是实施例1中的图像恢复过滤器的生成方法的说明图。
[0014]图4是例示在实施例1中的图像恢复过滤器的第一生成方法中进行的排名方法的示例的图。
[0015]图5是实施例2中的图像处理系统的结构图。
【具体实施方式】
[0016]以下，将参照附图来描述本发明的示例性实施例。
[0017]首先，将描述本实施例中的图像处理方法(图像恢复处理)的概要。在实空间(X，y)中，f (X，y)是未被光学系统劣化的图像，h(x, y)是PSF(点扩散函数)，g(x，y)是劣化图像的情况下，满足下式(I)。
[0018]g(x, y) =Sf f(X, Y) *h (x-X, y_Y) dXdY…(I)
[0019]当针对式⑴进行傅立叶变换以将实空间(X，y)转换为频率空间(U，V)时，满足下式⑵。
[0020]G (U，V) = F(u, V) *H(u, V)…(2)
[0021]在⑵中，F(U，V)、G (U，V)和 H (u, v)分别是 f (x, y)、g(x, y)和 h(x, y)的傅立叶变换的结果。因此，满足下式(3)。
[0022]F (U，V) = G (U，V)/H (U，V)…(3)
[0023]式(3)是指在频率空间中，通过将劣化图像g(x，y)的傅立叶变换的结果G(U，V)除以点扩散函数h(x，y)的傅立叶变换的结果H(u，v)，能够获得未被劣化的图像f(x，y)的傅立叶变换的结果F (u，v)。因此，能够通过进行F (u，v)的逆傅立叶变换来获得未被劣化的图像f U，y)。
[0024]然而，实际上，如果进行这种处理以获得未被劣化的图像，则摄像元件引起的噪声被放大并且在图像上非常可能产生振铃。由于这种对图像处理的负面影响，因此难以通过使用简单逆特性的除法方法来获得适当图像。
[0025]已知使用由下式(4)表示的维纳过滤器W(u，V)，作为用于抑制噪声放大的图像恢复方法。
[0026]ff (u, v) = 1/H (u, v) * IH (u, v) |2/ (| H (u, v)2+ Γ )...(4)
[0027]在式(4)中，符号H(u，v)表示光学传递函数(OTF)，符号Γ表示用于降低噪声增幅量的常数。
[0028]将式⑷表示的W(U，V)乘以劣化图像g(x，y)的傅立叶变换的结果G (u，V)，由于在光学系统中发生的衍射或像差引起的PSF的相位分量变为0，并且振幅分量的频率特性被放大，因此能够获得高分辨率和适当图像。换言之，通过图像恢复处理使用维纳过滤器Ku, V)恢复的图像的频率空间信息R(u，V)由下式(5)表示。
[0029]R (U，V) = G (U，V) *W (U，V)…(5)
[0030]由于通过使用摄像装置的光学特性来进行根据维纳过滤器的图像恢复处理，因此处理后的图像未被损坏并且能够获得高清晰度图像。另一方面，有必要将光学特性数据存储在系统(摄像装置)中，因此数据量巨大。因此，仅存储最小量光学特性数据才现实。当使用存储最小量光学特性数据的系统时，有必要通过获取针对要