专利名称：图像处理方法、图像处理装置和图像拾取装置的制作方法
技术领域：
本发明涉及一种执行图像的图像恢复处理的图像处理方法。
背景技术：
通过图像拾取装置获得的图像(拍摄图像)包含由图像拾取光学系统的各像差(诸如球面像差、彗形像差、畸变或像散)引起的图像的模糊分量，因此它劣化。由这样的像差引起的图像的模糊分量指的是从物体的一个点发射的光束尽管当任何像差不存在而且衍射的任何影响也不存在时理想上应该再次会聚在成像平面上的一个点上，但是它实际上是扩散的，这用点扩散函数(PSF)表示。
通过执行傅里叶变换而获得的光学传递函数(OTF)是像差的频率分量信息，它用复数表示。光学传递函数OTF的绝对值(即，振幅分量)被称为MTF (调制传递函数)，相位分量被称为PTF (相位传递函数)。振幅分量MTF和相位分量PTF分别是由像差引起的图像劣化的振幅分量和相位分量的频率特性，相位分量通过以下表达式被表示为相位角。PTFAarT1 (Im (OTF) /Re (OTF))在该表达式中，Re (OTF)和Im(OTF)分别指示光学传递函数OTF的实部和虚部。因此，图像拾取光学系统的光学传递函数OTF使图像的振幅分量MTF和相位分量PTF劣化，因此，当它具有彗形像差时，劣化图像处于物体的每个点不对称地模糊的状态。因为成像位置由于对于每个光波长的成像倍率的差异而偏移并且它根据图像拾取装置的光谱特性被获得作为例如RGB中的颜色分量，所以产生倍率的色差。因此，成像位置在RGB之间偏移，因此，成像位置对于波长的偏移(即，由相移引起的图像的扩散)也在每个颜色分量中产生。作为校正振幅分量MTF和相位分量PTF的劣化的方法，使用图像拾取光学系统的光学传递函数OTF的信息来执行校正的方法是已知的。该方法被称为图像恢复(imagerestoration)或图像复原(image recovery),以下,使用图像拾取光学系统的光学传递函数(OTF)的信息来校正图像劣化的处理被称为图像恢复处理。如以下详细所述的，作为图像恢复方法之一，将具有光学传递函数(OTF)的逆特性的图像恢复滤波器与输入图像进行卷积的方法是已知的。为了有效地使用图像恢复，必需获得更精确的图像拾取光学系统的OTF信息。图像拾取光学系统的一般OTF根据图像高度(图像的位置)显著地变化。此外，光学传递函数OTF是二维数据，因为它是复数，所以它包含实部和虚部。另外，当对具有RGB的三个颜色分量的彩色图像执行图像恢复处理时，用于一个图像高度的OTF数据是垂直方向上的抽头数量(tap number) X水平方向上的抽头数量X2 (实部和虚部)X3 (RGB)0抽头数量是指垂直方向和水平方向上的OTF数据的大小。如果这些相对于所有图像拾取条件(诸如图像高度、F数(光圈)、变焦(焦距)、物距)被存储，则数据量庞大。日本专利公开No.2010-56992公开了存储用于校正图像劣化的滤波器系数以执行图像处理的技术。然而，因为依赖于画面中的位置的恢复滤波器是必要的，所以数据量庞大。日本专利公开No. 2004-241991公开了下述方法，该方法获得用于校正倍率的色差的距光学中心的距离，并且将该距离代入三次函数中以计算R分量和B分量的校正移动量，从而确定根据画面中的位置的校正量，但是它不是图像恢复技术。然而，因为图像恢复滤波器是二维数据，所以依赖于图像位置的图像恢复滤波器不是仅根据距光学中心(图像中心或图像拾取光学系统的光轴)的距离来确定的，并且旋转是必要的。因此，日本专利公开No. 2004-241991的方法不能应用于图像恢复处理。此外，因为图像恢复滤波器的系数在抽头之间略有不同，所以滤波器系数的值显著收缩(collapse)，并且不能获得图像恢复处理的效果。
发明内容
本发明提供一种能够在减少图像恢复处理所需的信息量的同时以高精度执行图像恢复处理的图像处理方法、图像处理装置、图像拾取装置和非暂态计算机可读存储介质。作为本发明的一方面的图像处理方法执行图像的图像恢复处理，所述图像处理方法包括以下步骤使用依赖于所述图像的图像拾取条件的系数数据，产生依赖于所述图像 的位置的多个第一光学传递函数；通过围绕所述图像的中心或围绕图像拾取光学系统的光轴旋转第一光学传递函数来产生多个第二光学传递函数；基于第一光学传递函数和第二光学传递函数来产生图像恢复滤波器；以及使用所述图像恢复滤波器来执行所述图像的图像恢复处理。作为本发明的另一方面的图像处理方法执行图像的图像恢复处理，所述图像处理方法包括以下步骤使用依赖于所述图像的图像拾取条件的系数数据，产生依赖于所述图像的位置的多个第一光学传递函数；和使用第一区域的光学传递函数来产生第二区域和第三区域中的至少一个的光学传递函数，其中，在所述图像中，所述第一区域和所述第二区域是相对于所述图像的中心或图像拾取光学系统的光轴彼此对称的区域，所述第三区域是相对于通过所述第一区域和图像中心的直线对称的区域。作为本发明的另一方面的图像处理方法执行图像的图像恢复处理，所述图像处理方法包括以下步骤使用依赖于所述图像的图像拾取条件的系数数据，产生依赖于所述图像的位置的多个第一光学传递函数；使用第一光学传递函数来产生第二光学传递函数，所述第二光学传递函数具有与通过围绕所述图像的中心或围绕图像拾取光学系统的光轴旋转第一光学传递函数而获得的光学传递函数等同的形状；基于第一光学传递函数和第二光学传递函数来产生图像恢复滤波器；以及使用所述图像恢复滤波器来执行所述图像的图像恢复处理。作为本发明的另一方面的图像处理装置执行图像的图像恢复处理，所述图像处理装置包括第一光学传递函数产生部分，其被配置为使用依赖于所述图像的图像拾取条件的系数数据、产生依赖于所述图像的位置的多个第一光学传递函数；第二光学传递函数产生部分，其被配置为通过围绕所述图像的中心或围绕图像拾取光学系统的光轴旋转第一光学传递函数来产生多个第二光学传递函数；图像恢复滤波器产生部分，其被配置为基于第一光学传递函数和第二光学传递函数来产生图像恢复滤波器；和图像恢复部分，其被配置为使用所述图像恢复滤波器来执行所述图像的图像恢复处理。作为本发明的另一方面的图像拾取装置执行图像的图像恢复处理，所述图像拾取装置包括第一光学传递函数产生部分，其被配置为使用依赖于所述图像的图像拾取条件的系数数据、产生依赖于所述图像的位置的多个第一光学传递函数；第二光学传递函数产生部分，其被配置为通过围绕所述图像的中心或围绕图像拾取光学系统的光轴旋转第一光学传递函数来产生多个第二光学传递函数；图像恢复滤波器产生部分，其被配置为基于第一光学传递函数和第二光学传递函数来产生图像恢复滤波器；和图像恢复部分，其被配置为使用所述图像恢复滤波器来执行所述图像的图像恢复处理。作为本发明的另一方面的非暂态计算机可读存储介质存储用于使信息处理装置执行包括以下步骤的方法的过程使用依赖于所述图像的图像拾取条件的系数数据，产生依赖于所述图像的位置的多个第一光学传递函数；通过围绕所述图像的中心或围绕图像拾取光学系统的光轴旋转第一光学传递函数来产生多个第二光学传递函数；基于第一光学传递函数和第二光学传递函数来产生图像恢复滤波器；以及使用所述图像恢复滤波器来执行所述图像的图像恢复处理。
从以下参照附图对示例性实施例的描述，本发明的进一步的特征和方面将变得清晰。
图I是实施例I中的图像处理方法的流程图。图2是描述本实施例中的图像恢复滤波器的示图。图3是描述本实施例中的图像恢复滤波器的示图。图4A和图4B是描述本实施例中的点扩散函数PSF的示图。图5A和图5B分别是描述本实施例中的光学传递函数的振幅分量MTF和相位分量PTF的示图。图6A至图6E是示出实施例I中的产生图像恢复滤波器的方法的示图。图7是描述实施例I中的图像处理系统的示图。图8是描述实施例I中的系数计算装置的示图。图9是描述实施例I中的系数数据的示图。图10是实施例I中的抽头数量和频率间距的示图。图11是实施例I中的抽头数量和频率间距的示图。图12是描述实施例I中的OTF重构部分的示图。图13是描述实施例I中的经重构的OTF的示图。图14是实施例I中的另一图像处理方法的流程图。图15是实施例2中的图像拾取装置的构造图。图16是实施例3中的图像处理系统的构造图。图17是描述实施例3中的信息集的示图。
具体实施例方式以下将参照附图来描述本发明的示例性实施例。在每个附图中，相同的元件将用相同的标号来表不，并且将省略其重复描述。首先，将描述本实施例中所述的术语的定义和图像恢复处理(图像处理方法)。这里所述的图像处理方法适当地用在以下每个实施例中。
输入图像输入图像是通过经由图像拾取光学系统在图像拾取元件上接收光而获得的数字图像(图像或拍摄图像)，由于包括透镜和各种类型的光学滤波器的图像拾取光学系统的像差，该数字图像根据光学传递函数OTF劣化。图像拾取光学系统还可通过使用具有曲率的反射镜(反射表面)以及透镜来构造。输入图像的颜色分量例如具有RGB颜色分量的信息。作为颜色分量，除了此之外，还可选择性地使用通常使用的颜色空间，诸如亮度、颜色相位和LCH所表示的色度、YCbCr所表示的照度或色差信号。作为另一颜色空间，还可使用XYZ、Lab、Yuv和JCh。此外，还可使用颜色温度。图像拾取条件(诸如透镜的焦距、光圈(F数)或物距)或校正该图像的各种类型的校正信息可被添加到输入图像或输出图像。当图像被从图像拾取装置传送到与图像拾取装置分离以执行校正处理的图像处理装置时，优选的是如上所述那样将图像拾取条件或与校正相关的信息添加到图像。作为传送图像拾取条件或与校正相关的信息的另一方法，图像拾取装置和图像处理装置还可彼此直接或间接连接以在它们之间传送图像拾取条件或与校正相关的信息。图像恢复处理随后，将描述图像恢复处理的概要。当图像(拍摄图像或劣化图像)用g(x，y)表示、原始图像用f(x，y)表示、作为光学传递函数OTF的傅里叶对的点扩散函数PSF用h(x，y)表示时，满足以下表达式(I)。g(x, y) =h (x, y) *f(x, y)…(I)在表达式(I)中，符号*表示卷积(乘积和)，符号(X，y)表示图像上的坐标。当对表达式(I)执行傅里叶变换以将表达式(I)变换为频率平面上的显示格式时，获得表示为对于每个频率的乘积的表达式(2)。G(u, v) =H(u, v) *F(u，v)…(2)在表达式⑵中，符号H表示通过对点扩散函数PSF (h)执行傅里叶变换而获得的光学传递函数0TF，符号G和F分别表示通过对劣化图像g和原始图像f执行傅里叶变换而获得的函数。符号(U，V)表示二维频率平面上的坐标，即，频率。为了从图像(S卩，劣化图像g)获得原始图像f，如以下表达式(3)所表示的，可将两边除以光学传递函数h。G (U，V) /H(U，V) =F (U，v)... (3)然后，对F(u，v)(即，G(u，v)/H(u，v))执行逆傅里叶变换，以在实平面上恢复F(u, V)，从而获得原始图像f (X，y)作为恢复图像。当符号R表示通过对H—1执行逆傅里叶变换而获得的值时，如以下表达式(4)所表示的，原始图像f (X，y)可类似地通过在实平面上对图像进行卷积处理来获得。g(x, y) * R(x, y)=f(x, y)…(4)在表达式(4)中，符号R(x，y)被称为图像恢复滤波器。当图像是二维图像时，通常，图像恢复滤波器R也是具有与图像的每个像素对应的抽头(单元)的二维滤波器。通常，当图像恢复滤波器R的抽头数量(单元数量)大时，恢复精度提高。因此，可实现的抽头数量根据诸如所需的图像质量、图像处理能力或像差的特性来设置。因为图像恢复滤波器R至少需要反映像差的特性，所以它不同于在水平方向和垂直方向上具有约三个抽头的常规边缘增强滤波器(高通滤波器)。因为图像恢复滤波器R基于光学传递函数OTF来设置，所以振幅分量和相位分量的劣化两者都可被高精度校正。因为真实图像包含噪声分量，所以当使用通过使用光学传递函数OTF的完全逆而产生的图像恢复滤波器R时，当劣化图像被恢复时，噪声分量被显著地放大。这是因为，对于噪声的振幅被添加到图像的振幅分量的状态，MTF被保持以便在整个频率上将光学系统的MTF (振幅分量)恢复为I。虽然作为由光学系统引起的振幅劣化的MTF被恢复为1，但是同时，噪声的功率谱也被保持，结果，噪声根据保持MTF的程度(恢复增益)而放大。因此，当包含噪声时,不能获得作为观赏性图像(ornamental image)的合适图像。这用以下表达式(5-1)和(5-2)表示。G(u, v) =H(u, v) · F (u, v)+N(u, v)…(5-1)G (u, v) /H (u, v) =F (u, v) +N (u, v) /H (u, v)…(5-2)在表达式(5_1)和(5_2)中，符号N表不噪声分量。关于包含噪声分量的图像(例如作为用以下表达式(6)表示的维纳滤波器)，存在根据图像信号和噪声信号的强度比SNR来控制恢复程度的方法。
权利要求
1.一种执行图像的图像恢复处理的图像处理方法，所述图像处理方法包括以下步骤使用依赖于所述图像的图像拾取条件的系数数据，产生依赖于所述图像的位置的多个第一光学传递函数；通过围绕所述图像的中心或围绕图像拾取光学系统的光轴旋转第一光学传递函数来产生多个第二光学传递函数；基于第一光学传递函数和第二光学传递函数来产生图像恢复滤波器；以及使用所述图像恢复滤波器来执行所述图像的图像恢复处理。
2.根据权利要求I所述的图像处理方法，其中，第一光学传递函数中的至少两个光学传递函数是依赖于通过所述图像的中心的直线上的位置的光学传递函数。
3.根据权利要求2所述的图像处理方法，其中，所述多个第一光学传递函数中的所有光学传递函数都是依赖于所述直线上的位置的光学传递函数。
4.根据权利要求I至3中的任何一个所述的图像处理方法，其中，所述图像恢复滤波器包括在所述图像的第一位置处的第一图像恢复滤波器和在所述图像的第二位置处的第二图像恢复滤波器，其中，所述第一图像恢复滤波器通过使用第一光学传递函数和第二光学传递函数来产生，并且其中，所述第二图像恢复滤波器基于所述第一图像恢复滤波器来产生。
5.根据权利要求I至3中的任何一个所述的图像处理方法，还包括以下步骤使用第二光学传递函数和相对于所述图像的中心或图像拾取光学系统的光轴旋转非对称的传递函数来产生旋转非对称的光学传递函数，其中，所述图像恢复滤波器使用所述旋转非对称的光学传递函数来产生。
6.根据权利要求5所述的图像处理方法，其中，所述旋转非对称的传递函数是光学低通滤波器的传递函数。
7.根据权利要求6所述的图像处理方法，其中，所述旋转非对称的传递函数是具有图像拾取元件的像素开口形状的传递函数。
8.根据权利要求I至3中的任何一个所述的图像处理方法，其中，所述系数数据是通过近似所述图像拾取光学系统的光学传递函数的设计值或测量值而获得的函数的系数的数据。
9.根据权利要求I至3中的任何一个所述的图像处理方法，其中，图像恢复滤波器是第一图像恢复滤波器，其被用于恢复图像上的由通过图像的中心或者图像拾取光学系统的光轴的且相互正交的两条线划分成的四个区域中的一个区域中的图像，并且该图像处理方法进一步包括生成被用于恢复另一区域中的图像的第二图像恢复滤波器的步骤。
10.根据权利要求9所述的图像处理方法，其中，第二图像恢复滤波器通过第一图像恢复滤波器的逆而产生。
11.根据权利要求I至3中的任何一个所述的图像处理方法，还包括以下步骤使用第一区域的第一光学传递函数来产生第二区域和第三区域中的至少一个的第二光学传递函数，其中，在所述图像中，所述第一区域和所述第二区域是相对于所述图像的中心或图像拾取光学系统的光轴彼此对称的区域，所述第三区域是相对于通过所述第一区域和所述图像的中心的直线对称的区域。
12.根据权利要求I至3中任一个所述的图像处理方法，所述图像处理方法还包括以下步骤使用第一区域的第一光学传递函数来产生第一区域中的图像恢复滤波器，使用第一区域中的图像恢复滤波器来产生第二区域和第三区域中的至少一个中的图像恢复滤波器，其中，在所述图像中，所述第一区域和所述第二区域是相对于所述图像的中心或图像拾取光学系统的光轴彼此对称的区域，第三区域是相对于通过所述第一区域和所述图像的中心的直线对称的区域。
13.一种执行图像的图像恢复处理的图像处理方法，所述图像处理方法包括以下步骤使用依赖于所述图像的图像拾取条件的系数数据，产生依赖于所述图像的位置的多个光学传递函数；以及使用第一区域的光学传递函数来产生第二区域和第三区域中的至少一个的光学传递函数，其中，在所述图像中，所述第一区域和所述第二区域是相对于所述图像的中心或图像拾取光学系统的光轴彼此对称的区域，所述第三区域是相对于通过所述第一区域和所述图像的中心的直线对称的区域。
14.一种执行图像的图像恢复处理的图像处理方法，所述图像处理方法包括以下步骤使用依赖于所述图像的图像拾取条件的系数数据，产生依赖于所述图像的位置的多个第一光学传递函数；使用第一光学传递函数来产生第二光学传递函数，所述第二光学传递函数具有与通过围绕所述图像的中心或围绕图像拾取光学系统的光轴旋转第一光学传递函数而获得的光学传递函数等同的形状；基于第一光学传递函数和第二光学传递函数来产生图像恢复滤波器；以及使用所述图像恢复滤波器来执行所述图像的图像恢复处理。
15.一种执行图像的图像恢复处理的图像处理装置，所述图像处理装置包括第一光学传递函数产生部分，其被配置为使用依赖于所述图像的图像拾取条件的系数数据，产生依赖于所述图像的位置的多个第一光学传递函数；第二光学传递函数产生部分，其被配置为通过围绕所述图像的中心或围绕图像拾取光学系统的光轴旋转第一光学传递函数来产生多个第二光学传递函数；图像恢复滤波器产生部分，其被配置为基于第一光学传递函数和第二光学传递函数来产生图像恢复滤波器；和图像恢复部分，其被配置为使用所述图像恢复滤波器来执行所述图像的图像恢复处理。
16.根据权利要求15所述的图像处理装置，其中，第一光学传递函数中的至少两个光学传递函数是依赖于通过所述图像的中心的直线上的位置的光学传递函数。
17.根据权利要求16所述的图像处理装置，其中，所述多个第一光学传递函数中的所有光学传递函数都是依赖于所述直线上的位置的光学传递函数。
18.根据权利要求15所述的图像处理装置，其中，所述图像恢复滤波器包括在所述图像的第一位置处的第一图像恢复滤波器和在所述图像的第二位置处的第二图像恢复滤波器，其中，所述第一图像恢复滤波器通过使用第一光学传递函数和第二光学传递函数来产生，并且其中，所述第二图像恢复滤波器基于所述第一图像恢复滤波器来产生。
19.根据权利要求15所述的图像处理装置，还包括被配置为使用第二光学传递函数和相对于所述图像的中心或图像拾取光学系统的光轴旋转非对称的传递函数来产生旋转非对称的光学传递函数的部分，其中，所述图像恢复滤波器使用所述旋转非对称的光学传递函数来产生。
20.根据权利要求19所述的图像处理装置，其中，所述旋转非对称的传递函数是光学低通滤波器的传递函数。
21.根据权利要求20所述的图像处理装置，其中，所述旋转非对称的传递函数是具有图像拾取元件的像素开口形状的传递函数。
22.根据权利要求15所述的图像处理装置，其中，所述系数数据是通过近似所述图像拾取光学系统的光学传递函数的设计值或测量值而获得的函数的系数的数据。
23.根据权利要求15所述的图像处理装置，其中，图像恢复滤波器是第一图像恢复滤波器，其被用于恢复图像上的由通过图像的中心或者图像拾取光学系统的光轴的且相互正交的两条线划分成的四个区域中的一个区域中的图像，并且该图像处理装置进一步包括被配置为生成被用于恢复另一区域中的图像的第二图像恢复滤波器的部分。
24.根据权利要求23所述的图像处理装置，其中，第二图像恢复滤波器通过第一图像恢复滤波器的逆而产生。
25.根据权利要求15所述的图像处理装置，还包括被配置为使用第一区域的第一光学传递函数来产生第二区域和第三区域中的至少一个的第二光学传递函数的部分，其中，在所述图像中，所述第一区域和所述第二区域是相对于所述图像的中心或图像拾取光学系统的光轴彼此对称的区域，所述第三区域是相对于通过所述第一区域和所述图像的中心的直线对称的区域。
26.根据权利要求15所述的图像处理装置，所述图像处理装置还包括被配置为使用第一区域的第一光学传递函数来产生第一区域中的图像恢复滤波器的部分，被配置为使用第一区域中的图像恢复滤波器来产生第二区域和第三区域中的至少一个中的图像恢复滤波器的部分，其中，在所述图像中，所述第一区域和所述第二区域是相对于所述图像的中心或图像拾取光学系统的光轴彼此对称的区域，第三区域是相对于通过所述第一区域和所述图像的中心的直线对称的区域。
27.一种执行图像的图像恢复处理的图像处理装置，所述图像处理装置包括被配置为使用依赖于所述图像的图像拾取条件的系数数据，产生依赖于所述图像的位置的多个光学传递函数的部分；和被配置为使用第一区域的光学传递函数来产生第二区域和第三区域中的至少一个的光学传递函数的部分，其中，在所述图像中，所述第一区域和所述第二区域是相对于所述图像的中心或图像拾取光学系统的光轴彼此对称的区域，所述第三区域是相对于通过所述第一区域和所述图像的中心的直线对称的区域。
28.一种执行图像的图像恢复处理的图像处理装置，所述图像处理装置包括第一光学传递函数产生部分，被配置为使用依赖于所述图像的图像拾取条件的系数数据，产生依赖于所述图像的位置的多个第一光学传递函数；第二光学传递函数产生部分，被配置为使用第一光学传递函数来产生第二光学传递函数，所述第二光学传递函数具有与通过围绕所述图像的中心或围绕图像拾取光学系统的光轴旋转第一光学传递函数而获得的光学传递函数等同的形状；图像恢复滤波器产生部分，被配置为基于第一光学传递函数和第二光学传递函数来产生图像恢复滤波器；以及图像恢复部分，被配置为使用所述图像恢复滤波器来执行所述图像的图像恢复处理。
29.一种执行图像的图像恢复处理的图像拾取装置，所述图像拾取装置包括根据权利要求15 - 28中任一项所述的图像处理装置。
全文摘要
本发明公开了图像处理方法、图像处理装置和图像拾取装置。一种执行图像的图像恢复处理的图像处理方法包括以下步骤使用依赖于所述图像的图像拾取条件的系数数据，产生根据所述图像的位置的图像拾取光学系统的多个第一光学传递函数；通过围绕所述图像的中心或围绕所述图像拾取光学系统的光轴旋转第一光学传递函数来产生多个第二光学传递函数；基于第一光学传递函数和第二光学传递函数来产生图像恢复滤波器；以及使用所述图像恢复滤波器来执行所述图像的图像恢复处理。
文档编号G06T5/00GK102930507SQ20121027412
公开日2013年2月13日 申请日期2012年8月3日 优先权日2011年8月8日
发明者畠山弘至, 渡边武史 申请人:佳能株式会社