进行图像恢复处理的图像处理设备和图像处理方法
【技术领域】
[0001]本发明涉及进行图像恢复处理的图像处理设备和图像处理方法，尤其涉及用于校正劣化图像的处理。
【背景技术】
[0002]通常，在通过使用诸如数字照相机等的摄像设备拍摄被摄体来获得图像的情况下，该图像例如由于摄像光学系统的像差而大幅劣化(即，图像变模糊)。图像的模糊通常是由摄像光学系统的球面像差、彗星像差、像场弯曲或像散像差等所引起的。在无任何衍射影响的消球差状态中，来自被摄体的一点的光束在摄像装置的摄像面上再次收敛于一点。另一方面，如果存在任何上述像差，则应当在摄像面上再次收敛于一点的光发散而导致在如此形成的图像上产生模糊成分。
[0003]图像上产生的模糊成分是通过点扩散函数(PSF)光学地进行定义的。尽管失焦的图像也变模糊，但这里，将即使在图像聚焦的情况下摄像光学系统的像差所引起的图像的模糊也称为“模糊”。关于彩色图像上的渗色，可以将由摄像光学系统的轴向色像差、颜色的球面像差和颜色的彗星像差所引起的渗色称为依赖于光的波长的不同方式的模糊。此外，关于图像的水平方向上的颜色偏移，可以将摄像光学系统的倍率色像差(lateralchromatic aberrat1n)所引起的颜色偏移称为由依赖于光的波长的不同的摄像倍率所弓I起的位置偏移或相位偏移。
[0004]通过对上述PSF进行傅立叶变换所获得的光学传递函数(OTF)是像差的频率成分，并且由复数来表示。将光学传递函数(OTF)(以下将“光学传递函数”适当简称为“0TF”)的绝对值、即振幅成分称为调制传递函数(MTF)，并且将相位成分称为相位传递函数(PTF) ο
[0005]这些MTF和PTF分别是像差所引起的图像的劣化的振幅成分和相位成分的频率特性。通过以下的等式(I)来将相位成分表示为相位角。注意，Re (OTF)和Im(OTF)分别表示OTF的实部和虚部:
[0006]PTF = tan 1 {Im (OTF) /Re (OTF)}...(I)
[0007]摄像光学系统中的OTF使图像的振幅成分和相位成分劣化，因而在劣化图像中，例如在由彗星像差引起劣化的情况下，被摄体的各点以非对称的方式变模糊。此外，在由倍率色像差引起劣化的情况下，成像位置由于光学波长之间不同的成像倍率而偏移，并且在根据从被摄体所反射的光的光谱特性而接收到光作为RGB颜色成分的情况下，这导致在这些颜色成分之间产生不同的图像倍率。
[0008]这导致不仅在红色、绿色和蓝色(RGB)的成分之间产生成像位置的偏移，而且在各颜色成分中在各波长之间也产生成像位置的偏移。也就是说，图像因相位偏移而发散。确切地说，倍率色像差不会产生简单的平行颜色偏移。然而，除非另外说明，否则以下将假定颜色偏移具有与倍率色像差相同的含义来进行说明。
[0009]作为校正振幅(MTF)的劣化和相位(PTF)的劣化的方法，例如，已知有使用摄像光学系统的OTF来校正劣化的方法。将该方法称为图像恢复或图像复原。在以下说明中，将用于使用摄像光学系统的OTF来校正图像的劣化的处理称为图像恢复处理或简称为恢复处理。
[0010]现在将说明图像恢复处理的概述。假定利用g(x，y)表示劣化图像、利用f (X，y)表示原始图像，并且利用h(x，y)表示通过对OTF进行逆傅立叶变换所获得的PSF。在这种情况下，以下等式⑵成立。注意，*表示卷积，并且(x，y)表示图像上的坐标。
[0011]g(x,y) = h(x,y)*f(x,y)…(2)
[0012]在通过傅立叶变换将等式(2)转换成基于频率的形式的情况下，如通过以下的等式(3)所示，这样给出了针对各频率的积的形式。注意，H表示PSF的傅立叶变换的结果、即0TF，并且G和F分别表示劣化图像g和原始图像f的傅立叶变换的结果。(U，V)的值表示二维频率面上的点的坐标、g卩频率。
[0013]G (U，V) =H (U，V).F (u, v) …(3)
[0014]为了根据通过拍摄所获得的劣化图像获得原始图像，如通过以下的等式(4)所示，仅需将等式⑶的两侧除以H。
[0015]G (u, v) /H (u, v) = F (u, v)...(4)
[0016]通过对等式(4)中的F(u，v)进行逆傅立叶变换而返回至实面，可以获得原始图像f(x, y)作为恢复图像。
[0017]这里，在假定利用R来表示通过对等式(4)中的1/H进行逆傅立叶变换所得到的结果的情况下，通过在实面上对图像进行卷积处理，如通过以下的等式(5)所示，可以同样获得原始图像。
[0018]g(x, y)*R(x, y) = f (x, y)…(5)
[0019]将等式(5)中的R(x，y)称为图像恢复滤波器。实际图像具有噪声成分，因而如果如上所述使用通过OTF的倒数所生成的图像恢复滤波器，则噪声成分连同劣化图像一起被放大，结果无法获得良好图像。
[0020]为了防止噪声成分被放大，例如，提出了如Wiener滤波器那样、用于根据图像和噪声之间的强度比来抑制图像中的高频成分的恢复率的方法。此外，作为用于校正图像中的由渗色成分所引起的劣化的方法，提出了用于通过对上述模糊成分进行校正以使得模糊量针对图像的各颜色成分变均匀来校正渗色成分的方法。
[0021]OTF根据诸如变焦位置的状态和光圈直径的状态等的拍摄状态而改变。因此，还要求图像恢复处理中所使用的图像恢复滤波器根据拍摄状态而改变。例如，在用于观察生物体内部的内窥镜中，提出了用于使用与荧光波长相对应的PSF来在摄像部的聚焦范围外的范围中消除图像模糊的方法(参见日本特开平10-165365)。在该方法中，由于荧光微弱，因此需要F值小的物镜光学系统。然而，如果使用F值小的物镜光学系统，则焦深变浅，因而通过针对被摄体失焦的范围进行图像恢复处理来获得聚焦图像。
[0022]如上所述，对通过拍摄所获得的图像进行图像恢复处理，以由此校正上述的各种类型的像差，由此可以提高图像质量。然而，在进行拍摄时，拍摄状态和图像恢复滤波器的状态并非始终最佳地一致。例如，在拍摄三维被摄体的情况下，发生这种问题。
[0023]在摄像设备中，通过使用自动调焦或手动调焦聚焦于被摄体空间的一个面来进行拍摄。如此，在被摄体为三维的情况下，被摄体距离根据视角而不同。聚焦物体以相对清晰的状态被拍摄，但失焦物体伴随有依赖于距离的模糊量而被拍摄。在仅针对聚焦点获取到与被摄体距离有关的信息的情况下，选择或生成最适合该被摄体距离中的各视角的图像恢复滤波器以供使用。
[0024]在经过图像恢复处理之后的图像中，图像恢复滤波器最适合聚焦物体，因而可以获得期望的锐度。另一方面，图像恢复滤波器不是最适合失焦物体，因而尽管获得了某种程度的恢复效果，但图像仍模糊。
[0025]另一方面，传统上，已知如下:依赖于被摄体距离的模糊程度在表现被摄体的三维感或与背景隔离地表现所观看物体方面产生良好效果。例如，通过使用景深浅的远摄透镜，以主被摄体聚焦但背景有意变模糊的方式来表现图像。在这种情况下，同样在经过图像恢复处理之后的图像中，期望使聚焦物体变清晰，但失焦物体仍保持模糊，并且通过使用上述的图像恢复方法来进行模糊表现。
[0026]然而，如果使用并非最适合失焦物体的距离的图像恢复滤波器来对失焦物体进行图像恢复处理，则在图像上有时发生着色。注意，术语“着色”是指:由于失焦物体的边缘部上的各颜色成分之间的模糊关系在执行图像恢复处理之前和之后有所不同，因此在经过图像恢复处理之后的图像上产生颜色未包括在被摄体中的缺陷。
[0027]此外，这种着色有时不仅仅发生在三维被摄体的拍摄中。更具体地，如果例如由于摄像光学系统的制造偏差或拍摄时的光源光谱的变化因而实际拍摄状态中的像差状态和图像恢复滤波器作为对象的像差状态不同，则发生着色，而与被摄体是否聚焦无关。
[0028]作为抑制上述着色的方法，例如，提出了用于基于进行了图像恢复处理之前的图像中的颜色信息来校正进行了图像恢复处理之后的图像的颜色的方法。在该方法中，针对图像的各像素判断由图像恢复处理所引起的颜色的变化，由此抑制由图像恢复处理所引起的着色。
[0029]例如，提出了用于在经过图像恢复处理之后的图像中的色差变得大于进行图像恢复处理之前的色差的情况下对信号值进行校正以减少色差量的方法(例如，参见日本特开2010-86138)。
[0030]如上所述，通过对拍摄所获得的图像进行图像恢复处理以减轻例如在失焦物体的图像上发生的着色、并且校正各种类型的像差，可以提高图像质量。
[0031]然而，在进行拍摄时，在摄像装置所进行的光电转换期间产生噪声，由此在图像中包含噪声成分。通常，摄像装置的感光度被设置得越高，该噪声越大。在根据恢复处理之前和之后的色差来对包含光电转换期间所产生的大量噪声的图像进行着色抑制处理的情况下，图像的被摄体的色感有时改变或不准确。
[0032]图20A?20E是用于说明在包含摄像装置所进行的光电转换期间所产生的噪声的图像中在经过恢复处理之前和之后沿一条线的G信号和R信号的像素值以及G信号和R信号之间的色差的图。图20A示出恢复处理之前的像素值的变化，而图20B示出恢复处理之后的像素值的变化。图20C示出恢复处理之前的色差的变化，而图20D示出恢复处理之后的色差的变化。此外，图20E示出恢复处理之前和之后的色差的比较。
[0033]在该示例中，尽管被摄体的亮度和颜色的变化小，但如图20A所示，像素值由于图像恢复处理之前所产生的噪声而改变。如上所述，期望通过考虑到噪声的放大来形成图像恢复处理中所使用的图像恢复滤波器。
[0034]然而，难以将因摄像光学系统的像差而发生劣化的劣化图像与噪声成分完全分开，因而噪声因图像恢复处理而被放大。也就是说，如图20B所示，在图像恢复处理之后，像素值的变化没有减小。注意，在图20B中，“R”表示应用图像恢复滤波器之后的R信号值，并且“R’”表示进行了用于抑制着色的校正的信号值。
[0035]图20C示出图像恢复处理之前的色差，并且这里色差是指G信号和R信号之间的差(R-G)。图20D示出图像恢复处理之后的色差，其中“Cr”表示应用图像恢复滤波器之后的色差，并且“Cr’ ”表示进行了用于抑制着色的校正的色差。在该示例中，针对相比图像恢复处理之前、在经过图像恢复处理之后色差变大的像素对R信号进行校正，使得减小了色差量。
[0036]图20E示出以在图像恢复