, y-1) - G(x~l, y-l)+R(x+l, y-1)
[0175]- G(x+1, y-l)+R(x-l, y+1) - G(x~l, y+1)
[0176]+R (x+1, y+1) - G (x+1, y+1))/4...(25)
[0177]R(x, y) = G (x, y) +Cr…(26)
[0178]因而，像素值调整后像素插值部1012通过利用从邻接像素获取到的色差信息(R-G)对R成分进行插值来进行自适应插值。
[0179]与针对R成分所进行的自适应插值相同，通过根据邻接像素应用上述三个模式其中之一来进行针对图6C所示的B成分的自适应插值，由此利用从邻接像素所获取到的色差信息(B-G)来对B成分进行插值。
[0180]图6G?61示出进行了自适应插值的颜色成分的各颜色平面的示例。注意，为了比较的目的，图6D?6F示出代替进行自适应插值而是进行线性插值的颜色成分的各颜色平面的示例。
[0181]如图6D?6F所示，在进行了线性插值的情况下，生成“100”和“200”以外的像素值，并且相对于图5B所示的像素阵列而言，锐度下降。另一方面，在进行了自适应插值的情况下，图6G?61所示的像素阵列在R、G和B的成分之间在像素值方面相等，并且所有这些都与图5B所示的像素阵列一致。
[0182]如上所述，通过进行用于使用周围像素的其它颜色成分的像素信息来生成插值像素的自适应插值，可以生成锐度相对于图5B所示的像素阵列没有下降的图像。
[0183]注意，没有特别限制像素值调整后像素插值部1012所进行的像素插值处理，但可以采用任何其它合适的自适应插值方法，只要该方法是用于使用周围像素的其它颜色成分的像素信息来生成插值像素的方法即可。
[0184]在步骤S210结束的情况下，图像处理器104终止图像恢复处理，并且进行利用其它图像处理器112的处理。
[0185]注意，即使在一个拍摄条件下，OTF也根据摄像光学系统的视角(像高)而改变，因而期望根据像高来针对图像的各分割区域改变图像恢复处理。例如，仅要求在进行卷积处理的同时使图像恢复滤波器在图像上进行扫描，并且可以针对各区域顺次改变图像恢复滤波器。也就是说，针对图像恢复成分的各对象像素进行步骤S203。
[0186]在本发明的第一实施例中，尽管说明了图像恢复滤波器的应用作为图像恢复处理，但这并非限制性的。例如，可以通过在图4的处理之前或之后或期间将图像恢复处理与诸如失真校正处理、周边光量校正处理和噪声降低处理等的其它处理组合来进行该图像恢复处理。
[0187]图1lA和IlB是用于说明表示对经过了参考图4所述的图像恢复处理的图像和没有经过图像恢复处理的图像进行显像处理的情况下的边缘部中的亮度的像素值(信号值)的变化的图。图1lA示出低感光度的情况下的亮度的变化，并且图1lB示出高感光度的情况下的亮度的变化。
[0188]图1lA示出低感光度的情况的示例，并且图像所含有的作为图像恢复中的着色抑制处理所引起的色感的变化的原因的噪声较少。在图1lA的例示示例中，边缘是失焦物体的边缘，并且针对未进行图像恢复处理(未进行恢复)的边缘的像素值(信号值)，除非进行着色抑制处理，否则由于进行图像恢复而导致边缘部中的着色增大。
[0189]图12A?12E是用于说明MTF和空间频率特性之间的关系的图。图12A?12D各自示出摄像光学系统的MTF与应用图像恢复滤波器之后所展现的空间频率特性之间的关系，并且图12E示出通过应用图像恢复滤波器所引起的MTF的增减率(恢复增益)。
[0190]图12A示出处于聚焦状态的摄像光学系统101的MTF，其中相比G成分，R成分的劣化更大。图12B示出在聚焦状态下应用图像恢复滤波器之后所获得的MTF，其中G成分和R成分都对MTF进行了适当校正，并且彼此一致。
[0191]更具体地，在图12B的例示示例中，将图12A所示的MTF分别乘以图12E所示的恢复增益，由此对G成分和R成分的MTF都进行了适当校正以彼此一致。图像恢复滤波器被设计成能够对聚焦物体最佳地进行图像恢复处理，从而使得可以在聚焦状态下适当地进行图像恢复处理。因此，在被摄体聚焦时，适当消除了 G成分和R成分的模糊，并且还消除了渗色。
[0192]另一方面，图12C和12D示出非聚焦状态下的摄像光学系统101的MTF，其中相比图12A所示的MTF，G成分和R成分这两者都示出不同的特性。图1lA所示的边缘部与图12D所示的MTF相对应。
[0193]在将图12D所示的MTF乘以图12E所示的恢复增益的情况下，对R成分进行了过度校正，结果如参考图1lA和IlB所述，在进行了恢复处理的边缘部中发生着色。通过进行上述的图像恢复处理来抑制该着色。也就是说，由于感光度低，因此相比感光度高的情况，将系数α设置为较小的值，由此可以充分进行着色抑制。
[0194]在图1lB的例示示例中，感光度高，并且RAW图像含有大量噪声。在这种情况下，可以认为从摄像装置上形成的光学图像所获得的图像信息由于噪声而丢失。因此，感光度低的情况下所发现的失焦物体上发生的着色的程度相比感光度高的情况变低。此外，由于显像处理中所进行的噪声降低处理而导致边缘部中发生的着色有时变得不明显。
[0195]也就是说，在高感光度的情况下，失焦物体中发生的着色趋于不太明显，因而相比低感光度的情况，在这种情况下将系数α设置为较大的值，由此减少着色抑制处理所引起的色感的变化。这样使得可以在感光度高的情况下进行适当的着色抑制处理。
[0196]图13是示出在包含大量噪声的图像的预定区域中沿一条线的图像恢复之前和之后的各色差的移动平均的图。
[0197]假定在预定区域中被摄体的亮度低且颜色的变化小。通过图13显而易见，在进行参考图4所述的图像恢复处理的情况下，相比参考图20Ε所述的状态，色感几乎没有改变。
[0198]如上所述，通过根据ISO感光度设置色差判断阈值，可以对包含大量噪声的图像进行适当的着色抑制处理。
[0199]尽管在参考图4所述的步骤S207中系统控制器110输出与噪声量相关的ISO感光度作为图像特征量，但代替图像特征量，可以输出与图像恢复滤波器的特性有关的特性特征量。
[0200]图14是示出G成分和R成分中所使用的恢复增益的特性的图。
[0201 ] 参考图14，增益R和增益G分别表示G成分和R成分所使用的恢复增益的最大值。通常，随着恢复增益变大，噪声成分也被放大。因此，在该示例中，根据恢复增益的大小来设置系数α。
[0202]图15是示出最大恢复增益和参数Pgain之间的关系的图。
[0203]如图15所示，在最大恢复增益等于“ I ”的情况下，参数Pgain等于“ I ”，并且随着最大恢复增益增大，参数Pgain线性增大。将图14所示的增益R和增益G中的较大一个设置为最大恢复增益，并且根据图15所示的关系来获得与最大恢复增益相对应的参数Pgain。用参数Pgain替代系数α，并且使用等式(15)和(16)来分别确定第二色差判断阈值Thlr和 Thlb0
[0204]此外，针对根据ISO感光度所设置的系数α，根据以下的等式(27)来计算系数α ’，并且通过用系数α ’替代系数α，可以通过等式(15)和(16)来分别确定第二色差判断阈值Thlr和Thlb0
[0205]α ’ = a XPgain...(27)
[0206]通过如此根据恢复增益的大小进行着色抑制处理，可以减少由于着色抑制处理而容易发生色感的变化的区域中的色感的变化。
[0207]如上所述，在第一实施例中，根据预定条件来设置色差判断阈值，由此可以适当地抑制图像恢复处理所引起的着色。
[0208]接着，将说明作为配备有根据本发明第二实施例的图像处理设备的摄像设备的照相机。除以下所述的图像恢复处理器外，根据第二实施例的照相机具有与图1所示的照相机相同的结构。
[0209]图16是作为配备有根据第二实施例的图像处理设备的摄像设备的照相机的图像处理器104中所包括的图像恢复处理器的框图。在图16中，利用相同的附图标记来表示与图3所示的图像恢复处理器111的组件相同的组件，并且省略了针对这些组件的说明。
[0210]在图16所示的图像恢复处理器中，不使用图像恢复滤波器的ISO感光度或特性作为特征量信息，而是从图像获得特征量，并且根据所获得的特征量来设置系数α。
[0211]图16所示的图像恢复处理器包括恢复前像素插值部(R) 1013、恢复前像素插值部(B) 1014和图像特征量计算部1015(作为与图3的实施例的不同之处)。恢复前像素插值部(R) 1013和恢复前像素插值部(B) 1014以与恢复前像素插值部(G) 1001对G成分所进行的处理相同的方式来对R成分和G成分进行像素插值处理。
[0212]将进行了像素插值的从恢复前像素插值部(G) 1001、恢复前像素插值部(R) 1013和恢复前像素插值部(B) 1014所输出的RGB信号(R信号、G信号、B信号)输入至图像特征量计算部1015。图像特征量计算部1015基于RGB信号来计算各像素的色相、饱和度和亮度。图像特征量计算部1015使用预定的转换公式来将色相、饱和度和亮度转换成HSB颜色空间。
[0213]图17A?17C是分别示出图像的色相、饱和度和亮度与参数Ph、Ps和Pb之间的各关系的不例的图。
[0214]如图17A?17C所示，随着色相从值O开始增加，参数Ph减小，并且达到Ph = I。之后，即使在色相增加的情况下，在色相的一定范围内，参数Ph也保持处于Ph= I。在色相进一步增加得超过该范围的情况下，参数Ph线性增大。
[0215]对于饱和度，即使在饱和度从O开始增加的情况下，参数Ps也保持处于固定值，但在饱和度达到预定值的情况下，参数Ps开始逐渐减小为Ps = 1对于亮度，参数Pb相对于亮度以与Ps相对于饱和度的方式基本相同的方式进行改变。
[0216]图像特征量计算部1015从图17A?17C所示的示出图像的色相、饱和度和亮度与参数Ph、Ps和Pb之间的关系的图分别获得与色相、饱和度和亮度相对应的参数Ph、Ps和Pb。然后，图像特征量计算部1015使用所获得的参数Ph、Ps和Pb来根据以下的等式(28)计算参数Phsb作为图像特征量。
[0217]Phsb = PhXPsXPb...(28)