所谓“校正判断处理”，是指根据脸部的有无、连拍模式的设定有无、其它特殊情况的有无，来判断是否进行与被摄体的脸部的变形程度(以下称为“脸部变形等级”)相应的校正强度的设定的一系列的处理。
[0047]所谓“脸部变形解析处理”，是指基于获取到的像高差，计算脸部变形等级，对多个脸部中最大的脸部的变形等级进行解析并决定的一系列的处理。“脸部变形解析处理”包含“像高差获取处理”。
[0048]所谓“像高差获取处理”，是指基于检测到的多个眼睛的位置信息，来确定像高差的一系列的处理。所谓眼睛的位置信息，是包含眼睛在图像中的坐标值的信息和表示是眼睛的可能性的可靠度的信息(以下称为“可靠性信息”)在内的信息。
[0049]对于畸变校正处理而言，如图3所示，在CPU11中，图像获取部51、变焦位置获取部52、校正判断处理部53、校正值设定部54、脸部变形解析处理部55、像高差获取处理部56、校正前处理部57和图像校正部58发挥作用。
[0050]此外，在存储部19的一个区域，设定图像存储部71和校正信息存储部72。
[0051]在图像存储部71中存储从摄像部16、外部获取到的图像的数据和进行了畸变校正的图像(以下称为“校正图像”)。
[0052]在校正信息存储部72中存储用于校正所涉及的处理的信息(以下称为“校正信息”)。在校正信息中包含例如表示与变焦位置的各级对应的畸变校正的校正强度的校正值、与变焦位置(基于变焦位置而设定的校正值)对应的校正的种类、与校正的种类相应的脸部变形等级的校正强度的信息。
[0053]图像获取部51在畸变校正处理的执行中，从图像存储部71获取成为校正对象的图像(以下也称为“对象图像”)。
[0054]变焦位置获取部52在使用摄像图像的情况下，获取拍摄时的变焦的指示值，在使用从外部获取的图像的情况下，例如获取存储在图像的头部(header)等的变焦值。基于获取到的变焦值，设定被存储于校正信息存储部72的校正值。此外，获取到的变焦值也被用作是否是通过校正而容易出现瘦脸效果的状态(透镜特性)的判断基准。
[0055]校正判断处理部53执行校正判断处理。
[0056]具体来讲，由于在像高差获取处理中需要眼睛的位置信息，因此校正判断处理部53对是否在图像中检测到脸部进行判断。然后，在检测到脸部的情况下，校正判断处理部53成为进行适应性校正的判断结果。
[0057]此外，校正判断处理部53由于针对连拍得到的多个图像的每个图像使校正强度变化来应用本发明的畸变校正处理，因而会导致各图像的背景的变形情况不同，各图像的一系列外观的自然性破坏。为了避免这样的状况，校正判断处理部53对多个图像是否是以连拍模式所拍摄到的图像进行判断，在是以连拍模式所拍摄到的图像的情况下，设为不进行适应性校正的判断结果，另一方面，在判断为不是以连拍模式所拍摄到的图像的情况下，成为进行适应性校正的判断结果。
[0058]此外，校正判断处理部53例如对是否是设定了用于特定的拍摄场景的拍摄模式等其它特殊的情况进行判断。校正判断处理部53在没有其它特殊的情况的情况下，成为进行适应性校正的判断结果。
[0059]另外，校正判断处理部53在校正判断处理中，进行图像解析来检测脸部，在检测到该脸部的情况下获取位置信息。
[0060]校正值设定部54参照校正信息存储部72，读出与由变焦位置获取部52所获取到的变焦位置对应的畸变校正的校正值并进行设定。
[0061]此外，校正值设定部54设定与由校正判断处理部53所判断出的结果相应的校正值。此外，在由校正判断处理部53判断为进行适应性校正的情况下，校正值设定部54在进行适应性校正(详细来讲，减弱桶形(barrel)校正)时，作为桶形校正的结果，为了防止4角以外的视场角变窄，设定为预先将视场角扩展到4角的照度等的不发生渐晕的界限。在通常的畸变校正中，为了防止由于畸变校正而包含渐晕部分，设为取较多空白部分的视场角，但在进行适应性校正(详细来讲，减弱桶形校正)时，与通常的畸变校正的情况相比会取较少的空白部分。
[0062]另外，所谓“桶形校正”是用于桶形的畸变像差的校正的方法，是对图像的侧边鼓起的状态的图像按照校正该鼓起的方式进行的校正。
[0063]脸部变形解析处理部55执行脸部变形解析处理。
[0064]具体来讲，脸部变形解析处理部55基于获取到的双眼的位置的像高差，计算脸部变形等级，将脸部变形等级的最大值设为解析结果。
[0065]将脸部变形等级的最大值设为解析结果是为了在有多个脸部的情况下，优先适当地处理变形最大的脸部。
[0066]这里，对脸部变形等级的计算方法进行说明。
[0067]“脸部变形等级”通过下式⑴来计算。
[0068]脸部变形等级=双眼的像高差X系数IX距离图像的中心坐标较远的眼睛的像高X系数2...(1)
[0069]另外，“系数1”、“系数2”是与透镜特性相应地对脸部变形等级进行调整的调整值，是基于与眼睛距离图像中心的远近、眼睛的倾斜等相应的透镜特性而设定的调整值。
[0070]此外，“双眼的像高差”基于通过下式(2)来求出的左右眼的像高，利用式(3)来计笪弁ο
[0071]眼睛的像高=(眼睛的位置-中心坐标)/(图像对角长/2) ---(2)
[0072]双眼的像高差=|右眼像高-左眼像高|...(3)
[0073]像高差获取处理部56执行像高差获取处理。
[0074]具体来讲，像高差获取处理部56获取所检测到的脸部的信息(脸部的位置信息以及可靠性信息)。在本实施方式中，在所检测到的一个脸部中，检测3个模式的眼睛的位置的候补。对所检测到的眼睛的位置的候补分别赋予将可靠程度表示为值的可靠性信息。
[0075]此外，像高差获取处理部56对可靠性最高的第1候补和可靠性次高的第2候补的可靠性的差进行确认(第1可靠性的确认)。此外，像高差获取处理部56进行眼睛的位置的可靠性的确认(第2可靠性的确认)。
[0076]此外，像高差获取处理部56基于获取到的眼睛的位置信息，分别针对左右眼的位置，利用式(2)来获取像高，利用式(3)来计算眼睛的像高差的值。
[0077]此外，像高差获取处理部56将所计算出的像高差的值之中的最小值设为像高差。
[0078]校正前处理部57基于通过变焦位置获取部52获取到的变焦位置，来判断要应用的畸变校正的种类。
[0079]详细来讲，校正前处理部57参照校正信息存储部72，来判断与通过变焦位置获取部52获取到的变焦位置(在本实施方式中，是与变焦位置对应设定的校正强度)对应的要应用的畸变校正的种类。
[0080]具体来讲，在变焦位置是广角侧的情况下，成为小脸效果容易出现的透镜特性，校正前处理部57判断为要应用桶形校正的畸变校正的种类。
[0081]与此相对，在变焦位置是变焦侧的情况下，成为小脸效果不易出现的透镜特性，校正前处理部57判断为要应用桶形以外的枕形校正等的畸变校正的种类。
[0082]另外，所谓“枕形(pincush1n)校正”是指用于枕形的畸变像差的校正的方法，是对图像的侧边凹陷的状态的图像按照校正该凹陷的方式进行的校正。
[0083]并且，校正前处理部57在将校正的种类判断为桶形校正的情况下，根据脸部变形等级，执行畸变校正强度抑制处理。
[0084]在畸变校正强度抑制处理中，在脸部变形等级是应抑制变形的等级(脸部变形等级接近最大等级“255”，即，脸部变形等级是某个规定阈值以上)的情况下，进行减弱畸变校正的处理。与此相对，在脸部变形等级是应积极地进行小脸效果的等级(脸部变形等级接近最小等级“0”，即，脸部变形等级小于某个规定阈值)的情况下，不进行减弱畸变校正的处理或者进行加强畸变校正的处理。另外，在脸部变形等级是变形抑制方向的情况下的脸部变形等级是最小等级“0”的情况下进行的畸变校正的校正强度，与判断为不进行适应性校正的校正值相等或者近似。
[0085]与此相对，校正前处理部57在将校正的种类判断为桶形以外的枕形校正等的情况下，根据脸部变形等级，来执行追加瘦脸效果的畸变校正强度追加处理。
[0086]在畸变校正强度追加处理中，在脸部变形等级是应抑制变形的等级的情况下，不进行抑制处理并且不进行校正强度的变更。与此相对，在脸部变形等级是应积极地进行小脸处理的等级的情况下，通过畸变校正来进行枕形的畸变像