(本申请是申请日为2015年5月4日、申请号为201510221529.0、发明名称为“焦点调节装置及其控制方法和摄像设备”的申请的分案申请。)
本发明涉及一种焦点调节装置、该焦点调节装置的控制方法和摄像设备。
背景技术:
作为摄像设备的自动调焦(af)方法,已知有对比度af方法和相位差af方法。对比度af方法和相位差af方法这两者都是经常用于摄像机和数字静态照相机的af方法,并且在这些af方法中的一些af方法中,使用图像传感器作为焦点检测传感器。
在这些af方法中,使用光学图像来进行焦点检测,因此存在用于形成光学图像的光学系统的像差在焦点检测结果中产生误差的情况。提出了用于减少这种误差的方法。
日本专利第5087077号(文献1)公开了如下方法:针对af框、焦距、af评价频率和到被摄体的距离各自,准备定义多个代表值的组合的基准校正数据,并且使用通过根据实际条件进行插值所获得的校正数据来校正焦点检测结果。
然而,利用使用适合照相机本体特有的af评价频率的校正值来校正焦点检测结果的文献1中的方法,产生无法充分校正焦点检测误差的问题。焦点检测误差本来是观察者针对拍摄图像感觉最良好的焦点状态和焦点检测结果所指示的焦点状态之间的差。然而,在文献1所述的方法中,没有考虑到拍摄图像的焦点状态。此外,在焦点检测误差中存在各种因素,并且要考虑与各因素的频率相对应的焦点检测误差。然而,在文献1中也没有考虑到这点。
技术实现要素:
本发明提供一种焦点调节装置及其控制方法和摄像设备,其可以通过在至少考虑到拍摄图像的焦点状态的情况下校正焦点检测结果来精确地校正光学系统的像差所引起的焦点检测误差,并且解决了传统技术中的一个或多个问题。
根据本发明的方面,提供一种焦点调节装置,其能够利用相位差检测方法和对比度检测方法至少之一来执行自动调焦,所述焦点调节装置包括:
获得部件,用于根据与摄像光学系统的像散、色像差和球面像差至少之一有关的像差信息以及与所述自动调焦有关的焦点检测信息,来获得用于校正所述自动调焦的结果的校正值;以及控制部件,用于基于使用所述校正值校正后的所述自动调焦的结果,来控制所述摄像光学系统所具有的调焦透镜的位置。
根据本发明的另一方面,提供一种焦点调节装置的控制方法,所述焦点调节装置能够利用相位差检测方法和对比度检测方法至少之一来执行自动调焦,所述控制方法包括以下步骤:获得步骤,用于根据与摄像光学系统的像散、色像差和球面像差至少之一有关的像差信息以及与所述自动调焦有关的焦点检测信息,来获得用于校正所述自动调焦的结果的校正值;以及控制步骤,用于基于使用所述校正值校正后的所述自动调焦的结果,来控制所述摄像光学系统所具有的调焦透镜的位置。
根据本发明的又一方面,提供一种摄像设备,包括:根据本发明的焦点调节装置;照相机单元;以及镜头单元,其包括所述摄像光学系统并且相对于所述照相机单元能够拆卸,其中,所述获得部件设置在所述照相机单元中。
根据本发明的另一方面,提供一种摄像设备,包括:根据本发明的焦点调节装置;照相机单元;以及镜头单元,其包括所述摄像光学系统并且相对于所述照相机单元能够拆卸,其中,所述获得部件设置在所述镜头单元中。
通过以下参考附图对典型实施例的说明,本发明的其它特征将变得明显。
附图说明
图1a是示出实施例中的af操作的流程图。
图1b是示出实施例中的af操作的流程图。
图2是用作根据实施例的示例性摄像设备的数字照相机的框图。
图3a和3b是示出实施例中的图像传感器的示例性结构的图。
图4a和4b是示出实施例中的光电转换区域和出射光瞳之间的关系的图。
图5是图2的tvaf单元130的框图。
图6是示出实施例中的示例性焦点检测区域的图。
图7是实施例中的垂直/水平bp校正值(bp1)计算处理的流程图。
图8a和8b是用于说明实施例中的垂直/水平bp校正值计算处理的图。
图9a~9c是用于说明实施例中的颜色bp校正值(bp2)计算处理的图。
图10a~10c是用于说明第一实施例中的空间频率bp校正值(bp3)计算处理的图。
图11a~11f是示出实施例中的各种空间频率特性的图。
图12是用于说明第二实施例中的空间频率bp校正值(bp3)计算处理的图。
图13是用于说明第三实施例中的空间频率bp校正值(bp3)计算处理的流程图。
图14是示出第四实施例中的af操作的流程图。
图15是用于说明第四实施例中的bp校正值(bp)计算处理的图。
图16a~16c是用于说明第四实施例中的bp校正值(bp)计算处理的图。
图17是用于说明第四实施例中的bp校正值(bp)计算处理的变形例的图。
图18是用于说明第五实施例中的bp校正值(bp)计算处理的图。
图19a~19c是用于说明第五式实力中的界限频带(limitband)处理的图。
具体实施方式
现在将根据附图来详细说明本发明的优选实施例。注意,尽管为了便于本发明的理解和说明的目的、这些实施例具有特定结构,但本发明不限于这些特定结构。例如,尽管以下说明将根据本发明的焦点调节装置和用于控制该焦点调节装置的方法应用于摄像设备(具体为镜头可更换型单镜头反光数字照相机)的实施例,但本发明还可应用于摄像机以及镜头不可更换的数字照相机。本发明还可以在例如移动电话、个人计算机(笔记本式、平板式、台式pc等)和游戏机等的具有照相机的任意电子装置中实现。此外,本发明还可以在进行光学系统的焦点调节的任意装置中实现。
第一实施例
摄像设备的结构的说明-镜头单元
图2是示出作为根据实施例的摄像设备的示例的数字照相机的功能的示例性结构的框图。本实施例中的数字照相机是镜头可更换型单镜头反光照相机,并且具有镜头单元100和照相机本体120。镜头单元100经由图2的中央的虚线所示的卡口m安装在照相机本体120上。
镜头单元100具有光学系统(第一透镜组101、光圈102、第二透镜组103和调焦透镜组(以下简称为“调焦透镜”)104)和驱动/控制系统。因而,镜头单元100是包括调焦透镜104并且形成被摄体的光学图像的摄像镜头。
第一透镜组101配置在镜头单元100的前端,并且被保持成能够沿光轴方向oa移动。光圈102具有调节摄像时的光量的功能,并且还用作用于在拍摄静止图像时控制曝光时间的机械快门。光圈102和第二透镜组103可以一体地沿光轴方向oa移动,并且通过与第一透镜组101连动地移动来实现变焦功能。调焦透镜104也可以沿光轴方向oa移动,并且镜头单元100聚焦的被摄体距离(对焦距离或聚焦距离)根据调焦透镜104的位置而改变。通过控制调焦透镜104在光轴方向oa上的位置来进行焦点调节、即镜头单元100的对焦距离的调节。
驱动/控制系统具有变焦致动器111、光圈致动器112、调焦致动器113、变焦驱动电路114、光圈驱动电路115、调焦驱动电路116、镜头mpu117和镜头存储器118。
变焦驱动电路114使用变焦致动器111来沿光轴方向oa驱动第一透镜组101和第三透镜组103,并且控制镜头单元100的光学系统的视角。光圈驱动电路115使用光圈致动器112来驱动光圈102,并且控制光圈102的开口直径和开闭操作。调焦驱动电路116使用调焦致动器113来沿光轴方向oa驱动调焦透镜104,并且控制镜头单元100的光学系统的对焦距离。调焦驱动电路116使用调焦致动器113来检测调焦透镜104的当前位置。
镜头mpu(处理器)117进行与镜头单元100有关的所有计算和控制,并且控制变焦驱动电路114、光圈驱动电路115和调焦驱动电路116。镜头mpu117经由卡口m连接至照相机mpu125,并且与该照相机mpu125进行命令和数据通信。例如,镜头mpu117检测调焦透镜104的位置,并且根据来自照相机mpu125的请求向照相机mpu125通知镜头位置信息。该镜头位置信息包含以下信息,诸如调焦透镜104在光轴方向oa上的位置、光学系统没有移动的状态下的出射光瞳在光轴方向oa上的位置和直径、以及限制出射光瞳的光束的镜头架在光轴方向oa上的位置和直径等。镜头mpu117根据来自照相机mpu125的请求,还控制变焦驱动电路114、光圈驱动电路115和调焦驱动电路116。将自动调焦所需的光学信息预先存储在镜头存储器118中。照相机mpu125通过执行照相机mpu125所内置的非易失性存储器中或镜头存储器118中所存储的程序来控制镜头单元100的操作。
摄像设备的结构的说明-照相机本体
照相机本体120具有光学系统(光学低通滤波器121和图像传感器122)以及驱动/控制系统。镜头单元100中的第一透镜组101、光圈102、第二透镜组103和调焦透镜104以及照相机本体120中的光学低通滤波器121构成了摄像光学系统。
光学低通滤波器121减少拍摄图像中的伪色和摩尔纹。图像传感器122包括cmos图像传感器和外周电路,并且具有沿水平方向配置的m个像素和沿垂直方向配置的n个像素(n和m是2以上的整数)。本实施例中的图像传感器122具有光瞳分割功能,并且能够进行使用图像数据的相位差af。图像处理电路124根据图像传感器122所输出的图像数据来生成相位差af所用的数据以及显示、记录和对比度af(tvaf)所用的图像数据。
驱动/控制系统具有传感器驱动电路123、图像处理电路124、照相机mpu125、显示器126、操作开关组127、存储器128、相位差af单元129和tvaf单元130。
传感器驱动电路123控制图像传感器122的操作,对所获得的图像信号进行a/d转换,并将转换得到的图像信号发送至照相机mpu125。图像处理电路124对图像传感器122所获得的图像数据进行诸如γ转换、白平衡处理、颜色插值处理和压缩编码处理等的在数字照相机中通常进行的图像处理。图像处理电路124还生成相位差af所用的信号。
照相机mpu(处理器)125进行与照相机本体120有关的所有计算和控制,并且控制传感器驱动电路123、图像处理电路124、显示器126、操作开关组127、存储器128、相位差af单元129和tvaf单元130。照相机mpu125经由卡口m的信号线连接至镜头mpu117,并且与镜头mpu117进行命令和数据通信。照相机mpu125将用以获得镜头位置的请求、用以以预定驱动量驱动光圈、调焦透镜或变焦的请求以及用以获得镜头单元100特有的光学信息的请求等发出至镜头mpu117。照相机mpu125内置有用于存储用于控制照相机操作的程序的rom125a、用于存储变量的ram125b和用于存储各种参数的eeprom125c。
显示器126由lcd等构成,并且显示与照相机的摄像模式有关的信息、摄像之前的预览图像、摄像之后的确认用图像和焦点检测时的对焦状态显示图像等。操作开关组127由电源开关、释放(摄像触发)开关、变焦操作开关和摄像模式选择开关等构成。存储器128是可移除的闪速存储器并且记录所获得的图像。
相位差af单元129利用图像处理电路124所获得的焦点检测用的数据,通过相位差检测方法来进行焦点检测处理。更具体地,图像处理电路124生成穿过摄像光学系统中的一对光瞳区域的光束所形成的一对图像的数据作为焦点检测用的数据,并且相位差af单元129基于该对图像的数据中的偏移量来检测焦点偏移量。因而,本实施例中的相位差af单元129在无需使用专用af传感器的情况下,基于图像传感器122的输出来进行相位差af(摄像面相位差af)。后面将详细说明相位差af单元129的操作。
tvaf单元130基于图像处理电路124所生成的tvaf用评价值(图像数据的对比度信息)来通过对比度检测方法进行焦点检测处理。在利用对比度检测方法的焦点检测处理中,使调焦透镜104移动,并且将评价值达到峰的调焦透镜位置检测作为对焦位置。
因而,本实施例中的数字照相机可以执行相位差af和tvaf这两者,并且可以根据状况来选择性地使用这两者或者可以组合使用这两者。
焦点检测操作的说明:相位差af
以下将进一步说明相位差af单元129和tvaf单元130的操作。
首先,将说明相位差af单元129的操作。
图3a是示出本实施例中的图像传感器122的像素阵列的图,并且示出如从镜头单元100侧所观看到的、二维c-mos区域传感器中的覆盖垂直方向上的6(y方向)行和水平方向上的8(x方向)列的区域的状态。图像传感器122设置有拜耳(bayer)图案的颜色滤波器,其中绿色(g)和红色(r)的颜色滤波器按从左起的顺序交替配置在奇数行的像素上,并且蓝色(b)和绿色(g)的颜色滤波器按从左起的顺序交替配置在偶数行的像素上。在像素211中,圆211i表示片上微透镜,并且这些片上微透镜内所配置的多个矩形(即,矩形211a和211b)是光电转换单元。
在本实施例的图像传感器122中,沿x方向对每个像素中的光电转换单元进行2分割,并且可以单独读出各个光电转换单元的光电转换信号以及这些光电转换信号的总和。通过从光电转换信号的总和中减去光电转换单元其中之一的光电转换信号,可以获得与其它光电转换单元的光电转换信号相对应的信号。各个光电转换单元的光电转换信号可以用作相位差af用的数据,并且用于生成构成3d(3维)图像的视差图像。可以使用光电转换信号的总和作为通常的拍摄图像数据。
现在将说明在进行相位差af的情况下的像素信号。如后面所述,在本实施例中,图3a中的微透镜211i和分割得到的光电转换单元211a和211b对摄像光学系统的出射光束进行光瞳分割。关于同一像素行中所配置的预定区域内的多个像素211,将通过组合光电转换单元211a的输出所组织成的图像设置为af图像a,并且将通过组合光电转换单元211b的输出所组织成的图像设置为af图像b。光电转换单元211a和211b的输出使用了通过对颜色滤波器的单位阵列中所包括的绿色、红色、蓝色和绿色的输出进行相加所计算出的伪亮度(y)信号。然而,可以针对红色、蓝色和绿色的各颜色来组织af图像a和b。通过使用相关计算检测如以上所生成的af图像a和af图像b之间的相对图像偏移量,可以检测到预定区域中的焦点偏移量(散焦量)。在本实施例中,从图像传感器122读出各像素中的光电转换单元其中之一的输出和该像素中的两个光电转换单元的输出的总和。例如,在读出光电转换单元211a的输出以及光电转换单元211a和211b的输出的总和的情况下,通过从该总和中减去光电转换单元211a的输出来获得光电转换单元211b的输出。由此可以获得af图像a和b这两者,从而实现相位差af。由于这种图像传感器如日本特开2004-134867所公开是已知的,因此将省略针对该图像传感器的详情的进一步说明。
图3b是示出本实施例中的图像传感器122的读出电路的示例性结构的图。附图标记151表示水平扫描电路,并且附图标记153表示垂直扫描电路。水平扫描线152a和152b以及垂直扫描线154a和154b配置在各像素的边界部,并且各光电转换单元的信号经由这些扫描线被读出至外部。
注意,本实施例中的图像传感器除上述的用于读出各像素的方法以外,还具有以下两种读出模式。第一读出模式被称为作为用于拍摄精细的静止图像的模式的“全像素读出模式”。在这种情况下,读出所有像素的信号。
第二读出模式被称为作为用于仅记录运动图像或显示预览图像的模式的“间隔剔除读出模式”。由于这种情况下所需的像素数小于所有像素数,因此仅读出像素组中在x方向和y方向这两者上按预定比率进行间隔剔除之后剩余的像素。在需要进行高速读出的情况下,也同样使用间隔剔除读出模式。在x方向上对像素进行间隔剔除的情况下,对信号进行相加以实现s/n比的改善,并且在y方向上对像素进行间隔剔除的情况下,忽略了间隔剔除后的行中的信号输出。相位差af和对比度af通常也基于第二读出模式中所读出的信号来进行。
图4a和4b是示出在本实施例的摄像设备中摄像光学系统的出射光瞳面与像高为0处(即,像面中央附近)所配置的图像传感器中的光电转换单元之间的共轭关系的图。图像传感器中的光电转换单元和摄像光学系统中的出射光瞳面被设计成经由片上微透镜具有共轭关系。通常,摄像光学系统的出射光瞳与放置有用于调节光量的虹彩光圈的面大致一致。另一方面,本实施例中的摄像光学系统是具有变倍功能的变焦镜头。根据光学类型,在进行变倍操作的情况下,出射光瞳相对于像面的距离或出射光瞳的大小改变。图4a和4b示出镜头单元100的焦距处于广角端和远摄端之间的中央的状态。在以这种状态下的出射光瞳距离zep作为标准值的情况下,实现了片上微透镜的形状和适合像高(x坐标和y坐标)的偏心参数的最佳设计。
在图4a中,附图标记101表示第一透镜组,附图标记101b表示保持第一透镜组的镜筒构件,附图标记105表示第三透镜组,并且附图标记104b表示保持调焦透镜104的镜筒构件。附图标记102表示光圈,附图标记102a表示定义光圈开放时的开口直径的开口板,并且附图标记102b表示用于调节光圈缩小时的开口直径的光圈叶片。注意,用作用于限制穿过摄像光学系统的光束的构件的附图标记101b、102a、102b和104b表示如从像面所观察到的光学虚像。将光圈102附近的合成开口定义为透镜的出射光瞳,并且如上所述相对于像面的距离为zep。
像素211配置在像面的中央附近,并且在本实施例中将被称为“中央像素”。中央像素211从最下层起包括光电转换单元211a和211b、互连层211e~211g、颜色滤波器211h和片上微透镜211i。两个光电转换单元通过片上微透镜211i被投影至摄像光学系统的出射光瞳面。换句话说,将摄像光学系统的出射光瞳经由片上微透镜211i投影至光电转换单元的表面。
图4b示出光电转换单元在摄像光学系统的出射光瞳面上的投影图像,并且利用ep1a和ep1b来分别表示与光电转换单元211a和211b相对应的投影图像。在本实施例中,图像传感器具有可以获得两个光电转换单元211a和211b其中之一的输出以及这两个光电转换单元的输出总和的输出的像素。通过对穿过了大致覆盖摄像光学系统的整个光瞳区域的投影图像ep1a和ep1b的这两个区域的光束进行光电转换,获得了来自这两个光电转换单元的输出总和的输出。
在图4a中,在符号l表示穿过摄像光学系统的光束的最外部的情况下,光束l受到光圈的开口板102a所限制,并且在摄像光学系统中在投影图像ep1a和ep1b中基本没有产生渐晕。在图4b中,利用tl来表示图4a中的光束l。同样根据光电转换单元的投影图像ep1a和ep1b的大部分包括在tl所表示的圆内这一事实,可以发现基本没有产生渐晕。由于光束l仅由光圈的开口板102a来限制,因此可以利用102a替换tl。此时,在像面中央处投影图像ep1a和ep1b的渐晕状态相对于光轴对称,并且光电转换单元211a和211b所接收到的光量彼此相等。
在进行相位差af的情况下,照相机mpu125控制传感器驱动电路123以从图像传感器122读出上述两种输出。然后,照相机mpu125向图像处理电路124提供与焦点检测区域有关的信息,并且向图像处理电路124提供用以根据焦点检测区域中所包括的像素的输出来生成af图像a和b的数据的指示,并将该数据供给至相位差af单元129。图像处理电路124根据该命令生成af图像a和b的数据并将该数据输出至相位差af单元129。图像处理电路124还将raw图像数据供给至tvaf单元130。
如上所述,图像传感器122构成与相位差af和对比度af这两者有关的焦点检测设备的一部分。
注意,尽管这里说明了沿水平方向对出射光瞳进行2分割的示例性结构,但图像传感器中的一些像素可以具有沿垂直方向对出射光瞳进行2分割的结构。沿水平方向和垂直方向这两者对出射光瞳进行分割的结构也是可以的。作为提供沿垂直方向对出射光瞳进行分割的像素的结果,能够进行可以应对被摄体的水平对比度和垂直对比度这两者的相位差af。
焦点检测操作的说明:对比度af
接着,将使用图5来说明对比度af(tvaf)。照相机mpu125和tvaf单元130通过彼此协作重复进行调焦透镜的驱动和评价值计算来实现对比度af。
在从图像处理电路124将raw图像数据输出至tvaf单元130时,af评价信号处理电路401从拜耳图案信号中提取绿色(g)信号,并且进行用于增强低亮度成分并抑制高亮度成分的伽玛校正处理。尽管本实施例将说明使用绿色(g)信号来进行tvaf的情况,但还可以使用红色(r)、蓝色(b)和绿色(g)的所有信号。可以使用所有的rgb颜色来生成亮度(y)信号。在以下说明中,将af评价信号处理电路401所生成的输出信号称为“亮度信号y”,而与要使用的信号的类型无关。
注意,假定利用照相机mpu125在区域设置电路413中设置焦点检测区域。区域设置电路413生成用于选择所设置的区域内的信号的门信号。将该门信号输入至线峰检测电路402、水平积分电路403、线最小值检测电路404、线峰检测电路409、垂直积分电路406和410、以及垂直峰检测电路405、407和411。此外,对输入至各电路的亮度信号y的定时进行控制,以使得利用焦点检测区域内的亮度信号y来生成各焦点评价值。注意,可以根据焦点检测区域来在区域设置电路413中设置多个区域。
现在将说明用于计算y峰评价值的方法。将经过了伽玛校正的亮度信号y输入至线峰检测电路402,并且在区域设置电路413中所设置的焦点检测区域内获得各水平线的y线峰值。利用垂直峰检测电路405在焦点检测区域内沿垂直方向保持线峰检测电路402的输出的峰,并且生成y峰评价值。y峰评价值是高亮度被摄体和低亮度被摄体的判断时有效的指标。
现在将说明用于计算y积分评价值的方法。将经过了伽玛校正的亮度信号y输入至水平积分电路403,并且在焦点检测区域内在各水平线中获得y积分值。此外,利用垂直积分电路406在焦点检测区域内沿垂直方向对水平积分电路403的输出进行积分,并且生成y积分评价值。可以使用该y积分评价值作为用于判断焦点检测区域整体的亮度的指标。
将说明用于计算max-min评价值的方法。将经过了伽玛校正的亮度信号y输入至线峰检测电路402,并且在焦点检测区域内获得各水平线的y线峰值。还将经过了伽玛校正的亮度信号y输入至线最小值检测电路404,并且在焦点检测区域内在各水平线中检测y的最小值。将所检测到的各水平线中的y的线峰值和最小值输入至减法器,并且将(线峰值-最小值)输入至垂直峰检测电路407。垂直峰检测电路407在焦点检测区域内沿垂直方向保持该峰,并且生成max-min评价值。max-min评价值是低对比度和高对比度的判断时有效的指标。
现在将说明用于计算区域峰评价值的方法。通过使经过了伽玛校正的亮度信号y通过bpf408,提取出特定频率成分并且生成焦点信号。将该焦点信号输入至线峰检测电路409,并且在焦点检测区域内获得各水平线的线峰值。利用垂直峰检测电路411将该线峰值作为峰保持在焦点检测区域中,并且生成区域峰评价值。该区域峰评价值即使在被摄体在焦点检测区域内移动的情况下也仅发生较少改变,因而是重启判断、即是否转变为用于从对焦状态起再次寻找对焦点的处理的判断时有效的指标。
现在将说明用于计算所有线积分评价值的方法。与区域峰评价值相同,线峰检测电路409在焦点检测区域内获得各水平线的线峰值。接着,线峰检测电路409将该线峰值输入至垂直积分电路410,并且在垂直方向上针对焦点检测区域内的所有水平扫描线数来对线峰值进行积分,以生成所有线积分评价值。由于积分的效果而具有宽的动态范围和高的感光度的高频所有线积分评价值是主要的af评价值。因此,在本实施例中,在仅记载了“焦点评价值”的情况下,这意味着所有线积分评价值。
照相机mpu125中的af控制单元151获得上述的各个焦点评价值,并且通过镜头mpu117使调焦透镜104沿着光轴方向在预定方向上移动了预定量。然后,af控制单元151基于新获得的图像数据来计算上述各种评价值,并且检测所有线积分评价值最大的调焦透镜位置。
在本实施例中,在水平线方向和垂直线方向上计算各种af评价值。由此可以针对水平方向和垂直方向这两个垂直的方向上的被摄体对比度信息进行焦点检测。
焦点检测区域的说明
图6是示出摄像区域内的示例性焦点检测区域的图。如上所述,基于根据焦点检测区域中包括的像素所获得的信号来进行相位差af和对比度af这两者。在图6中,虚线所示的大矩形是形成有图像传感器122的像素的摄像区域217。在摄像区域217中,设置相位差af用的焦点检测区域218ah、218bh和218ch。在本实施例中,将相位差af用的焦点检测区域218ah、218bh和218ch设置在摄像区域217的中央部以及分别位于该中央部的左右两侧的两个部位这三个部位。此外,对tvaf用的焦点检测区域219a、219b和219c进行设置以分别包围相位差af用的焦点检测区域218ah、218bh和218ch。注意,图6示出焦点检测区域的示例性设置,并且焦点检测区域的数量、位置和大小不限于图6所示的情况。
焦点检测处理流程的说明
接着,将参考图1a和1b来说明本实施例的数字照相机中的自动调焦(af)操作。
首先将说明af处理的概述,之后将进行详细说明。在本实施例中,照相机mpu125最初将相位差af应用于焦点检测区域218ah、218bh和218ch,以获得各焦点检测区域的焦点偏移量(散焦量)和该散焦量的可靠性。如果在所有的焦点检测区域218ah、218bh和218ch中都获得的具有预定可靠性的散焦量,则照相机mpu125基于该散焦量来使调焦透镜104移动至最近被摄体的对焦位置。
另一方面,如果从任何焦点检测区域均未获得具有预定可靠性的散焦量,则照相机mpu125针对包括没有获得具有预定可靠性的散焦量的焦点检测区域的对比度af所用的焦点检测区域,获得焦点评价值。照相机mpu125基于焦点评价值的变化和调焦透镜104的位置之间的关系来判断被摄体相对于与相位差af所获得的散焦量相对应的被摄体是否存在于近侧。如果判断为被摄体存在于近侧,则照相机mpu125沿基于焦点评价值的变化的方向来驱动调焦透镜104。
注意,如果之前没有获得焦点评价值,则无法获得焦点评价值的变化量。在这种情况下,如果存在获得了比预定散焦量大且具有预定可靠性的散焦量的焦点检测区域,则照相机mpu125驱动调焦透镜104以聚焦于该焦点检测区域中的最近被摄体。如果没有获得具有预定可靠性的散焦量以及如果没有获得比预定散焦量大的散焦量,则照相机mpu125将调焦透镜104驱动了与散焦量不相关的预定量。这是因为,如果基于小的散焦量来驱动调焦透镜104,则极有可能在下一焦点检测时难以检测焦点评价值的变化。
在利用任何方法结束焦点检测时,照相机mpu125计算各种校正值并且校正焦点检测结果。然后,照相机mpu125基于校正之后的焦点检测结果来驱动调焦透镜104。
以下将使用图1a和1b所示的流程图来说明上述的af处理的详情。以下的af处理操作除在明确说明了其它构件进行该操作的情况以外,主要由照相机mpu125来执行。在照相机mpu125通过将命令等发送至镜头mpu117来驱动或控制镜头单元100的情况下,为了简化说明,存在记载了照相机mpu125进行该操作的情况。
在步骤s1中,照相机mpu125设置焦点检测区域。这里假定针对相位差af和对比度af设置诸如图6所示等的三个焦点检测区域。
在步骤s2中,照相机mpu125将ram125b内的判断标志设置为1。
在步骤s3中,照相机mpu125对图像传感器122进行曝光,读出图像信号,并且使图像处理电路124基于相位差af用的焦点检测区域218ah、218bh和218ch内的图像数据来生成相位差af用的图像信号。照相机mpu125还使图像处理电路124将图像处理电路124所生成的raw图像数据供给至tvaf单元130,并且使tvaf单元130基于tvaf用的焦点检测区域219a、219b和219c内的像素数据来计算评价值。注意,在生成相位差af用的图像信号之前,可以在图像处理电路124中应用用于校正由于拍摄镜头的镜头架等导致光束发生渐晕所引起的出射光瞳的非对称性的处理(参见日本特开2010-117679)。将tvaf单元130所计算出的焦点评价值存储在照相机mpu125内的ram125b中。
在步骤s4中,照相机mpu125判断是否检测到焦点评价值的可靠峰(极大值)。如果检测到可靠峰,则照相机mpu125使处理进入步骤s20以结束焦点检测处理。注意,没有限制用于计算焦点评价值的峰的可靠性的方法,例如可利用日本特开2010-78810中的使用图10a~13所述的方法。具体地,通过将焦点评价值的最大值和最小值之间的差、以大于或等于固定值(slopethr)的倾斜度倾斜的部分的长度、以及该倾斜部分的斜率与各个阈值进行比较,来判断所检测到的峰是否表示曲线的顶点。如果满足所有的阈值条件,则可以判断为该峰是可靠的。
在本实施例中,使用相位差af和对比度af这两者。由于该原因,如果确认了在同一焦点检测区域或其它的焦点检测区域中存在近侧的被摄体,则即使检测到可靠的焦点评价值峰,也可以在无需结束焦点检测的情况下使处理进入步骤s5。然而,在这种情况下,存储与可靠的焦点评价值峰相对应的调焦透镜104的位置,并且如果在步骤s5和后续步骤的处理中没有获得可靠的焦点检测结果,则使用所存储的调焦透镜104的位置作为焦点检测结果。
在步骤s5中,相位差af单元129针对焦点检测区域218ch、218ah和218bh各自计算从图像处理电路124所供给的一对图像信号之间的偏移量(相位差),并且使用预先存储的转换系数来将该相位差转换成散焦量。这里,还对所计算出的散焦量的可靠性进行判断,并且在后续的af处理中仅使用被判断为具有预定可靠性的焦点检测区域的散焦量。由于镜头架等所引起的渐晕的影响,因而随着散焦量变大,该对图像信号之间所检测到的相位差包含更多的误差。由于该原因,在所获得的散焦量大于阈值、该对图像信号的形状之间的一致度低、或者图像信号的对比度低的情况下,可以判断为所获得的散焦量不具有预定可靠性(即,具有低可靠性)。以下将判断为所获得的散焦量具有预定可靠性的情况表示为“可以计算散焦量”。将由于某些原因而无法计算散焦量的情况以及判断为散焦量的可靠性低的情况表示为“无法计算散焦量”。
在步骤s6中,照相机mpu125检查在步骤s1中所设置的相位差af用的所有焦点检测区域218ah、218bh和218ch中是否可以计算出散焦量。如果在所有的焦点检测区域中都可以计算出散焦量,则照相机mpu125使处理进入步骤s20,并且在所计算出的散焦量中针对计算出表示存在于最近侧的被摄体的散焦量的焦点检测区域计算垂直/水平bp校正值(bp1)。这里,选择最近侧的被摄体的原因是由于通常拍摄者想要聚焦的被摄体经常存在于近侧。垂直/水平bp校正值(bp1)是用于校正在针对被摄体的水平对比度进行焦点检测的情况下的焦点检测结果与在针对被摄体的垂直对比度进行焦点检测的情况下的焦点检测结果之间的差的值。
一般的被摄体在水平方向和垂直方向这两者上具有对比度,并且在考虑到水平方向和垂直方向这两者上的对比度的情况下,还评价拍摄图像的聚焦状态。另一方面,在如以上所述的利用相位差检测方法的af那样、仅在水平方向上进行焦点检测的情况下,在水平方向的焦点检测结果与拍摄图像的水平方向和垂直方向这两者的聚焦状态之间发生误差。该误差是由于摄像光学系统的像散等而引起的。垂直/水平bp校正值(bp1)是用于校正该误差的校正值,并且是在考虑到所选择的焦点检测区域、调焦透镜104的位置和表示变焦状态的第一透镜组101的位置等的情况下计算出的。后面将说明该计算方法的详情。
在步骤s21中,照相机mpu125使用垂直方向或水平方向的对比度信息来针对作为步骤s20中的校正值计算对象的焦点检测区域计算颜色bp校正值(bp2)。颜色bp校正值(bp2)是因摄像光学系统中的色像差而产生的,并且是由于焦点检测中所使用的信号的颜色平衡与拍摄图像或显影图像中所使用的信号的颜色平衡之间的差而产生的。例如,在本实施例的对比度af中,基于具有绿色(g)颜色滤波器的像素(绿色像素)的输出来生成焦点评价值,因此主要检测到绿色的波长的对焦位置。然而,由于使用所有的rgb颜色来生成拍摄图像,因此如果红色(r)或蓝色(b)的对焦位置不同于绿色(g)的对焦位置(即,存在轴向色像差),则发生相对于基于焦点评价值的焦点检测结果的偏移(误差)。用于校正该误差的校正值是颜色bp校正值(bp2)。后面将说明用于计算颜色bp校正值(bp2)的方法的详情。
在步骤s22中,照相机mpu125使用绿色信号或亮度信号y在垂直或水平方向上的对比度信息来针对作为校正对象的焦点检测区域计算特定的空间频率bp校正值(bp3)。空间频率bp校正值(bp3)主要是由于摄像光学系统中的球面像差而产生的,并且是由于焦点检测所使用的信号的评价频率(频带)与鉴赏拍摄图像时的评价频率(频带)之间的差而产生的。由于如上所述在第二模式中从图像传感器读出焦点检测时的图像信号,因此已对输出信号进行了相加和间隔剔除。由于该原因,相比使用在第一读出模式中读出的所有像素的信号所生成的拍摄图像相比,焦点检测所使用的输出信号具有较低的评价频带。空间频率bp校正值(bp3)用于校正由于评价频带的差而产生的焦点检测的偏移。后面将说明用于计算空间频率bp校正值(bp3)的方法的详情。
在步骤s23中,照相机mpu125使用所计算出的三个校正值(bp1,bp2,bp3),根据以下的等式(1)来校正焦点检测结果def_b,并且计算校正之后的焦点检测结果def_a。
def_a=def_b+bp1+bp2+bp3(1)
在本实施例中,按“垂直/水平”(s20)、“颜色”(s21)和“空间频率”(s22)的顺序分三个步骤来计算用于校正焦点检测结果的校正值。
最初,计算相对于在鉴赏拍摄图像的评价中使用垂直方向和水平方向这两者中的对比度信息、在焦点检测中通过使用一个方向上的对比度信息所引起的误差,作为垂直/水平bp校正值(bp1)。
接着,分离出垂直/水平bp的影响,并且计算一个方向上的对比度信息中拍摄图像中所使用的信号的颜色与焦点检测时所使用的信号的颜色之间的对焦位置的差,作为颜色bp校正值(bp2)。
此外,在一个方向上的对比度信息中,计算在鉴赏拍摄图像时和焦点检测时之间由于绿色或亮度信号等的特定颜色的评价频带的差而产生的对焦位置的差,作为空间频率bp校正值(bp3)。
因而,通过单独计算这三种误差,实现了计算量的减少和要存储在镜头或照相机中的数据量的减少。
在步骤s24中,照相机mpu125基于使用等式(1)所计算出的校正之后的散焦量def_a,来经由镜头mpu117驱动调焦透镜104。
在步骤s25中,照相机mpu125例如在显示器126上以叠加在实时取景图像上的方式提供表示计算出调焦透镜104的驱动中所使用的散焦量的焦点检测区域的显示(af框显示),并且结束af处理。
另一方面,如果存在步骤s6中无法计算出散焦量的焦点检测区域,则照相机mpu125使处理进入图1b的步骤s7。在步骤s7中,照相机mpu125判断判断标志是否为1。在自开始af操作起甚至一次也没有进行调焦透镜的驱动的情况下,判断标志为1。如果曾进行了调焦透镜的驱动,则判断标志为0。如果判断标志为1,则照相机mpu125使处理进入步骤s8。
如果在步骤s8中照相机mpu125在任何焦点检测区域中均无法计算出散焦量、或者如果所计算出的散焦量中的表示在最近侧存在被摄体的散焦量小于或等于预定阈值a,则照相机mpu125使处理进入步骤s9。在步骤s9中,照相机mpu125使调焦透镜向近侧驱动了预定量。
这里,将说明在步骤s8的结果为“是”的情况下将透镜驱动预定量的原因。首先,在多个焦点检测区域中在任何区域中均无法计算出散焦量的情况是在该时刻尚未发现要进行聚焦的被摄体的情况。由于该原因,在判断为无法进行聚焦之前,针对所有的焦点检测区域将透镜驱动预定量,从而确认要进行聚焦的被摄体的存在,使得可以判断后面所述的焦点评价值的变化。此外,所计算出的散焦量中的表示在最近侧存在被摄体的散焦量小于或等于预定阈值a的情况是在该时刻存在几乎处于对焦状态的焦点检测区域的情况。在这种情形下,将透镜驱动预定量,以确认在无法计算出散焦量的焦点检测区域中在近侧进一步存在该时刻无法检测到的被摄体的可能性,使得可以判断后面所述的焦点评价值的变化。
注意,可以通过考虑到摄像面上的调焦移动量相对于摄像光学系统的f值或透镜驱动量的灵敏度,来确定步骤s9中驱动调焦透镜的预定量。
另一方面,如果步骤s8的结果为“否”、即如果所计算出的散焦量中的表示在最近侧存在被摄体的散焦量大于预定阈值a,则处理进入步骤s10。在这种情况下,存在可以计算出散焦量的焦点检测区域,但该焦点检测区域不是处于对焦状态。由于该原因,在步骤s10中,照相机mpu125基于所计算出的散焦量中的表示在最近侧存在被摄体的散焦量来驱动透镜。
在步骤s9或s10中驱动透镜之后,照相机mpu125使处理进入步骤s11,将判断标志设置为0,并且使处理返回至图1a的步骤s3。
如果在步骤s7中判断标志不为1(即,判断标志为0),则照相机mpu125使处理进入步骤s12。在步骤s12中,照相机mpu125判断与无法计算出散焦量的焦点检测区域相对应的tvaf用的焦点检测区域中的焦点评价值在透镜的驱动之前和之后是否改变了预定阈值b以上。尽管焦点评价值在一些情况下增加而在其它情况下减少,但在步骤s12中判断焦点评价值的变化量的绝对值是否大于或等于预定阈值b。
这里,焦点评价值的变化量的绝对值大于或等于预定阈值b的情况意味着:尽管无法计算出散焦量,但可以基于焦点评价值的增减来检测被摄体的模糊状态的变化。由于该原因,在本实施例中,即使在通过相位差af无法检测到散焦量的情况下,也基于焦点评价值的增减来判断被摄体是否存在,并且继续af处理。由此可以对散焦量大且通过相位差af无法检测到的被摄体进行焦点调节。
这里,判断中所使用的预定阈值b根据透镜驱动量而改变。如果透镜驱动量大,则相比透镜驱动量小的情况下的值,将较大的值设置为阈值b。这是因为,如果存在被摄体,则焦点评价值的变化量根据透镜驱动量的增加而增加。将针对各个透镜驱动量的阈值b存储在eeprom125c中。
如果焦点评价值的变化量的绝对值大于或等于阈值b,则照相机mpu125使处理进入步骤s13,并且判断焦点评价值的变化量大于或等于阈值b的焦点检测区域是否仅是表示在无限远侧存在被摄体的焦点检测区域。焦点检测区域表示在无限远侧存在被摄体的情况是在透镜驱动的驱动方向是近方向的情况下焦点评价值减少的情况、或者是在透镜驱动的驱动方向是无限远方向的情况下焦点评价值增加的情况。
如果焦点评价值的变化量大于或等于阈值b的焦点检测区域不仅仅是表示在无限远侧存在被摄体的焦点检测区域,则照相机mpu125使处理进入步骤s14,并且使透镜向近侧驱动预定量。这是因为,表示在近侧存在被摄体的焦点检测区域包括在焦点评价值的变化量大于或等于阈值b的焦点检测区域中。注意,优先近侧的被摄体的原因如上所述。
另一方面,如果在步骤s13中焦点评价值的变化量大于或等于阈值b的焦点检测区域仅是表示在无限远侧存在被摄体的焦点检测区域,则照相机mpu125使处理进入步骤s15。在步骤s15中,照相机mpu125判断是否存在可以计算出散焦量的焦点检测区域。在存在可以计算出散焦量的焦点检测区域的情况下(s15中为“是”),相对于基于焦点评价值在无限远侧存在被摄体,优先相位差af的结果,因而照相机mpu125使处理进入图1a的步骤s20。
如果不存在可以计算出散焦量的焦点检测区域(s15中为“否”),则表示存在被摄体的信息仅是焦点评价值的变化。由于该原因,在步骤s16中,照相机mpu125基于焦点评价值的变化来将透镜向无限远侧驱动预定量,并且使处理返回至图1a的步骤s3。
可以通过考虑到相位差af能够检测到的散焦量来确定步骤s14和s16中对透镜进行驱动的预定量。尽管可检测的散焦量根据被摄体而不同,但预先设置透镜驱动量,以防止在从无法进行焦点检测的状态起驱动透镜的情况下无法检测到被摄体而该被摄体通过的情形。
如果焦点评价值的变化量的绝对值小于预定阈值b(s12中为“否”),则照相机mpu125使处理进入步骤s17,并且判断是否存在可以计算出散焦量的焦点检测区域。如果在任何焦点检测区域中均无法计算出散焦量,则照相机mpu125使处理进入步骤s18,将透镜驱动至预定的定点,之后进一步使处理进入步骤s19,在显示器126上进行表示非对焦状态的显示,并且结束af处理。这是不存在可以计算出散焦量的焦点检测区域并且不存在透镜驱动之前和之后焦点评价值已改变的焦点检测区域的情况。在这种情况下,由于没有信息表示存在被摄体,因此照相机mpu125判断为无法进行聚焦,并且结束af处理。
另一方面,如果在步骤s17中存在可以计算出散焦量的焦点检测区域,则照相机mpu125使处理进入图1a的步骤s20,校正所检测到的散焦量(s20~s23),并且在步骤s24中将调焦透镜104驱动至对焦位置。之后,在步骤s25中,照相机mpu125在显示器126上进行表示对焦状态的显示,并且结束af处理。
用于计算垂直/水平bp校正值的方法
接着,将使用图7~8b来说明图1a的步骤s20中的垂直/水平bp校正值(bp1)计算的方法。图7是示出垂直/水平bp校正值(bp1)计算处理的详情的流程图。
在步骤s100中,照相机mpu125获得垂直/水平bp校正信息。垂直/水平bp校正信息是水平方向(第一方向)的对焦位置和垂直方向(第二方向)的对焦位置之间的差的信息。在本实施例中,预先将垂直/水平bp校正信息存储在镜头单元100的镜头存储器118中,并且照相机mpu125通过从镜头mpu117请求垂直/水平bp校正信息来获得该垂直/水平bp校正信息。然而,可以将垂直/水平bp校正信息与镜头单元的标识信息相关联地存储在照相机ram125b的非易失性区域中。
图8a示出示例性垂直/水平bp校正信息。尽管这里示出与中央的焦点检测区域219a和218ah相对应的垂直/水平bp校正信息的示例,但还存储了与其它的焦点检测区域219c、218ch、219b和218bh相对应的垂直/水平bp校正信息。然而,存在于相对于摄像光学系统的光轴的对称位置处的焦点检测区域的焦点检测校正值在设计上彼此相等。由于在本实施例中焦点检测区域219c和218ch与焦点检测区域219b和218bh分别满足该对称关系,因此可以存储各对中的焦点检测区域其中之一的垂直/水平bp校正信息。此外,如果校正值根据焦点检测区域的位置没有大幅改变,则可以存储该校正值作为共通值。
在图8a所示的示例中,将摄像光学系统的变焦位置(视角)和调焦透镜位置(对焦距离)各自分割成8个区段,并且针对各个区段存储焦点检测校正值bp111~bp188。分割得到的区段数越大,可以获得适合摄像光学系统中的第一透镜组101的位置和调焦透镜104的位置的更精确的校正值。此外,可以在对比度af和相位差af这两者中使用垂直/水平bp校正信息。
在步骤s100中,照相机mpu125获得与适合作为校正对象的焦点检测结果的变焦位置和调焦透镜位置相对应的校正值。
在步骤s101中,照相机mpu125判断在作为校正对象的焦点检测区域中针对水平方向和垂直方向这两者是否获得了可靠的焦点检测结果。关于对比度af和相位差af这两者,用于判断焦点检测结果的可靠性的方法如上所述。由于在本实施例中在相位差af中仅进行水平方向的焦点检测,因此通过对比度af获得了针对水平方向和垂直方向这两者的可靠的焦点检测结果。由于该原因,以下与垂直/水平bp校正值有关的说明采用对比度af,而在水平方向和垂直方向这两者上进行利用相位差af的焦点检测的情况下,也可以进行同样的处理。如果在步骤s101中判断为水平方向和垂直方向这两者的焦点检测结果都是可靠的,则照相机mpu125使处理进入步骤s102。
在步骤s102中,照相机mpu125判断水平方向的焦点检测结果和垂直方向的焦点检测结果之间的差是否适当。这是为了应对在远距离和近距离的被摄体都包括在焦点检测区域中的情况下发生的远被摄体和近被摄体之间的焦点偏移的问题而进行的处理。例如,如果远被摄体在水平方向上具有对比度并且近被摄体在垂直方向上具有对比度,则存在绝对值大于由摄像光学系统中的像散所引起的误差的情况或者焦点检测结果具有相反符号的情况。如果水平方向的焦点检测结果和垂直方向的焦点检测结果之间的差大于预定判断值c,则照相机mpu125判断为该差不适当(即,发生了焦点偏移)。然后,照相机mpu125选择水平方向或垂直方向,作为表示更靠最近侧的焦点检测结果的方向,并且使处理进入步骤s104。注意,由于上述原因,可以将判断值c唯一地确定为大幅超过像差等所引起的可能发生的差的值,或者可以使用步骤s100中所获得的校正信息来设置判断值c。
如果在步骤s102中判断为水平方向的焦点检测结果和垂直方向的焦点检测结果之间的差适当,则照相机mpu125使处理进入步骤s106。
另一方面,如果在步骤s101中,仅水平方向或垂直方向上的焦点检测结果可靠、或者如果在步骤s102中选择水平方向和垂直方向中的仅一个方向,则照相机mpu125使处理进入步骤s104。在步骤s104中,照相机mpu125选择焦点检测结果的方向。照相机mpu125选择计算出可靠的焦点检测结果的方向、或者在与焦点偏移有关的判断中计算出与更靠最近侧的被摄体相对应的焦点检测结果的方向。
接着,在步骤s105中,照相机mpu125判断是否可以进行水平方向和垂直方向上的加权。在执行步骤s105的情况下,从焦点评价值的可靠性和焦点偏移的观点,即使在水平方向和垂直方向这两者上没有获得可靠的焦点检测结果,也再次进行用于计算垂直/水平bp校正值的判断。现在将使用图8b来详细说明其原因。
图8b是示出所选择的焦点检测区域中的调焦透镜104的位置与焦点评价值之间的示例性关系的图。图8b中的曲线e_h和e_v表示对比度af所检测到的水平方向的焦点评价值和垂直方向的焦点评价值的变化。符号lp1、lp2和lp3表示调焦透镜位置。图8b示出根据水平方向的焦点评价值e_h而获得lp3作为可靠的焦点检测结果、并且根据垂直方向的焦点评价值e_v而获得lp1作为可靠的焦点检测结果的情况。判断为由于lp1和lp3极大不同因而发生了焦点偏移,并且在步骤s104中选择作为更靠近侧的焦点检测结果的水平方向的焦点检测结果lp3。
在这种情形下,在步骤s105中,照相机mpu125判断在所选择的水平方向的焦点检测结果lp3附近是否存在垂直方向的焦点检测结果。由于在图8b中在该情形中存在lp2,因此照相机mpu125判断为可以进行水平方向和垂直方向上的加权,使处理进入步骤s106,并且在考虑到焦点检测结果lp2的影响的情况下计算针对焦点检测结果lp3的校正值。
假定在步骤s100中获得了作为图8a中的一个元素的bp1_b作为垂直/水平bp校正信息,则图8b中的lp3处的水平方向的焦点评价值为e_hp,并且lp2处的垂直方向的焦点评价值为e_vp。在这种情况下,在步骤s106中,照相机mpu125基于与经过了校正的方向垂直的方向上的焦点评价值相对于焦点评价值的总和的比例,来根据以下的等式(2)计算垂直/水平bp校正值bp1。
bp1=bp1_b×e_vp/(e_vp+e_hp)×(+1)(2)
在本实施例中,尽管由于计算针对水平方向的焦点检测结果的校正值因此使用等式(2)来计算校正值bp1,但在校正垂直方向的焦点检测结果的情况下,可以使用以下的等式(3)来进行该计算。
bp1=bp1_b×e_hp/(e_vp+e_hp)×(-1)(3)
如果在步骤s102中判断为水平方向的焦点检测结果和垂直方向的焦点检测结果之间的差适当,则在近侧的焦点检测结果是水平方向的检测结果的情况下使用等式(2)、或者在垂直方向的检测结果的情况下使用等式(3),来计算校正值bp1。
如根据等式(2)和(3)显而易见,基于表示焦点评价值大的信息,在判断为被摄体包含大量对比度信息的情况下计算垂直/水平bp校正值(bp1)。如上所述,垂直/水平bp校正信息如下所述:
(具有仅垂直方向上的对比度信息的被摄体的焦点检测位置)-(具有仅水平方向上的对比度信息的被摄体的焦点检测位置)。由于该原因,用于校正水平方向的焦点检测结果的校正值bp1和用于校正垂直方向的焦点检测结果的校正值bp1具有相反的符号。在结束步骤s106的处理时,照相机mpu125结束垂直/水平bp校正值计算处理。
另一方面,如果在步骤s105中判断为在所选择的水平方向的焦点检测结果lp3附近不存在垂直方向的焦点检测结果,则照相机mpu125使处理进入步骤s103。在步骤s103中,照相机mpu125判断为被摄体包含大致仅一个方向上的对比度信息,因此设置bp1=0,并且垂直/水平bp校正值计算处理结束。
因而,在本实施例中,根据不同方向上的被摄体的对比度信息来计算校正值,因此可以根据被摄体的图案来精确地计算校正值。注意,尽管在图8b中说明了在被摄体之间发生焦点偏移的情况,但在沿水平方向和垂直方向各自检测到一个极大值的情况下,还基于相同的想法来计算校正值,并且这些焦点检测结果其中之一不可靠。
然而,步骤s106中的校正值计算方法不限于此。例如,如果如本实施例中的相位差af那样、可以仅在水平方向上进行焦点检测,则可以在假定被摄体在水平方向上的对比度信息量与垂直方向上的对比度信息量相同的情况下计算校正值。在这种情况下,可以通过将e_hp=e_vp=1代入上述的等式(2)或(3)来计算校正值。通过进行该处理,校正精度下降,但可以减少校正值计算的负荷。
尽管以上说明了通过对比度af的焦点检测的结果,但还可以对通过相位差af的焦点检测的结果进行相同的处理。可以使用相位差af的相关计算中所计算出的相关量的变化量作为校正值计算时的加权的系数。在这种情况下,如被摄体的明暗差大的情况或者存在明暗差的边缘数多的情况那样,使用被摄体的对比度信息量越多、相关量的变化量越大这一事实。评价值不限于相关量的变化量,并且可以是任何种类的评价值,只要利用该评价值获得了相同的关系即可。
因而,通过使用垂直/水平bp校正值来校正焦点检测结果,可以进行精确的焦点检测,而与被摄体在各方向上的对比度信息量无关。此外,由于使用诸如图8a所示等的共通的校正信息来计算水平方向和垂直方向的校正值,因此与存储针对各个方向的校正值的情况相比,可以减少校正信息的存储容量。
如果各个方向上的焦点检测结果极大不同,则不使用这些焦点检测结果计算垂直/水平bp校正值,由此可以减少焦点偏移的影响。此外,在还假定焦点偏移的情况下,可以通过基于各个方向上的焦点评价值的大小对校正值进行加权来进行更精确的校正。
用于计算颜色bp校正值的方法
接着,将使用图9a~9c来说明图1a的步骤s21中所进行的颜色bp校正值(bp2)计算的方法。图9a是示出颜色bp校正值(bp2)计算处理的详情的流程图。
在步骤s200中,照相机mpu125获得颜色bp校正信息。该颜色bp校正信息是使用绿色(g)信号所检测到的对焦位置和使用其它颜色(红色(r)、蓝色(b))的信号所检测到的对焦位置之间的差的信息。在本实施例中,将颜色bp校正信息预先存储在镜头单元100的镜头存储器118中,并且照相机mpu125通过从镜头mpu117请求颜色bp校正信息来获得该颜色bp校正信息。然而,可以将颜色bp校正信息存储在照相机ram125b的非易失性区域中。
分割得到的区段数越大,可以获得适合摄像光学系统中的第一透镜组101的位置和调焦透镜104的位置的更精确的校正值。此外,可以在对比度af和相位差af这两者中使用颜色bp校正信息。
在步骤s200中,照相机mpu125获得与适合作为校正对象的焦点检测结果的变焦位置和调焦透镜位置相对应的校正值。
在步骤s201中,照相机mpu125计算颜色bp校正值。如果在步骤s200中获得了bp_r作为图9b中的一个元素并且获得了bp_b作为图9c中的一个元素,则照相机mpu125根据以下的等式(4)来计算颜色bp校正值bp2。
bp2=k_r×bp_r+k_b×bp_b(4)
这里,k_r和k_b是针对各颜色的校正信息的系数。这些系数是与相对于被摄体中所包含的绿色(g)信息的量的红色(r)和蓝色(b)信息的量较大这一关系有关的值,k_r相对于包含较大量红色的被摄体取较大的值,并且k_b相对于包含较大量的蓝色的被摄体取较大的值。k_r和k_b这两者相对于包含较大量的绿色的被摄体取较小的值。可以基于被摄体的代表光谱信息来预先设置k_r和k_b。如果可以检测到被摄体的光谱信息,则可以根据被摄体的光谱信息来设置k_r和k_b。在步骤s202中的颜色bp校正值的计算结束之后,照相机mpu125结束颜色bp校正值计算处理。
注意,在本实施例中,尽管如图8a和9a~9c所示、针对各焦点检测区域以表的形式存储校正值,但用于存储校正值的方法不限于此。例如,可以采用如下结构:以图像传感器与摄像光学系统的光轴的交点作为原点并且以摄像设备的水平方向和垂直方向分别作为x轴和y轴来设置坐标系,并且使用x和y的函数来获得焦点检测区域的中心坐标处的校正值。在这种情况下,可以减少作为焦点检测校正值而要存储的信息量。
在本实施例中,在假定校正值不依赖于被摄体的图案所具有的空间频率信息的情况下,计算使用垂直/水平bp校正信息或颜色bp校正信息来进行计算的焦点检测中所使用的校正值。由于该原因,可以在不会增加要存储的校正信息量的情况下进行精确的校正。然而,用于计算校正值的方法不限于此。与后面所述的用于计算空间频率bp校正值的方法相同,可以使用针对各空间频率的垂直/水平bp校正信息或颜色bp校正信息,根据被摄体的空间频率成分来计算校正值。
用于计算空间频率bp校正值的方法
接着,将使用图10a~10c来说明图1a的步骤s22中所进行的空间频率bp校正值(bp3)计算的方法。图10a是示出空间频率bp校正值(bp3)计算处理的详情的流程图。
在步骤s300中,照相机mpu125获得空间频率bp校正信息。空间频率bp校正信息是与针对被摄体的各空间频率的摄像光学系统中的成像位置有关的信息。在本实施例中,将空间频率bp校正信息预先存储在镜头单元100的镜头存储器118中,并且照相机mpu125通过从镜头mpu117请求空间频率bp校正信息来获得该空间频率bp校正信息。然而,可以将空间频率bp校正信息存储在照相机ram125b的非易失性区域中。
将使用示出摄像光学系统的散焦mtf(modulationtransferfunction,调制传递函数)的图10b来说明示例性的空间频率bp校正信息。图10b中的横轴和纵轴分别示出调焦透镜104的位置和mtf的强度。图10b所示的四个曲线是针对各空间频率的mtf曲线,并且表示空间频率按mtf1、mtf2、mtf3和mtf4的顺序从低变为高的情况。空间频率f1(lp/mm)的mtf曲线与mtf1相对应,同样,空间频率f2、f3和f4(lp/mm)分别与mtf2、mtf3和mtf4相对应。lp4、lp5、lp6和lp7表示与各散焦mtf曲线的极大值相对应的调焦透镜104的位置。注意,所存储的空间频率bp校正信息是通过对图10b中的曲线进行离散采样所获得的。作为示例,在本实施例中,针对一个mtf曲线来对10个调焦透镜位置的mtf数据进行采样,并且例如,针对mtf1,存储10组数据作为mtf1(n)(1≤n≤10)。
与垂直/水平bp校正信息和颜色bp校正信息相同,针对焦点检测区域的各位置来将摄像光学系统的变焦位置(视角)和调焦透镜位置(对焦距离)分割成8个区段,并且存储各区段的空间频率bp校正信息。随着分割得到的区段数变大,可以获得适合摄像光学系统中的第一透镜组101的位置和调焦透镜104的位置的更精确的校正值。此外,在对比度af和相位差af这两者中都可以使用空间频率bp校正信息。
在步骤s300中,照相机mpu125获得与适合作为校正对象的焦点检测结果的变焦位置和调焦透镜位置相对应的校正值。
在步骤s301中,照相机mpu125在作为校正对象的焦点检测区域中,计算进行对比度af和相位差af时所使用的信号的频带。在本实施例中,照相机mpu125在考虑到被摄体、摄像光学系统、图像传感器的采样频率和评价中所使用的数字滤波器的影响的情况下计算af评价频带。后面将说明用于计算af评价频带的方法。
接着,在步骤s302中,照相机mpu125计算拍摄图像中所使用的信号的频带。与步骤s302中的af评价频带的计算相同,照相机mpu125在考虑到被摄体、摄像光学系统、图像传感器的频率特性和鉴赏拍摄图像的人的评价频带的影响的情况下,计算拍摄图像评价频带。
现在将使用图11a~11f来说明步骤s301和s302中所进行的af评价频带(第二评价频带)和拍摄图像评价频带(第一评价频带)的计算。图11a~11f示出针对各空间频率的强度,其中横轴和纵轴分别表示空间频率和强度。
图11a示出被摄体的空间频率特性(i)。横轴上的f1、f2、f3和f4是与图10b的mtf曲线(mtf1~mtf4)相对应的空间频率。nq表示由图像传感器122的像素间距所确定的nyquist(奈奎斯特)频率。在以下将说明的图11b~11f中还同样示出f1~f4和nq。在本实施例中,使用预先存储的代表值作为被摄体的空间频率特性(i)。图11a中的连续曲线所表示的被摄体的空间频率特性(i)具有与空间频率f1、f2、f3和f4相对应的离散值i(n)(1≤n≤4)。
尽管本实施例使用预先存储的代表值作为被摄体的空间频率特性,但要使用的被摄体的空间频率特性可以根据进行焦点检测的被摄体而改变。可以通过对摄像所获得的图像信号应用fft处理等来获得被摄体的空间频率信息(功率谱)。在这种情况下,尽管计算处理量增加,但可以计算出适合实际进行焦点检测的被摄体的校正值,因而可以进行精确的焦点检测。更简单地,可以根据被摄体的对比度信息是大还是小来适当地使用预先存储的若干种空间频率特性。
图11b示出摄像光学系统的空间频率特性(o)。可以经由镜头mpu117获得该信息,或者可以将该信息存储在照相机内的ram125b中。所存储的信息可以是各散焦状态下的空间频率特性,或者可以仅是聚焦状态下的空间频率特性。由于空间频率bp校正值是在对焦位置附近计算出的,因此可以使用对焦状态下的空间频率来进行精确的校正。然而,尽管计算负荷增加,但可以使用各散焦状态下的空间频率特性来进行更精确的焦点调节。可以使用相位差af所获得的散焦量来选择要使用的散焦状态下的空间频率特性。
图11b中的连续曲线所示的摄像光学系统的空间频率特性(o)具有与空间频率f1、f2、f3和f4相对应的离散值o(n)(1≤n≤4)。
图11c示出光学低通滤波器121的空间频率特性(l)。将该信息存储在照相机内的ram125b中。图11c中的连续曲线所示的光学低通滤波器121的空间频率特性(l)具有与空间频率f1、f2、f3和f4相对应的离散值l(n)(1≤n≤4)。
图11d示出信号生成时的空间频率特性(m1、m2)。如上所述,本实施例中的图像传感器具有两个读出模式。在第一读出模式中、即在全像素读出模式中,如m1所示,在生成信号时空间频率特性没有改变。另一方面,在第二读出模式中、即在间隔剔除读出模式中,如m2所示,在生成信号时空间频率特性改变。如上所述,在沿x方向进行间隔剔除时对信号进行相加以提高s/n比,因此通过相加产生了低通效果。图11d的m2示出在第二读出模式中生成信号时的空间频率特性。这里,在无需考虑间隔剔除的影响的情况下示出通过相加所实现的低通效果。
图11d中的连续曲线所示的信号生成时的空间频率特性(m1、m2)具有与空间频率f1、f2、f3和f4相对应的离散值m1(n)和m2(n)(1≤n≤4)。
图11e示出表示相对于鉴赏拍摄图像时的各空间频率的感光度的空间频率特性(d1)和af评价信号的处理中所使用的数字滤波器的空间频率特性(d2)。针对鉴赏拍摄图像时的空间频率的感光度受到鉴赏图像的人的个体差异、图像大小、鉴赏图像时的距离和诸如明度等的鉴赏图像的环境等的影响。在本实施例中,设置针对鉴赏时的各空间频率的感光度并且存储作为代表值。
另一方面,在第二读出模式中,由于间隔剔除的影响而产生信号的频率成分的折叠噪声(混叠)。考虑到该影响,利用d2来表示数字滤波器的空间频率特性。
图11e中的连续曲线所示的鉴赏时的空间频率特性(d1)和数字滤波器的空间频率特性(d2)具有与空间频率f1、f2、f3和f4相对应的离散值d1(n)和d2(n)(1≤n≤4)。
通过如此将各种信息存储在照相机或镜头中,照相机mpu125基于以下的等式(5)和(6)来计算拍摄图像评价频带w1和af评价频带w2。
w1(n)=i(n)×o(n)×l(n)×m1(n)×d1(n)(1≤n≤4)(5)
w2(n)=i(n)×o(n)×l(n)×m2(n)×d2(n)(1≤n≤4)(6)
图11f示出拍摄图像评价频带w1(第一评价频带)和af评价频带w2(第二评价频带)。通过进行等式(5)和(6)的计算,可以对确定拍摄图像的对焦状态的因素针对各空间频率所产生的影响程度进行定量化。同样,可以对焦点检测结果的误差针对各空间频率所产生的影响程度进行定量化。
照相机内所存储的信息可以是预先计算出的w1和w2。如上所述,通过在每次进行校正时都进行计算,在改变af评价中所使用的数字滤波器等的情况下,可以在灵活地应对该变化的情况下计算校正值。另一方面,如果预先存储w1和w2,则可以减少等式(5)和(6)的计算和针对各种数据的存储容量。
由于不必预先完成所有的计算,因此还可以采用如下结构:例如,仅预先计算摄像光学系统和被摄体的空间频率特性并且存储在照相机内,由此减少数据存储容量和计算量。
为了简化说明的目的,已经使用与四个空间频率(f1~f4)相对应的离散值说明了图11a~11f。然而,保持有数据的空间频率的数量变大将使得更正确地再现拍摄图像和af评价频带的空间频率特性,并且可以精确地计算出校正值。另一方面,可以通过减少要进行加权的空间频率的数量来减少计算量。可以在保持代表拍摄图像评价频带的一个空间频率和代表af评价频带的一个空间频率的情况下进行后续计算。
返回至图10a,在步骤s303中,照相机mpu125计算空间频率bp校正值(bp3)。在计算空间频率bp校正值的情况下,照相机mpu125最初计算拍摄图像的散焦mtf(c1)和焦点检测信号的散焦mtf(c2)。c1和c2是使用步骤s300中所获得的散焦mtf信息以及步骤s301和s302中所获得的评价频带w1和w2,根据以下的等式(7)和(8)所计算出的。
c1(n)=mtf1(n)×w1(1)+mtf2(n)×w1(2)+mtf3(n)×w1(3)+mtf4(n)×w1(4)(7)
c2(n)=mtf1(n)×w2(1)+mtf2(n)×w2(2)+mtf3(n)×w2(3)+mtf4(n)×w2(4)(8)
因而,基于步骤s301和s302中所计算出的拍摄图像和af的评价频带的加权来对图10b所示的针对各空间频率的散焦mtf信息进行相加,并且获得了拍摄图像的散焦mtf(c1)和af的散焦mtf(c2)。图10c示出作为所获得的两个散焦mtf的c1和c2。横轴和纵轴分别表示调焦透镜104的位置和通过针对各空间频率进行加权相加所获得的mtf值。照相机mpu125检测各mtf曲线的极大值位置。检测到p_img(第一成像位置)作为与曲线c1的极大值相对应的调焦透镜104的位置。检测到p_af(第二成像位置)作为与曲线c2的极大值相对应的调焦透镜104的位置。
在步骤s303中,照相机mpu125使用以下的等式(9)来计算空间频率bp校正值(bp3)。
bp3=p_af-p_img(9)
利用等式(9),可以计算出用于校正在拍摄图像的对焦位置和af所检测到的对焦位置之间可能发生的误差的校正值。
如上所述,拍摄图像的对焦位置根据被摄体、摄像光学系统和光学低通滤波器的空间频率特性、信号生成时的空间频率特性、表示针对鉴赏时的各频率的感光度的空间频率特性、以及针对拍摄图像所进行的图像处理等而改变。在本实施例中,可以通过追溯至生成拍摄图像并计算空间频率特性的处理来精确地计算拍摄图像的对焦位置。例如,拍摄图像的对焦位置根据拍摄图像的记录大小、图像处理中所进行的超分辨率处理、或锐度等而改变。此外,鉴赏记录之后的拍摄图像所利用的图像大小或放大率以及鉴赏拍摄图像的鉴赏距离等会影响鉴赏人的评价频带。通过设置随着图像大小的变大以及随着鉴赏距离的变短使得鉴赏人的评价频带的高频成分被赋予更大权重的特性,来改变拍摄图像的对焦位置。
另一方面,af所检测到的对焦位置同样根据被摄体、摄像光学系统和光学低通滤波器的空间频率特性、信号生成时的空间频率特性、以及af评价中所使用的数字滤波器空间频率等而改变。在本实施例中,通过追溯至生成af中所使用的信号的处理来计算空间频率特性,并且由此可以精确地计算af所检测到的对焦位置。例如,同样可以灵活地应对第一读出模式中的af。在这种情况下,仅需通过将信号生成时的空间频率特性改变为与第一读出模式相对应的特性来计算加权系数。
由于本实施例所述的摄像设备是镜头可更换型单镜头反光照相机,因此可以更换镜头单元100。如果更换了镜头单元100,则镜头mpu117将与各空间频率相对应的散焦mtf信息发送至照相机本体120。然后,照相机mpu125计算拍摄图像的对焦位置和af所检测到的对焦位置,因此可以针对各可更换镜头精确地计算校正值。镜头单元100不仅可以将散焦mtf信息而且还可以将诸如摄像光学系统的空间频率特性等的信息发送至照相机本体120。利用该信息的方式如上所述。
同样,如果更换了照相机本体120,则在一些情况下,像素间距或光学低通滤波器的特性等改变。如上所述,同样在这种情况下,计算适合照相机本体120的特性的校正值,因此可以进行精确的校正。
尽管在上述说明中利用照相机mpu125来计算校正值,但也可以利用镜头mpu117来进行该计算。在这种情况下,可以采用如下结构:照相机mpu125将使用图11a~11f已说明的各种信息发送至镜头mpu117,并且镜头mpu117使用散焦mtf信息等来计算校正值。在这种情况下,在图1a的步骤s24中,镜头mpu117仅需校正从照相机mpu125发送来的对焦位置并且驱动透镜。
在本实施例中,在关注焦点检测中所使用的信号的特性(垂直/水平、颜色、空间频带)的情况下计算af用的校正值。由于该原因,可以使用相同的方法来计算校正值,而与af方法无关。由于不必针对各af方法保持校正方法和校正中要使用的数据,因此可以减少数据存储容量和计算负荷。
第二实施例
接着,将说明本发明的第二实施例。与第一实施例的主要不同之处在于用于计算空间频率bp校正值的方法。在第一实施例中,使用散焦mtf信息作为表示针对各空间频率的摄像光学系统的特性的值。然而,散焦mtf信息的数据量大,这导致存储容量和计算负荷均增大。由于该原因,在第二实施例中,使用散焦mtf的极大值信息来计算空间频率bp校正值。由此可以例如实现镜头存储器118或ram125b的容量的节省、镜头和照相机之间的通信量的减少、以及照相机mpu125所进行的计算负荷的减少。
注意,在本实施例中还将使用摄像设备的框图(图2)、示出焦点检测方法的图(图3a~5)、示出焦点检测区域的图(图6)、以及焦点检测处理和各种bp校正值计算处理的流程图(图1a、1b、7和9a)。还将使用空间频率bp校正值计算处理的流程图(图10a)以及示出评价频带的图(图11a~11f)。
现在将使用图12来说明本实施例中的用于计算空间频率bp校正值(bp3)的方法。
在步骤s300中,照相机mpu125获得空间频率bp校正信息。
图12示出散焦mtf针对作为摄像光学系统的特性的各空间频率取极大值的调焦透镜104的位置。沿着纵轴示出散焦mtf针对图10b所示的离散空间频率f1~f4达到峰(极大值)的调焦透镜位置lp4、lp5、lp6和lp7。在本实施例中,将lp4~lp7作为mtf_p(n)(1≤n≤4)存储在镜头存储器118或ram125b中。与第一实施例相同,使所存储的信息与焦点检测区域的位置、变焦位置和调焦透镜位置相关联。
在第二实施例中,在图10a所示的空间频率bp校正值处理的步骤s300中,照相机mpu125获得与适合作为校正对象的焦点检测结果的变焦位置和调焦透镜位置相对应的校正值。
在步骤s301和s302中,照相机mpu125进行与第一实施例的处理相同的处理。
在步骤s303中,照相机mpu125计算空间频率bp校正值(bp3)。在计算空间频率bp校正值的情况下,照相机mpu125最初根据以下的等式(10)和(11)来计算拍摄图像的对焦位置(p_img)和af所检测到的对焦位置(p_af)。该计算使用步骤s300中所获得的散焦mtf信息mtf_p(n)以及步骤s301和s302中所获得的评价频带w1和w2。
p_img=mtf_p(1)×w1(1)+mtf_p(2)×w1(2)+mtf_p(3)×w1(3)+mtf_p(4)×w1(4)(10)
p_af=mtf_p(1)×w2(1)+mtf_p(2)×w2(2)+mtf_p(3)×w2(3)+mtf_p(4)×w2(4)(11)
也就是说,使用步骤s301和s302中所计算出的拍摄图像和af的评价频带w1和w2来对图12所示的针对各空间频率的散焦mtf的极大值信息mtf_p(n)进行加权相加。由此计算出拍摄图像的对焦位置(p_img)和af所检测到的对焦位置(p_af)。
接着,与第一实施例相同,照相机mpu125使用以下的等式(9)来计算空间频率bp校正值(bp3)。
bp3=p_af-p_img(9)
在本实施例中,可以更加容易地计算空间频率bp校正值。在本实施例中,尽管空间频率bp校正值的精度相比第一实施例中的空间频率bp校正值的精度略低,但可以实现为了计算空间频率bp校正值所存储的信息量的减少、镜头和照相机之间的通信量的减少以及照相机mpu125所进行的计算负荷的减少。
第三实施例
接着,将说明本发明的第三实施例。同样在本实施例中,用于计算空间频率bp校正值的方法不同于上述实施例中的这些方法。在本实施例中,在不必进行计算的情况下不计算空间频率bp校正值,由此在不会降低空间频率bp校正值的精度的情况下,减少了镜头和照相机之间的通信量并且减少了照相机mpu125所进行的计算负荷。
注意,在本实施例中还将使用摄像设备的框图(图2)、示出焦点检测方法的图(图3a~5)、示出焦点检测区域的图(图6)、以及焦点检测处理和各种bp校正值计算处理的流程图(图1a、1b、7和9a)。还将使用与空间频率bp校正值计算处理有关的图(图10b~10c)。
现在将使用图13的流程图来说明本实施例中的用于计算空间频率bp校正值(bp3)的方法。向图13中的与图10a的处理相同的处理赋予相同的附图标记,并且将省略重复的说明。
在步骤s3000中,照相机mpu125判断是否需要计算空间频率bp校正值。如通过第一实施例的说明应理解,拍摄图像评价频带w1和af评价频带w2越相似,空间频率bp校正值越小。由于该原因,在本实施例中,如果判断为两个评价频带之间的差小到不必计算空间频率bp校正值的程度,则省略了校正值的计算。
具体地,如果满足了两个评价频带之间的差充分小的条件,则省略了校正值的计算。例如,如果af中所使用的信号也是在第一模式中所读出的信号,则拍摄图像评价频带等于af评价频带。此外,在af评价信号的处理中使用空间频率特性与表示鉴赏拍摄图像时的针对各空间频率的感光度的空间频率特性相似的数字滤波器的情况下,鉴赏时的空间频率特性等于数字滤波器的空间频率特性。例如,在将要显示的图像以放大方式显示在显示器126上的情况下,发生该情形。
同样,假定在使用第二读出模式中所读出的信号来生成拍摄图像的情况下,拍摄图像评价频带等于af评价频带。在将拍摄图像的记录图像的大小设置为小的情况下,发生该情形。
如果在步骤s3000中满足了这些预定条件中的任何条件,则照相机mpu125判断为不必进行校正值的计算,并且使处理进入步骤s3001。
在步骤s3001中,由于不进行校正值的计算,因此照相机mpu125将0代入bp3,并且结束空间频率bp校正值(bp3)计算处理。
另一方面,如果在步骤s3000中判断为需要进行校正值的计算,则与第一实施例(或第二实施例)相同,照相机mpu125进行步骤s300~s303。
由于本实施例在判断为不必进行空间频率bp校正值的计算的情况下如此省略了校正值的计算,因此尽管无法减少为了计算校正值所存储的数据量,但可以减少计算校正值时的数据通信量和计算负荷。注意,可以将本实施例与第二实施例组合,并且在这种情况下,可以进一步减少计算校正值时的数据通信量和计算负荷,更不用说可以进一步减少为了计算校正值所存储的数据量。
尽管本实施例说明了空间频率bp校正值的省略,但在判断为不需要垂直/水平bp校正值和颜色bp校正值的情况下,还可以省略这些校正值。例如,在考虑到垂直方向和水平方向的对比度来进行焦点检测的情况下,可以省略垂直/水平bp校正值的计算。如果拍摄图像中所使用的颜色信号等于焦点检测中所使用的颜色信号,则可以省略颜色bp校正值的计算。
第四实施例
将说明本发明的第四实施例。本实施例与第一实施例的不同之处主要在于用于计算各种bp校正值的方法。在本实施例中,将垂直/水平bp校正值、颜色bp校正值和空间频率bp校正值计算作为不同的校正值。然而,由于垂直/水平bp校正值和颜色bp校正值也依赖于空间频率,因此在第四实施例中,也在考虑到空间频率的情况下计算垂直/水平bp校正值和颜色bp校正值。尽管镜头存储器118或ram125b所需的容量增加,但也可以由此更精确地计算校正值。此外,可以通过改变bp校正值的计算顺序和临时存储的系数的信息等,来实现计算量的减少。
注意,摄像设备的框图(图2)、示出焦点检测方法的图(图3a~5)、示出焦点检测区域的图(图6)和示出评价频带的图(图11a~11f)在本实施例中是共通的,因而也将用于以下的说明。
现在将使用图14~17来说明本实施例中的用于计算bp校正值(bp)的方法。
在图14中,向与第一实施例中的焦点检测处理相同的处理赋予与图1a中的附图标记相同的附图标记。图14与图1a的不同之处在于:利用步骤s400替换步骤s20~s22,并且利用步骤s401替换步骤s23。在步骤s400中,照相机mpu125计算用于整体校正诸如方向(垂直/水平)、颜色和空间频率等的各种误差因素的bp校正值(bp)。
在步骤s401中,照相机mpu125使用所计算出的bp校正值(bp)来根据等式(12)校正焦点检测结果def_b,并且计算校正之后的焦点检测结果def_a。
def_a=def_b+bp(12)
在本实施例中,使用表示作为红色(r)、绿色(g)和蓝色(b)这三个颜色与垂直方向和水平方向这两个方向的组合的六个空间频率的散焦mtf的极大值的调焦透镜104的位置的信息,来计算bp校正值。由此可以考虑颜色和方向(垂直和水平)相对于空间频率的依赖性,计算更精确的bp校正值,并且提高校正精度。
图15是示出图14的步骤s400中的bp校正值计算处理的详情的流程图。
在步骤s500中,照相机mpu125获得计算bp校正值所需的参数(计算条件)。如第一实施例所述,bp校正值随着摄像光学系统的变化和焦点检测光学系统的变化(诸如调焦透镜104的位置、表示变焦状态的第一透镜组101的位置和焦点检测区域的位置的变化等)而改变。由于该原因,在步骤s500中,照相机mpu125例如获得调焦透镜104的位置、表示变焦状态的第一透镜组101的位置和焦点检测区域的位置的信息。此外,在步骤s500中,照相机mpu125获得与焦点检测中所使用的信号和拍摄图像中所使用的信号的颜色和评价方向有关的设置信息。
图16a示出与颜色和评价方向有关的示例性设置信息。该设置信息是表示针对评价焦点状态所利用的对比度的方向(水平和垂直)和颜色(红色、绿色和蓝色)的组合的加权程度的信息。焦点检测所用的设置信息不同于拍摄图像所用的设置信息。例如。在使用水平方向的绿色信号来校正对比度af的结果的情况下,可以按照如下定义焦点检测所用的设置信息:
k_af_rh=0
k_af_gh=1
k_af_bh=0
k_af_rv=0
k_af_gv=0
k_af_bv=0
利用上述设置信息,可以表明焦点检测所用的信号的散焦mtf峰的信息与水平方向的绿色信号的特性相同。
另一方面,可以按照如下定义拍摄图像所用的设置信息:
k_img_rh=0.15
k_img_gh=0.29
k_img_bh=0.06
k_img_rv=0.15
k_img_gv=0.29
k_img_bv=0.06
这些是通过假定以下操作所设置的值:进行用于将rgb信号转换成等同于y信号的加权,基于y信号来评价拍摄图像,并且同等地评价水平方向的对比度和垂直方向的对比度这两者。然而,设置值和设置值的类型等不限于此。
在步骤s501中,照相机mpu125判断后面所述的峰系数是否改变。在以前进行的bp校正值计算和当前的bp校正值计算中各种条件相同的情况下,为了省略峰系数的重新计算而进行该判断。在本实施例中,如果在与焦点检测和拍摄图像所用的颜色和评价方向有关的设置信息(图16a)中以及在焦点检测区域的位置中没有发生改变,则照相机mpu125判断为峰系数没有改变,并且在跳过步骤s502~s504的情况下使处理进入步骤s505。
在步骤s501中,如果第一次计算出峰系数、或者如果判断为峰系数发生了改变,则照相机mpu125使处理进入步骤s502并且获得bp校正信息。bp校正信息是与针对被摄体的各空间频率的摄像光学系统的成像位置有关的信息。利用空间频率f和图像传感器上的焦点检测区域的位置(x,y)作为变量,通过以下的等式(13)来表示上述的三个颜色和两个方向的六个组合中的各组合。
mtf_p_rh(f,x,y)=(rh(0)×x+rh(1)×y+rh(2))×f2+(rh(3)×x+rh(4)×y+rh(5))×f+(rh(6)×x+rh(7)×y+rh(8))(13)
注意,尽管等式(13)是针对红色(r)信号中的与水平(h)方向相对应的各空间频率的散焦mtf取极大值的调焦透镜104的位置的信息mtf_p_rh的等式,但可以通过相同的表达式来表示其它组合。在本实施例中,预先将rh(n)(0≤n≤8)存储在镜头单元100的镜头存储器118中,并且照相机mpu125通过从镜头mpu117请求rh(n)(0≤n≤8)来获得该rh(n)。然而,也可以将rh(n)(0≤n≤8)存储在照相机ram125b的非易失性区域中。
还可以同样地存储并获得“红色和垂直”(mtf_p_rv)、“绿色和水平”(mtf_p_gh)、“绿色和垂直”(mtf_p_gv)、“蓝色和水平”(mtf_p_bh)以及“蓝色和垂直”(mtf_p_bv)的各个组合中的系数(rv、gh、gv、bh和bv)。
接着,在步骤s503中,照相机mpu125针对所获得的bp校正信息进行与焦点检测区域的位置、评价信号的颜色和对比度方向有关的加权。最初,照相机mpu125使用与计算bp校正值时的焦点检测区域的位置有关的信息来计算bp校正信息。
具体地,将焦点检测区域的位置信息代入等式(13)中的x和y。通过该计算,采用以下的等式(14)的形式来表示等式(13)。
mtf_p_rhf=arh×f2+brh×f+crh(14)
照相机mpu125还同样地计算mtf_p_rvf、mtf_p_ghf、mtf_p_gvf、mtf_p_bhf和mtf_p_bvf。这些与散焦mtf中间信息相对应。
图16b示出在步骤s503中代入焦点检测区域的位置信息之后的示例性bp校正信息,其中横轴和纵轴分别表示空间频率以及散焦mtf取极大值的调焦透镜104的位置(峰位置)。如图16b所示,在色像差大的情况下,各颜色的曲线彼此分离,并且在垂直/水平差大的情况下,图16b中的水平方向和垂直方向的曲线彼此分离。因而,在本实施例中,颜色(rgb)和评价方向(h和v)的各组合具有与各空间频率相对应的散焦mtf信息。由此可以精确地计算出bp校正值。
接着,照相机mpu125使用bp校正信息来对步骤s500中所获得的构成设置信息的12个系数(图16a)进行加权。由此与焦点检测和摄像中所评价的颜色和方向相关地来对设置信息进行加权。具体地,照相机mpu125使用等式(15)和(16)来计算焦点检测所用的空间频率特性mtf_p_aff和拍摄图像所用的空间频率特性mtf_p_imgf。
mtf_p_aff=
k_af_rh×mtf_p_rhf
+k_af_rv×mtf_p_rvf
+k_af_gh×mtf_p_ghf
+k_af_gv×mtf_p_gvf
+k_af_bh×mtf_p_bhf
+k_af_bv×mtf_p_bvf(15)
mtf_p_imgf=
k_img_rh×mtf_p_rhf
+k_img_rv×mtf_p_rvf
+k_img_gh×mtf_p_ghf
+k_img_gv×mtf_p_gvf
+k_img_bh×mtf_p_bhf
+k_img_bv×mtf_p_bvf(16)
图16c以与图16b的形式相同的形式示出mtf_p_aff和mtf_p_imgf的示例。因而,在本实施例中,在与空间频率的变量有关的计算之前,计算与焦点检测区域的位置以及所评价的颜色和方向有关的变量。作为该计算的结果,采用以下的等式(17)和(18)的形式来表示mtf_p_aff和mtf_p_imgf:
mtf_p_aff=aaf×f2+baf×f+caf(17)
mtf_p_imgf=aimg×f2+bimg×f+cimg(18)
图16c的纵轴示出通过将离散的空间频率f1~f4代入等式(17)所获得的散焦mtf达到峰(极大值)的调焦透镜位置(峰位置)lp4_af、lp5_af、lp6_af和lp7_af。
在步骤s504中,照相机mpu125将lp4_af~lp7_af作为峰系数mtf_p_af(n)(1≤n≤4)存储在镜头存储器118或ram125b中。照相机mpu125还将lp4_img~lp7_img作为峰系数mtf_p_img(n)(1≤n≤4)存储在镜头存储器118或ram125b中,并且使处理进入步骤s505。
接着,在步骤s505中,照相机mpu125判断焦点检测或拍摄图像所用的信号的评价频带是否改变,并且如果评价频带没有改变,则照相机mpu125使处理进入步骤s507并且计算bp校正值。在计算bp校正值的情况下,与第二实施例相同,照相机mpu125最初根据等式(19)和(20)来计算拍摄图像的对焦位置(p_img)和af所检测到的对焦位置(p_af)。该计算使用第一实施例的步骤s301和s302中所获得的评价频带w1和w2。
p_img=mtf_p_img(1)×w1(1)+mtf_p_img(2)×w1(2)+mtf_p_img(3)×w1(3)+mtf_p_img(4)×w1(4)(19)
p_af=mtf_p_af(1)×w2(1)+mtf_p_af(2)×w2(2)+mtf_p_af(3)×w2(3)+mtf_p_af(4)×w2(4)(20)
也就是说,照相机mpu125使用第一实施例中的步骤s301和s302中所计算出的拍摄图像和af的评价频带w1和w2,来对图16c所示的针对各空间频率的散焦mtf的极大值信息进行加权相加。由此计算出拍摄图像的对焦位置(p_img)和af所检测到的对焦位置(p_af)。
接着,与第一实施例相同,照相机mpu125使用以下的等式(21)来计算bp校正值(bp)。
bp=p_af-p_img(21)
另一方面,如果在步骤s505中判断为评价频带已改变,则照相机mpu125使处理进入步骤s506并且获得评价频带信息。该评价频带信息与第一实施例中的拍摄图像评价频带w1和af评价频带w2相对应,并且可以根据焦点检测和拍摄图像的设置和状况通过遵循图11a~11f所述的原则来计算。在步骤s506中,在结束评价频带信息的获得之后,照相机mpu125使处理进入步骤s507,并且如上所述计算bp校正值。
在本实施例中,在与评价频带有关的处理之前,执行与焦点检测区域的位置、评价信号的颜色和对比度方向有关的处理。这是因为,在拍摄者通过设置来确定焦点检测区域的位置的情况下,与焦点检测区域的位置以及所评价的颜色和方向有关的信息改变的频度变低。另一方面,如使用第一实施例中的图11a~11f所述,利用图像传感器的读出模式或af评价信号的数字滤波器等来改变信号评价频带的频度变高。例如,在信号s/n比变低的低照度环境中,可想到将数字滤波器的频带改变为较低的频带。在本实施例中,在这种情况下,通过计算改变的频度低的系数(峰系数)、之后存储所计算出的系数并且根据需要仅计算改变的频度高的系数(评价频带),来计算bp校正值。例如,在拍摄者设置焦点检测区域的位置的情况下,可以如此减少计算量。
变形例
另一方面,还可考虑计算与多个焦点检测区域的位置相对应的bp校正值的情况。例如,可考虑在焦点检测时进行使用多个焦点检测区域的焦点检测、的情况或者要获得摄像区域内的多个散焦量以创建散焦映射的情况。
在这种情况下,首先进行与评价信号的颜色、对比度方向和评价频带有关的计算,在仅改变焦点检测区域的位置信息的情况下进行与焦点检测区域的位置有关的计算,并且由此可以减少计算量。
图17是示出图14的步骤s400中的bp校正值计算处理的另一示例的流程图。将向进行与图15中的处理相同的处理的步骤赋予相同的附图标记,并且将省略针对这些步骤的重复说明。
在步骤s601中,照相机mpu125判断后面所述的bp系数是否改变。在先前进行的bp校正值计算和当前的bp校正值计算中各种条件相同的情况下,为了省略bp系数的重新计算而进行该判断。在本实施例中,如果在与焦点检测和拍摄图像所用的颜色和评价方向有关的设置信息(图16a)以及与评价频带有关的信息(评价频带w1和w2)方面没有发生改变,则照相机mpu125判断为bp系数没有改变,并且使处理跳至步骤s605。
在步骤s601中,如果第一次计算出bp系数或者如果判断为bp系数已改变,则照相机mpu125使处理进入步骤s502,与第四实施例相同获得bp校正信息,并且使处理进入步骤s603。
在步骤s603中,如使用等式(14)和(16)所述,照相机mpu125针对六个类型的散焦mtf的峰信息进行与评价信号的颜色和对比度方向有关的加权。然而,不同于步骤s503,没有将焦点检测区域的位置信息代入等式(14)。因此,获得了mtf_p_rh(f,x,y)、mtf_p_rv(f,x,y)、mtf_p_gh(f,x,y)、mtf_p_gv(f,x,y)、mtf_p_bh(f,x,y)和mtf_p_bv(f,x,y)。
然后,照相机mpu125使用上述的bp校正信息来对步骤s500中所获得的构成设置信息的12个系数(图16a)进行加权。具体地,照相机mpu125使用等式(22)和(23)来计算焦点检测所用的空间频率特性mtf_p_af(f,x,y)和拍摄图像所用的空间频率特性mtf_p_img(f,x,y)。
mtf_p_af(f,x,y)=
k_af_rh×mtf_p_rh(f,x,y)
+k_af_rv×mtf_p_rv(f,x,y)
+k_af_gh×mtf_p_gh(f,x,y)
+k_af_gv×mtf_p_gv(f,x,y)
+k_af_bh×mtf_p_bh(f,x,y)
+k_af_bv×mtf_p_bv(f,x,y)(22)
mtf_p_img(f,x,y)=
k_img_rh×mtf_p_rh(f,x,y)
+k_img_rv×mtf_p_rv(f,x,y)
+k_img_gh×mtf_p_gh(f,x,y)
+k_img_gv×mtf_p_gv(f,x,y)
+k_img_bh×mtf_p_bh(f,x,y)
+k_img_bv×mtf_p_bv(f,x,y)(23)
此外,与等式(19)和(20)相同,照相机mpu125使用第一实施例的步骤s301和s302中所获得的评价频带w1和w2来对评价频带进行加权。如通过等式(24)和(25)所示,如此获得拍摄图像的对焦位置(p_img)和af所获得的对焦位置(p_af)作为以焦点检测区域的位置(x,y)作为变量的函数。
p_img(x,y)=mtf_p_img(f1,x,y)×w1(1)
+mtf_p_img(f2,x,y)×w1(2)
+mtf_p_img(f3,x,y)×w1(3)
+mtf_p_img(f4,x,y)×w1(4)(24)
p_af(x,y)=mtf_p_af(f1,x,y)×w2(1)
+mtf_p_af(f2,x,y)×w2(2)
+mtf_p_af(f3,x,y)×w2(3)
+mtf_p_af(f4,x,y)×w2(4)(25)
在步骤s604中,照相机mpu125将构成等式(24)和(25)的系数作为bp系数存储在镜头存储器118或ram125b中。
接着,在步骤s605中,照相机mpu125判断焦点检测区域的位置是否改变,在没有发生改变的情况下,使处理直接进入步骤s607,并且在发生改变的情况下,照相机mpu125在步骤s606中获得焦点检测区域的位置信息,之后使处理进入步骤s607。
在步骤s607中,照相机mpu125将要计算bp校正值的焦点检测区域中的位置(x1,y1)代入等式(24)和(25),并且根据以下的等式(26)来计算bp校正值(bp)。
bp=p_af(x1,y1)-p_img(x1,y1)(26)
利用该结构,可以进行适合用于计算与多个焦点检测区域的位置相对应的bp校正值的情况的计算量的减少。
可以根据情形来切换上述计算处理的内容。例如,如果在焦点检测中使用一个焦点检测区域,则可以如图15所示进行处理,并且如果使用多个焦点检测区域,则可以如图17所示进行处理。
利用上述结构,可以在考虑颜色和垂直/水平bp的空间频率的情况下计算bp校正值,并且可以更精确地进行校正。
第五实施例
接着,将说明本发明的第五实施例。本实施例与第四实施例的不同之处在于用于计算bp校正值的方法。在第四实施例中,基于从摄像光学系统所获得的bp校正信息的评价频带的范围等于af评价频带和拍摄图像评价频带的范围这一前提来计算bp校正值。然而,可考虑如下:随着图像传感器的像素间距变得更加精细,将评价频带的范围扩展至高频带侧。还可考虑如下:伴随着摄像光学系统的高精度化,使作为bp校正信息所保持的评价频带的范围扩展至高频带侧。
在本实施例中,为了精确地计算bp校正值,针对摄像设备和摄像光学系统各自设置界限频带信息,并且根据大小关系来切换校正值计算处理。通过使用界限频带信息来调整评价频带,可以精确地计算出bp校正值,而与新或旧的摄像设备和摄像光学系统的组合无关。
注意,摄像设备的框图(图2)、示出焦点检测方法的图(图3a~5)、示出焦点检测区域的图(图6)、示出评价频带的图(图11a~11f)和焦点检测处理(图14)在本实施例中是共通的,因而也将用于以下的说明。
现在将使用图18和19a~19c来说明本实施例中的用于计算bp校正值(bp)的方法。
在图18中,向进行与第四实施例中的焦点检测处理相同的处理的步骤赋予与图15中的附图标记相同的附图标记。本实施例的不同之处在于:该处理在bp校正值计算处理(s507)之前包括界限频带处理(s700)的步骤。在界限频带处理中,判断摄像设备的评价频带的高频侧的界限值(照相机界限频带)和摄像光学系统的评价频带的高频侧的界限值(镜头界限频带)的大小关系。根据该大小关系来切换针对等式(15)和(16)所示的mtf_p_aff和mtf_p_imgf的离散化处理。
以下将使用图19a来说明图18的步骤s700中所进行的界限频带处理的详情。
在步骤s701中,照相机mpu125获得界限频带信息。这里,照相机mpu125从rom125a获得照相机界限频带信息,并且从镜头存储器118获得镜头界限频带信息。基于主要由图像传感器的像素间距所确定的nyquist频率来设置照相机界限频带。另一方面,作为镜头界限频带,设置摄像光学系统的mtf的响应大于或等于阈值的频带的界限值或测量数据可靠的频带的界限值等。
接着,在步骤s702中,照相机mpu125比较照相机界限频带和镜头界限频带的大小。如果相比镜头界限频带、照相机界限频带较大(即,具有较高的界限频率),则照相机mpu125使处理进入步骤s703,并且如果照相机界限频带小于或等于镜头界限频带,则照相机mpu125结束界限频带处理。
在步骤s703中,照相机mpu125对峰系数进行处理。将使用图19b来说明峰系数的处理示例。图19b示出第四实施例的图16c所示的mtf_p_aff和mtf_p_imgf。这里假定镜头界限频带和照相机界限频带分别为f4和f6。nq是由图像传感器12的像素间距所确定的nyquist频率,并且将照相机界限频带设置得低于nq。
mtf_p_aff是根据bp校正信息以及焦点检测区域的位置及评价信号的颜色和评价方向的信息所计算出的。图19b的纵轴示出通过将离散空间频率f1~f4代入等式(17)所获得的散焦mtf达到峰(极大值)的调焦透镜位置(峰位置)lp4_af、lp5_af、lp6_af和lp7_af。
由于镜头界限频带为f4,因此针对高于f4的空间频率,无法确保通过等式(17)所计算出的峰位置的精度。由于该原因,在本实施例中,根据与f4以下的空间频率相对应的峰位置的信息来计算分别与空间频率f5和f6相对应的峰位置lp8_af和lp9_af。如图19b所示,可考虑简单地使用针对空间频率f4的峰值lp7_af作为与空间频率f5和f6相对应的峰位置lp8_af和lp9_af。在更精确的计算的情况下,可以通过使用与f4以下的空间频率相对应的多个峰位置(lp4_af、lp5_af、lp6_af、lp7_af)的信息进行外插计算来获得峰位置lp8_af和lp9_af。
同样,关于mtf_p_imgf,通过进行同样的处理来计算与空间频率f5和f6相对应的峰位置lp8_img和lp9_img。图19b示出还使用针对空间频率f4的峰值lp7_img作为与空间频率f5和f6相对应的峰位置lp8_img和lp9_img的示例。
在步骤s703中,作为峰系数,照相机mpu125将lp4_af~lp7_af、lp8_af和lp9_af作为mtf_p_af(n)(1≤n≤6)存储在镜头存储器118或ram125b中。同样,照相机mpu125将lp4_img~lp7_img、lp8_img和lp9_img作为mtf_p_img(n)(1≤n≤6)存储在镜头存储器118或ram125b中,并且结束界限频带处理。
照相机mpu125还使用作为照相机界限频带的空间频率f6以下的信息以与等式(19)~(21)相同的方式计算bp校正值,作为af评价频带和拍摄图像评价频带。
如上所述,如果在步骤s702中照相机界限频带小于或等于镜头界限频带,则在无需在步骤s703中进行用于对峰系数进行处理的处理的情况下而终止界限频带处理。现在将使用图19c来说明可以省略用于对峰系数进行处理的处理的原因。图19c针对与图19b的频带相同的频带,示出照相机界限频带小于或等于镜头界限频带的情况下的mtf_p_aff和mtf_p_imgf的示例。这里假定照相机界限频带和镜头界限频带分别为f4和f6。如上所述,将照相机界限频带设置得低于nyquist频率nq。
在省略用于对峰系数进行处理的处理的情况下,由于照相机界限频带小于或等于镜头界限频带,因此针对评价范围过剩地存在与摄像光学系统有关的峰位置的信息。另一方面,在小于或等于照相机界限频带的频带中,计算使用图11a~11f所述的af评价频带和拍摄图像评价频带。在本实施例中,如果照相机界限频带小于或等于镜头界限频带,则在无需使用与高于照相机界限频带的空间频率相对应的峰位置的信息的情况下计算bp校正值。由于将照相机界限频带设置得低于由图像传感器的像素间距所确定的nyquist频率nq,因此在利用像素的采样中,与大于或等于照相机界限频带的频带有关的信息丢失。由于该原因,即使进行了上述处理,也维持bp校正值计算的精度。
尽管本实施例说明了基于第四实施例的使用峰位置(散焦mtf达到峰的调焦透镜位置)的信息的情况,但摄像光学系统的像差的信息不限于此。例如,可以使用第一实施例所述的散焦mtf信息来计算可处理范围外的散焦mtf形状。
如上所述,在本实施例中,如果照相机界限频带高于镜头界限频带,则表示自动调焦和拍摄图像所用的空间频率特性的离散频率的数量根据照相机界限频带而增加。由于该原因,可以精确地计算出bp校正值,而与摄像设备和摄像光学系统的组合无关。
其它实施例
本发明的实施例还可以通过如下的方法来实现,即,通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置,该系统或装置的计算机或是中央处理单元(cpu)、微处理单元(mpu)读出并执行程序的方法。
尽管已经参考典型实施例说明了本发明,但是应该理解,本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释,以包含所有这类修改、等同结构和功能。