专利名称：摄像装置、半导体集成电路以及摄像方法
摄像装置、半导体集成电路以及摄像方法技术领域
本申请涉及能够拍摄利用了被摄物景深扩展技术的动态图像的摄像元件。
背景技术：
在摄像装置中，作为实现取景景深扩展(Extended Depth Of Field，以下称作 ED0F)，提出了各种各样的方法。例如，提出了一种在曝光时间内实施移动对焦透镜或者摄像元件的对焦扫过(focus sweep)动作,叠入在景深方向一律完成合焦的图像(即，意思是在各个景深将虚化均匀化)，通过用预先测定或者仿真得到的虚化图案来进行图像复原处理，从而获得EDOF图像的方法(非专利文献I)。该方法称作Flexible DOF (以下称作 F-D0F)。
F-D0F，公知作为获得良好的画质的方式，EDOF效果也较高。由于轴外特性也依赖于镜头特性本身，因此容易提高性能。但是，就算在曝光中变动对焦位置，也必须使同一被摄物在同一图像位置上被叠入，因此作为光学条件需要像侧远心透镜。
作为EDOF技术的利用领域之一，可例举显微镜。在借助显微镜进行摄像的情况下，拍摄对象是静态物体，因此能够花时间进行拍摄。因此，以往一直使用Focal Stack方式。该方式下，拍摄合焦位置不同的多幅图像，将分别认为合焦的区域从各个图像提取/合成，获得EDOF图像。由于这些工作需要费功夫以及花时间，因此提出了还并用F-DOF方式的技术(专利文献I 4)。将F-DOF用作显微镜用途的情况下，在曝光中使作为被摄物的样品或镜头镜筒移动。在将曝光后的图像复原处理作为前提的情况下，按照使像的虚化总为均匀的方式，使被摄物或镜头镜筒移动。公知通过适当控制移动方式，能够应用使用了单一的虚化图案的图像复原处理方法，因此较为合理(专利文献5)。为此，在使摄像元件移动的情况下，将摄像元件以等速度移动。另外，在使对焦透镜移动的情况下，需要进行与使摄像面以等速度移动相当的对焦透镜的变位(非专利文献I)。作为移动的方式，公知可从里侧合焦端位置往跟前侧合焦端位置或相反。
图12表示其一例。图12(a)以及(b)表示了对横轴取时间时的摄像元件的曝光状态以及摄像元件的读出状态，图12(c)表示对横轴取时间、对纵轴取对焦位置的情况下的对焦透镜的变位。图12(a)以及(b)中斜线部表示进行对摄像元件的曝光以及数据的读出定时。通过与将对焦位置从近侧合焦位置变位至远侧合焦位置的动作同步来对摄像元件进行曝光，能够将位于同一场景的各种位置上的被摄物，在同一图像位置上，在焦点对准状态下取得叠入图像。以下，将这种对焦位置的变位称作“扫过模式(swe印pattern)”，将所得到的图像称作“扫过图像”。在图12(d)中表示另一例。该例中，在摄像元件的曝光时间内，通过将对焦位置从近侧合焦位置到远侧合焦位置之间往返变位来获得扫过图像。对于这种扫过模式，若直线变位部分的对焦透镜的变位速度为等速，则由于各对焦位置下的曝光时间均匀，因此也能够得到与图12(c)说明的情况等同的扫过图像。
该技术能应用于普通的数码静态相机、数码摄像机。近年来，作为数码静态相机和数码摄像机，不断追求更为简单且失败较少的拍摄。作为EDOF技术，能够期待全焦点图像、即避免合焦失误的效果。由于画质好、能任意改变EDOF效果的大小和EDOF范围、通过应用普通的自动对焦机构就能实现(不用准备特别的光学系统)、容易切换EDOF拍摄和通常拍摄等等，在数码静态相机和数码摄像机中使用EDOF技术的情况下，认为也适宜使用F-DOF 方式。
在先技术文献
专利文献
专利文献I德国专利发明第2301800号说明书
专利文献2JP特公平5-27084号公报
专利文献3JP专利第3191928号公报
专利文献4美国专利第7711259号说明书
专利文献5JP专利第3084130号公报
非专利文献
非专利文献I H. Nagahara, S. Kuthirummal, C. Zhou andS. Nayar,，，Flexible Depth of Field Photography，，，European Conference onComputer Vision (ECCV), Oct. 16th, Morning Session 2 ComputationalPhotography(2008)
非专利文献2松井修平，长原一，谷口伦一郎，“基于对焦扫过摄像的DFD”，信息处理学会研究报告，2010-CVM-174 No，6，(2010)发明内容
-发明所要解决的技术问题_
在数码静态相机和数码摄像机中使用EDOF技术的情况下，优选在动态图像拍摄中也能进行EDOF拍摄。本申请提供一种能够拍摄品质高的EDOF动态图像的摄像装置、摄像装置中使用的集成电路以及摄像方法。
-用于解决课题的技术方案_
本发明的一个方式的摄像装置，包括摄像元件，其具有以二维状排列且构成摄像面的多个光电变换元件，该摄像元件使上述多个光电变换元件曝光，通过从上述多个光电变换元件读出电信号来生成图像信号；镜头光学系统，其向上述摄像元件聚光，并且包含对焦透镜；驱动部，其按照上述摄像元件与上述对焦透镜之间的距离发生变化的方式，驱动上述摄像元件或上述对焦透镜的一方；变位控制部，其构成为通过向上述驱动部输出指令，从而根据规定的变位模式，控制上述被驱动的上述摄像元件或上述对焦透镜的变位；以及同步部，其构成为根据上述摄像元件的曝光的定时，控制上述变位控制部，上述规定的变位模式包括在摄像场景中的第I被摄物距离下合焦的上述对焦透镜或上述摄像元件的第I合焦位置、和上述摄像场景中的第2被摄物距离下合焦的上述对焦透镜或上述摄像元件的第 2合焦位置之间的不同的范围内，上述摄像元件或上述对焦透镜进行变位的第I类变位模式以及第2类变位模式，上述第I类变位模式以及上述第2类变位模式交替地反复。
_发明的效果-
根据本申请公开的摄像装置，通过使对焦透镜或者摄像元件变位，从而在 Flexible DOF方式中交替地反复用于获得全焦点图像的扫过摄像和用于获得纵深信息的扫过摄像，从而能够进行兼顾全焦点图像的画质和纵深测量精度的拍摄。
图I是表示第I以及第3实施方式的摄像装置的方框结构图。
图2是表示第I以及第3实施方式的摄像装置的动作的流程图。
图3是进一步详细说明图2中的曝光/扫过步骤的流程图。
图4(a)是表示第I以及第2实施方式中的对焦透镜或摄像元件的变位模式的一例的图，(b)、(C)是表示变位模式的另一例的图。
图5是表示第2实施方式的摄像装置的方框结构图。
图6是表示第2的实施方式的摄像装置的动作的流程图。
图7 (a)是说明由CMOS图像传感器构成的摄像元件的滚动快门动作的图，(b)以及(C)分别是表示对焦透镜的变位模式的例子的图。
图8 (a)以及(b)表示使用由CMOS图像传感器构成的摄像元件来获得全扫图像以及半扫图像的情况下的对焦透镜的变位模式的一例。
图9(a)以及(b)是表示第3的实施方式中的对焦透镜或摄像元件的变位模式的一例的图。
图10(a)是表示第3实施方式中使用电子快门来限制曝光时间的情况下的摄像元件的曝光以及读出的定时的图，(b)是表示该情况下的对焦透镜的变位模式的图。
图11是表示第3实施方式中使用电子快门来限制曝光时间的情况下的对焦透镜或摄像元件的变位模式的一例的图。
图12(a)、(b)是表示摄像元件中的曝光的定时的图，(c)、(d)是表示与(a)、(b) 的曝光的定时对应地用于获得EDOF图像的、对焦透镜的变位模式的图。
图13是本申请发明者研究的摄像装置的方框结构图。
图14是表示被摄物、对焦透镜以及摄像元件的位置关系的图。
图15是表示图13所示的摄像装置中的对焦透镜的位置与曝光时间之间的关系的图。
图16是表示被摄物距离u与像面侧焦点距离V的关系的一例的图表。
图17是本申请发明者研究的另一摄像装置的方框结构图。
图18是表示基于F-DOF方式的对焦透镜的变位模式的图。
图19(a)到(C)是表示基于纵深测量方法的测量结果的图。
图20是表示图19(a)到(C)的结果的另一图。
图21 (a)以及(b)是表示用于获得全扫图像以及半扫图像的对焦透镜的变位模式的图。
具体实施方式
本申请的发明人，对在通常的拍摄中使用的、具有自动对焦机构等驱动对焦透镜的数码静态相机和数码摄像机中，适合用于获得EDOF动态图像的构造进行了仔细研究。
首先，用图13对实现F-DOF方式的拍摄所必需的结构进行说明。图13所示的摄像装置300，具备在曝光时间内使得对焦透镜改变位置的构造。摄像装置300包含包括对焦透镜101的镜头光学系统120、驱动对焦透镜101的对焦透镜驱动部103、以及摄像元件104。通过改变对焦透镜101的位置，从而改变与摄像元件104之间的距离，从而能够变更对焦距离。在认为对焦透镜101固定的情况下，对焦距离的改变与焦点位置的改变意思相同。
快门释放受理部113从用户受理曝光开始指令后，对焦透镜位置检测部115检测对焦透镜101当时的位置(初始位置)。检测出来之后，将对焦透镜101的位置变至规定的端部位置，例如最近端或者最远端。
图14是表示拍摄场景中包含的被摄物与摄像装置300内的对焦透镜101以及摄像元件104的位置关系的示意图。
所谓最近端是指按照使拍摄场景所包含的被摄物之中离摄像装置300最近的被摄物在摄像元件104的摄像面上形成像的方式，使对焦透镜101移动的情况下的对焦透镜 101的位置。此时，从摄像面上合焦的被摄物到摄像装置300的对焦透镜101的距离u为最短，对焦透镜101与摄像元件104之间的距离V为最长。
另外，所谓最远端是指按照拍摄场景所包含的被摄物之中离摄像装置300最远的被摄物在摄像元件104的摄像面上形成像的方式，使对焦透镜101移动的情况下的对焦透镜101的位置。此时，从摄像面上合焦的被摄物到摄像装置300的对焦透镜101的距离u 为最长，对焦透镜101与摄像元件之间的距离V为最短。另外，在图14中，为了便于图示， 相比被摄物与摄像装置300之间的距离，对焦透镜101的最近端与最远端的距离被放大表/Jn ο
对焦透镜101的初始化动作的同时，由曝光时间决定部114决定快门速度和光圈值等的拍摄参数。在这些动作结束后，迅速地由取得曝光、对焦透镜的变位的同步的曝光/ 对焦透镜变位同步部107，将曝光开始的指令输出到对焦透镜变位控制部106以及快门开闭指令部112。同时，根据由对焦透镜位置检测部102检测出的对焦透镜101的端位置，若端位置为最远端则按照从最远端往最近端的方式，若端位置为最近端则按照从最近端往最远端的方式，将在曝光时间内使对焦透镜101变位的指令输出到对焦透镜变位控制部106。
图15表示曝光时间以及曝光量与像面侧的焦点距离之间的关系。像面侧的焦点距离因对焦透镜101的位置而变化，按照对焦透镜的位置相对摄像元件面等速地变位的方式，根据对焦透镜变位控制部106的指令，由对焦透镜驱动部103驱动对焦透镜101。如上所述，在将被摄物与对焦透镜101之间的距离设为U，将对焦透镜101与摄像元件104之间的距离设为V，将焦点距离设为f时，一般来说根据镜头的公式，下式的关系成立。
Ι/f = l/u+1/v (式 I)
在镜头有多枚时,在镜头主点位置进行考虑。作为一例，将f为18[mm]时的u和 V的关系在图16中表示。通过对焦透镜101发生变位，镜头主点与摄像元件间的距离V发生变化。所谓“按照使对焦透镜的变位相对摄像元件面等速变化的方式驱动对焦透镜101” 是指使该V的变化速度为恒定。如图16所示，即使V按照等速度进行变位，被摄物侧的焦点面与镜头主点间的距离u也不可能按照等速度进行变位。另外，由于图16的横轴是像面侧焦点距离V，因此与被摄物距离u的大小为相反关系。也就是说，越是被摄物距离长(位置远)的被摄物，像面侧焦点距离V越短。
从曝光/对焦透镜变位同步部107接收到曝光开始指令后，快门开闭指令部112 立即进行控制，使快门111打开。另外，在过规定的曝光时间经后，曝光/对焦透镜变位同步部107，向快门开闭指令部112输出曝光结束指令。快门开闭指令部112接收曝光结束指令，立即进行控制，使快门111关闭。
通过上述步骤，被摄物的光学像在摄像元件104上成像后，成像后的光学像，通过摄像元件104被变换为电信号，经由读出电路108，图像信号被输出到图像处理部109。同时，由曝光/对焦透镜变位同步部107，将曝光结束以及进行了基于F-DOF的对焦透镜变位的拍摄，通知给图像处理部109。图像处理部109接收图像信号，进行必要的信号处理，并输出至记录部110。
图17所示的摄像装置400具有摄像元件104、摄像元件位置检测部202、曝光/ 摄像元件变位同步部207、摄像元件变位控制部206、以及摄像元件驱动部203，在曝光时间内使摄像元件变位。摄像元件位置检测部202，与摄像装置300不同，检测摄像元件104的位置。曝光/摄像元件变位同步部207取得曝光的定时与摄像元件104的变位的同步。摄像元件变位控制部206控制摄像元件104的变位。摄像元件驱动部203接收来自摄像元件变位控制部206的信号并驱动摄像元件104。
快门释放受理部113从用户处接收曝光开始指令后，摄像元件位置检测部202检测摄像元件104此时的位置(初始位置)。检测出来后，将摄像元件104的位置变位至规定的端位置、例如最近端或者最远端。在此，在规定的合焦范围之中，所谓最近端是指按照拍摄场景所包含的被摄物之中离摄像装置400最近的被摄物在摄像元件104的摄像面上形成像的方式，移动摄像元件104的情况下的摄像元件104的位置。此时，从被摄物到对焦透镜 101的距离u最短，对焦透镜101与摄像元件104之间的距离V最长。另外，所谓最远端是指按照拍摄场景所包含的被摄物之中离摄像装置400最远的被摄物在摄像元件104的摄像面上形成像的方式，移动摄像元件104的情况下的摄像元件104的位置。此时，从被摄物到对焦透镜101的距离u最长，对焦透镜101与摄像元件104之间的距离V最短。
在摄像元件104的初始化动作的同时，由曝光时间决定部114决定快门速度和光圈值等拍摄参数。这些动作结束之后，立即由取得曝光、摄像元件变位的同步的曝光/摄像元件变位同步部207将曝光开始的指令输出至摄像元件变位控制部206以及快门开闭指令部112。同时，根据由摄像元件位置检测部202检测出的摄像元件104的端位置，按照若端位置为最远端则从最远端往最近端、若端位置为最近端则从最近端往最远端的方式，将在曝光时间内使摄像元件104变位的指令输出至摄像元件变位控制部206。摄像元件104以等速进行变位。
从曝光/摄像元件变位同步部207接收曝光开始指令后，快门开闭指令部112立即进行控制，使快门111打开。另外，在经过规定的曝光时间后，曝光/摄像元件变位同步部207向快门开闭指令部112输出曝光结束指令。快门开闭指令部112接收曝光结束指令立即进行控制，使快门111关闭。
通过上述步骤，将被摄物的光学像在摄像元件104成像后，成像的光学像由摄像元件104变换为电信号，电信号经由读出电路108被输出至图像处理部109。同时，由曝光 /摄像元件变位同步部207将曝光结束以及进行了基于F-DOF的对焦透镜变位的拍摄通知给图像处理部109。除此以外的结构，与图13所示的摄像装置300进行同样的动作。
通过这样的结构，数码静态相机/数码摄像机中能够实现F-DOF方式的拍摄，但在拍摄动态图像的情况下，优选在构成动态图像的I格I格的图像之间不产生时间间隔，连续地进行拍摄。为此，动态图像拍摄中，如图18所示使对焦透镜的位置在最远端和最近端之间往返变位，对去程变位以及返程变位分别分配I视频帧期间，由此能够拍摄平顺的EDOF 动态图像。
如果除了如此获得的全焦点图像之外，还有拍摄场景的纵深信息、即表示拍摄场景所包含的多个被摄物的前后关系的纵深信息，则能够获得拍摄场景的三维信息。对拍摄场景的纵深测量技术提出了各种各样的方式。大致分类的话，有照射红外线或超声波、激光等，根据反射波返回为止的时间和反射波的角度等计算出距离的主动式方法；以及根据被摄物的像计算出距离的被动式方法。特别是，不必在照相机中设置照射红外线等的装置的被动式方法被广泛使用。
作为被动式方法，提出了很多种方法，其中就有根据对焦的变化产生的虚化来测量距离的、被称作D印th from Defocus (以下称作DFD)的方法。根据该方法，不需要多部照相机，根据少数的图像就能进行距离测量
作为实现DFD的方法，提出了利用前述的F-DOF的被称作半扫(halfsweep)的方式(非专利文献2)。该方式中，将F-DOF中的对焦扫过的范围在远侧合焦端位置(最远端) 和近侧合焦端位置(最近端)之间的中间合焦位置一分为二，用在各自的范围进行扫过得到的两幅图像来推测纵深。另外，能同时用这两幅图像生成全焦点图像。以下，为了进行区别，将扫过从远侧合焦端位置到近侧合焦端位置的整个区间的前述方式称作全扫(full sweep)
图19以及图20，表示通过非专利文献2所公开的DFD，推测纵深的结果的一例。图 19(a)、(b)、(c)的各图的左半部分，使用具有包含较多边缘的有利于纵深推测的素材的图像，右半部分为使用具有包含较少边缘的不利于纵深推测的素材的图像，来推测纵深即距摄像装置的距离。在这些图中，下端以及上端分别对应纵深的近侧以及远侧。另外，这些图中阴影的浓淡，表示推测出的距离的值，阴影越浓、表示推测出的距离越远。
图19(a)表示纵深的真值。也就是说，在正确推测纵深的情况下，越靠图的上方、 用越浓的阴影表示，越靠下方、用越稀的阴影表示。图19(b)表示用一般的DFD方式(全扫方式)获得的纵深推测结果，图19(c)表示用半扫方式获得的纵深推测结果。图19(b)以及 (c)中，有的地方阴影浓的部分位于上方以外。这表示推测的距离不正确。在比较图19(b) 以及(c)的情况下，特别是右半部分的素材较弱的图像中，如图19(c)所示，基于半扫方式的纵深的推测得到了更为出色的结果。
图20是将图19(b)以及(C)所示的结果数值化得到。横轴表示纵深，图19的上端与横轴的左端对应。纵轴表示分别表示与图18(a)所示的真值对应的、在图19(b)以及 (C)中的推测得到的各纵深的准确率。该准确率，是将素材的強弱(图像中的左半部分、右半部分)的区域归纳作为一个值进行数值化而得到。根据图20可知，以半扫方式得到的纵深的推测更为出色。
这样，在数码静态相机和数码摄像机采用EDOF的情况下，优选使用F-DOF方式。 另外，如上所述，动态图像拍摄之时，要求在I格I格之间不产生时间间隔地连续进行拍摄。 作为实现的方法，在动态图像拍摄中，如图21(a)所示，使对焦透镜的位置在最远端和最近端之间往返变位，通过分别对去程的变位以及返程的变位分配I视频帧期间，从而能够拍摄平顺的EDOF动态图像。另外，通过在近侧合焦位置和远侧合焦位置分别静止取得图像，由此基于DFD的纵深推测在动态图像下也能实现。
另一方面，在采用基于半扫的F-DOF方式的情况下，如图21(b)所示，在近侧合焦位置和远侧合焦位置之间的中间合焦位置将对焦透镜扫过的区域一分为二。具体的来说， 按照以近扫NS以及远扫FS表示的变位模式，使对焦透镜在最远端和最近端之间交替往返变位，从而同样能够连续进行基于全焦点图像的EDOF图像和纵深推测，能拍摄EDOF动态图
但是，在图21(b)所示的半扫方式下，用于获得全焦点图像 的变位模式、即从最远端到最近端的变位模式AS，由近扫NS的一部分以及远扫FS的一部分构成，变位模式AS跨两个视频帧。因此，是根据时间上错开的两幅图像生成全焦点图像。结果，在被摄物发生移动的情况下，会得到不自然的全焦点图像。具体的来说，由于近扫NS得到的图像中的被摄物位置、和由远扫FS得到的图像中的被摄物位置发生错位，可知存在的问题是会使全焦点图像的画质大幅劣化。
对此，通过图18所示的全扫方式得到全焦点图像的情况下，在对焦透镜最远端与最近端之间移动的期间取得一幅扫过图像。因此，因被摄物移动虽然会产生模糊，但由于是在连续时间内的模糊，是与一般的数码相机同样的现象，因此不易产生图像的不协调。也就是说，可以认为要获得全焦点图像，优选全扫方式。
这样，本申请发明人的详细研究结果是在数码静态相机和数码摄像机中，为了获得高品质的全焦点图像以及高精度推测拍摄场景的纵深信息，并获得EDOF动态图像，无论是以往的半扫方式还是全扫方式都存在问题。
本申请发明人鉴于这种问题，提出一种新的摄像装置。作为本发明的一个方式的摄像装置，具有摄像元件，其具有以二维状排列并构成摄像面的多个光电变换元件，该摄像元件使上述多个光电变换元件曝光，通过从上述多个光电变换元件读出电信号来生成图像信号；镜头光学系统，其向上述摄像元件聚光，并且包含对焦透镜；驱动部，其按照上述摄像元件与上述对焦透镜之间的距离发生变化的方式，驱动上述摄像元件或上述对焦透镜的一方；变位控制部，其构成为通过向上述驱动部输出指令，根据规定的变位模式，控制上述驱动的上述摄像元件或上述对焦透镜的变位；以及同步部，其构成为根据上述摄像元件的曝光的定时，控制上述变位控制部，上述规定的变位模式包括在摄像场景中的第I被摄物距离下合焦的上述对焦透镜或上述摄像元件的第I合焦位置、和上述摄像场景中的第2 被摄物距离下合焦的上述对焦透镜或上述摄像元件的第2合焦位置之间的不同的范围内， 上述摄像元件或上述对焦透镜进行变位的第I类变位模式以及第2类变位模式，上述第I 类变位模式以及上述第2类变位模式交替地复。
上述第I类变位模式的变位范围，包含上述第2类变位模式变位范围的至少一部分。
上述第I类变位模式的变位范围是上述第I合焦位置与上述第2合焦位置之间的整个区间。
上述第2类的变位模式包含上述第I合焦位置、与上述第I合焦位置以及上述第 2合焦位置的中间位置的整个区间为上述变位范围的第2F类变位模式；以及上述中间位置与上述第2合焦位置的整个区间为上述变位范围的第2N类变位模式，第I类变位模式夹在上述第2F类变位模式以及上述第2N类变位模式间。
上述第I类变位模式、上述第2F类变位模式以及上述第2N类变位模式，分别将整个变位范围至少一次往一个方向变位。
上述第I类变位模式和上述第2F类变位模式、以及上述第I类变位模式和上述第 2N类变位模式，分别连接在一起。
上述摄像装置，还具备曝光时间决定部，其根据上述摄像场景决定上述摄像元件的曝光时间；以及变位设定部，其根据上述第I合焦位置、上述第2合焦位置以及上述曝光时间，决定上述变位模式。
上述摄像装置，还具备位置检测部，其检测上述驱动的上述摄像元件或上述对焦透镜的位置，上述变位控制部根据上述位置检测部的输出以及上述变位模式，对上述驱动部指示驱动量。
上述摄像装置，还具备读出电路，其从上述摄像元件读出上述图像信号，上述同步部根据上述摄像元件的曝光的定时，控制上述变位控制部以及上述读出电路。
根据上述第I类变位模式，基于上述驱动的上述摄像元件或上述对焦透镜进行变位的期间内得到的图像信号，生成全焦点图像。
根据上述第2类变位模式，基于上述驱动的上述摄像元件或上述对焦透镜进行变位的期间内得到的图像信号，生成纵深信息。
上述摄像元件，是CXD图像传感器。
上述摄像元件，是CMOS图像传感器
上述第I类变位模式、上述第2F类变位模式以及上述第2N类变位模式，分别至少在整个变位范围内整数次。
作为本发明的一个方式的集成电路，是摄像装置的集成电路，该摄像装置具有摄像元件，其具有以二维状排列且构成摄像面的多个光电变换元件，该摄像元件使上述多个光电变换元件曝光，通过从上述多个光电变换元件读出电信号，来生成图像信号；镜头光学系统，其向上述摄像元件聚光，并且包含对焦透镜；以及驱动部，其按照上述摄像元件与上述对焦透镜之间的距离发生变化的方式，驱动上述摄像元件或上述对焦透镜的一方，上述集成电路具备变位控制部，其构成为通过向上述驱动部输出指令，从而根据规定的变位模式控制上述驱动的上述摄像元件或上述对焦透镜的变位；以及同步部，其构成为根据上述摄像元件的曝光的定时，控制上述变位控制部。上述规定的变位模式包括在摄像场景中的第I被摄物距离下合焦的、上述对焦透镜或上述摄像元件的第I合焦位置，和上述摄像场景中的第2被摄物距离下合焦的、上述对焦透镜或上述摄像元件的第2合焦位置之间的不同的范围中，上述摄像元件或上述对焦透镜进行变位的第I类变位模式以及第2类变位模式， 上述第I类变位模式以及上述第2类变位模式交替地反复。
作为本发明的一个方式的摄像方法，是通过用对焦透镜在摄像元件上汇聚光而使摄像场景成像的摄像方法，其中该摄像元件具有被排列成二维状且构成摄像面的多个光电变换元件，通过使上述多个光电变换元件曝光，并从上述多个光电变换元件读出电信号来生成图像信号，在第I类变位模式以及第2类变位模式下，一边使上述对焦透镜或上述摄像元件变位一边使上述多个光电变换元件曝光，其中第I类变位模式以及第2类变位模式是在摄像场景中的第I被摄物距离下合焦的上述对焦透镜或上述摄像元件的第I合焦位置、 和上述摄像场景中的第2被摄物距离下合焦的上述对焦透镜或上述摄像元件的第2合焦位置之间的不同的范围内，使上述摄像元件或上述对焦透镜进行变位的模式。
以下，参照附图，对本发明的摄像装置、集成电路以及摄像方法的实施方式进行详细说明。以下说明中，有时对相同的构成要素赋予相同的符号，并省略说明。
(第I实施方式)
以下，参照附图，对本发明的摄像装置、集成电路以及摄像方法的第I实施方式进行说明。
图I是表示本实施方式的摄像装置100的方框结构图。摄像装置100，具有对焦透镜驱动部103、摄像元件104、对焦透镜变位控制部106、曝光/对焦透镜变位同步部107、 以及镜头光学系统120。
摄像元件104，在本实施方式中是CCD图像传感器，具有被排列成二维状且构成摄像面的多个光电变换兀件。使光入射到多个光电变换兀件并曝光之后，通过从多个光电变换元件读出电信号，生成图像信号。
镜头光学系统120，向摄像元件104聚光，包含使摄像场景成像在摄像元件104的对焦透镜101。为了对摄像场景中的所期望的被摄物进行合焦，镜头光学系统120，也可在对焦透镜101以外包含其他I枚以上的透镜。对焦透镜101也可由多枚透镜构成。在对焦透镜101由多个透镜构成的情况下，所谓对焦透镜的位置，是指由多个透镜形成的主点的位置。
本实施方式中，对焦透镜驱动部103，作为按照摄像元件104与对焦透镜101之间的距离发生变化的方式对摄像元件104或对焦透镜101的其中一方进行驱动的驱动部发挥作用。也就是说，对焦透镜驱动部103，根据驱动信号，按照摄像元件104与对焦透镜101之间的距离发生变化的方式，驱动对焦透镜101。
对焦透镜变位控制部106，如以下说明的那样，构成为通过向对焦透镜驱动部103 输出指令，并根据规定的变位模式，来控制对焦透镜101的变位。
曝光/对焦透镜变位同步部107，构成为根据摄像元件104的曝光的定时，控制对焦透镜变位控制部106。
摄像装置100还包括对焦透镜位置检测部102、对焦透镜变位设定部105、读出电路108、图像处理部109、记录部110、快门111、快门开闭指令部112、快门释放受理部113、 和曝光时间决定部114。
对焦透镜位置检测部102包含位置传感器，检测对焦透镜101的位置，将检测信号输出给对焦透镜变位控制部106。对焦透镜变位设定部105设定对焦透镜101的变位模式， 作为目标对焦透镜的位置。由此，对焦透镜变位控制部106，根据目标对焦透镜的位置与由对焦透镜位置检测部102检测出的对焦透镜101的当前位置之差，计算驱动信号后输出给对焦透镜驱动部103。
快门释放受理部113中，受理来自用户的曝光开始指令后，由曝光时间决定部114 决定摄像元件104的曝光时间。另外，对曝光/对焦透镜变位同步部107以及对焦透镜变位设定部105输出与曝光时间有关的信息。
曝光/对焦透镜变位同步部107，按照根据与曝光时间有关的信息进行以同步的定时曝光、对焦透镜101的驱动以及对来自摄像元件104的电信号的读出的方式，对快门开闭指令部112、对焦透镜变位控制部106以及读出电路108输出指令。具体来说，对快门开闭指令部112指令曝光的定时以及曝光时间。另外，向对焦透镜变位控制部106指令用于驱动对焦透镜101的定时以及驱动时间。
快门111，根据来自快门开闭指令部112的指令进行开闭动作。快门111为开放状态时，摄像兀件104被由对焦透镜101聚光的光曝光,曝光后的光被转换为电信号并输出。
读出电路108，通过向摄像元件104输出读出信号来读出电信号，将读出的电信号输出给图像处理部109。
图像处理部109，对输入的电信号进行各种修正等，逐帧构建构成I视频帧的拍摄场景的图像的图像信号，并输出至记录部110。另外，以下，可如说明的那样，求出拍摄场景的二维信息。
由此，摄像装置100能一边驱动对焦透镜101来改变对焦透镜的位置，一边使摄像元件104曝光，并获得扫过图像。
摄像装置100的上述构成要素之中，对焦透镜位置检测部102、对焦透镜驱动部 103、摄像元件104、图像处理部109、快门释放受理部113、和记录部110，可由公知的硬件来构成。另外，对焦透镜变位设定部105、对焦透镜变位控制部106、曝光/对焦透镜变位同步部107、读出电路108、图像处理部109、记录部110、快门开闭指令部112、以及曝光时间决定部114的各个构成要素的一部分或全部，也可由CPU等信息处理电路以及存储器等存储部中存储的软件来构成。这种情况下，信息处理电路，从存储器中读出规定以下说明的摄像方法的步骤的软件，通过执行摄像方法的步骤，来控制摄像装置100的各构成要素。这些信息处理电路以及存储器中存储的软件实现的构成要素的一部分，可由专用的集成电路来构成。例如，对焦透镜变位设定部105、对焦透镜变位控制部106、曝光/对焦透镜变位同步部 107以及快门开闭指令部112，可由集成电路构成。
接下来，参照图I、图2、图3以及图4，对本实施方式的摄像方法，特别是对用于获得扫过图像的对焦透镜的位置与摄像元件104的曝光以及信号读出的定时进行说明。
图2是表示本实施方式的摄像方法的流程图。首先，受理用户做出的快门释放动作(SlOl)，由曝光时间决定部114根据快门速度和光圈值等拍摄参数决定曝光时间参数 (S102)。曝光时间参数被输出至对焦透镜变位设定部105以及曝光/对焦透镜变位同步部 107。
接着，根据决定的曝光时间参数，对焦透镜变位设定部105生成对焦透镜的位置的变位模式(S103)。变位模式，在以下详细说明。
对焦透镜的位置的变位模式决定后，曝光/对焦透镜变位同步部107，按照根据摄像元件104的曝光的定时使对焦透镜变位设定部105以及读出电路108进行动作的方式， 向快门开闭指令部112、对焦透镜变位设定部105以及读出电路108输出指令。由此，快门开闭指令部112将快门111开放(S104)，开始摄像元件104的曝光，与曝光的开始同步，根据对焦透镜变位控制部106的指令，由对焦透镜驱动部103使对焦透镜101变位(S105)。 在此所谓同步包含同时的情况以及间隔规定的遅延时间的情况。另外，在与对焦透镜101 的变位同步的规定的定时，从摄像元件104将构成拍摄场景的图像的电信号输入至读出电路 108。
拍摄完成后，通过快门111关闭(S106)，停止对焦位置变位(S107)来完成拍摄。 在动态图像拍摄的情况下，直到输入来自用户的录像停止处理指令为止，可持续曝光/扫14过动作。这样，能够连续获得扫过图像，进行动态图像拍摄。
接下来，参照图3以及图4(a)详细说明曝光/扫过动作。
图3是表示拍摄时的扫过动作的流程的流程图。另外，图4(a)，是表示将对焦透镜的位置在最远端和最近端之间变位时的对焦透镜的位置变化、也就是扫过模式(变位模式)的图。横轴表示时间，纵轴表示对焦透镜的位置(与摄像元件的距离)。图4(a)中，实线表示全扫的变位模式(第I类变位模式)，双线以及虚线表示半扫的变位模式(第2类变位模式)。更为具体来说，双线表示近扫的变位模式(第2N类变位模式)，虚线表示远扫的变位模式(第2F类变位模式)
近扫的变位模式，将最近端与最近端以及最远端的中间位置之间的整个区间作为变位范围，远扫的变位模式将最远端与中间位置之间的整个区间作为变位范围。因此，近扫的变位模式以及远扫的变位模式的变位范围，与全扫的变位模式的变位范围不同，另外，是全扫的变位模式的变位范围的一部分。再有，近扫的变位模式的变位范围与远扫的变位模式的变位范围，彼此没有重叠是互斥的。另外，中间位置，也不一定是最近端与最远端的正中间。
如图4(a)所示，全扫的变位模式、近扫的变位模式以及远扫的变位模式，分别与摄像元件104取得I个图像所需要的期间、即I视频帧期间一致。另外，分别在各自的整个变位范围至少一次在一个方向上变位。
根据图4(a)可知，全扫的变位模式以及近扫的变位模式，以及全扫的变位模式以及远扫的变位模式分别相连。因此，对焦透镜101的变位，在从全扫切换到半扫时，不需要使对焦透镜101的位置跳跃，能够使对焦透镜101平顺地移动。
如上所述，所谓最远端以及最近端指的是，包含位于离摄像装置各种距离的被摄物的摄像场景中，按照使位于规定距离范围内的各种被摄物在摄像元件104的摄像面焦点一致的方式使对焦透镜101移动时，离摄像装置最近的被摄物成像的情况下以及离摄像装置最远的被摄物成像的情况下的对焦透镜101的位置。在最远端(第I合焦位置)成像的被摄物在规定的距离范围内位置离摄像装置距离最远(第I被摄物距离)，在最近端(第 2合焦位置)成像的被摄物在规定的距离范围内位置离摄像装置距离最近(第2被摄物距离)
如图3以及图4(a)所示，首先对焦透镜驱动部103，根据对焦透镜变位控制部106 的指令，使对焦透镜101往作为初始位置的最远端移动(SI)。接着，从最远端起按照远扫的变位模式，按照在最远端与中间位置之间，从最远端向着中间位置，并再次返回最远端的方式，使对焦透镜101的位置变位(S2)。也就是说，使对焦透镜101按照远扫的变位模式进行半扫。
接着按照全扫的变位模式,按照对焦透镜101从最远端向着最近端变位的方式, 进行全扫(S3)。之后，按照近扫的变位模式，按照从最近端向着中间位置并再次返回最近端的方式，使对焦透镜101的位置变位。也就是说，再次进行半扫(S4)。之后，再度按照全扫的变位模式，按照对焦透镜101从最远端向着最近端变位的方式,进行全扫(S5)。由此 (S2-S5)，完成本实施方式中的对焦透镜的扫过动作的一个周期。在拍摄动态图像的情况下，只要重复该动作即可。
确认由用户做出的表示拍摄完成的输入(S6)，在指示拍摄完成的情况下，结束扫过动作。
接着，对根据得到的各扫过图像求出三维信息的方法进行说明。例如，图像处理部 109，可构成为求出拍摄场景的三维信息。首先能对全扫，即、一边以全扫的变位模式使对焦透镜101移动一边进行曝光而得到的(S3)图像的电信号，用非专利文献I等公开的图像处理方法得到全焦点图像。另外，能对其前后的半扫，即在远扫的变位模式以及近扫的变位模式下一边使对焦透镜101移动一边曝光而得到的(S2，S4)图像的电信号，用非专利文献2 等公开的图像处理方法，得到拍摄场景的纵深信息。
通过使用该全焦点图像和纵深信息，能够得到拍摄场景中的三维信息。也就是说， 根据一幅全扫图像、以及在其前后的定时拍摄的远扫图像以及近扫图像的总计三幅图像， 能够得到一个场景中的三维信息。例如，能够重构对位于拍摄场景的最远端和最近端之间的任意的被摄物合焦的图像。根据本实施方式，在纵深的推测中使用基于半扫的图像。如上所述，由于基于半扫得到的图像的纵深推测，精度比基于全扫图像的纵深推测更高，因此本实施方式得到的三维信息的精度较高。
另外，根据本实施方式，全扫的变位模式被夹在远扫的变位模式以及近扫的变位模式之间。具体来说，步骤S3的全扫的变位模式被夹在步骤S2的远扫的变位模式以及步骤S4的近扫的变位模式之间。步骤S5的全扫的变位模式被夹在步骤S4的近扫的变位模式以及步骤S2的远扫的变位模式之间。这样，无论哪个全扫的变位模式都被2个半扫的变位模式夹在中间，在获得各全焦点图像的拍摄的前后进行获得半扫的图像的拍摄，能够连续取得全焦点图像和近扫图像以及远扫图像。因此，如上所述，能够获得拍摄场景的三维信息。根据图4(a)可知，本实施方式中使用的变位模式，将4个视频帧作为一个周期，但全焦点图像以及上述的三维信息，以2个视频帧周期取得。因此，根据本实施方式，能够得到平顺的EDOF动态图像。例如，例如，若使用能以30fps摄像的摄像元件，则能够获得15fps的三维动态图像。若使用能进行更高速的摄像的摄像元件，则能够实现更为平顺的(高帧率) EDOF动态图像。
另外，根据本实施方式，由于使用与I视频帧的期间长度一致的全扫的变位模式来获得全焦点图像，因此全焦点图像整体被在时间上一致的定时获取，能够得到自然的全焦点图像。由此，根据本实施方式，能够获得高品質且没有不协调感、并且平顺的EDOF动态图像。
另外，在本实施方式中，虽然将对焦透镜的初始位置设定为最远端，但初始位置也可以是最近端。另外，本实施方式的摄像装置100中，在进行静止图像拍摄的情况下，只要有连续的全焦点图像和近扫图像以及远扫图像即可。因此，本实施方式中使用的变位模式， 也可不包含步骤S5的变位模式。
另外，三维信息，可由图像处理部109以外的信号处理部，例如摄像装置100的外部计算机或信号处理部来实施。
图4(b)表示实现三维动态图像拍摄的另一扫过模式的例子。各变位模式的顺序， 与参照图4(a)说明的例子相同，但各变位模式的开始位置为中间位置这一点，与参照图 4(a)说明的例子不同。另外，全扫的变位模式中，对焦透镜101按照从中间位置向最近端， 之后移动到最远端，再返回中间位置的方式进行变位。根据本例，在拍摄开始时使对焦透镜 101移动到初始位置的时间，一般较短，能够更快地开始拍摄。
图4(c)表示实现三维静止图像拍摄的另一扫过模式的例子。各变位模式的顺序， 与参照图4(a)说明的例子相同，但各变位模式全部往一个方向变位这一点，与参照图4(a) 说明的例子不同。根据该例，由于各变位模式不包含往返变位，因此对焦透镜101的变位距离较短，能够降低摄像装置100的耗电量。该扫过模式，适合用于静止图像拍摄这样不需要连续拍摄的情况。不过，也可将本例的变位模式用于动态图像拍摄。根据本例，全焦点图像以及三维信息在3个视频帧周期获得，相较参照图4(a)以及(b)表示的例子，仅仅是速率稍稍下降。因此，以本例的变位模式使对焦透镜变位的摄像装置，适合用于例如监视照相机等动态图像的平顺度不太重要的用途，作为低耗电量的摄像装置使用。
(第2实施方式)
参照图5以及图6，对本发明的摄像装置、集成电路以及摄像方法的第2实施方式进行说明。
图5是表示本实施方式的摄像装置200的方框结构图。对与第I实施方式的摄像装置100相同的构成要素附以相同的参照符号。摄像装置200，通过使摄像元件104的位置移动，来改变与镜头光学系统120的对焦透镜101的距离，在这一点与摄像装置100不同。
为此，摄像装置200具有摄像元件位置检测部202、摄像元件驱动部203、摄像元件变位设定部205、摄像元件变位控制部206以及曝光/摄像元件变位同步部207。
摄像元件位置检测部202包含位置传感器，检测摄像元件104的位置，将检测信号输出给摄像元件变位控制部206。摄像元件变位设定部205设定摄像元件104的变位模式， 作为目标摄像元件的位置。由此，摄像元件变位控制部206，根据目标摄像元件位置、与由摄像元件位置检测部202检测出的摄像元件104的当前位置之差，计算驱动信号并输出给摄像元件驱动部203。
快门释放受理部113中，受理来自用户的曝光开始指令后，由曝光时间决定部114 决定摄像元件104的曝光时间。另外，对曝光/摄像元件变位同步部207输出与曝光时间有关的彳目息。
曝光/摄像元件变位同步部207，根据与曝光时间有关的信息，按照已同步的定时进行曝光、摄像元件104的驱动以及对来自摄像元件104的电信号的读出的方式，对快门开闭指令部112、摄像元件变位控制部206以及读出电路108输出指令。具体来说，对快门开闭指令部112指令曝光的定时以及曝光时间。另外，对摄像元件变位控制部206指令用于驱动摄像元件104的定时以及驱动时间。由此，摄像装置200,能够一边驱动摄像元件104 来改变摄像元件的位置一边使摄像元件104曝光，获得扫过图像。
图6是表示本实施方式的摄像方法的流程图。若除去为了改变摄像元件与对焦透镜之间的距离而使摄像元件变位，其余的与用图2说明的第I实施方式中的摄像方法相同。
摄像元件的变位模式，与在第I实施方式中说明的作为对焦透镜的位置的变位模式的图4(a)、(b)、(c)相同。
这样，作为驱动摄像元件，并改变摄像元件的位置的结构，也能与第I实施方式同样获得EDOF动态图像。
(第3实施方式)
第I以及第2实施方式的摄像装置，作为摄像元件，使用了 CXD图像传感器。CXD 图像传感器，由于能实现能够同时读出全部像素的全局快门动作，因此在第I以及第2实施方式的摄像装置中的对焦透镜的变位模式也适合使用CCD图像传感器。本实施方式中，对作为摄像元件使用CMOS图像传感器的摄像装置、集成电路以及摄像方法进行说明。
由CMOS图像传感器构成的摄像元件，适于高速读出多个像素，例如能够实现将 FullHD(1920X 1080)尺寸的图像每秒读出60帧的摄像元件。
在将由CMOS图像传感器构成的摄像元件曝光得到的电荷连续读出的情况下，使用被称作滚动快门的电子快门控制方式，即以行等的部分单位对二维排列的像素集合依次扫描来从各像素读出电荷。
图7(a)表示在这种摄像元件中从像素集合读出电荷的定时。横轴表示时间，纵轴表示摄像元件的读出行的位置。摄像元件由N行的多个像素行构成。如图7(a)所示，从摄像元件的第一行起依次扫描来从各像素读出电荷，紧接着开始蓄积电荷，在经过规定时间后再次进行扫描来从各像素读出电荷，从而获得图像信号。在第N行的扫描结束之后，从前头再次重复扫描，由此能得到连续的动态图像。根据图7(a)可知，在以滚动快门进行拍摄的情况下，在摄像元件面内的摄像定时产生错位，最初行与最末行最大会产生I视频帧期间的错位。
在由F-DOF方式取得图像的情况下，需要使对焦状态从规定的合焦范围的最远端变位至最近端，来使摄像元件面内的全部的像素均匀曝光。图7(b)与图7(a)的横轴对应， 表示通过滚动快门在I视频帧期间内使对焦透镜从最远端到最近端实施扫过动作的情况下的变位模式。在图7(a)表示的定时下对摄像元件进行曝光的情况下，在第I读出行的曝光的期间，对焦透镜在从最远端到最近端的整个范围移动。但是，在第N行的曝光的期间， 对焦透镜仅位于最近端。在它们之间的行的曝光的期间，对焦透镜仅在从最远端到最近端的范围的一部分进行变位。因此，即使以图7(b)所示的变位模式使对焦透镜变位，也不能得到正确的扫过图像
图7 (C)表不适于由CMOS图像传感器构成的摄像兀件的变位模式的一例。图7 (C) 表示的变位模式，在I视频帧期间，从最远端开始变位，在到达最近端之后，返回最远端，也就是说在I视频帧期间在最远端到最近端进行I次往返变位。本例中，虽然由于曝光时间与 I视频帧期间一致，因此变位模式的往返动作与I视频帧期间一致，但往返动作只要与曝光时间同步即可。也就是说，只要进行曝光时间的2以上的整数倍的往返动作即可。图7(c) 表示的变位模式下，通过2视频帧的期间，变位模式持续，也就是说扫过动作为2个往返，从而能使摄像元件面内的全部的像素均匀曝光。
图8 (a)以及(b)表示使用由CMOS图像传感器构成的摄像元件来获得全扫图像以及半扫图像的情况下的对焦透镜的变位模式的一例。如图8(a)所示，为了获得I个扫过图像的对焦透镜的扫过，可以是两个往返。但是，为了进行DFD，优选使对焦位置从最远端移动到最近端。因此，虽然不进行曝光(拍摄)，但仍使对焦透镜从最远端移动到最近端。通过往返动作，对焦透镜会返回到开始位置。
如图21(b)所示，在获得半扫图像的情况下，基于近扫的变位模式以及基于远扫的变位模式的开始位置，都是上述的中间位置。因此，就算进行往返动作，也不需要在不进行拍摄的情况下移动对焦透镜。
接下来，对使用由CMOS图像传感器构成的摄像元件的摄像装置、集成电路以及摄像方法的实施方式进行说明。
本实施方式的摄像装置，相对于第I实施方式的摄像装置，除了摄像元件104为 CMOS图像传感器以外，装置的结构以及摄像方法相同。因此，着重说明区别点。
图9(a)以及(b)表示本实施方式的摄像装置中使用的对焦透镜的变位模式的示例，图9 (a)、(b)对应第I实施方式的图4 (a)、(b)。
如图9(a)所示，本实施方式的摄像装置中使用的对焦透镜的变位模式中，在步骤 S2至步骤S5的每个步骤之中，为了进行摄像，花费2视频帧进行总计2个往返扫过，在步骤 S3以及步骤S5中进行为了使对焦透镜位置移动的单程移动。由于以视频帧为单位进行图像的曝光/读出，故对焦位置在近端或最近端中暂时停止。因此，步骤S3以及步骤S5中的全扫图像的拍摄，需要总计3视频帧的期间。
在步骤S2以及步骤S4中，拍摄基于两个往返扫过的半扫图像，所需要的时间为2 视频帧期间。其中,通过匹配全扫图像的拍摄时间来设定I视频帧期间的等待时间，能够将各扫过图像的拍摄间隔设定为等间隔。在想要缩短图像的拍摄间隔的情况下，可以省略该等待时间。该情况下，从步骤S2到步骤S3、和从步骤S3到步骤S4的时间间隔并不相同。
这样，连续重复用于获得全焦点图像的全扫动作、和用于求出纵深信息的半扫动作，在半扫动作中，逐次交替重复近扫动作和远扫动作，从而能够进行三维动态图像拍摄。 因此，即使是具备由CMOS图像传感器构成的摄像元件的摄像装置，也能与第I实施方式同样，获得品质良好、没有不协调感、并且平顺的EDOF动态图像。
图9 (b)是用CMOS型摄像元件实现三维动态图像拍摄的另一个扫过模式的示例。 各扫过图像的拍摄顺序，与参照图9(a)说明的变位模式相同，但各扫过动作的开始位置为中间位置这一点、以及全扫动作是以中间位置为起点的、在最近端和最远端之间的往返扫过这一点，与图9(a)说明的变位模式不同。
通过使用这种变位模式，在拍摄开始时使对焦透镜101移动到初始位置为止所花费的时间一般较短。另外，图9(a)所示的变位模式，由于不包含之前包含的用于使对焦透镜位置移动的单程移动的变位，因此能够缩短拍摄全焦点图像的间隔。这对于动态图像的帧率提高也有效果。具体来说，相比使用图9(a)所示的变位模式的情况，能将帧率提高至 I. 5 倍。
在使用图9(b)所示的变位模式的情况下，全焦点图像在4个视频帧拍摄I次。因此，若使用由可以例如60fps进行摄像的CMOS图像传感器构成的摄像元件，则能够得到 15fps的三维动态图像。若组合能够进行高速读出的摄像元件，能够更好地发挥效果。
另外，在户外进行拍摄等的情况下，为了限制入射至摄像元件的光量，有时使用电子快门来控制曝光时间。这种情况下，优选与曝光时间的变化相应来适当切换扫过模式。图 10(a)表示进行这种曝光的摄像元件的读出行的定时。图10(a)中，横轴表示时间，纵轴表示摄像元件的读出行的位置。图10(b)表示这种情况下的对焦透镜的变位模式。
由于用电子快门曝光时间变短，因此变位模式的往返周期配合曝光时间也变短。 但是，由于读出时间没有改变，因此从曝光开始到读出完成的期间，变位模式所包含的使对焦透镜在最近端和最远端之间往返变位的次数多于2次。
如图10(a)、(b)所示，在读出完成时对焦位置变位最近端的情况下，曝光开始时的对焦透镜为最近端和最远端的大致中间的位置。该对焦透镜的初始位置，与可以由电子快门改变的曝光时间相应变化。另外，在非曝光状态下，对焦透镜的位置是任意的。如图10(b)所示的例子中，对焦透镜的初始位置为最近端(图10(b)的虚线部分)。
图11表示使用电子快门得到与图9(b)所示的变位模式等同的扫过图像的变位模式的一例。各扫过图像的拍摄顺序，与图9(b)的变位模式相同，但因电子快门曝光时间变短。因此，各变位模式中的往返变位的周期变短。由于从各变位模式的初始位置到曝光开始为止的期间内，并不进行曝光，因此对焦透镜可以在任意的位置。在图11所示的示例中， 考虑到与前后的偏波区(polarization turn)的连续性，变位模式的初始位置分别为最近端或者最远端。通过如此，能够在控制曝光时间的同时，获得与图9(b)所说明的扫过模式等同的性能。
另外，上述第I实施方式中，参照图4(c)对适于静止图像拍摄的对焦透镜的变位模式进行了说明。在本实施方式的摄像装置中的对焦透镜的变位模式，如上所述，优选包含往返变位。因此，难以将图4(c)所对应的变位模式应用于本实施方式。在本实施方式中， 要获得静止图像的情况下，只要在图9或图11所说明的变位模式之中、用于获得连续的三个扫过图像的变位模式下拍摄静止图像即可。
另外，如第2实施方式所说明的那样，本实施方式中，代替对焦透镜而将摄像元件的位置按照图9或图11所示的变位模式变位，也能获得上述这种效果。
这样，即使在使用由进行滚动快门动作的CMOS图像传感器构成的摄像元件的情况下，也能通过连续重复用于获取全焦点图像的全扫动作和用于求出纵深信息的半扫动作，使该半扫动作逐次交替重复近扫动作和远扫动作，各个扫过动作在规定的扫过范围往返两次，来进行三维动态图像拍摄。
-工业可用性-
根据申请所公开的摄像装置、集成电路以及摄像方法，能够通过改善扫过方法来交替连续高速地获得全焦点图像和纵深信息。本申请所公开的摄像装置、集成电路以及摄像方法，适用于例如民用或者商用的数码静态相机、数字摄影机等的摄像装置。
-符号说明_
100,200,300,400 摄像装置
101对焦透镜
102对焦透镜位置检测部
103对焦透镜
104摄像元件
105对焦透镜变位设定部
106对焦透镜变位控制部
107曝光/对焦透镜变位同步部
108读出电路
109图像处理部
110记录部
111快门
112快门开闭指示部
113快门释放(release)受理部
114曝光时间决定部
115对焦透镜位置检测部120 镜头202摄像元件位置检测部203摄像元件驱动部205摄像元件变位设定部206摄像元件变位控制部207曝光/摄像元件变位同步部
权利要求
1.一种摄像装置，包括摄像元件，其具有以二维状排列且构成摄像面的多个光电变换元件，该摄像元件使上述多个光电变换元件曝光，通过从上述多个光电变换元件读出电信号来生成图像信号；镜头光学系统，其向上述摄像元件聚光，并且包含对焦透镜；驱动部，其按照上述摄像元件与上述对焦透镜之间的距离发生变化的方式，驱动上述摄像元件或上述对焦透镜的一方；变位控制部，其构成为通过向上述驱动部输出指令，从而根据规定的变位模式，控制上述被驱动的上述摄像元件或上述对焦透镜的变位；以及同步部，其构成为根据上述摄像元件的曝光的定时，控制上述变位控制部，上述规定的变位模式包括在摄像场景中的第I被摄物距离下合焦的上述对焦透镜或上述摄像元件的第I合焦位置、和上述摄像场景中的第2被摄物距离下合焦的上述对焦透镜或上述摄像元件的第2合焦位置之间的不同的范围内，上述摄像元件或上述对焦透镜进行变位的第I类变位模式以及第2类变位模式，上述第I类变位模式以及上述第2类变位模式交替地反复。
2.根据权利要求I所述的摄像装置，其特征在于，上述第I类变位模式的变位范围包含上述第2类变位模式的变位范围的至少一部分。
3.根据权利要求2所述的摄像装置，其特征在于，上述第I类变位模式的变位范围是上述第I合焦位置与上述第2合焦位置之间的整个区间。
4.根据权利要求3所述的摄像装置，其特征在于，上述第2类变位模式包含上述第I合焦位置、与上述第I合焦位置及上述第2合焦位置的中间位置的整个区间为上述变位范围的第2F类变位模式；以及上述中间位置与上述第2合焦位置的整个区间为上述变位范围的第2N类变位模式，第I类变位模式被夹在上述第2F类变位模式以及上述第2N类变位模式之间。
5.根据权利要求4所述的摄像装置，其特征在于，上述第I类变位模式、上述第2F类变位模式以及上述第2N类变位模式，分别在整个变位范围内至少一次往一个方向变位。
6.根据权利要求5所述的摄像装置，其特征在于，上述第I类变位模式和上述第2F类变位模式、及上述第I类变位模式和上述第2N类变位模式，分别连接在一起。
7.根据权利要求I 6中任一项所述的摄像装置，其特征在于，该摄像装置还具备曝光时间决定部，其根据上述摄像场景来决定上述摄像元件的曝光时间；以及变位设定部，其根据上述第I合焦位置、上述第2合焦位置以及上述曝光时间，决定上述变位模式。
8.根据权利要求7所述的摄像装置，其特征在于，该摄像装置还具备位置检测部，其检测上述被驱动的上述摄像元件或上述对焦透镜的位置，上述变位控制部根据上述位置检测部的输出以及上述变位模式，对上述驱动部指示驱动量。
9.根据权利要求8所述的摄像装置，其特征在于，该摄像装置还具备读出电路，其从上述摄像元件读出上述图像信号，上述同步部根据上述摄像元件的曝光的定时，来控制上述变位控制部以及上述读出电路。
10.根据权利要求I 9中任一项所述的摄像装置，其特征在于，根据上述第I类变位模式，基于上述被驱动的上述摄像元件或上述对焦透镜进行变位的期间内得到的图像信号，生成全焦点图像。
11.根据权利要求I 10中任一项所述的摄像装置，其特征在于，根据上述第2类变位模式，基于上述被驱动的上述摄像元件或上述对焦透镜进行变位的期间内得到的图像信号，生成纵深信息。
12.根据权利要求I 11中任一项所述的摄像装置，其特征在于，上述摄像元件是CCD图像传感器。
13.根据权利要求I 11中任一项所述的摄像装置，其特征在于，上述摄像元件是CMOS图像传感器
14.根据权利要求13所述的摄像装置，其特征在于，上述第I类变位模式、上述第2F类变位模式以及上述第2N类变位模式，分别至少在整个变位范围内往返变位整数次。
15.一种集成电路，是摄像装置的集成电路，该摄像装置包括摄像元件，其具有以二维状排列且构成摄像面的多个光电变换元件，该摄像元件使上述多个光电变换元件曝光，通过从上述多个光电变换元件读出电信号来生成图像信号；镜头光学系统，其向上述摄像元件聚光，并且包含对焦透镜；以及驱动部，其按照上述摄像元件与上述对焦透镜之间的距离发生变化的方式，驱动上述摄像元件或上述对焦透镜的一方，其中，上述集成电路具备变位控制部，其构成为通过向上述驱动部输出指令，从而根据规定的变位模式，控制上述被驱动的上述摄像元件或上述对焦透镜的变位；以及同步部，其构成为根据上述摄像元件的曝光的定时，控制上述变位控制部，上述规定的变位模式包括在摄像场景中的第I被摄物距离下合焦的上述对焦透镜或上述摄像元件的第I合焦位置、和上述摄像场景中的第2被摄物距离下合焦的上述对焦透镜或上述摄像元件的第2合焦位置之间的不同的范围内，上述摄像元件或上述对焦透镜进行变位的第I类变位模式以及第2类变位模式，上述第I类变位模式以及上述第2类变位模式交替地反复。
16.一种摄像方法，是通过用对焦透镜在摄像元件上汇聚光，以使摄像场景成像的摄像方法，其中该摄像元件具有被排列为二维状且构成摄像面的多个光电变换元件，通过使上述多个光电变换元件曝光，并从上述多个光电变换元件读出电信号来生成图像信号，在上述摄像方法中，在第I类变位模式以及第2类变位模式下，一边使上述对焦透镜或上述摄像元件变位，一边使上述多个光电变换元件曝光，其中第I类变位模式以及第2类变位模式是在摄像场景中的第I被摄物距离下合焦的上述对焦透镜或上述摄像元件的第I合焦位置、和上述摄像场景中的第2被摄物距离下合焦的上述对焦透镜或上述摄像元件的第2合焦位置之间的不同的范围内，使上述摄像元件或上述对焦透镜进行变位的模式。
全文摘要
本申请公开了一种摄像装置，包括摄像元件；镜头光学系统，包含对焦透镜；驱动部，按照摄像元件与对焦透镜之间的距离发生变化的方式，驱动摄像元件或对焦透镜的一方；变位控制部，构成为通过向驱动部输出指令，而根据规定的变位模式，控制驱动的摄像元件或对焦透镜的变位；以及同步部，构成为根据摄像元件的曝光的定时，控制变位控制部，规定的变位模式包括在摄像场景中的第1被摄物距离下合焦的对焦透镜或摄像元件的第1合焦位置、和摄像场景中的第2被摄物距离下合焦的对焦透镜或摄像元件的第2合焦位置之间的不同的范围内，摄像元件或对焦透镜进行变位的第1类变位模式以及第2类变位模式，第1类变位模式以及第2类变位模式交替地反复。
文档编号G06T1/00GK102934003SQ201280001608
公开日2013年2月13日 申请日期2012年4月12日 优先权日2011年4月15日
发明者岛本武史, 河村岳, 物部祐亮 申请人:松下电器产业株式会社