摄像装置、内窥镜装置及摄像装置的工作方法与流程

1.本发明涉及摄像装置、内窥镜装置及摄像装置的工作方法等。


背景技术：

2.在内窥镜系统中，为了不妨碍用户进行的诊断和处置，要求尽可能宽的景深。但是近年来，随着在内窥镜系统中也使用高像素的摄像元件，景深变窄。因此，在专利文献1中提出了一种内窥镜系统：同时拍摄焦点位置不同的2张图像并将它们合成，由此生成景深被扩大的合成图像。以下，将扩大景深的方法表述为edof(extended depth of field：扩展景深)技术。
3.现有技术文献
4.专利文献
5.专利文献1：国际公开第2014/002740号


技术实现要素：

6.发明要解决的问题
7.专利文献1的内窥镜系统还具备焦点切换机构，构成为在扩大了景深的状态下能够进行接近观察和远方观察。如果进行满足接近观察时的合成景深与远方观察时的合成景深重叠这样的条件的设计，则不会产生图像模糊的范围，能够观察内窥镜观察所需的全部距离范围。
8.在通过使摄像元件进一步高像素化而使景深更窄的情况下，无法使接近观察时的合成景深与远方观察时的合成景深重叠，仅通过切换2个焦点进行观察时，会产生图像模糊的范围。
9.与此相对，考虑通过进行使焦点自动对准于关注被摄体的af(auto focus：自动对焦)控制而不产生图像的模糊。但是，迄今为止，尚未提出同时拍摄合焦状态不同的2张图像并使用它们生成合成图像的摄像装置中的最佳的af控制方法。
10.根据本发明的若干方案，可提供在给定的定时能够拍摄合焦物体位置不同的多个图像的情况下进行高速的af控制的摄像装置、内窥镜装置及摄像装置的工作方法等。
11.用于解决问题的手段
12.本发明的一方案涉及一种摄像装置，包括：物镜光学系统，其包含调整合焦物体位置的对焦透镜，并取得被摄体像；光路分割部，其将所述被摄体像分割成所述合焦物体位置不同的2个光路；摄像元件，其通过分别拍摄分割后的所述2个光路的所述被摄体像，取得第1图像及第2图像；图像合成部，其进行合成处理，在该合成处理中，通过在所述第1图像与所述第2图像之间的对应的规定区域选择对比度相对高的图像而生成1个合成图像；以及af控制部，其通过按照给定的af控制模式进行动作，从而进行使所述对焦透镜向判定为焦点对准于关注被摄体的位置移动的控制，其中，af表示自动对焦，所述af控制部包括第1af控制模式作为所述af控制模式，在该第1af控制模式中，使用根据所述第1图像计算的第1af评价
值和根据所述第2图像计算的第2af评价值进行af控制。
13.此外，本发明的另一方案涉及一种内窥镜装置，包括：物镜光学系统，其包含调整合焦物体位置的对焦透镜，并取得被摄体像；光路分割部，其将所述被摄体像分割成所述合焦物体位置不同的2个光路；摄像元件，其通过分别拍摄分割后的所述2个光路的所述被摄体像，取得第1图像及第2图像；图像合成部，其进行合成处理，在该合成处理中，通过在所述第1图像与所述第2图像之间的对应的规定区域选择对比度相对高的图像而生成1个合成图像；以及af控制部，其通过按照给定的af控制模式进行动作，从而进行使所述对焦透镜向判定为焦点对准于关注被摄体的位置移动的控制，其中，af表示自动对焦，所述af控制部包括第1af控制模式作为所述af控制模式，在该第1af控制模式中，使用根据所述第1图像计算的第1af评价值和根据所述第2图像计算的第2af评价值进行af控制。
14.此外，本发明的又一方案涉及一种摄像装置的工作方法，该摄像装置包括：物镜光学系统，其包含调整合焦物体位置的对焦透镜，并取得被摄体像；光路分割部，其将所述被摄体像分割成所述合焦物体位置不同的2个光路；以及摄像元件，其通过分别拍摄分割后的所述2个光路的所述被摄体像，取得第1图像及第2图像；在所述摄像装置的工作方法中进行合成处理和af控制，af表示自动对焦，在该合成处理中，通过在所述第1图像与所述第2图像之间的对应的规定区域选择对比度相对高的图像而生成1个合成图像，在该af控制中，通过按照给定的af控制模式进行动作，从而使所述对焦透镜向判定为焦点对准于关注被摄体的位置移动，包括第1af控制模式作为所述af控制模式，在该第1af控制模式中，使用根据所述第1图像计算的第1af评价值和根据所述第2图像计算的第2af评价值进行所述af控制。
附图说明
15.图1是摄像装置的结构例。
16.图2是对被摄体像的成像位置与景深范围的关系进行说明的图。
17.图3是内窥镜装置的结构例。
18.图4是摄像部的结构例。
19.图5是摄像元件的有效像素区域的说明图。
20.图6是摄像部的另一结构例。
21.图7是af控制部的结构例。
22.图8是对af控制进行说明的流程图。
23.图9是对af控制模式的切换处理进行说明的流程图。
24.图10是对af控制模式的切换处理进行说明的另一流程图。
25.图11是af控制部的另一结构例。
26.图12(a)～图12(c)是对被摄体形状与期望的合成景深范围的关系进行说明的图。
具体实施方式
27.以下，对本实施方式进行说明。另外，以下说明的本实施方式并非不合理地限定权利要求书所记载的本发明的内容。此外，本实施方式所说明的全部结构不一定是本发明的必须构成要件。
28.1.概要
29.在专利文献1等中公开了一种内窥镜系统：同时拍摄合焦物体位置不同的2张图像并将它们合成，由此生成景深被扩大的合成图像。这里，合焦物体位置表示由透镜系统、像面、物体构成的系统处于合焦状态的情况下的物体的位置。例如，在将像面作为摄像元件的面的情况下，合焦物体位置表示在使用该摄像元件拍摄经由上述透镜系统的被摄体像的情况下，在摄像图像中理想地对准了焦点的被摄体的位置。更具体而言，由摄像元件拍摄的图像成为合焦于如下被摄体的图像，该被摄体位于包含合焦物体位置的景深的范围内。合焦物体位置是对准了焦点的物体的位置，因此，也可以说是焦点位置。
30.另外，以下将成像位置用于说明。成像位置表示给定的被摄体的被摄体像所成像的位置。存在于合焦物体位置的被摄体的成像位置在摄像元件面上。此外，通过被摄体的位置离开合焦物体位置，被摄体的成像位置也离开摄像元件面。在被摄体的位置脱离景深的情况下，该被摄体被模糊地拍摄。被摄体的成像位置是成为该被摄体的点扩散函数(psf：point spread function)的峰值的位置。
31.在专利文献1等的现有方法中，设想根据基于edof技术的深度扩大及远点观察与近点观察的切换能够合焦于所希望的范围的被摄体的情况。但是，在由于摄像元件的高像素化使景深变窄的情况下，可能产生仅通过远点观察与近点观察的简单切换无法合焦的范围。因此，存在针对组合edof技术与af控制的要求。但是，这里设想的光学系统能够同时拍摄合焦物体位置不同的多个图像，因此，不是单纯地应用以往的af控制，而是需要执行更加适当的af控制。以下，首先在针对用于af控制的图像进行了研究之后，根据实现适当的景深范围这样的第1观点和实现高速的af控制这样的第2观点来说明本实施方式的方法。
32.本实施方式的摄像装置通过同时拍摄合焦物体位置不同的2张图像并将它们合成来生成合成图像。即，摄像装置能够取得反映出给定的1个定时的被摄体的状态的多个图像。由于af控制结果根据用于af控制的图像而不同，因此，在实现适当的af控制时，作为处理对象的图像的选择是重要的。
33.这里，合成图像成为合焦物体位置不同的2个图像的信息根据图像上的位置复杂地混合的状态。根据这样的合成图像来计算用于实现适当的af控制的对焦透镜的移动方向和移动量是极其困难的。具体而言，适当的af控制是使关注被摄体的成像位置向作为目标的成像位置移动的控制。
34.如图1所示，本实施方式的摄像装置10包含物镜光学系统110、光路分割部121、摄像元件122、图像合成部330以及af控制部360。物镜光学系统110包含对合焦物体位置进行调整的对焦透镜111，取得被摄体像。光路分割部121将该被摄体像分割为合焦物体位置不同的2个光路。之后使用图4～图6详细叙述光路分割部121。摄像元件122通过分别拍摄分割后的2个光路的被摄体像来取得第1图像及第2图像。以下，将拍摄光路相对短的被摄体像而得到的、合焦物体位置距物镜光学系统110相对远的图像表述为far图像。far图像也可以说是远点图像。另外，将拍摄光路相对长的被摄体像而得到的、合焦物体位置距物镜光学系统110相对近的图像表述为near图像。near图像也可以说是近点图像。另外，这里的光路表示考虑了光所通过的物体的折射率等的光学距离。第1图像是指far图像和near图像中的任意一方的图像，第2图像是指另一方的图像。如之后使用图4～图6叙述的那样，摄像元件122可以为1个元件，也可以包含多个元件。
35.图像合成部330进行通过在第1图像及第2图像之间的对应的规定区域选择对比度
相对高的图像而生成1个合成图像的合成处理。af控制部360进行使对焦透镜111向判定为焦点对准于关注被摄体的位置移动的控制。这里，焦点对准表示关注被摄体位于景深的范围内。
36.而且，af控制部360基于进行图像合成部330中的合成处理之前的第1图像及第2图像中的至少一方而进行af控制。第1图像的合焦物体位置与该第1图像上的位置无关，是固定的。同样，第2图像的合焦物体位置与该第2图像上的位置无关，是固定的。根据本实施方式的方法，在根据同时拍摄的多个图像而生成合成图像的情况下，能够使用适当的图像来进行af控制。另外，第1图像及第2图像是合成处理前的图像即可，也可以是实施了合成处理以外的图像处理的图像。例如如之后使用图3叙述的那样，af控制部360也可以使用由预处理部320进行了预处理后的图像来进行af控制。或者，af控制部360也可以使用进行预处理前的图像来进行af控制。
37.接下来，根据第1观点来说明本实施方式的方法。在以往的af控制中，进行使对焦透镜111向判定为关注被摄体的被摄体像在摄像元件上成像的透镜位置移动的控制。但是，在同时拍摄合焦物体位置不同的2个图像并使用它们生成合成图像的摄像装置10中，有时不期望进行使成像位置成为摄像元件上的控制。
38.图2是对给定的被摄体的成像位置与合成图像的景深的关系进行说明的图。另外，在图2中图示出物镜光学系统110中的对焦透镜111。光路分割部121将被摄体像的光路分割为物镜光学系统110至摄像元件122的光路长度相对短的光路与物镜光学系统110至摄像元件122的光路长度相对长的光路这2个光路。图2是在1个光轴ax上表现出2个光路的图，光路分割部121的光路分割与设置光轴ax上的位置不同的2个摄像元件122是同义的。2个摄像元件122例如是图2所示的摄像元件f和摄像元件n。
39.摄像元件f是光路长度相对短的光路的被摄体像所成像的摄像元件，拍摄合焦物体位置远离给定的基准位置的far图像。摄像元件n是光路长度相对长的光路的被摄体像所成像的摄像元件，拍摄合焦物体位置接近基准位置的near图像。这里的基准位置是指物镜光学系统110中的成为基准的位置。基准位置例如可以是物镜光学系统110中的最接近被摄体的固定透镜的位置，也可以是插入部100的前端位置，还可以是其他位置。另外，如之后使用图3叙述的那样，2个摄像元件f、摄像元件n也可以由1片摄像元件122实现。
40.图2的ob表示被摄体，其中的ob1表示关注被摄体。关注被摄体表示被摄体中的被判断为用户关注的被摄体。在摄像装置10为内窥镜装置12的情况下，关注被摄体例如是病变。但是，关注被摄体是用户希望重点观察的被摄体即可，不限于病变。例如，根据观察的目的，气泡或残渣等也可以成为关注被摄体。关注被摄体可以由用户指定，也可以通过公知的病变检测方法等自动地设定。
41.在进行内窥镜视检查时，用户不只是观察作为关注被摄体的病变，也观察其周围的构造，在此基础上判断病变的种类、恶性度、病变的扩展程度等。此外，在病变以外的关注被摄体中观察关注被摄体的周边区域也是重要的。例如，期望图2的ob2和ob3在合成景深的范围内。此外，不期望在插入部100与被摄体ob的位置关系发生了变化的情况下ob2和ob3立即脱离合成景深。
42.与现有方法同样地，考虑使关注被摄体的被摄体像在摄像元件上成像的情况。在使关注被摄体ob1的被摄体像在摄像元件f上成像的情况下，关注被摄体ob1的psf是a1，合
成图像的景深成为b1所示的范围。合成图像的景深即b1成为将对应于摄像元件f的景深(b11)与对应于摄像元件n的景深(b12)合成后的范围。另外，为了方便说明，在图2中设b11的宽度与b12的宽度相同，但通常，越靠远点侧，景深的宽度越宽。在景深范围成为b1所示的范围的情况下，合成图像成为如下的平衡差的图像：焦点在宽范围内对准于从关注被摄体接近物镜光学系统110的方向上的被摄体，并且焦点在相对窄的范围内对准于从关注被摄体远离物镜光学系统110的方向上的被摄体。即，将a1所示的摄像元件f上作为成像位置的状态有时不适于包含至关注被摄体的周边被摄体在内的观察。
43.另外，在使关注被摄体的被摄体像在摄像元件n上成像的情况下，关注被摄体的psf是a2，合成图像的景深成为b21与b22的合成，即b2所示的范围。在景深范围成为b2所示的范围的情况下，合成图像成为如下的平衡差的图像：焦点仅在窄范围内对准于从关注被摄体接近物镜光学系统的方向上的被摄体，焦点在相对宽的范围内对准于从关注被摄体远离物镜光学系统的方向上的被摄体。
44.在本实施方式中，合成图像期望成为焦点平衡良好地对准于从关注被摄体接近物镜光学系统110的方向上的被摄体和从关注被摄体远离物镜光学系统110的方向上的被摄体双方的图像。因此，af控制部360进行使对焦透镜111向如下位置移动的控制，该位置为，判定为关注被摄体的被摄体像在对应于取得第1图像的摄像元件122的第1位置与对应于取得第2图像的摄像元件122的第2位置之间的位置成像的位置。
45.这里，对应于摄像元件122的位置是指基于光路分割部121的光学作用而决定的位置，与在摄像装置10中配置摄像元件122的物理位置不同。例如，第1位置是基于由光路分割部121分割的2个光路中的相对短的光路长度而决定的位置。第2位置是基于由光路分割部121分割的2个光路中的相对长的光路长度而决定的位置。换言之，第1位置是在第1图像中实现了焦点理想地对准于给定的被摄体的状态时的该被摄体的像的成像位置。同样，第2位置是在第2图像中实现了焦点理想地对准于给定的被摄体的状态时的该被摄体的像的成像位置。根据图2的例子，第1位置对应于p1，第2位置对应于p2。但是，也可以将与较长的光路长度对应的位置设为第1位置，将与较短的光路长度对应的位置设为第2位置。
46.本实施方式的af控制部360例如使对焦透镜111向关注被摄体的psf成为a3的位置移动。即，af控制部360进行使对焦透镜111向关注被摄体的被摄体像的成像位置成为p1与p2之间的p3的透镜位置移动的控制。在该情况下，合成图像的景深成为b31与b32的合成即b3所示的范围。通过进行使关注被摄体的被摄体像成像于摄像元件f与摄像元件n的中间位置的af控制，能够取得焦点平衡良好地对准于从关注被摄体接近物镜光学系统110的方向上的被摄体和从关注被摄体远离物镜光学系统110的方向上的被摄体双方的合成图像。
47.此外，在图2中示出了从垂直方向观察作为平面构造的关注被摄体ob1的例子。但是，也考虑倾斜地观察关注被摄体ob1的情况和关注被摄体本身是凹凸等具有进深的被摄体的情况。在该情况下，合成景深范围的平衡依旧是重要的，因此，期望将与关注被摄体的给定的部分对应的成像位置设为第1位置与第2位置之间的位置。
48.另外，在图2中示出了使被摄体像成像于距离与摄像元件f和摄像元件n相等的位置即中央位置的情况。但是，实际上，景深的宽度根据合焦物体位置非线性地变化。具体而言，合焦物体位置越远离物镜光学系统110，景深的宽度越宽。因此，使被摄体像成像于摄像元件f与摄像元件n的中央位置的状态不一定成为最为平衡地对准了焦点的状态。因此，被
摄体像的成像位置也可以调整为摄像元件f与摄像元件n之间的任意的位置。另外，也可以构成为根据用户的喜好，例如能够从外部i/f部200等调整最终的成像位置。
49.接着，根据第2观点来说明本实施方式的方法。以往，广为人知有搜索根据摄像图像而计算的af评价值的峰值的af控制。例如在使用对比度af的情况下，af评价值是指对比度值。在搜索峰值的处理中，例如进行如下处理：拍摄合焦物体位置不同的多个图像，对根据各个图像而计算的af评价值进行比较，由此判别合焦方向。合焦方向表示判断为关注被摄体的合焦程度提高的对焦透镜111的移动方向。在现有方法中，为了拍摄合焦物体位置不同的多个图像，需要一边使对焦透镜或摄像元件的位置变化，一边在不同的多个定时进行摄像。
50.与此相对，在本实施方式的方法中，af控制部360通过按照给定的af控制模式进行动作，从而进行使对焦透镜111向判定为焦点对准于关注被摄体的位置移动的控制。而且，af控制部360包含第1af控制模式作为af控制模式，在该第1af控制模式中，使用根据第1图像而计算的第1af评价值和根据第2图像而计算的第2af评价值进行af控制。具体而言，af控制部360能够通过使用了far图像的af评价值和nera图像的af评价值双方的af控制模式进行动作，其中，该far图像是在给定的定时由摄像元件f拍摄到的图像，该nera图像是在相同的定时由摄像元件n拍摄到的图像。
51.根据本实施方式的方法，能够基于给定的1个定时中的摄像结果，进行多个af评价值的取得及比较。因此，与现有方法相比，能够在较少的短时间内判别合焦方向，能够实现af控制的高速化。
52.另外，在现有方法中，根据af评价值是否到达峰值来判定是否合焦于关注被摄体。由于根据af评价值的绝对值无法判定该值是否为峰值，因此，需要与周边的af评价值进行比较。与此相对，在本实施方式中，能够基于2个af评价值的关系来判定是否完成了合焦。即，不仅是合焦方向的判别，合焦完成的判定也能够实现高速化。
53.2.系统结构
54.以下，说明本实施方式的摄像装置10为内窥镜装置12的情况，但摄像装置10不限于内窥镜装置12。摄像装置10只要是通过拍摄合焦物体位置不同的多个图像而生成合成图像并且执行af控制的装置即可。例如，摄像装置10也可以是显微镜。
55.图3是内窥镜装置12的详细结构例。内窥镜装置12包含插入部100、外部i/f部200、系统控制装置300、显示部400以及光源装置500。
56.插入部100是向体内插入的部分。插入部100包含物镜光学系统110、摄像部120、致动器130、照明透镜140、光导150、af开始/结束按钮160。
57.光导150将来自光源520的照明光引导至插入部100的前端。照明透镜140向被摄体照射由光导150引导的照明光。物镜光学系统110使从被摄体反射的反射光作为被摄体像进行成像。物镜光学系统110包含对焦透镜111，能够根据对焦透镜111的位置而改变合焦物体位置。致动器130基于来自af控制部360的指示，对对焦透镜111进行驱动。
58.摄像部120包含光路分割部121及摄像元件122，同时取得合焦物体位置不同的第1图像和第2图像。另外，摄像部120依次取得第1图像与第2图像的组。摄像元件122可以是单色传感器，也可以是具备彩色滤色器的元件。彩色滤色器可以是广为人知的拜耳滤色器，也可以是补色滤色器，还可以是其他的滤色器。补色滤色器是包含青色、品红及黄色的各颜色
滤色器的滤色器。
59.图4是示出摄像部120的结构例的图。摄像部120设置于物镜光学系统110的插入部100后端部侧，包含将被摄体像分割为合焦物体位置不同的2个光学像的偏振分束器123、以及通过拍摄2个光学像而取得2个图像的摄像元件122。即，在图4所示的摄像部120中，光路分割部121是指偏振分束器123。
60.如图4所示，偏振分束器123具备第1棱镜123a、第2棱镜123b、反射镜123c及λ/4板123d。第1棱镜123a及第2棱镜123b均具有相对于光轴为45度的斜度的分束面，在第1棱镜123a的分束面上设置有偏振分离膜123e。而且，第1棱镜123a及第2棱镜123b使彼此的分束面隔着偏振分离膜123e抵接而构成偏振分束器123。此外，反射镜123c设置于第1棱镜123a的端面附近，在反射镜123c与第1棱镜123a之间设置有λ/4板123d。在第2棱镜123b的端面安装有摄像元件122。
61.来自物镜光学系统110的被摄体像在第1棱镜123a中通过设置于其分束面的偏振分离膜123e而分离成p成分与s成分，分离成反射光侧的光学像与透射光侧的光学像这2个光学像。p成分是指透射光，s成分是指反射光。
62.s成分的光学像在偏振分离膜123e中被反射到摄像元件122的对面侧而通过a光路，透射λ/4板123d之后，通过反射镜123c向摄像元件122侧折回。折回后的光学像再次透射λ/4板123d，由此偏振方向旋转90
°
，透射偏振分离膜123e之后在摄像元件122上成像。
63.p成分的光学像在透射偏振分离膜123e之后通过b光路，被朝向摄像元件122垂直折回的设置在第2棱镜123b的分束面的相反侧的反射镜面反射，并在摄像元件122上成像。此时，通过在a光路与b光路之间例如产生几十μm左右的规定的光路差，使焦点不同的2个光学像在摄像元件122的受光面上成像。
64.如图5所示，摄像元件122在整个像素区域中设置有2个受光区域122a、122b。受光区域也可以说是有效像素区域。为了拍摄2个光学像，将受光区域122a、122b配置在与这些光学像的成像面分别一致的位置。而且，在摄像元件122中，受光区域122a的合焦物体位置相对于受光区域122b的合焦物体位置向近点侧相对偏移。由此，使合焦物体位置不同的2个光学像在摄像元件122的受光面上成像。
65.在图4及图5的例子中，摄像元件122中的受光区域122a对应于拍摄near图像的摄像元件n。此外，摄像元件122中的受光区域122b对应于拍摄far图像的摄像元件f。即，在图4及图5的例子中，摄像元件n和摄像元件f由1片元件实现。
66.图6是示出摄像部120的另一结构例的图。如图6所示，摄像部120包含棱镜124和2个摄像元件122。具体而言，2个摄像元件122是指摄像元件122c和摄像元件122d。在图6所示的摄像部120中，光路分割部121是指棱镜124。
67.该棱镜124例如是通过使直角三角形的棱镜元件124a、124b的两个斜面抵接而形成的。在棱镜元件124a的端面附近，在与该端面对置的位置安装有一方的摄像元件122c。此外，在棱镜元件124b的端面附近，在与该端面对置的位置安装有另一方的摄像元件122d。另外，摄像元件122c和摄像元件122d优选使用特性一致的元件。
68.棱镜124通过将经由物镜光学系统110入射的光例如分离成等量的反射光和透射光，从而分离成透射光侧的光学像与反射光侧的光学像这2个光学像。摄像元件122c对透射光侧的光学像进行光电转换，摄像元件122d对反射光侧的光学像进行光电转换。
69.在本实施方式中，摄像元件122c、122d的合焦物体位置不同。例如，相对于棱镜124中的到达摄像元件122c的透射光侧的光路长度(光程长度)dc，反射光侧的光路长度dd较短(小)。而且，摄像元件122c的合焦物体位置相对于摄像元件122d的合焦物体位置向近点侧相对地偏移。另外，也可以通过使棱镜元件124a和124b中的两者的折射率不同，来改变到达摄像元件122c、122d的光路长度。在图6的例子中，摄像元件122c对应于拍摄near图像的摄像元件n，摄像元件122d对应于拍摄far图像的摄像元件f。即，在图6的例子中，摄像元件n和摄像元件f由2片元件实现。
70.如图4～图6所示，能够对摄像部120的具体结构实施各种变形。此外，摄像部120只要能够通过分别拍摄合焦物体位置不同的2个光路的被摄体像而取得第1图像及第2图像即可，不限于使用图4～图6例示的结构。
71.af开始/结束按钮160是用于供用户操作af的开始/结束的操作接口。
72.外部i/f部200是用于从用户向内窥镜装置12进行输入的接口。外部i/f部200例如包含af控制模式的设定按钮、af区域的设定按钮、图像处理参数的调整按钮等。
73.系统控制装置300进行图像处理和系统整体的控制。系统控制装置300包含a/d转换部310、预处理部320、图像合成部330、后处理部340、系统控制部350、af控制部360、光量决定部370。
74.本实施方式的系统控制装置300(处理部、处理电路)由下述的硬件构成。硬件能够包含对数字信号进行处理的电路及对模拟信号进行处理的电路中的至少一方。例如，硬件能够由安装于电路基板的1个或多个电路装置或者1个或多个电路元件构成。1个或多个电路装置例如是ic等。1个或多个电路元件例如是电阻、电容等。
75.另外，作为系统控制装置300的处理电路也可以由下述的处理器实现。本实施方式的摄像装置10包含存储信息的存储器、以及基于存储于存储器的信息进行动作的处理器。信息例如是程序和各种数据等。处理器包含硬件。处理器能够使用cpu(central processing unit：中央处理单元)、gpu(graphics processing unit：图形处理单元)、dsp(digital signal processor：数字信号处理器)等各种处理器。存储器可以是sram(static random access memory：静态随机存取存储器)、dram(dynamic random access memory：动态随机存取存储器)等半导体存储器，也可以是寄存器，也可以是硬盘装置(hdd：hard disk drive：硬盘驱动器)等磁存储装置，还可以是光盘装置等光学式存储装置。例如，存储器存储计算机可读取的命令，通过处理器执行该命令，作为处理而实现摄像装置10的各部的功能。具体而言，摄像装置10的各部是指系统控制装置300的各部，包含a/d转换部310、预处理部320、图像合成部330、后处理部340、系统控制部350、af控制部360、光量决定部370。这里的命令可以是构成程序的命令集的命令，也可以是对处理器的硬件电路指示动作的命令。
76.此外，本实施方式的系统控制装置300的各部也可以作为在处理器上进行动作的程序的模块来实现。例如，图像合成部330作为图像合成模块来实现，af控制部360作为af控制模块来实现。
77.此外，实现本实施方式的系统控制装置300的各部所进行的处理的程序例如能够存储在计算机可读取的介质即信息存储装置中。信息存储装置例如能够由光盘、存储卡、hdd或者半导体存储器等实现。半导体存储器例如是rom。系统控制装置300基于存储于信息存储装置的程序进行本实施方式的各种处理。即，信息存储装置存储用于使计算机作为系
统控制装置300的各部发挥功能的程序。计算机是具备输入装置、处理部、存储部、输出部的装置。程序是用于使计算机执行系统控制装置300的各部的处理的程序。具体而言，本实施方式的程序是用于使计算机执行之后使用图8～图10叙述的各步骤的程序。
78.a/d转换部310将从摄像部120依次输出的模拟信号转换成数字的图像并向预处理部320依次输出。预处理部320对从a/d转换部310依次输出的far图像及near图像进行各种校正处理后向图像合成部330、af控制部360依次输出。在将被摄体像分离成2个之后使它们分别成像于摄像元件的情况下，有时产生以下的几何差异。在摄像元件122的摄像面上分别成像的2个被摄体像相对地产生倍率偏差、位置偏差、旋转方向的偏差。另外，在使用2个摄像元件122c、122d作为摄像元件122的情况下，有时由于各元件的灵敏度差异等而产生明亮度的偏差。当这些偏差量变大时，合成图像成为双重图像，或者产生不自然的明亮度不均等。因此，在本实施方式中，在预处理部320中对上述的几何差异、明亮度差异进行校正。
79.图像合成部330通过将从预处理部320依次输出的校正后的2个图像合成而生成1个合成图像，并向后处理部340依次输出。具体而言，图像合成部330通过在由预处理部320校正后的2个图像间的对应的规定区域中选择对比度相对高的图像的处理而生成合成图像。即，图像合成部330对2个图像中的在空间上相同的像素区域各自的对比度进行比较，选择对比度相对高的一方的像素区域，由此，生成由2个图像合成的1个合成图像。另外，图像合成部330在2个图像的相同的像素区域中的对比度差较小或者大致相同的情况下，也可以通过对该像素区域进行规定的加权之后进行相加的处理，来生成合成图像。
80.后处理部340对从图像合成部330依次输出的合成图像依次进行白平衡处理、去马赛克处理、降噪处、颜色转换处理、灰度转换处理、轮廓强调处理等各种图像处理，并向光量决定部370、显示部400依次输出。
81.系统控制部350与摄像部120、af开始/结束按钮160、外部i/f部200、af控制部360相互连接，对各部进行控制。具体而言，系统控制部350进行各种控制信号的输入输出。af控制部360使用从预处理部320依次输出的校正后的2个图像中的至少一方来进行af控制。之后详述af控制。光量决定部370根据从后处理部340依次输出的图像来决定光源的目标光量，并向光源控制部510依次输出。
82.显示部400依次显示从后处理部340输出的图像。即，显示部400显示将进行了深度扩大的图像作为帧图像的动态图像。显示部400例如是液晶显示器、el(electro
‑
luminescence：电发光)显示器等。
83.光源装置500包含光源控制部510、光源520。光源控制部510按照从光量决定部370依次输出的光源的目标光量，对光源520的光量进行控制。光源520发出照明光。光源520可以是氙气光源，也可以是led，还可以是激光光源。另外，光源520也可以是其他光源，发光方式不受限定。
84.3.af控制的详细情况
85.接着对本实施方式的af控制的具体例进行说明。首先，说明使用far图像和near图像双方的第1af控制模式以及使用far图像和near图像中的任意一方的第2af控制模式。之后，说明第1af控制模式和第2af控制模式的切换处理、以及af控制的变形例。另外，以下说明中的对比度值是af评价值的一例，能够置换为其他的af评价值。
86.3.1第1af控制模式
87.在被摄体像成像于摄像元件f与摄像元件n的中央位置的情况下，far图像与near图像的对比度值几乎同等。因此，为了使被摄体像成像于摄像元件f与摄像元件n的中央位置，af控制部360只要一边监视far图像与near图像的对比度值一边调整对焦透镜位置即可。在将摄像元件f与摄像元件n的中央位置以外作为目标位置的情况下，也预先根据已知的psf的形状和事先的实验等将被摄体像的成像位置和far图像与near图像的对比度值的关系对应起来，一边监视far图像与near图像的对比度值的关系一边调整对焦透镜111的位置即可。
88.使用图7及图8，详细说明使用far图像的对比度值和near图像的对比度值双方的第1af控制模式。
89.图7是示出af控制部360的结构的图。af控制部360包含af区域设定部361、af评价值计算部362、方向判别部363、合焦判定部364、透镜驱动量决定部365、目标成像位置设定部366、模式切换控制部367、对焦透镜驱动部368。
90.af区域设定部361针对far图像及near图像设定作为af评价值的计算对象的af区域。af评价值计算部362基于af区域的像素值，计算af评价值。方向判别部363判别对焦透镜111的驱动方向。合焦判定部364判定合焦动作是否完成。透镜驱动量决定部365决定对焦透镜111的驱动量。对焦透镜驱动部368基于决定出的驱动方向及驱动量来控制致动器130，由此对对焦透镜111进行驱动。目标成像位置设定部366设定目标成像位置。目标成像位置是指成为关注被摄体的成像位置的目标的位置。合焦判定部364的判定是被摄体像的成像位置是否到达目标成像位置的判定。模式切换控制部367进行af控制模式的切换。另外，这里，针对af控制模式是第1af控制模式的例子进行说明，之后使用图9及图10详述模式切换。
91.图8是对af控制进行说明的流程图。当开始af控制时，首先开始合焦动作。在合焦动作中，首先，af区域设定部361针对从预处理部320依次输出的far图像及near图像，分别在相同的位置设定af区域(s101)。例如，af区域设定部361基于用户从外部i/f部200设定的af区域的位置、尺寸等信息来设定af区域。或者af区域设定部361也可以使用现有的病变检测功能等来检测病变，将包含检测到的病变的区域自动地设定为af区域。af区域是指拍摄到关注被摄体的区域。
92.af评价值计算部362根据从预处理部320依次输出的far图像及near图像，计算分别对应的2个af评价值(s102)。af评价值是指根据针对af区域内的被摄体的合焦程度而变大的值。af评价值计算部362例如对af区域内的各像素应用带通滤波器，通过累积其输出值来计算af评价值。此外，af评价值的计算不限于使用带通滤波器，能够广泛应用公知的方法。以下，将基于far图像的af区域计算出的af评价值表述为af评价值f，将基于near图像的af区域计算出的af评价值表述为af评价值n。
93.目标成像位置设定部366设定表示目标成像位置的目标成像位置信息(s103)。目标成像位置信息是表示af评价值f与af评价值n的关系的值。af评价值f与af评价值n的关系例如是指比率信息，但也可以是差分信息等表示其他关系的信息。这里的比率信息、差分信息不限于单纯的比率、差分，能够扩展为基于比率或差分的各种信息。例如在将目标成像位置设为摄像元件f与摄像元件n的中央位置、且将af评价值f与af评价值n的比率信息设定为目标成像位置信息的情况下，目标成像位置信息成为1。目标成像位置信息可以是任意的固定值，也可以由用户根据喜好从外部i/f部200进行调整。
94.方向判别部363基于af评价值f、af评价值n及目标成像位置信息，判别合焦方向(s104)。合焦方向是指用于使关注被摄体的成像位置接近目标成像位置的、对焦透镜111的驱动方向。例如在目标成像位置信息为1的情况下，方向判别部363对af评价值f与af评价值n的值进行比较，基于哪个值较小的判定来判别合焦方向。例如如果af评价值f＞af评价值n，则成像位置接近摄像元件n这样的对焦透镜111的驱动方向成为合焦方向。广义上，方向判别部363例如计算表示当前的成像位置的值(成像位置信息)，将成像位置信息接近目标成像位置信息的对焦透镜111的驱动方向作为合焦方向。成像位置信息是与目标成像位置信息同样的信息。例如在目标成像位置信息是af评价值f与af评价值n的比率信息的情况下，成像位置信息是当前的af评价值f与af评价值n的比率信息。
95.合焦判定部364基于目标成像位置信息及成像位置信息，判定合焦动作是否完成(s105)。例如合焦判定部364在判定为目标成像位置信息与成像位置信息的差分为规定的阈值以下的情况下，判定为合焦完成。或者合焦判定部364也可以在判定为目标成像位置信息和成像位置信息的比率与1的差分为规定的阈值以下的情况下，判定为合焦完成。
96.透镜驱动量决定部365决定对焦透镜111的驱动量，对焦透镜驱动部368基于方向判别结果和驱动量来驱动对焦透镜111(s106)。对焦透镜111的驱动量可以是规定的值，也可以基于目标成像位置信息与成像位置信息的差分来决定。具体而言，在目标成像位置信息与成像位置信息的差分为规定的阈值以上的情况下，透镜驱动量决定部365为了使目标成像位置与当前的成像位置大幅分离而将驱动量设定得较大，在目标成像位置信息与成像位置信息的差分为阈值以下的情况下，为了使目标成像位置与当前的成像位置处于接近的位置而将驱动量设定得较小。此外，透镜驱动量决定部365也可以基于目标成像位置信息与成像位置信息的比率来决定驱动量。另外，在s105中判定为合焦动作完成的情况下，将驱动量设定为0。通过进行这样的控制，能够根据合焦状态来设定适当的透镜驱动量，实现高速的af控制。
97.在s105中判定为合焦完成的情况下(s107的判定结果为“是”)，af控制部360在结束合焦动作之后移至待机动作。在合焦未完成的情况下(s107的判定结果为“否”)，af控制部360按照每一帧再次执行从s101起的控制。
98.当开始待机动作时，af控制部360检测场景变化(s201)。例如af控制部360根据从预处理部320依次输出的2个图像或者任意一方的图像，计算af评价值、图像的亮度信息、颜色信息等经时的变化程度。af控制部360在该经时的变化程度为规定以上的情况下，判定为检测到场景变化。此外，af控制部360也可以使用图像的运动信息、未图示的加速度传感器、距离感器等，计算插入部100的移动程度、作为被摄体的生物体的变形程度，由此检测场景变化。
99.在检测到场景变化的情况下(s202的判定结果为“是”)，af控制部360在结束待机动作之后，移至合焦动作。在未检测到场景变化的情况下(s202的判定结果为“否”)，按照每一帧再次执行从s201起的控制。
100.如以上说明的那样，本实施方式的af控制部360进行使对焦透镜111向如下位置移动的控制，该位置为，判定为根据第1图像计算的第1af评价值与根据第2图像计算的第2af评价值成为给定的关系的位置。第1af评价值和第2af评价值中的一方对应于af评价值n，另一方对应于af评价值f。这样，基于2个af评价值的关系，能够在景深扩大后的合成图像中实
现最佳的景深范围。更具体而言，能够实现关注被摄体的像在对应于摄像元件n及摄像元件f中的一方的第1位置与对应于另一方的第2位置之间成像的状态。
101.具体而言，如图7所示，af控制部360还包含进行合焦方向的判别的方向判别部363。而且，方向判别部363在第1af控制模式中基于第1af评价值与第2af评价值的关系进行合焦方向的判别。通过进行这样的控制，在相当于1帧的时间内能够进行方向判别，与使用已知的颤动(wobbling)等的方向判别相比，能够实现高速的af控制。
102.此外，af控制部360还包含决定对焦透镜111的驱动量的透镜驱动量决定部365。而且，透镜驱动量决定部365在第1af控制模式中，基于第1af评价值与第2af评价值的关系来决定驱动量。这样，能够考虑当前的成像位置与目标成像位置的关系，灵活地决定驱动量。
103.此外，af控制部360还包含判定合焦动作是否完成的合焦判定部364。而且，合焦判定部364在第1af控制模式中基于第1af评价值与第2af评价值的关系来判定合焦动作是否完成。在以往的对比度af等中，需要搜索af评价值的峰值，例如将检测到规定次数的合焦方向的切换等用作合焦判定的条件。与此相对，根据本实施方式的方法，能够在较少的帧的时间内、狭义上相当于1帧的时间内进行合焦判定，能够实现高速的af控制。
104.另外，af控制部360也可以进行使对焦透镜111向如下位置移动的控制，该位置为，判定为关注被摄体的被摄体像在对应于摄像元件f的第1位置与对应于摄像元件n的第2位置的中央位置成像的位置。例如af控制部360使对焦透镜111向关注被摄体的psf成为图2的a3的透镜位置移动。中央位置表示距第1位置的距离与距第2位置的距离大致相等的位置。这样，如图2的b3所示，合成景深将关注被摄体的位置作为基准，在远点侧具有b31的宽度，在近点侧具有b32的宽度，能够实现取得平衡的设定。在使用中央位置的情况下，2个af评价值的关系是比率成为1或差分成为0的关系、或者与此类似的关系。
105.但是，所期望的合成景深的范围也根据关注被摄体的种类、观察状况、用户的喜好等发生变化。因此，目标成像位置也可以是成为第1位置与第2位置之间的其他位置。换言之，af控制部360也可以进行使对焦透镜111向如下位置移动的控制，该位置为，判定为关注被摄体的被摄体像在对应于取得第1图像的摄像元件的第1位置、对应于取得第2图像的摄像元件的第2位置、以及第1位置与第2位置之间的位置中的任意一个位置成像的位置。即，不妨碍关注被摄体的被摄体像成为对应于摄像元件f的位置和对应于摄像元件n的位置中的任意一个位置。这样，能够灵活地设定目标成像位置。例如如之后使用图12(b)及图12(c)叙述的那样，在被摄体形状满足给定的条件的情况下，目标成像位置设定部366设定使摄像元件上的位置成为目标成像位置的目标成像位置信息。
106.3.2第2af控制模式
107.由于摄像元件f与摄像元件n之间的距离是设计值，因此是已知的。此外，由于对焦透镜111的移动量与成像位置的移动量的关系也是设计值，因此是已知的。因此，af控制部360基于以下的控制，能够在景深扩大后的合成图像中实现最佳的景深范围。首先，af控制部360使用已知的af方法，使被摄体像在摄像元件f及摄像元件n中的任意一方成像。已知的af方法能够应用对比度af、相位差af等各种方法。之后，af控制部360进行使对焦透镜111向判定为被摄体像在摄像元件f与摄像元件n的中间的任意位置成像的位置移动的控制。
108.即，af控制部360包含第2af控制模式作为af控制模式，在该第2af控制模式中，使用第1af评价值和第2af评价值中的任意一方进行af控制。通过使用第2af控制模式，在同时
拍摄合焦物体位置不同的2张图像的摄像装置10中，能够在应用与以往相同的af控制方法的同时，适当地设定合成图像的景深范围。
109.第2af控制模式中的处理与图8相同。但是，目标成像位置设定部366在s103中将调整后的对焦透镜111的位置设定为目标成像位置。例如，目标成像位置设定部366在合焦于摄像元件f和摄像元件n中的任意一方之后，设定对对焦透镜111的位置进行调整时的对焦透镜111的调整量。调整量是指驱动方向及驱动量。
110.s104及s105中的处理与公知的af控制相同。例如af评价值计算部362基于在不同的2个定时取得的2张far图像来计算2个af评价值f。方向判别部363基于2个af评价值f的比较处理，判别用于使关注被摄体的成像位置成为摄像元件f上的合焦方向(s104)。此外，合焦判定部364在判定为检测到af评价值f的峰值的情况下，判定为合焦完成(s105)。例如，合焦判定部364在检测到规定次数的合焦方向的切换的情况下，判定为合焦完成。以上示出了使用far图像使被摄体像在摄像元件f上成像的例子，但af控制部360也可以使用near图像使被摄体像在摄像元件n上成像。
111.在s105中未判定为合焦完成的情况下，透镜驱动量决定部365设定用于使成像位置向摄像元件n和摄像元件f中的任意一方的位置移动的驱动量。这里的驱动量可以是固定值，也可以基于2个af评价值f(或者2个af评价值n)的关系动态地变更值。此外，在s105中判定为合焦完成的情况下，透镜驱动量决定部365设定用于使成像位置从摄像元件n和摄像元件f中的任意一方的位置向目标成像位置移动的驱动量。此时的驱动量是由目标成像位置设定部366设定的驱动量(调整量)。对焦透镜驱动部368按照所设定的驱动量对对焦透镜111进行驱动(s106)。
112.如以上那样，af控制部360在第2af控制模式中，进行了使对焦透镜向判定为关注被摄体的被摄体像在与取得第1图像的摄像元件对应的第1位置成像的位置移动的控制之后，进行使对焦透镜111向如下位置移动的控制，该位置为，判定为使被摄体像所成像的位置在朝向与取得第2图像的摄像元件对应的第2位置的方向上移动规定量的位置。具体而言，af控制部360在第2af控制模式中，在将对焦透镜111控制到使关注被摄体的被摄体像在与取得far图像的摄像元件f对应的位置(图2的例子中为p1)成像的透镜位置之后，将对焦透镜111控制到使被摄体像所成像的位置在朝向与取得near图像的摄像元件n对应的位置(p2)的方向上移动规定量的透镜位置。或者，af控制部360在第2af控制模式中，在将对焦透镜111控制到使关注被摄体的被摄体像在与取得near图像的摄像元件n对应的位置(p2)成像的透镜位置之后，将对焦透镜111控制到使被摄体像所成像的位置在朝向与取得far图像的摄像元件f对应的位置(p1)的方向上移动规定量的透镜位置。通过这样的控制，能够在应用与以往同样的af控制方法的同时，适当地设定合成图像的景深范围。
113.3.3af控制模式的切换处理
114.此外，以上分别说明了第1af控制模式中的处理、第2af控制模式中的处理，但af控制模式不限于固定为任意一方的模式。
115.af控制部360也可以进行第1af控制模式与第2af控制模式的切换控制。如图7所示，af控制部360还包含模式切换控制部367。而且，模式切换控制部367根据被摄体的特征、光学系统的成像状态，切换使用af评价值f及af评价值n双方进行af控制的第1af控制模式与使用任意一方进行af控制的第2af控制模式手段。
116.在该情况下，也可以如之后使用图9叙述的那样切换与s103至s106对应的全部的步骤，还可以如使用图10叙述的那样切换一部分步骤。通过根据被摄体的特征、光学系统的成像状态来选择最佳的af控制模式，能够实现高速且高精度的af控制。
117.例如在被摄体是对比度非常低的被摄体的情况下，与光学系统的成像状态无关，af评价值f与af评价值n之差非常小，因此，在第1af控制模式中，可能无法高精度地进行af控制。在这样的情况下，例如首先判定是否为低对比度被摄体，在判定为低对比度被摄体的情况下，模式切换控制部367切换为第2af控制模式。例如模式切换控制部367在af评价值f与af评价值n双方为阈值以下的情况下判定为低对比度被摄体即可。此外，模式切换控制部367也可以加入根据af评价值f与af评价值n的关系而决定的条件来判定低对比度被摄体。例如模式切换控制部367也可以在af评价值f与af评价值n的差分为阈值以下的情况下、或者在af评价值f与af评价值n的比率接近1的情况下，判定为低对比度被摄体。
118.图9是说明基于是否为低对比度被摄体的判定来进行切换控制的情况下的合焦动作的流程图。图9的s101及s102与图8相同。接着，af控制部360判定关注被摄体是否为低对比度被摄体(s200)。在判定为不是低对比度被摄体的情况下(s200的判定结果为“否”)，af控制部360使用第1af控制模式进行af控制。即，目标成像位置设定部366使用af评价值f与af评价值n的关系来设定目标成像位置(s1031)。方向判别部363基于af评价值f与af评价值n的关系来判定合焦方向(s1041)，合焦判定部364基于af评价值f与af评价值n的关系来判定合焦是否完成(s1051)。透镜驱动量决定部365基于方向判别及合焦判定的结果来决定对焦透镜111的驱动量，对焦透镜驱动部368按照该驱动量对对焦透镜111进行驱动(s1061)。
119.另一方面，在判定为是低对比度被摄体的情况下(s200的判定结果为“是”)，af控制部360使用第2af控制模式进行af控制。即，目标成像位置设定部366设定使被摄体像在摄像元件f或摄像元件n中的任意一方成像后的对焦透镜111的调整量(s1032)。方向判别部363使用已知的对比度af中的方向判别方法来判别合焦方向(s1042)，合焦判定部364使用已知的对比度af中的合焦判定方法来判定合焦是否完成(s1052)。透镜驱动量决定部365决定对焦透镜的驱动量，对焦透镜驱动部368基于方向判别结果和驱动量，对对焦透镜111进行驱动(s1062)。此外，在第2af控制模式中，在s1052中判定为合焦完成的情况下，无论方向判别结果如何，都基于在s1032中设定的对焦透镜的调整量对对焦透镜111进行驱动。
120.通过进行图9所示的af控制，针对低对比度被摄体也能够实现高精度的af控制。
121.此外，在光学系统为大模糊的情况下，当通过使用颤动驱动等的第2af控制模式进行动作时，可能无法高精度地进行方向判别。这里，大模糊表示在摄像图像中向被摄体的合焦程度显著低的状态。在这样的情况下，模式切换控制部367首先判定是否为大模糊状态，在判定为大模糊状态的情况下，进行切换为第1af控制模式的控制。例如模式切换控制部367在af评价值f与af评价值n双方为阈值以下、且af评价值f与af评价值n的差分为阈值以上的情况下，判定为大模糊状态。或者模式切换控制部367在af评价值f与af评价值n的比率较大的情况下，判定为大模糊状态。
122.图10是说明基于是否为大模糊状态的判定来进行切换控制的情况下的合焦动作的流程图。图10的s101及s102与图8相同。接着，af控制部360判定是否为大模糊状态(s210)。在判定为是大模糊状态的情况下(s210的判定结果为“是”)，af控制部360使用第1af控制模式进行af控制。在判定为不是大模糊状态的情况下(s210的判定结果为“否”)，af
控制部360使用第2af控制模式进行af控制。
123.另外，af控制部360在第1af控制模式中不进行相当于图9的s1051的合焦判定。这是因为，通过接近合焦状态而消除大模糊状态，因此，在第1af控制模式中进行合焦判定的优点小。其他步骤中的控制与目前为止的说明的控制相同。通过进行这样的af控制，执行在光学系统为大模糊的情况下能够进行高速的方向判别的第1af控制模式下的af控制，之后，执行当接近合焦状态时能够进行高精度的合焦的第2af控制模式下的af控制。由此，能够实现高速且高精度的af控制。
124.如以上那样，af控制部360进行如下的低对比度被摄体判定处理：基于第1af评价值及第2af评价值，判定关注被摄体是否为对比度比给定的基准低的低对比度被摄体。而且，af控制部360基于低对比度被摄体判定处理，进行第1af控制模式与第2af控制模式的切换控制。或者，af控制部360进行基于第1af评价值及第2af评价值来判定针对关注被摄体的合焦程度是否为比给定的基准低的大模糊状态的大模糊判定处理，基于大模糊判定处理，进行第1af控制模式与第2af控制模式的切换控制。另外，判定为低对比度的基准及判定为大模糊状态的基准可以为给定的固定值，也可以动态地变更。
125.这样，能够根据关注被摄体的特性或拍摄的状况，选择适当的af控制模式。此时，通过使用第1af评价值和第2af评价值双方，与进行颤动控制等的现有方法相比，能够高速地执行用于进行切换控制的判定。但是，也不妨碍在低对比度被摄体判定处理或大模糊判定处理中使用第1af评价值和第2af评价值中的一方的变形实施。另外，这里示出了在第1af控制模式和第2af控制模式的切换中使用是否为低对比度被摄体或者是否为大模糊状态的判定的例子，但切换判定不限于此，也可以为其他判定。
126.3.4af控制的变形例
127.另外，第1af控制模式中的af控制不限于反复进行方向判别及合焦判定的上述的方法。例如af控制部360在第1af控制模式中，进行使对焦透镜111向对应于第1af评价值的峰值的对焦透镜111的位置与对应于第2af评价值的峰值的对焦透镜111的位置之间的位置移动的控制。另外，af评价值的峰值是指af评价值的最大值。
128.具体而言，af控制部360首先一边在给定的范围内驱动对焦透镜111(扫描)一边取得far图像及near图像。基于在各对焦透镜位置拍摄到的far图像和near图像来计算对比度值，由此，求出对焦透镜位置与far图像的对比度值的关系、及对焦透镜位置与near图像的对比度值的关系。af控制部360检测各个对比度值成为峰值的对焦透镜位置。之后，af控制部360将对焦透镜位置调整到针对2个峰值的对焦透镜位置之间的任意位置。
129.far图像的对比度值成为峰值的对焦透镜位置是指关注被摄体在摄像元件f上成像的对焦透镜位置。near图像的对比度值成为峰值的对焦透镜位置是指关注被摄体在摄像元件n上成像的对焦透镜位置。这样，通过在给定的范围内扫描对焦透镜111的方法，能够将关注被摄体的成像位置设定到第1位置与第2位置之间的位置。因此，能够在景深扩大后的合成图像中实现最佳的景深范围。
130.此外，af控制部360也可以在第2af控制模式中基于通过扫描驱动进行的峰值检测来进行af控制。
131.3.5被摄体形状的估计
132.图11是作为本实施方式的摄像装置10的一例的内窥镜装置12的另一结构例。内窥
镜装置12还包含估计关注被摄体及其周围的形状的被摄体形状估计部600。另外，内窥镜装置12包含目标成像位置设定部366，目标成像位置设定部366基于在被摄体形状估计部600中估计出的被摄体形状。设定目标成像位置。然后，af控制部360进行使对焦透镜111向判定为关注被摄体的被摄体像成像于在目标成像位置设定部366中设定的目标成像位置的位置移动的控制。通过进行这样的控制，能够根据被摄体的形状，取得在最佳的范围内对准了焦点的合成图像。
133.图12(a)～图12(c)是例示被摄体形状与期望的景深范围的关系的图。在使用图2等说明的例子中，如图12(a)所示，设想了在从关注被摄体接近物镜光学系统的方向与从关注被摄体远离物镜光学系统的方向双方存在被摄体的情况。在该情况下，为了平衡地取得对准了焦点的合成图像，在摄像元件f与摄像元件n之间的位置设定了目标成像位置。
134.但是，在实际的内窥镜检查中，也产生仅在从关注被摄体远离物镜光学系统110的方向上存在被摄体这样的场景。作为这样的场景，例如如图12(b)所示，考虑从接近正面的方向观察息肉状的病变的情况。在被摄体形状估计部600中估计为被摄体是这样的形状的情况下，目标成像位置设定部366在与对应于摄像元件n的位置更近的位置设定目标成像位置。更具体而言，目标成像位置设定部366设定摄像元件n成为目标成像位置的目标成像位置信息。由此，能够确定在息肉状的被摄体的宽范围内对准了焦点的合成图像。
135.此外，在内窥镜检查中，也产生仅在从关注被摄体接近物镜光学系统110的方向上存在被摄体这样的场景。作为这样的场景，例如如图12(c)所示，考虑从接近正面的方向观察凹陷状的病变的情况。在被摄体形状估计部600中估计为被摄体是这样的形状的情况下，目标成像位置设定部366在与对应于摄像元件f的位置更近的位置设定目标成像位置。更具体而言，目标成像位置设定部366设定摄像元件f成为目标成像的目标成像位置信息。由此，能够取得在凹陷状的被摄体的宽范围内对准了焦点的合成图像。
136.此外，目标成像位置设定部366在摄像元件f与摄像元件n之间的位置设定目标成像位置信息的情况下，也可以基于在被摄体形状估计部600中估计出的被摄体形状，适当地设定目标成像位置信息。
137.被摄体形状估计部600例如根据从预处理部320输出的图像，通过利用亮度分布、颜色分布等信息来估计被摄体形状。此外，被摄体形状估计部600也可以使用sfm(structure from motion：运动中恢复结构)、dfd(depth from defocus：离焦深度测量)等已知的形状估计技术，来估计被摄体形状。此外，内窥镜装置12还可以具备例如使用了双眼的立体摄影装置、基于光场的摄影装置、基于图案投影、tof(time of flight：飞行时间)的测距装置等未图示的已知的能够进行距离计测或形状计测的装置，被摄体形状估计部600基于它们的输出来估计被摄体形状。如以上那样，被摄体形状估计部600中的处理及用于实现该处理的结构能够进行各种变形实施。
138.此外。本实施方式的方法能够应用于包含物镜光学系统110、光路分割部121及摄像元件122的摄像装置10的工作方法。摄像装置的工作方法进行合成处理和af控制，在该合成处理中，在第1图像及第2图像之间的对应的规定区域选择对比度相对高的图像，由此合成1个合成图像，在该af控制中，基于进行合成处理前的第1图像及第2图像中的至少一方，使对焦透镜111向判定为焦点对准于关注被摄体的位置移动。此外，摄像装置10的工作方法进行上述合成处理和如下的af控制，在该af控制中，按照包含第1af控制模式的给定的af控
制模式进行动作，由此，使对焦透镜111向判定为焦点对准于关注被摄体的位置移动。
139.以上，对应用了本发明的实施方式及其变形例进行了说明，但本发明不直接限于各实施方式及其变形例，在实施阶段，能够在不脱离发明的主旨的范围内通过改变结构要素而使其变得具体。此外，通过适当组合上述各实施方式和变形例所公开的多个结构要素，能够形成各种发明。例如，也可以从各实施方式和变形例中记载的全部结构要素中删除若干结构要素。此外，也可以适当组合在不同的实施方式和变形例中说明的结构要素。这样，在不脱离发明的主旨的范围内能够进行各种变形和应用。此外，在说明书或附图中，至少一次与更广义或同义的不同用语一起记载的用语在说明书或附图的任何部位都能够置换为该不同的用语。
140.标号说明
141.10
…
摄像装置，12
…
内窥镜装置，100
…
插入部，110
…
物镜光学系统，111
…
对焦透镜，120
…
摄像部，121
…
光路分割部，122
…
摄像元件，122a、122b
…
受光区域，122c，122d
…
摄像元件，123
…
偏振分束器，123a、123b
…
棱镜，123c
…
反射镜，123d
…
λ/4板，123e
…
偏振分离膜，124
…
棱镜，124a、124b
…
棱镜元件，130
…
致动器，140
…
照明透镜，150
…
光导，160
…
af开始/结束按钮，200
…
外部i/f部，300
…
系统控制装置，310
…
a/d转换部，320
…
预处理部，330
…
图像合成部，340
…
后处理部，350
…
系统控制部，360
…
af控制部，361
…
af区域设定部，362
…
af评价值计算部，363
…
方向判别部，364
…
合焦判定部，365
…
透镜驱动量决定部，366
…
目标成像位置设定部，367
…
模式切换控制部，368
…
对焦透镜驱动部，370
…
光量决定部，400
…
显示部，500
…
光源装置，510
…
光源控制部，520
…
光源，600
…
被摄体形状估计部，ax
…
光轴，ob
…
被摄体，ob1
…
关注被摄体，ob2、ob3
…
周边被摄体。