图像处理装置、摄像装置、图像处理方法以及图像处理程序的制作方法
【技术领域】
[0001] 本发明涉及图像处理装置、摄像装置、图像处理方法以及图像处理程序。
【背景技术】
[0002] 作为数码相机，广泛公知如下的数码相机：除了使用相位差检测方式、对比度检测 方式的自动聚焦模式之外，还具备使用者能够手动进行调焦的所谓的手动聚焦模式。
[0003] 作为具有手动聚焦模式的数码相机，公知采用如下方法的数码相机，即，设置反光 镜以便能够在确认被摄体的同时进行调焦，并使用显示基于目视的相位差的裂像微棱镜屏 幕。另外，还公知采用进行基于目视的对比度的确认的方法的数码相机。
[0004] 但是，在近年来普及的省略了反光镜的数码相机中，由于没有反光镜，所以没有在 显示相位差的同时确认被摄体像的方法，不得不依赖于对比度检测方式。但是，在这种情况 下，无法显示IXD (liquid crystal display:液晶显示器）等显示装置的分辨率以上的对 比度，不得不采用进行局部放大等来显示的方法。
[0005] 因此，近年来，为了使得在手动聚焦模式时用户（例如摄影者）对被摄体进行焦点 对准的操作变得容易，在实时预览图像（也称为取景图像）内显示裂像。裂像是例如将显 示区域分割成多个而得到的分割图像（例如在上下方向上分割而得到的各图像），是指根 据焦点的偏移而在视差产生方向（例如左右方向）上产生偏移、并且如果是对准了焦点的 状态则视差产生方向的偏移消失的分割图像。用户操作手动聚焦环（以下称为"聚焦环"） 而进行焦点对准，以使得裂像（例如在上下方向上分割而得到的各图像）的偏移消失。
[0006] 此处，使用在日本特开2009-147665号公报中记载的摄像装置来说明裂像的原 理。生成对通过来自摄像光学系统的光束中被光瞳分割部分割了的光束而形成的第1被摄 体像以及第2被摄体像分别进行光电转换而得到的第1图像以及第2图像。然后，使用这 些第1以及第2图像来生成裂像，并且对通过没有被光瞳分割部分割的光束来形成的第3 被摄体像进行光电转换而生成第3图像。然后，将第3图像显示于显示部，并且在第3图像 内显示所生成的裂像，从而构成图像。另外，能够将从第3图像提取出的颜色信息附加到裂 像。通过这样将从第3图像提取出的颜色信息附加到裂像，能够优化裂像的视觉辨认性。
[0007] 此外，作为辅助达到了对焦状态的判断的技术，公知有强调地显示对比度的大小 为预定值以上的区域的峰值聚焦（参照例如日本特开2001-309210号公报）。
【发明内容】
[0008] 发明所要解决的课题
[0009] 但是，在利用裂像的对焦判断方法中，通过目视来判断像偏移是否消失，但需要在 对连续地运动的图像偏移进行视觉辨认的同时进行判断，焦点对准需要时间。与此相对，在 利用峰值聚焦的对焦判断方法中，与利用裂像的对焦判断方法相比，能够在更短时间内进 行是否是高对比度区域（是否是预定对比度以上的区域）的判断。但是，高对比度区域全 部被强调显示，因此用户有可能将不处于对焦状态的高对比度区域误判为处于对焦状态。
[0010] 本发明是鉴于这样的情况而提出的，其目的在于，提供一种能够容易地在视觉上 识别是否处于对焦状态的图像处理装置、摄像装置、图像处理方法以及图像处理程序。
[0011] 用于解决课题的技术方案
[0012] 为了达到上述目的，本发明的第1方式的图像处理装置摄像元件包括：摄像元件， 具有第1像素群以及第2像素群，第1像素群对通过了摄影透镜中的第1区域的被摄体像 进行光瞳分割并进行成像而输出第1图像信号，第2像素群对通过了摄影透镜中的第2区 域的被摄体像进行光瞳分割并进行成像而输出第2图像信号；生成部，生成基于从摄像元 件输出的图像信号的第1显示用图像与基于第1图像信号以及第2图像信号的用于对焦确 认的第2显示用图像；确定部，确定第2显示用图像中的满足对比度的大小为第1预定值以 上的第1条件以及第1图像信号与第2图像信号的一致度为第2预定值以上的第2条件这 两种条件的图像区域；显示部，显示图像；以及显示控制部，对显示部进行控制，以使显示 部显示第1显示用图像，并且在第1显示用图像的显示区域内显示第2显示用图像，并且将 第2显示用图像中的由确定部确定的图像区域显示成能够与其他区域相区别。由此，与不 具有本结构的情况相比，能够更容易地在视觉上识别是否处于对焦状态。
[0013] 本发明的第2方式的图像处理装置包括：摄像元件，具有第1像素群以及第2像素 群，第1像素群对通过了摄影透镜中的第1区域的被摄体像进行光瞳分割并进行成像而输 出第1图像信号，第2像素群对通过了摄影透镜中的第2区域的被摄体像进行光瞳分割并 进行成像而输出第2图像信号；生成部，生成基于从摄像元件输出的图像信号的第1显示用 图像与基于第1图像信号以及第2图像信号的用于对焦确认的第2显示用图像；确定部，确 定第2显示用图像中的满足对比度的大小为第1预定值以上的第1条件以及第1图像信号 与第2图像信号的一致度为第2预定值以上的第2条件这两种条件的图像区域；显示部，显 示图像；以及显示控制部，对显示部进行控制，以使显示部显示第2显示用图像，并且将第2 显示用图像中的由确定部确定的图像区域显示成能够与其他区域相区别。由此，与不具有 本结构的情况相比，能够更容易地在视觉上识别是否处于对焦状态。
[0014] 本发明的第3方式在本发明的第1方式或者第2方式中，也可以是摄像元件还具 有第3像素群，该第3像素群对透过了摄影透镜的被摄体像不进行光瞳分割地进行成像，而 输出第3图像信号，生成部根据第3图像信号来生成第1显示用图像。由此，与不具有本结 构的情况相比，能够以简单的结构来提高第1显示用图像的画质。
[0015] 本发明的第4方式在本发明的第3方式中，也可以是对比度的大小根据第3图像 信号来确定。由此，与不具有本结构的情况相比，能够更高精度地确定满足第1条件的像素 间。
[0016] 本发明的第5方式在本发明的第4方式中，也可以是第1像素群具有在光瞳分割 方向以及与光瞳分割方向的交叉方向上配置的多个第1像素，第2像素群具有在光瞳分割 方向以及交叉方向中的至少光瞳分割方向上分别与多个第1像素的各像素交替地配置的 多个第2像素，第3像素群具有在光瞳分割方向以及交叉方向中的至少光瞳分割方向上配 置在第1像素与第2像素之间的第3像素，对比度的大小根据第3像素的信号电平来确定。 由此，与不具有本结构的情况相比，能够更高精度地确定第1像素与第2像素之间的满足第 1条件的像素间。
[0017] 本发明的第6方式在本发明的第5方式中，也可以是对比度的大小根据第3像素 的交叉方向的预定像素量的平均信号电平来确定。由此，能够更高精度地确定第1像素与 第2像素之间的满足第1条件的像素间。
[0018] 本发明的第7方式在本发明的第4方式中，也可以是第1像素群具有在光瞳分割 方向以及与光瞳分割方向的交叉方向上配置的多个第1像素，第2像素群具有在光瞳分割 方向以及交叉方向中的至少光瞳分割方向上分别与多个第1像素的各像素交替地配置的 多个第2像素，第3像素群具有在光瞳分割方向以及交叉方向中的至少光瞳分割方向上配 置在第1像素与第2像素之间的多个第3像素，对比度的大小根据在光瞳分割方向上配置 在第1像素与第2像素之间的多个第3像素的信号电平的变化率来确定。由此，不具有本 结构的情况相比，能够更高精度地确定第1像素与第2像素之间的满足第1条件的像素间。
[0019] 本发明的第8方式在本发明的第7方式中，也可以是对比度的大小根据多个第3 像素的各像素中的交叉方向的预定像素量的平均信号电平的变化率来确定。由此，能够更 高精度地确定第1像素与第2像素之间的满足第1条件的像素间。
[0020] 本发明的第9方式在本发明的第4方式至第8方式中的任一个中，也可以是对比 度的大小根据第3图像信号中的基于第3像素群中的信号电平为非饱和状态的像素的第3 图像信号来确定。由此，与不具有本结构的情况相比，能够抑制当在第3像素群中包括信号 电平为饱和状态的像素的情况下可能引起的图像区域的错误确定。
[0021] 本发明的第10方式在本发明的第1方式至第4方式中的任一个中，也可以是第1 像素群具有在光瞳分割方向以及与光瞳分割方向的交叉方向上配置的多个第1像素，第2 像素群具有在光瞳分割方向以及交叉方向中的至少光瞳分割方向上分别与多个第1像素 的各像素交替相邻地配置的多个第2像素。由此，与不具有本结构的情况相比，作为与满足 第1以及第2条件这两种条件的像素间对应的图像区域，能够确定更高的空间频率的图像 区域。
[0022] 本发明的第11方式在本发明的第1方式至第10方式中的任一个中，也可以还包 括：校正部，求出与基于经由第1像素群中的光瞳分割方向的像素的第1区域而入射的光以 及经由第2像素群中的光瞳分割方向的像素的第2区域而入射的光的减光特性相应的校正 系数，根据所求出的校正系数来校正第1图像信号以及第2图像信号，第2条件是由校正部 分别校正后的第1图像信号与第2图像信号的一致度为第2预定值以上的条件。由此，与 不具有本结构的情况相比，能够抑制基于经由第1以及第2像素群的各自中的光瞳分割方 向的像素的第1以及第2区域而入射的光的减光特性所引起的图像区域的错误确定。
[0023] 本发明的第12方式在本发明的第1方式至第11方式中的任一个中，确定部也可 以根据由第1图像信号以及第2图像信号的各图像信号确定的在光瞳分割方向上信号电平 具有极大值的像素间的距离，确定满足第2条件的图像区域。由此，与不具有本结构的情况 相比，能够更高精度地确定满足第2条件的图像区域。
[0024] 本发明的第13方式在本发明的第12方式中，确定部也可以根据第1图像信号以 及第2图像信号各自的微分值来推测距离，根据所推测到的距离，确定满足第2条件的图像 区域。由此，能够更高精度地确定满足第2条件的图像区域。
[0025] 本发明的第14方式在本发明的第1方式至第13方式中的任一个中，第1预定值 以及第2预定值中的至少一个也可以根据光圈值来确定。由此，与不具有本结构的情况相 比，能够高精度地求出第1预定值以及第2预定值中的至少一方。
[0026] 为了达到上述目的，本发明的第15方式的摄像装置包括：本发明的第1方式至第 14方式中的任一个图像处理装置；摄像元件，具有第1像素群以及第2像素群；以及存储 部，存储根据从摄像元件输出的图像信号而生成的图像。由此，与不具有本结构的情况相 比，能够更容易地在视觉上识别是否处于对焦状态。
[0027] 为了达到上述目的，本发明的第16方式的图像处理方法包括：生成第1显示用图 像以及第2显示用图像，其中，第1显示用图像是基于从具有第1像素群以及第2像素群的 摄像元件输出的图像信号的图像，第1像素群对通过了摄影透镜中的第1区域的被摄体像 进行光瞳分割并进行成像而输出第1图像信号，第2像素群对通过了摄影透镜中的第2区 域的被摄体像进行光瞳分割并进行成像而输出第2图像信号，第2显示用图像是基于第1 图像信号以及第2图像信号的用于对焦确认的图像；确定第2显示用图像中的满足对比度 的大小为第1预定值以上的第1条件以及第1图像信号与第2图像信号的一致度为第2预 定值以上的第2条件这两种条件的图像区域；对显示图像的显示部进行控制，以使显示部 显示第1显示用图像，并且在第1显示用图像的显示区域内显示第2显示用图像，并且将第 2显示用图像中的所确定的图像区域显示成能够与其他区域相区别。由此，与不具有本结构 的情况相比，能够更容易地在视觉上识别是否处于对焦状态。
[0028] 为了达到上述目的，本发明的第17方式的图像处理方法包括：生成第1显示用图 像以及第2显示用图像，其中，第1显示用图像是基于从具有第1像素群以及第2像素群的 摄像元件输出的图像信号的图像，第1像素群对通过了摄影透镜中的第1区域的被摄体像 进行光瞳分割并进行成像而输出第1图像信号，第2像素群对通过了摄影透镜中的第2区 域的被摄体像进行光瞳分割并进行成像而输出第2图像信号，第2显示用图像是基于第1 图像信号以及第2图像信号的用于对焦确认的图像；确定第2显示用图像中的满足对比度 的大小为第1预定值以上的第1条件以及第1图像信号与第2图像信号的一致度为第2预 定值以上的第2条件这两种条件的图像区域；对显示图像的显示部进行控制，以使显示部 显示第2显示用图像，并且将第2显示用图像中的所确定的图像区域显示成能够与其他区 域相区别。由此，与不具有本结构的情况相比，能够更容易地在视觉上识别是否处于对焦状 ??τ O
[0029] 为了达到上述目的，本发明的第18方式的图像处理程序用于使计算机作为本发 明的第1方式至第14方式中的任一个图像处理装置中的生成部、确定部以及显示控制部发 挥功能。由此，与不具有本结构的情况相比，能够更容易地在视觉上识别是否处于对焦状 ??τ O
[0030] 发明效果
[0031] 根据本发明，可得到能够容易地在视觉上识别是否处于对焦状态的这样的效果。
【附图说明】
[0032] 图1是第1~第3实施方式的作为镜头可换式相机的摄像装置的外观的一个例子 的立体图。
[0033] 图2是示出图1所示的摄像装置的背面侧的背视图。
[0034] 图3是示出图1所示的摄像装置的电气系统的结构的一个例子的框图。
[0035] 图4是示出第1实施方式的摄像装置所包括的摄像元件中设置的滤色器的配置以 及相位差像素相对于滤色器的配置的一个例子的概略配置图。
[0036] 图5是示出第1实施方式的摄像元件所包括的第1像素、第2像素以及正常像素 的配置的一个例子的概略配置图。
[0037] 图6是示出图5所示的摄像元件所包括的第1像素以及第2像素各自的结构的一 个例子的示意图。
[0038] 图7是示出通过了图1所示的摄像装置所包括的摄影透镜的光的路径、俯视的成 像图像以及成像区域中的基于左区域通过光以及右区域通过光的光强度分布的一个例子 的示意图。
[0039] 图8是示出图1所示的摄像装置所包括的图像处理部的主要部件结构的一个例子 的功能框图。
[0040] 图9A是示出对焦状态（perfect focus/完美聚焦）时的被摄体、摄影透镜与摄像 元件的位置关系的一个例子的示意图。
[0041] 图9B是示出非对焦状态时的被摄体、摄影透镜与摄像元件的位置关系的一个例 子的示意图。
[0042] 图10是示出由图8所示的图像处理部所包括的确定部使用的阈值导出表格的结 构的一个例子的不意图。
[0043] 图11是示出图8所示的图像处理部所包括的生成部的主要部件结构的一个例子 的功能框图。
[0044] 图12是示出图1所示的摄像装置的主要部件结构的一个例子的功能框图。
[0045] 图13是示出图1所示的摄像装置所包括的显示装置中的裂像的显示区域以及正 常图像的显示区域的一个例子的示意图。
[0046] 图14是示出在图1所示的摄像装置所包括的显示装置中显示的包括正常图像以 及裂像的实时预览图像（对焦状态时）的一个例子的画面图。
[0047] 图15是示出在图1所示的摄像装置所包括的显示装置中显示的包括正常图像以 及裂像的实时预览图像（非对焦状态时）的一个例子的画面图。
[0048] 图16是示出第1实施方式的图像输出处理的流程的一个例子的流程图。
[0049] 图17是示出第1实施方式的图像区域确定处理的流程的一个例子的流程图。
[0050] 图18是图17所示的流程图的后续。
[0051] 图19是用于说明基于左区域通过光以及右区域通过光的减光特性的原理（分别 入射到第1以及第2像素的光束的路径的一个例子）的说明图。
[0052] 图20是示出光瞳分割方向的线性的减光特性对左眼图像以及右眼图像各自的与 光瞳分割方向相当的方向的各像素的输出造成的影响的一个例子的图表。
[0053] 图21是示出校正前后的左眼图像以及右眼图像受到的减光特性的影响的一个例 子的示意图。
[0054] 图22是示出第1实施方式的通过图像输出处理生成的处理对象图像中包括的像 素（第1像素、第2像素以及正常像素）的配置的一个例子的概略配置图。
[0055] 图23是示出第1实施方式的通过图像区域确定处理设定的关注像素群的结构的 一个例子的不意图。
[0056] 图24是示出第1实施方式的通过图像区域确定处理生成的第1以及第2像素值 分布（非对焦状态时）的一个例子的图表。
[0057] 图25是示出第1实施方式的通过图像区域确定处理生成的第1以及第2像素值 分布（对焦状态时）的一个例子的图表。
[0058] 图26是示出第1实施方式的在通过显示装置表示了通过图像输出处理输出的处 理对象图像的情况下的画面例的画面图。
[0059] 图27是示出第1实施方式的在通过显示装置表示了通过图像输出处理输出的处 理对象图像中的裂像的情况下的画面例的画面图。
[0060] 图28是示出第1实施方式的图像区域确定处理的流程的变形例的流程图。
[0061] 图29是示出第1实施方式的通过图像区域确定处理设定的关注像素群的第1变 形例的示意图。
[0062] 图30是示出第1实施方式的通过图像区域确定处理设定的关注像素群的第2变 形例的示意图。
[0063] 图31是示出第1实施方式的通过图像区域确定处理设定的关注像素群的第3变 形例的示意图。
[0064] 图32是示出第2实施方式的图像区域确定处理的流程的一个例子的流程图。
[0065] 图33是示出第2实施方式的通过图像区域确定处理设定的关注像素群的结构的 一个例子的不意图。
[0066] 图34是示出第3实施方式的摄像装置所包括的摄像元件以及处理对象图像的像 素配置的一个例子的示意图。
[0067] 图35是示出第3实施方式的图像区域确定处理的流程的一个例子的流程图。
[0068] 图36是示出第3实施方式的摄像元件以及通过图像区域确定处理设定的关注像 素群的第1变形例的示意图。
[0069] 图37是示出第3实施方式的摄像元件以及通过图像区域确定处理设定的关注像 素群的第2变形例的示意图。
[0070] 图38是示出第3实施方式的摄像元件以及通过图像区域确定处理设定的关注像 素群的第3变形例的示意图。
[0071] 图39是示出第3实施方式的摄像元件以及通过图像区域确定处理设定的关注像 素群的第4变形例的示意图。
[0072] 图40是示出第4实施方式的智能手机的外观的一个例子的立体图。
[0073] 图41是示出第4实施方式的智能手机的电气系统的主要部件结构的一个例子的 框图。
[0074] 图42是示出作为第1~第4实施方式的裂像的变形例的、分成奇数行与偶数行地 交替排列第1图像以及第2图像而形成的裂像的一个例子的示意图。
[0075] 图43是示出作为第1~第4实施方式的裂像的变形例的、由相对于行方向倾斜的 倾斜分割线分割而得到的裂像的一个例子的示意图。
[0076] 图44A是示出作为第1~第4实施方式的裂像的变形例的、由格子状的分割线分 割而得到的裂像的一个例子的示意图。
[0077] 图44B