面部聚焦的图像。这样 使得用户较容易选择被摄体的期望图像。
[0073] 根据本实施例，在步骤S603中，指定存在于画面内的各被摄体，并且为了获得各 被摄体聚焦的图像，通过重复使再聚焦系数从聚焦于最近景（广角侧）所利用的值以特定 量向着聚焦于远景的值改变来生成多个显影图像。可选地，还可以基于通过例如上述的相 关运算等所求出的画面内的各位置的焦点位置信息（距离映射）来估计各被摄体的焦点位 置，确定各被摄体聚焦所利用的再聚焦系数的多个候选，并且使用这些多个候选作为步骤 S603所用的再聚焦系数。还可以基于这些多个候选值来确定步骤S603所用的再聚焦系数 的特定量。
[0074] 第二实施例
[0075] 以下说明本发明的第二实施例。在第二实施例中，当上述第一实施例的图像处理 电路106检测面部时，图像处理电路106还使用存储在存储器电路107中的面部和名称数 据库来执行面部识别，并将人物的名称与主图像相关联地进行记录。
[0076] 由于该原因，在第二实施例中，预先在图1的存储器电路107中存储将面部特征与 名称相关联的数据库。此外，如果在图7的步骤S605中图像处理电路106在以特定再聚焦 系数进行显影得到的显影图像中检测面部，则图像处理电路106通过查询存储器电路107 中的面部和名称数据库来对该面部进行面部识别。然后，将通过图像处理电路106所进行 的查询得到的人物的名称连同第一实施例中所述的主图像中的面部的附加图像和/或附 加信息一起视为辅助信息，并将该辅助信息与先前记录的主图像相关联地记录在记录电路 108中。由于后续处理与以上在第一实施例中所述的处理相同，因此将不给出针对该处理的 说明。
[0077] 注意，在如第二实施例那样从面部和名称数据库获取到的名称信息、以及相对于 主图像的相对位置和相对大小信息都可用作辅助信息的情况下，可以进行如图9D所示的 显示。具体地，控制电路109指示图像处理电路106以从记录电路108读出与用户所选择 的缩略图相对应的主图像，并使用预定的再聚焦系数对该主图像进行显影。在这种情况下， 在显影图像中，人物A聚焦，但人物B没有聚焦。由于该原因，控制电路109从附加信息获 取针对显影图像中没有聚焦的人物B 831的面部的名称，并指示显示电路111以将名称信 息叠加在该图像上的方式显示该名称信息。作为这样进行显示的结果，在景深浅的主图像 的缩略图图像中的没有聚焦的面部的情况下，用户可以浏览名称作为字符叠加在面部的附 近位置处的缩略图图像。这样使得用户较容易选择被摄体的期望图像。
[0078] 尽管在第一实施例和第二实施例中说明了摄像设备进行面部判断和记录处理的 情况，但本发明不限于此。例如，即使在外部图像处理设备使用如下的图像数据来进行使用 图6~9D所述的处理的情况下，也可以实现本发明的目的，其中该图像数据是从用于生成 能够进行再聚焦处理所利用的图像数据的摄像设备输出的。
[0079] 此外，在上述实施例中，使用利用各种再聚焦系数所获得的重建图像作为被摄体 判断处理中所使用的图像。然而，例如，可以使用作为能够对整个视角的被摄体进行检查的 图像的、通过收集各微透镜内的一部分像素所获得的图像来生成景深深的图像，并且使用 该图像来进行被摄体检测。
[0080] 以下参考图20A~20C来说明可以应用本实施例的光学系统的示例。图20A~ 20C是示意性示出来自物体（被摄体）的光线在图像传感器103上如何形成图像的图。图 20A与图3示出的光学系统相对应，并且示出微透镜阵列102配置在摄像镜头101的成像面 附近的示例。图20B示出微透镜阵列102配置在比摄像镜头101的成像面更靠近物体的位 置的示例。图20C示出微透镜阵列102配置在比摄像镜头101的成像面离物体更远的位置 处的示例。
[0081] 在图20A~20C中，103表示图像传感器，102表示微透镜阵列，31~35表示图3 所示的光瞳区域al~a5, 51表示物体面，51a和51b表示物体上的任意点，52表示摄像镜 头的光瞳面，并且61、62、71、72、73、81、82、83和84表示微透镜阵列102中的特定微透镜。 在图20B和20C中，103a表示虚拟图像传感器，并且102a表示虚拟微透镜阵列。这两者是 为了明确与图20A的对应关系而示出以供参考的。此外，实线表示从物体上的点51a发出 的通过光瞳面上的区域31和33的光束，并且虚线表示从物体上的点51b发出的通过光瞳 面上的区域31和33的光束。
[0082] 在图20A的示例中，同样如图3所示，微透镜阵列102配置在摄像光学系统的成像 面附近，因此图像传感器103和摄像镜头101的光瞳面52成共辄关系。此外，物体面51和 微透镜阵列102成共辄关系。由于该原因，从物体上的点51a发出的光束到达微透镜61，从 点51b发出的光束到达微透镜62,并且通过了区域31~35的光束到达设置在这些微透镜 后方的相应像素。
[0083] 在图20B的示例中，微透镜阵列102使来自摄像镜头101的光束形成图像，并且图 像传感器103设置在该成像面处。根据该配置，物体面51和图像传感器103成共辄关系。 从物体上的点51a发出的通过了光瞳面上的区域31的光束到达微透镜71，并且从物体上的 点51a发出的通过了光瞳面上的区域33的光束到达微透镜72。从物体上的点51b发出的 通过了光瞳面上的区域31的光束到达微透镜72,并且从物体上的点51b发出的通过了光瞳 面上的区域33的光束到达微透镜73。通过了这些微透镜的光束到达设置在这些微透镜后 方的相应的像素。这样，根据物体上的点和光瞳面上的透过区域，在不同的位置处形成了图 像。可以通过与虚拟摄像面103a上的位置再对准来获得与图20A相同的信息。换句话说， 可以获得表示所通过的光瞳区域（入射角度）以及图像传感器上的位置的信息。
[0084] 在图20C的示例中，微透镜阵列102使来自摄像镜头101的光束再形成图像（由 于使先前进行了一次成像的处于扩散状态的光束形成图像，因而被称为图像再形成），并且 图像传感器103设置在该成像面处。根据该配置，物体面51和图像传感器103成共辄关系。 从物体上的点51a发出的穿过了光瞳面上的区域31的光束到达微透镜82,并且从物体上 的点51a发出的穿过了光瞳面上的区域33的光束到达微透镜81。从物体上的点51b发出 的通过了光瞳面上的区域31的光束到达微透镜84,并且从物体上的点51b发出的通过了 光瞳面上的区域33的光束到达微透镜83。通过了这些微透镜的光束到达设置在这些微透 镜后方的相应像素。与图20B相同，可以通过与虚拟摄像面103a上的位置再对准来获得与 图20A相同的信息。换句话说，可以获得表示所通过的光瞳区域（入射角度）以及图像传 感器上的位置的信息。
[0085] 尽管图20A~20C示出了可以通过使用微透镜阵列（相位调制元件）作为光瞳分 割单元来获取位置信息和角度信息的示例，但可以使用其它的光学结构，只要可以获取位 置信息和角度信息（等同于对光瞳透过区域进行限制）即可。例如，可以使用将设置有适 当图案的掩模（增益调制元件）插入摄像光学系统的光路中的方法。
[0086] 第三实施例
[0087] 近年来，已开发了用于对发生了模糊（焦点偏移）的劣化图像进行恢复的技术。在 日本专利2963990所公开的图像恢复设备中，在摄像光学系统中配置有图案化的光圈，并 且通过获取观察图像并基于光圈的图案对该观察图像进行分析来获得距离图像和所聚焦 的聚焦图像。
[0088] 此外，日本特开2000-020691公开一种将发生了图像抖动或模糊的劣化图像恢复 为高质量图像的方法。设f(x，y)是理想图像、g(x，y)是劣化图像、并且h(x，y)是图像劣 化函数，则可以如以下所示表示劣化图像g(x，y)。
[0089] g(x,y)=SIh(x-x' ,y-y')f(x' ,y')dx'dy' (5)
[0090] 这里，设F(u,v)是理想图像f(x,y)的傅里叶变换、G(u,v)为劣化图像g(x,y)是 傅里叶变换、并且H(u，v)是图像劣化函数h(x，y)的傅里叶变换，则可以如以下所示对表达 式（5)进行重写。
[0091] G(u,v) =H(u,v)F(u,v) (6)
[0092] 对表达式（6)进行变形可获得如以下以重写形式所示的理想图像。
[0093] F(u,v) =G(u,v)/H(u,v) (7)
[0094] 这样，日本特开2000-020691公开了如下方法：例如基于摄像设备的特性信息来 生成劣化函数h(x，y)，并基于该劣化函数来生成恢复图像f(x，y)。然而，由于对所拍摄图 像全体进行恢复处理，因此难以获得聚焦于主被摄体的景深浅的图像。
[0095] 有鉴于此，第三实施例提供一种用于对所拍摄图像中的特定被摄体的焦点偏移进 行校正的技术。
[0096] 图10示出根据第三实施例的数字照相机1的总体结构。在图10中，摄像镜头2 是用于使被摄体光在图像传感器3上形成图像的镜头，并且摄像镜头2相对于图像传感器3 固定在预定位置处。由于本实施例的摄像镜头2不具有焦点调节机构，因此可以缩小数字 照相机1的大小。此外，尽管在图10中将摄像镜头2示出为单个透镜，但摄像镜头2实际 由多个透镜构成，从而满足镜头性能要求。
[0097] 数字照相机1包括：CPU7,用于对数字照相机1进行总体控制；以及专用集成电 路（ASIC)6,用于通过图像处理来恢复失焦（伴随有焦点偏移）的图像（即，对焦点偏移进 行校正）。数字照相机1还包括：显示单元4 (液晶显示屏等），用于显示恢复图像；存储器 8,用于记录图像传感器3所拍摄到的图像；以及触发单元9,其中拍摄者利用该触发单元来 指示执行摄像操作。
[0098] 触发单元9由拍摄者执行摄像操作所利用的二级开关构成，并被配置成如下：在 将触发单元9按压至第一级时，第一开关接通，并且在将触发单元9按压至第二级时，第二 开关接通。
[0099] 数字照相机1还包括取景器单元5,其中取景器单元5包括用于指定主被摄体的附 加功能。取景器单元5包括：光学取景器，用于经由镜头光学地观察被摄体；以及视线检测 器，用于检测经由光学取景器正观察被摄体的拍摄者所观看的位置。该光学取景器例如是 由物镜、目镜和作为图像变换单元的波罗（Porro)棱镜构成的实时取景器，并且在物镜的 像面上配置有高分子分散型液晶显示元件。
[0100] 图11是说明摄像画面的分割的图。如图11所示，例如，将摄像画面分割成8X10 个块。当视线检测器检测到拍摄者所观看的位置时，CPU7从该画面被分割成的块中指定 包括该观看位置的块。然后，CPU7将表示包括该观看位置的块的信息作为表示拍摄者期 望聚焦的主被摄体的信息（主被摄体信息）记录至存储器8。
[0101] 接着，将参考图12来说明第三实施例的摄像处理和恢复处理。当利用电源开关 (未示出）接通数字照相机1的电源时，开始本流程图的处理。
[0102] 在步骤SlOl中，CPU7判断是否已选择摄