摄像设备、图像处理设备和图像处理方法
【专利说明】
[0001] (本申请是申请日为2012年8月20日、申请号为201210298159. 7、发明名称为 "摄像设备、图像处理设备和图像处理方法"的申请的分案申请）
技术领域
[0002] 本发明涉及一种用于处理如下的图像数据的摄像设备、图像处理设备和图像处理 方法，其中该图像数据使得能够在摄像之后改变图像的焦距。
【背景技术】
[0003] 近年来，在数字照相机中，被称为光场照相机的照相机领域已引起关注。利用这种 照相机所拍摄到的图像，可以通过在摄像之后改变焦距（成像面、再聚焦面）来创建再聚焦 图像，因而期望能够在摄像之后选择各种焦点位置并消除由于摄像时的用户失误所引起的 失焦图像。
[0004] 另一方面，存在一种在显示数字照相机所拍摄到的图像时使用的被称为索引显示 的功能。该功能是用于显示缩小图像的列表以使得用户较容易找到期望图像的功能。然而， 尽管光场照相机所拍摄到的图像使得能够在摄像之后聚焦于任意位置，但并非必须聚焦于 在摄像时用户所期望聚焦的人物等。特别地，当进行索引显示时，存在如下情况：例如，如果 人物没有聚焦，则无法判断谁出现在图像中，并且用户难以对图像进行选择。
[0005] 日本特开2009-065356公开了用于在利用光场照相机摄像时解决上述的无法识 别被摄体的面部这一问题的方法。在该方法中，设置用于改变景深的设置，多次改变镜头位 置以进行预备摄像，基于该预备摄像的结果进行面部识别，然后进行摄像。
[0006] 然而，尽管日本特开2009-065356公开了用于在摄像时进行面部识别的方法，但 并未公开用于在图像再现时解决上述问题的方法。
[0007] 考虑到上述问题，本发明提供一种使得能够容易地识别出光场照相机拍摄到的图 像数据中所包括的被摄体的摄像设备、图像处理设备和图像处理方法。
【发明内容】
[0008] 根据本发明的第一方面，提供一种摄像设备，包括：摄像镜头；图像传感器，其包 括二维配置的多个像素，其中，所述图像传感器用于对入射光进行光电转换并输出图像数 据；多个微透镜，其配置在所述摄像镜头和所述图像传感器之间，其中，各微透镜分别与所 述图像传感器的多个区域中的各区域相对应，该各区域包括预定数量的像素；图像处理单 元，用于通过对从所述图像传感器输出的图像数据进行再聚焦处理来生成预定的再聚焦面 处的重建图像，并且判断所述重建图像中是否存在被摄体；以及记录单元，用于记录从所述 图像传感器输出的图像数据，并且将与被所述图像处理单元判断为存在的所述被摄体有关 的信息作为辅助信息与所述图像数据相关联地进行记录。
[0009] 根据本发明的第二方面，提供一种图像处理设备，用于对从摄像设备输出的图像 数据进行处理，所述摄像设备包括：摄像镜头；图像传感器，其包括二维配置的多个像素， 其中，所述图像传感器用于对入射光进行光电转换并输出图像数据；以及多个微透镜，其配 置在所述摄像镜头和所述图像传感器之间，其中，各微透镜分别与所述图像传感器的多个 区域中的各区域相对应，该各区域包括预定数量的像素，所述图像处理设备包括：图像处理 单元，用于通过对从所述图像传感器输出的图像数据进行再聚焦处理来生成预定的再聚焦 面处的重建图像，并且判断所述重建图像中是否存在被摄体；以及记录单元，用于记录从所 述图像传感器输出的图像数据，并且将与被所述图像处理单元判断为存在的所述被摄体有 关的信息作为辅助信息与所述图像数据相关联地进行记录。
[0010] 根据本发明的第三方面，提供一种图像处理方法，用于对从摄像设备输出的图像 数据进行处理，所述摄像设备包括：摄像镜头；图像传感器，其包括二维配置的多个像素， 其中，所述图像传感器用于对入射光进行光电转换并输出图像数据；以及多个微透镜，其配 置在所述摄像镜头和所述图像传感器之间，其中，各微透镜分别与所述图像传感器的多个 区域中的各区域相对应，该各区域包括预定数量的像素，所述图像处理方法包括以下步骤： 图像处理步骤，用于通过对从所述图像传感器输出的图像数据进行再聚焦处理来生成预定 的再聚焦面处的重建图像，并且判断所述重建图像中是否存在被摄体；以及记录步骤，用于 记录从所述图像传感器输出的图像数据，并且将与在所述图像处理步骤中被判断为存在的 所述被摄体有关的信息作为辅助信息与所述图像数据相关联地进行记录。
[0011] 通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。
【附图说明】
[0012] 图1是示出根据本发明实施例的摄像设备的总体结构的框图。
[0013] 图2是说明根据实施例的图像传感器的像素与微透镜阵列之间的位置关系的图。
[0014] 图3是说明根据实施例的摄像镜头、图像传感器的像素和微透镜阵列之间的位置 关系的图。
[0015] 图4A和4B是说明根据实施例的摄像镜头的光瞳区域与光接收像素之间的对应关 系的图。
[0016] 图5是说明根据实施例的再聚焦图像生成光线的透过区域的图。
[0017] 图6是说明根据实施例的用作辅助信息的面部位置信息和面部相对大小信息的 图。
[0018] 图7是示出根据实施例的在拍摄到主图像之后所进行的记录操作的流程图。
[0019] 图8是示出根据实施例的针对主图像的索引显示操作的流程图。
[0020] 图9A~9D是示出根据实施例的索引显示的示例的图。
[0021] 图10是示出根据第三实施例的数字照相机1的总体结构的图。
[0022] 图11是说明摄像画面的分割的图。
[0023] 图12是示出根据第三实施例的摄像处理和恢复处理的流程图。
[0024] 图13A是说明在摄像模式中在第一开关断开的情况下的取景器图像的图。
[0025] 图13B是说明在第一开关接通的情况下的取景器图像的图。
[0026] 图14是示出图12的步骤SllO中的恢复处理的详细内容的流程图。
[0027] 图15A是说明根据第三实施例的在摄像模式中在第一开关断开的情况下显示在 显示单元4上的图像的图。
[0028] 图15B是说明根据第三实施例的在第一开关接通的情况下显示在显示单元4上的 图像的图。
[0029] 图15C是说明根据第三实施例的恢复图像的图。
[0030] 图16是示出根据第四实施例的数字照相机1的总体结构的图。
[0031] 图17是示出根据第四实施例的摄像处理和恢复处理的流程图。
[0032]图18A是说明根据第四实施例的在摄像模式中在第一开关断开的情况下显示在 显示单元4上的图像的图。
[0033] 图18B是说明根据第四实施例的在第一开关接通的情况下显示在显示单元4上的 图像的图。
[0034]图18C是说明根据第四实施例的恢复图像的图。
[0035]图19是说明根据第四实施例的在没有检测到主被摄体的情况下的恢复图像的 图。
[0036] 图20A是示出可以应用本发明的光学系统的图。
[0037] 图20B是示出可以应用本发明的另一光学系统的图。
[0038] 图20C是示出可以应用本发明的又一光学系统的图。
【具体实施方式】
[0039] 以下参考附图来详细说明用于执行本发明的实施例。
[0040] 第一实施例
[0041] 图1是示出根据本发明实施例的摄像设备100的总体结构的框图。在图1所示的 结构中，已通过摄像镜头101的光在摄像镜头101的焦点位置附近形成图像。微透镜阵列 102由多个微透镜1020构成，并且由于配置在摄像镜头101的焦点位置附近，因而微透镜阵 列102具有使已通过摄像镜头101的不同光瞳区域的光针对各光瞳区域进行分割并出射的 功能。图像传感器103是诸如CMOS图像传感器或CCD图像传感器的光电转换元件，并输出 通过对入射光进行光电转换所获得的图像信号。多个微透镜1020以各微透镜1020与多个 像素相对应的方式二维配置，因此通过微透镜1020针对各光瞳区域已进行了分割并出射 的光可以在维持分割信息的状态下被接收到，并且可被转换成能够进行数据处理的图像信 号。
[0042] 模拟信号处理电路（AFE) 104对从图像传感器103输出的图像信号进行相关双采 样处理、信号放大、基准电平调整和A/D转换处理等。数字信号处理电路（DFE) 105对从模 拟信号处理电路104输出的图像信号进行诸如基准电平调整等的数字图像处理。
[0043] 图像处理电路106对从数字信号处理电路105输出的图像信号进行预定的图像处 理、以及光场照相机特有的用于聚焦于任意虚拟成像面的再聚焦运算（显影处理）。此外， 图像处理电路106具有用于在显影图像中检测被摄体的被摄体检测功能、以及用于识别所 检测到的被摄体是否是特定被摄体的识别功能。在本实施例中，图像处理电路106具有：作 为被摄体检测的示例的面部判断功能，用于识别人物的面部；以及作为被摄体识别功能的 示例的面部识别功能，用于通过与后面所述的存储器电路107中的面部数据库进行对照来 识别是谁的面部；但并不局限于此。图像处理电路106还具有如下功能，其中该功能用于在 再现时要进行索引显示的情况下，从记录电路108读出主图像，使用预定的再聚焦参数进 行显影，并生成缩小图像（缩略图图像）。存储器电路107是诸如闪速存储器等的非易失性 存储器，并且对存储有成对的人物的面部和名称的面部数据库信息进行存储。记录电路108 是诸如存储卡等的记录介质，其中该记录介质用于记录和保持从图像处理电路106输出的 图像信号（主图像）以及与这些主图像相关联的后面所述的辅助信息。
[0044] 控制电路109进行诸如针对图像传感器103和图像处理电路106的驱动控制等 的、针对摄像设备1〇〇的总体驱动控制。操作电路110接收来自摄像设备1〇〇所配备的操作 构件的信号，并将用户指示输入至控制电路109。显示电路111显示所拍摄图像、实时取景 图像、各种设置画面、主图像、显影图像以及记录在记录电路108中的辅助信息等。此外，在 后面所述的辅助信息是图像的情况下，显示电路111可以剪切出并显示该图像的一部分。 此外，在辅助信息是字符数据的情况下，显示电路111可以以将字符叠加在显示画面上的 方式显示这些字符。
[0045] 接着说明本实施例的摄像设备中的摄像镜头101、微透镜阵列102和图像传感器 103之间的位置关系。
[0046] 图2是从图1的光轴Z方向所观看的、示出图像传感器103和微透镜阵列102的 图。各微透镜1020以一个微透镜1020与多个分割像素201相对应的方式配置。将像素阵 列200定义为位于一个微透镜后方的一组分割像素201。注意，在第一实施例中，各像素阵 列200由5行X5列的总共25个分割像素201构成。
[0047] 图3是如从与光轴Z垂直的方向所观看的、示出从摄像镜头101出射的光如何通 过一个微透镜1020并由图像传感