图像处理设备、摄像设备和控制方法
【专利摘要】本发明涉及一种图像处理设备、摄像设备和控制方法。在本发明的图像处理设备中，在图像信号中选择多个被摄体，并且指定用于聚焦于所选择的各被摄体的被摄体距离。然后设置由所指定的被摄体距离所定义的被摄体距离范围。然后，基于该图像信号，图像处理设备生成聚焦于在所设置的被摄体距离范围中要聚焦的各被摄体的重建图像。
【专利说明】图像处理设备、摄像设备和控制方法
【技术领域】
[0001]本发明涉及一种图像处理设备、摄像设备和控制方法，尤其涉及用于在拍摄之后基于输出数据来生成在任意被摄体距离处聚焦的图像的技术。
【背景技术】
[0002]近年来，提出了如下技术:在诸如数字照相机等的摄像设备中，在拍摄期间将光的强度分布和行进方向记录作为输出数据，从而使得可以在记录之后基于该输出数据来生成焦点位置位于任意像面上的图像。
[0003]Ren.Ng 等人，“Light Field Photography with a Hand-held PlenopticCamera”，Stanford University Computer Science Tech Report CTSR, 2005-02 公开了如下方法(光场摄影):通过使穿过摄像镜头的不同分割光瞳区域的光束经由微透镜阵列在图像传感器的像素(光电转换元件)上成像，来单独记录从各方向入射的光。在这样所获得的输出数据(光场数据、以下称为“LF数据”)中，相邻像素记录从不同方向入射的光束。
[0004]通过从与各微透镜相关联的像素中提取来自同一方向的光束，可以基于LF数据来生成从该方向拍摄到的图像。此外，通过设置焦点位置、并且将记录了穿过包括该焦点位置的焦平面中的一个点的光束的像素的输出相加，可以在拍摄之后虚拟地生成(重建)在所指定的焦点位置(像面)处聚焦的图像的像素。
[0005]此外，通过仅使用LF数据中的、接收到穿过有限范围的分割光瞳区域的光束的像素，可以获得与在摄像光学系统中应用光圈的情况等同的效果。具体地，通过仅使用同对应于出射光瞳的中央的分割光瞳区域相对应的像素来生成重建图像，还可以生成景深深的且在宽范围的被摄体距离处聚焦的图像。
[0006]然而，在如上所述生成深景深的重建图像的情况下，存在除期望被摄体以外的被摄体也聚焦的情况。例如，正通过作为期望被摄体的人物的前方或后方的行人等也有可能聚焦。特别地，在重建图像中，与期望被摄体相比、拍摄期间位于离摄像设备更近的位置处的被摄体的存在感较高。
【发明内容】
[0007]本发明是考虑到传统技术的这些问题而作出的。本发明提供用于生成良好地聚焦于多个期望被摄体的图像的图像处理设备、摄像设备和控制方法。
[0008]本发明的第一方面提供一种图像处理设备，包括:获得部件，用于获得如下数据，根据该数据能够生成聚焦于任意像面的重建图像；显示部件，用于将图像显示到显示介质；选择部件，用于选择所述显示部件所显示的图像上的多个被摄体；设置部件，用于指定与所述选择部件所选择的多个被摄体相对应的聚焦位置，并且设置由所指定的聚焦位置所定义的聚焦范围；以及生成部件，用于基于所述数据来生成聚焦于与所述设置部件所设置的聚焦范围相对应的各被摄体的重建图像。
[0009]本发明的第二方面提供一种摄像设备，包括:摄像部件，用于输出如下数据，根据该数据能够生成聚焦于任意像面的重建图像；显示部件，用于将图像显示到显示介质；选择部件，用于选择所述显示部件所显示的图像上的多个被摄体；设置部件，用于指定与所述选择部件所选择的多个被摄体相对应的聚焦位置，并且设置由所指定的聚焦位置所定义的聚焦范围；以及生成部件，用于基于所述数据来生成聚焦于与所述设置部件所设置的聚焦范围相对应的各被摄体的重建图像。
[0010]本发明的第三方面提供一种图像处理设备的控制方法，包括以下步骤:获得步骤，在该步骤中，所述图像处理设备的获得部件获得如下数据，根据该数据能够生成聚焦于任意像面的重建图像；显示步骤，在该步骤中，所述图像处理设备的显示部件将图像显示到显示介质；选择步骤，在该步骤中，所述图像处理设备的选择部件选择所述显示步骤中所显示的图像上的多个被摄体；设置步骤，在该步骤中，所述图像处理设备的设置部件指定与所述选择步骤中所选择的多个被摄体相对应的聚焦位置，并且设置由所指定的聚焦位置所定义的聚焦范围；以及生成步骤，在该步骤中，所述图像处理设备的生成部件基于所述数据来生成聚焦于与所述设置步骤中所设置的聚焦范围相对应的各被摄体的重建图像。
[0011]本发明的第四方面提供一种摄像设备的控制方法，包括以下步骤:摄像步骤，在该步骤中，所述摄像设备的摄像部件输出如下数据，根据该数据能够生成聚焦于任意像面的重建图像；显示步骤，在该步骤中，所述摄像设备的显示部件将图像显示到显示介质；选择步骤，在该步骤中，所述摄像设备的选择部件选择所述显示步骤中所显示的图像上的多个被摄体；设置步骤，在该步骤中，所述摄像设备的设置部件指定与所述选择步骤中所选择的多个被摄体相对应的聚焦位置，并且设置由所指定的聚焦位置所定义的聚焦范围；以及生成步骤，在该步骤中，所述摄像设备的生成部件基于所述数据来生成聚焦于与所述设置步骤中所设置的聚焦范围相对应的各被摄体的重建图像。
[0012]通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。
【专利附图】
【附图说明】
[0013]图1是示出根据本发明实施例的数字照相机100的功能结构的框图。
[0014]图2是用于说明根据本发明实施例的微透镜阵列105和摄像单元106之间的关系的图。
[0015]图3是用于说明根据本发明实施例的、穿过出射光瞳301的各区域的光束和用于对这些光束进行光电转换的光电转换元件之间的关系的图。
[0016]图4A和4B是示出根据本发明实施例的、出射光瞳301的各区域和与各微透镜相对应的光电转换元件之间的对应关系的图。
[0017]图5是用于说明根据本发明实施例的、穿过重建面中的指定位置的光束所具有与摄像面中的穿过位置的关系的图。
[0018]图6是示出根据本发明实施例的数字照相机100中所执行的重建图像生成处理的流程图。
[0019]图7是示出根据本发明实施例的数字照相机100中所执行的被摄体选择处理的流程图。
[0020]图8A和SB是用于说明根据本发明实施例的对象LF数据的图。
[0021]图9是示出根据本发明实施例的D区域的分布的直方图。[0022]图10A、10B、10C和IOD是用于说明根据本发明实施例的输出图像的生成的图。【具体实施方式】
[0023]以下将参考附图来详细说明本发明的例示实施例。注意，以将本发明应用于作为图像处理设备的一个示例的如下数字照相机为例来说明以下实施例，其中该数字照相机可以在拍摄之后基于LF数据来生成聚焦于位于任意被摄体距离处的被摄体的图像。然而，本发明可应用于可以基于LF数据来生成聚焦于位于任意被摄体距离处的被摄体的图像的任何装置。
[0024]此外，如下定义本说明书中所使用的以下术语。
[0025].“光场(LF)数据”
[0026]LF数据是指从本实施例的数字照相机100的摄像单元106输出的图像信号。该图像信号的各像素表示与所穿过的摄像光学系统104的光瞳区域和入射方向的组合不同的光束相对应的信号强度。LF数据有时还被称为“光线空间信息”。
[0027].“重律图像”
[0028]重建图像是根据LF数据所生成的并且聚焦于位于任意被摄体距离处的被摄体的图像。具体地，通过根据与要生成图像的被摄体距离相对应的焦平面(即，重建面)中的像素配置而对与穿过各像素的光束相对应的LF数据中的像素的像素值进行合成，来获得该焦平面中的像素的像素值。重建面中的像素配置是基于在图像传感器位于重建面的情况下要入射的光束的入射方向所确定的。可以通过获得像素配置中的与一个微透镜相对应的像素的像素值的总和来生成重建图像的一个像素。
[0029]数字照相机100的结构
[0030]图1是示出根据本发明的本实施例的数字照相机100的功能结构的框图。
[0031]控制单元101例如是CPU，并且控制数字照相机100的各块的操作。具体地，控制单元101通过读出存储在R0M102中的后面所述的拍摄处理或再聚焦运动图像生成处理所用的操作程序、将该操作程序展开至RAM103并执行该操作程序，来控制各块的操作。
[0032]R0M102例如是可重写非易失性存储器，并且存储数字照相机100的各块所用的操作程序、以及各块的操作所需的参数等。
[0033]RAM103是易失性存储器。RAM103不仅用作用于展开数字照相机100的各块所用的操作程序的区域，而且还用作用于存储在各块的操作中所输出的中间数据等的存储区域。
[0034]摄像单元106是诸如CXD或CMOS传感器等的图像传感器。摄像单元106根据来自控制单元101的指示而接收从时序发生器(TG)(未示出)输出的定时信号，对利用摄像光学系统104在图像传感器的光电转换元件面上成像得到的光学图像进行光电转换，并且输出模拟图像信号。注意，摄像光学系统104包括物镜、调焦透镜和光圈等。此外，本实施例的数字照相机100具有设置在图像传感器的各光电转换元件上的微透镜，并且在光轴上的图像传感器和摄像光学系统104之间还单独具有微透镜阵列105。
[0035]微透镜和光电转换元件之间的关系
[0036]以下参考附图来说明在本发明的数字照相机100中设置在光轴上的图像传感器和摄像光学系统104之间的微透镜阵列105。
[0037]如图2所示，本实施例的微透镜阵列105由多个微透镜201构成。在图2中，z轴是摄像光学系统104的光轴，X轴是数字照相机100处于横向姿势的情况下的水平方向，并且y轴是垂直方向。注意，在图2所示的示例中，为了简便，将微透镜阵列105描述为由5行X5列排列的微透镜201构成，但微透镜阵列105的结构不限于此。
[0038]此外，图2示出利用网格表示构成摄像单元106的图像传感器的光电转换元件202的示例。各微透镜201与预定数量的光电转换元件202相对应,并且在图2所示的示例中，一个微透镜201与5X5=25个像素的光电转换元件202相对应。穿过一个微透镜201的光束根据这些光束的入射方向而分离，并且在相应的光电转换元件202上成像。
[0039]图3示出入射到与一个微透镜201相对应的光电转换元件202pl?p5上的光束。在图3中，上方向与垂直向上方向相对应。该图示出在数字照相机100处于横向姿势的情况下、如从横方向观看到的入射到光电转换元件202上的光束的光路。如该图所示，入射到水平排列的光电转换元件202pl?p5上的光束是穿过通过垂直地分割摄像光学系统104的出射光瞳301所获得的五个区域al?a5、然后穿过一个微透镜201的光束。注意，附加至这些区域的数字表示与接收穿过这些区域的光束的光电转换元件202的对应关系。
[0040]注意，尽管图3示出如从横方向观看到的入射到光电转换元件202上的光束的光路的示例，但光束的分离不限于垂直方向，并且在水平方向上也同样地进行分离。具体地，在如从图像传感器侧观看到的、将摄像光学系统104的出射光瞳301分割成图4A所示的区域的情况下，穿过各区域的光束入射到图4B所示的光电转换元件202中的附加有相同的识别数字的光电转换元件上。注意，这里假定摄像光学系统104和微透镜阵列105的各微透镜具有大致相同的光圈值(F值)。
[0041]AFE107和DFE108对摄像单元106所生成的图像信号进行校正处理等。具体地，AFE107对从摄像单元106输出的模拟图像信号进行基准电平调整(钳位处理)和A/D转换处理，并且将LF数据输出至DFE108。DFE108校正所输入的LF数据中的微小基准电平偏差
坐寸ο
[0042]图像处理单元109对利用DFE108进行了校正处理的LF数据应用诸如颜色校正处理等的各种图像处理。在本实施例中，图像处理单元109还进行用于基于LF数据来生成聚焦于位于任意被摄体距离处的被摄体的图像(即，重建图像)的处理。可以使用诸如上述的Ren所公开的技术等的“光场摄影”来生成重建图像。
[0043]重建图像生成方法
[0044]以下参考附图来说明用于生成聚焦于指定被摄体距离处的被摄体的重建图像的方法的概述。
[0045]首先，可以利用以下方法来获取用于聚焦于拍摄范围中所包括的指定被摄体的被摄体距离。首先，图像处理单元109根据LF数据生成分别与穿过不同光瞳分割区域的两个光束相对应的图像，并且检测这些图像中的指定被摄体的图像之间的差(散焦量)。然后，控制单元101基于这样所检测到的散焦量来计算用于聚焦于指定被摄体的被摄体距离。
[0046]在图4B所示的示例中，对于各微透镜，可以通过将相应像素中的第一列和第二列的像素的像素值相加来生成与出射光瞳301的左半部分的分割光瞳区域相对应的图像A。此外，可以通过将相应像素中的第四列和第五列的像素的像素值相加来生成与出射光瞳301的右半部分的分割光瞳区域相对应的图像B。这可以通过以下表达式来表示。
[0047]
【权利要求】
1.一种图像处理设备，包括: 获得部件，用于获得如下数据，根据该数据能够生成聚焦于任意像面的重建图像； 显示部件，用于将图像显示到显示介质； 选择部件，用于选择所述显示部件所显示的图像上的多个被摄体； 设置部件，用于指定与所述选择部件所选择的多个被摄体相对应的聚焦位置，并且设置由所指定的聚焦位置所定义的聚焦范围；以及 生成部件，用于基于所述数据来生成聚焦于与所述设置部件所设置的聚焦范围相对应的各被摄体的重建图像。
2.根据权利要求1所述的图像处理设备，其中，所述生成部件针对所述重建图像中包括的与所述聚焦范围相对应的各被摄体的区域，通过对为了使该区域的被摄体聚焦而选择的所述数据的像素值进行相加来生成各像素。
3.根据权利要求1所述的图像处理设备，其中，所述生成部件生成由所述设置部件所设置的聚焦范围来定义景深的重建图像。
4.根据权利要求1所述的图像处理设备，其中， 所述数据是摄像设备所获得的图像信号，其中在所述图像信号中，各像素与所述摄像设备的摄像光学系统中的光束所穿过的分割光瞳区域和入射方向的组合不同的光束相对应， 所述图像处理设备还包括分析部件，所述分析部件用于针对两个不同的分割光瞳区域中的各分割光瞳区域，使用所述图像信号中的与穿过同一分割光瞳区域的光束相对应的像素来生成图像，并且基于所生成的两种类型的图像之间的差来分析所述图像信号中包括的各被摄体的距离，以及 其中，所述设置部件参考所述分析部件所进行的分析的结果，来指定用于聚焦于所述多个被摄体中的各被摄体的聚焦范围。
5.根据权利要求2所述的图像处理设备，其中，所述生成部件针对所述重建图像中包括的不与所述聚焦范围相对应的各被摄体的区域，通过对为了不使该区域的被摄体聚焦而选择的所述数据的像素值进行相加来生成各像素。
6.根据权利要求1所述的图像处理设备，其中， 所述生成部件生成聚焦于预定焦点位置处的被摄体的选择重建图像，以及所述选择部件接收在所述生成部件所生成的所述选择重建图像中对所述多个被摄体中的各被摄体的选择。
7.根据权利要求1所述的图像处理设备，其中，在所述设置部件所设置的聚焦范围比预定范围宽的情况下，所述生成部件生成还聚焦于位于远端处或近端处的被摄体的重建图像。
8.一种摄像设备，包括: 摄像部件，用于输出如下数据，根据该数据能够生成聚焦于任意像面的重建图像； 显示部件，用于将图像显示到显示介质； 选择部件，用于选择所述显示部件所显示的图像上的多个被摄体； 设置部件，用于指定与所述选择部件所选择的多个被摄体相对应的聚焦位置，并且设置由所指定的聚焦位置所定义的聚焦范围；以及生成部件，用于基于所述数据来生成聚焦于与所述设置部件所设置的聚焦范围相对应的各被摄体的重建图像。
9.一种图像处理设备的控制方法，包括以下步骤: 获得步骤，在该步骤中，所述图像处理设备的获得部件获得如下数据，根据该数据能够生成聚焦于任意像面的重建图像； 显示步骤，在该步骤中，所述图像处理设备的显示部件将图像显示到显示介质； 选择步骤，在该步骤中，所述图像处理设备的选择部件选择所述显示步骤中所显示的图像上的多个被摄体； 设置步骤，在该步骤中，所述图像处理设备的设置部件指定与所述选择步骤中所选择的多个被摄体相对应的聚焦位置，并且设置由所指定的聚焦位置所定义的聚焦范围；以及生成步骤，在该步骤中，所述图像处理设备的生成部件基于所述数据来生成聚焦于与所述设置步骤中所设置的聚焦范围相对应的各被摄体的重建图像。
10.一种摄像设备的控制方法，包括以下步骤: 摄像步骤，在该步骤中，所述摄像设备的摄像部件输出如下数据，根据该数据能够生成聚焦于任意像面的重建图像； 显示步骤，在该步骤中，所述摄像设备的显示部件将图像显示到显示介质； 选择步骤，在该步骤中，所述摄像设备的选择部件选择所述显示步骤中所显示的图像上的多个被摄体； 设置步骤，在该步骤中，所述摄像设备的设置部件指定与所述选择步骤中所选择的多个被摄体相对应的聚焦位置，并且设置由所指定的聚焦位置所定义的聚焦范围；以及 生成步骤，在该步骤中，所述摄像设备的生成部件基于所述数据来生成聚焦于与所述设置步骤中所设置的聚焦范围相对应的各被摄体的重建图像。
【文档编号】H04N5/232GK103986854SQ201410044919
【公开日】2014年8月13日 申请日期:2014年2月7日 优先权日:2013年2月7日
【发明者】山田惠司 申请人:佳能株式会社