图像处理装置、图像拍摄装置及图像处理方法

图像处理装置、图像拍摄装置及图像处理方法
【专利摘要】本发明提供一种图像处理装置、图像拍摄装置及图像处理方法。传统上，未清楚地指定在图像拍摄时或者在编辑图像时、在哪个范围内的被摄体上能够进行再聚焦，因此，用户难以通过自己预期的方式来拍摄图像或者编辑图像。所述图像处理装置具有：获取单元，其被配置为获取包括多个被摄体区域的图像以及与所述多个被摄体区域相对应的距离信息；以及生成单元，其被配置为基于所述距离信息，来生成在所述图像中对所述多个被摄体区域的位置进行了移位的移位图像。
【专利说明】图像处理装置、图像拍摄装置及图像处理方法
【技术领域】
[0001]本发明涉及一种用于获得关于被摄体的焦点控制的信息的图像处理装置、图像拍摄装置及图像处理方法。
【背景技术】
[0002]作为诸如数字照相机等的图像拍摄装置，已知有如下的装置，该装置通过由用户以触摸板操作等指定拍摄图像中包括的被摄体，来进行该被摄体的聚焦调整(例如，日本特开2011-39457号公报)。
[0003]此外，还提出了如下的技术，该技术能够通过显示如下的地图图像，来使用户轻松地掌握要拍摄图像的对焦对象(被摄体)，其中，所述地图图像用于表示代表要拍摄图像的对象在深度方向上的位置的深度位置、以及代表焦点的位置的焦点位置(例如，日本特开2010-177741 号公报)。
[0004]近年来，已知还有光场摄影技术,该技术获取光线的朝向(orientat1n)及强度的信息(光场数据)，并且通过后面的图像处理来进行焦点位置的调整(再聚焦)以及景深的调整(例如，日本特表2008-515110号公报)。
[0005]使用该技术存在如下的优点:因为能够在图像拍摄之后进行焦点调整，因此，能够通过图像处理来弥补图像拍摄时的焦点调整的失败。此外，还存在如下的优点:能够通过改变图像处理方法，由一个拍摄图像来获得在图像中使任意被摄体对焦的多个图像，因此，能够减少图像拍摄的次数。
[0006]在光场摄影中，由从多个视点拍摄的图像的数据，来计算穿过空间中的多个位置中的各位置的光线的方向及强度(光场)。然后，通过使用获得的光场的信息，来计算在假设光穿过虚拟光学系统并在虚拟传感器上形成图像的情况下的图像。通过适当地设置这样的虚拟光学系统及虚拟传感器，能够实现先前描述的再聚焦。作为用于获取光场的图像拍摄装置，已知在主透镜的后面布置有微透镜阵列的全光照相机(plenoptic camera)(例如，日本特开2009-124213号公报)、以及并排布置有小型照相机的照相机阵列。这两者均能够通过一次图像拍摄，来获得从不同方向拍摄的来自多个视点的被摄体图像的数据。换言之，可以将光场摄影表述为:由来自多个视点的图像的数据，来计算要在虚拟光学条件下由虚拟传感器获取的图像。在下文中，计算由虚拟传感器获取的图像的处理被称为“再聚焦处理”。作为再聚焦处理，已知有如下的方法:获取的来自多个视点的图像的数据经历到虚拟传感器上的射影变换，并且被相加和求平均(例如，W02008050904)。
[0007]作为用于在改变焦点位置的同时、显示已经历再聚焦处理的图像(以下称为再聚焦图像)的方法，可以提及的例如有美国专利2008/0131019号公报中公开的方法。在美国专利2008/0131019号公报中公开的方法中，在显示再聚焦图像的画面上准备用来调整焦点位置的用户界面(UI )，并且经由该Π来改变焦点位置。另外，在美国专利2008/0131019号公报中，公开了如下的方法:显示焦点位置被调整到如下的被摄体的再聚焦图像，其中，用户期望将所述被摄体置于焦点位置，并通过显示有再聚焦图像的画面而给出了指令。[0008]在拍摄图像数据或光场数据的显示中，要对焦的对象存在于与图像拍摄位置相距固定距离的平面上。然而，在通过指定特定被摄体来进行聚焦的情况下，用户无法掌握除所述被摄体之外的哪个被摄体被对焦。
[0009]另外，通过在日本特开2010-177741号公报中公开的技术，能够通过在深度方向上按次序布置有如下标记的地图图像，来掌握哪个被摄体被对焦，其中，所述标记表示要拍摄图像的对象；然而，地图图像与拍摄图像(实际图像)完全不同，因此，难以直观地掌握被摄体。
[0010]亦即，在上述专利文献等中公开的传统方法中，在摄影时或者在编辑图像时，未清楚地指定在哪个范围内的被摄体上能够进行再聚焦，因此存在如下的问题:用户难以通过自己预期的方式来进行图像拍摄或图像编辑。

【发明内容】

[0011]根据本发明的图像处理装置具有:获取单元，其被配置为获取包括多个被摄体区域的图像以及与所述多个被摄体区域相对应的距离信息；以及生成单元，其被配置为生成在所述图像中对所述多个被摄体区域的位置进行了移位的移位图像。
[0012]作为另选方案，所述图像处理装置具有:获取单元，其被配置为获取包括多个被摄体区域的图像以及与所述多个被摄体区域相对应的距离信息；第一生成单元，其被配置为基于所述距离信息，来生成在所述图像中对所述多个被摄体区域进行了再布置的再布置图像；以及第二生成单元，其被配置为生成包括所述再布置图像的图像，其中，在所述再布置图像中反映了关于用来改变包括所述多个被摄体区域的图像的聚焦状态的图像组合处理的聚焦状态的信息。
[0013]根据本发明，用户能够在摄影时或者在编辑图像时，直观地掌握被摄体的聚焦状态。
[0014]通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。
【专利附图】

【附图说明】
[0015]图1是示出数字照相机的外观的示例的图；
[0016]图2是示出数字照相机的内部结构的框图；
[0017]图3是示出图3A至图3C之间的关系的图，并且图3A至图3C是示出在根据第一实施例的数字照相机中进行的图像处理的流程的流程图；
[0018]图4是示出在数字照相机的显示单元上显示的二维图像的示例的图；
[0019]图5是示出从二维图像中检测出被摄体的状态的图；
[0020]图6是示出距离图像的示例的图；
[0021]图7是示出提取出被摄体区域的状态的图；
[0022]图8是示出用来确定水平方向与垂直方向的移位量之比的处理的流程的流程图；
[0023]图9是示出对提取出被摄体区域的图像进行移位图像生成处理的结果的图；
[0024]图10是示出对移位图像中的各被摄体区域进行剪切处理(shear processing)的结果的图；
[0025]图11是示出在经历了剪切处理的图像上叠加地面网格图案的结果的图；[0026]图12是示出在组合有地面网格图案的图像上、叠加聚焦距离的指标以及景深的指标的结果的图；
[0027]图13是示出处理光场数据的装置的内部结构的示例的图；
[0028]图14是示出在根据第二实施例的装置中进行的图像处理的流程的流程图；
[0029]图15是示出根据第三实施例的照相机阵列图像拍摄装置的内部结构的框图；
[0030]图16是在图像形成光学系统的图像侧布置了透镜阵列的结构的示例；
[0031]图17是在图像形成光学系统的图像侧布置了透镜阵列的结构的示例；
[0032]图18是在图像形成光学系统的图像侧布置了透镜阵列的结构的示例；
[0033]图19是排列了多个图像形成光学系统的结构(照相机阵列)的示例；
[0034]图20是示出透镜阵列与图像感测元件之间的关系的图；
[0035]图21示意性地表示了第三实施例中的表示再聚焦的系数α 土的表达式的关系；
[0036]图22是示出根据第三实施例的图像处理单元的内部结构的框图；
[0037]图23是示出根据第三实施例的图像处理单元中的处理的流程的流程图；
[0038]图24Α是示出单视点图像的示例的图，并且图24Β是示出作为由单视点图像推导出的距离信息的距离图的图；
[0039]图25Α及图25Β分别是示出从距离图中提取被摄体区域的结果的示例的图；
[0040]图26Α至图26D分别是示出在从正上方俯视单视点图像的场景的情况下的再布置图像(rearranged image)的不例的图；
[0041]图27是示出图16中所示的图像拍摄单元的结构中的光学布置的图；
[0042]图28A及图28B分别是示出聚焦信息显示图像的示例的图；
[0043]图29A至图29C分别是示出聚焦信息显示图像的变化的图；
[0044]图30A至图30C分别是示出在连同单视点图像和/或组合图像一起显示聚焦信息显示图像的情况下的示例的图；
[0045]图31A及图31B分别是通过在图17中所示的图像拍摄单元的结构中主要放大透镜阵列及图像感测元件的部分而获得的图；
[0046]图32示意性地表示了第四实施例中的表示再聚焦的系数α 土的表达式的关系；
[0047]图33是在从正面(物体侧)观察具有照相机阵列的结构的图像拍摄单元的情况下的图；
[0048]图34是在从侧面观察根据第五实施例的图像形成光学系统及图像感测元件的情况下的图(截面)；以及
[0049]图35示意性地表示了第五实施例中的表示再聚焦的系数α 土的表达式的关系。【具体实施方式】
[0050]在下文中，参照附图来详细说明本发明的实施例。
[0051][第一实施例]
[0052]在此，说明根据本发明的图像处理装置被应用于数字照相机的方面，作为第一实施例。
[0053]图1是示出数字照相机的外观的示例的图。
[0054]在显示单元101中，例如，使用液晶显示器，并且显示图像以及各种信息。显示单元101具有触摸屏(touch screen)功能,并且能够检测对显示单元101的触摸。例如,触摸板(touch panel)被配置为使得光的透射率不影响显示单元101的显示，并且该触摸板被附着至显示单元101的显示面的上层。然后，使触摸板上的输入坐标和显示单元101上的显示坐标彼此相关联。由此，能够配置如下的⑶I，利用该⑶I，能够让用户看起来像直接操作在显示单元101上显示的画面一样。
[0055]快门按钮102是用于给出进行图像拍摄的指令的操作单元。
[0056]模式转盘103是用于切换各种模式的操作单元。
[0057]连接器104是连接电缆111与数字照相机100之间的连接器。
[0058]操作单元105包括用来接收来自用户的各种操作的各种开关、按钮等。
[0059]控制器轮106是包括在操作单元105中的操作部件，并且能够被旋转操作。
[0060]电源开关107在数字照相机100的电源的开启(on)与关闭(off )之间进行切换。
[0061]存储介质108是用于存储拍摄图像数据及光场数据的、诸如存储卡及硬盘等的信息存储介质。
[0062]存储介质插槽109是用于容纳存储介质108的插槽。能够使在存储介质插槽109中容纳的存储介质108与数字照相机100通信。
[0063]盖子110是存储介质插槽109的盖子。
[0064]图2是示出数字照相机100的内部结构的框图。
[0065]图像拍摄透镜201包括聚焦透镜。
[0066]快门包括光圈功能，并且以与快门按钮102联锁(interlock)的方式来控制曝光。
[0067]图像拍摄单元203包括将光学图像转换为电信号的(XD、CMOS元件等。
[0068]A/D转换器204将从图像拍摄单元203输出的模拟信号转换为数字信号。
[0069]挡板205通过覆盖包括图像拍摄透镜201和快门202的图像拍摄单元203，来防止图像拍摄系统的沾污和破损。
[0070]图像处理单元206对来自A/D转换单元204的图像数据或者来自存储器控制单元207的图像数据，进行大小调整处理(例如预定的像素插值和缩小)以及颜色转换处理。在图像处理单元206中，使用拍摄图像数据来进行预定的算术运算处理，并且系统控制单元208基于获得的算术运算结果，来进行曝光控制及距离测量控制。由此，进行TTL (通过镜头)AF (自动聚焦)处理、AE (自动曝光)处理及EF (预闪光)处理。在图像处理单元206中，使用拍摄图像数据进一步进行预定的算术运算处理，并且还基于获得的算术运算结果来进行TTL AffB (自动白平衡)处理。来自A/D转换器204的图像数据经由图像处理单元206及存储器控制单元207、或者经由存储器控制单元207，而被直接写入存储器209。
[0071]存储器209存储由图像拍摄单元203获得并被A/D转换器204转换为数字数据的图像数据、以及要在显示单元101上显示的图像数据。存储器209包括足以存储预定数量的静止图像、预定时间段的运动图像以及声音的存储容量。通过利用显示单元101依次显示拍摄图像数据，能够实现电子取景器功能(即显图像(through-1mage)显示)。此外,存储器209还充当用于显示图像的存储器(视频存储器)。D/A转换器210将用于显示存储在存储器209中的图像的数据转换为模拟信号，并且将这些信号供给至显示单元101。以这种方式，经由D/A转换器210，在显示单元101上显示被写入存储器209的待显示图像数据。
[0072]显示单元101依照来自D/A转换器210的模拟信号，在诸如IXD等的显示器上产生显示。
[0073]非易失性存储器211是电可擦除/可编程存储器，并且，例如使用EEPROM等。非易失性存储器211存储用于系统控制单元208的操作的常数、程序等。在此所指的程序是用来执行后述的各种流程图的程序。
[0074]系统控制单元208控制整个数字照相机100。系统控制单元208通过执行前述的存储在非易失性存储器211中的程序，来实现后述的各处理。作为系统存储器212，使用了RAM,并且在该RAM上，展开用于系统控制单元208的操作的常数、变量、从非易失性存储器211中读取的程序等。此外，系统控制单元208还通过控制存储器209、D/A转换器210、显示单元101等，来进行显示控制。此外，系统控制单元208能够检测对触摸板的以下操作。
[0075].用手指或笔对触摸板进行触摸的操作(以下称为触摸着屏(touch down))
[0076]?手指或笔与触摸板相接触的状态(以下称为触摸中(touch on))
[0077].在使手指或笔与触摸板保持接触的状态下移动所述手指或笔的操作(以下称为移动(move))
[0078].用两个手指对触摸板进行触摸、并移动这两个手指以便缩窄这两个手指之间的间隔的操作(以下称为双指捏合(pinch in))
[0079].用两个手指对触摸板进行触摸、并移动这两个手指以便增大这两个手指之间的间隔的操作(以下称为双指分开(pinch out))
[0080]?放开与触摸板接触的手指或笔的操作(以下称为触摸释放(touch up))
[0081]?没有什么与触摸板相接触的状态(以下称为无触摸(touch off))
[0082]向系统控制单元208，通知上述各种操作、以及手指或笔与触摸板相接触的位置的坐标，并且系统控制单元208基于通知的信息，来确定在触摸板上进行了哪种操作。对于移动而言，还能够基于位置坐标的改变，分别针对触摸板上的垂直分量和水平分量，来确定在触摸板上移动的手指或笔的移动方向。假设在进行从触摸板上的触摸着屏到持续移动后的触摸释放的这一系列操作的情况下，来描述划按(stroke)。用来快速描述划按的操作称为轻滑(flick)。轻滑是如下的操作:将与触摸板相接触的手指快速移动一定距离，然后放开该手指。换言之，轻滑是在触摸板上快速滑动手指以便使该手指轻滑的操作。在检测到以预定速度或更高速度移动了预定距离或更多的情况下，能够确定进行了轻滑。假设在检测到以低于预定速度的速度移动了预定距离或更多的情况下，确定进行了拖动。作为触摸板，也可以使用如下各种系统中的任何系统，诸如电阻膜系统、静电电容系统、表面声波系统、红外系统、电磁感应系统、图像辨识系统及光学传感器系统等。
[0083]模式转盘103将系统控制单元208的操作模式，切换到能够记录静止图像和运动图像的图像拍摄模式、再现模式等中的任何模式。快门按钮102包括未示意性地示出的第一快门开关和第二快门开关。第一快门开关在快门按钮102的操作当中、即通过所谓的半按下操作(进行图像拍摄准备的指令)而开启，并且生成第一快门开关信号SW1。第一快门开关信号SW l引发如下的操作，诸如AF (自动聚焦)处理、AE (自动曝光)处理、AWB (自动白平衡)处理及EF (预闪光)处理等(以下，将这些操作中的至少一者称为图像拍摄准备操作)。这些处理在系统控制单元208的控制下进行。第二快门开关在快门按钮102的操作完成时、即通过所谓的全按下操作(进行图像拍摄准备的指令)而开启，并且生成第二快门开关信号SW2。响应于第二快门开关信号SW2，系统控制单元208开始一系列图像拍摄处理的操作，从自图像拍摄单元203读取信号，到将图像数据写入至存储介质108。
[0084]通过进行选择在显示单元101上显示的各种功能图标的操作，针对各场景向操作单元105的各操作部件适当地分配功能，并且各操作部件充当各种功能按钮中的各按钮。功能按钮包括例如结束按钮、返回按钮、图像转发按钮、跳转按钮、光圈缩小(narrow-down)按钮、属性改变按钮等。例如，在按下了菜单按钮的情况下，在显示单元101上，显示能够用以进行各种设置的菜单画面。用户能够利用在显示单元101上显示的菜单画面、四方向按钮以及设定(SET)按钮，来直观地进行各种设置。控制器轮106是包括在操作单元105中的、并且能够被旋转操作的操作部件，并且在指定被选择项目时与方向按钮一同使用。
[0085]电源控制单元213包括电池检测电路、DC-DC转换器、切换要通电的模块的开关电路等，并且检测是否附装了电池、电池的种类以及剩余电池寿命。此外，电源控制单元213基于检测结果以及系统控制单元208的指令来控制DC-DC转换器，并且向包括存储介质108的各单元供给必要时间段的必要电压。
[0086]电源单元214包括诸如碱电池及锂电池等的一次电池、诸如NiCd电池、NiMH电池及Li电池等的二次电池、AC适配器等。
[0087]接口 215是与诸如存储卡及硬盘等的存储介质108的接口。
[0088]图3A至图3C是示出在根据本实施例的数字照相机中进行的图像处理的流程的流程图。通过由系统控制单元208在 系统存储器212中展开存储在非易失性存储器211中的程序，并执行这些程序，来实现这一系列处理。
[0089]通过由用户开启电源，在步骤S301，系统控制单元208在预定的图像拍摄条件(聚焦、曝光、白平衡等)下开始图像拍摄。这些图像拍摄条件依赖于装置的规格，诸如恢复并使用电源关闭之前的值等。
[0090]在步骤S302，系统控制单元208在显示单元101上，显示由图像拍摄单元203获取到的二维图像。图4是示出在显示单元101上显示的二维图像的示例的图。图4中的二维图像是在室外拍摄的图像，并且对天空进行了摄影，因此，到最远被摄体的距离是无限远。此时，在最远被摄体“天空”被对焦的情况下(聚焦距离是无限远)，该被摄体的前方景深变为等于所谓的“超焦距”的1/2。超焦距的值通过下面的式(I)来获得。
[0091](f"2)/ ( δ.F)..?式(I)
[0092]在此，f表示透镜的焦距(mm)，F表示透镜的光圈值(f-stop)，并且δ表示容许弥散圆(permissible circle of confus1n)直径(mm)。
[0093]例如，在透镜的焦距被取为50mm、全开光圈时的透镜的光圈值为2.8、并且容许弥散圆直径为0.03328mm的情况下，超焦距是大约26.8m,并且前方景深是大约13.4m。在这种情况下，距离大于约13.4m的区域是“背景区域”。在利用全开光圈使最远被摄体对焦、并且前方景深中的某一被摄体被对焦的情况下，结果该范围内的所有被摄体均被对焦。因为这样，通过将这些被摄体的区域显示为一个“背景区域”，能够向用户清楚地表明，该区域中的被摄体不能被分类为被对焦的区域和未对焦的区域。
[0094]在步骤S303，在针对诸如强制闪光/闪光禁止/自动等的各种设置、存在预定的用户操作的情况下，系统控制单元208进行相应的设置。
[0095]在步骤S304，系统控制单元208确定是否存在来自用户的改变显示模式的指令。在存在改变显示模式的指令的情况下，过程进入到步骤S305。另一方面，在不存在改变显示模式的指令的情况下，过程返回到步骤S302。
[0096]在步骤S305，系统控制单元208检测拍摄图像中包括的被摄体。作为用于检测拍摄图像内的被摄体的方法，可以应用诸如在日本特开1997-186931号公报中公开的方法等的各种方法。图5是示出从图4中所示的二维图像中、分别将人、侧向的汽车、交通标志及建筑物检测为被摄体的状态的图。在图5中，树丛、邮箱及朝向正面的汽车各被摄体被认为是位于光圈全开时的超焦距的1/2或更远的距离处，因而连同作为最远被摄体的“天空”一起，被包括在上述的“背景区域”中。
[0097]在步骤S306，系统控制单元208获取拍摄的二维图像的距离信息(到从二维图像中检测到的各被摄体的距离的信息)。在此，距离信息是与二维图像的坐标相关联地记录的、到二维图像中的各被摄体的距离的信息，并且例如对应于“距离图像(距离图)”，在该距离图像中，用灰色浓淡度(shade of gray)来代表坐标的深度的大小(离照相机的距离)。作为用于获得拍摄图像的距离信息的方法，可以应用诸如在日本特开2001-169308号公报中公开的方法等的各种方法。图6示出了针对图4中所示的二维图像而生成的距离图像的示例。在图6中的距离图像中，用根据各距离而浓度不同的灰度级的图像，来表现人、侧向的汽车、交通标志及建筑物这4个被摄体的区域(用最深的灰色浓淡度来表现距离最近的人，并用最浅的灰色浓淡度来表现建筑物)。比建筑物远的诸如树丛等的被摄体被包括在如上所述的背景的一部分中，因此，这些被摄体在此不被视为“被摄体”。
[0098]在步骤S307中，系统控制单元208基于在步骤S305检测到的被摄体以及在步骤S306获取到的距离信息，来进行用来提取在下一步骤S308要经历移位处理的被摄体区域的处理。该被摄体区域提取处理也可以说成是针对各固定距离来分离被摄体区域的处理。例如，在步骤S305检测到的、但不包括在背景区域中的被摄体之中，将固定距离的范围内(例如，lm±50cm)的部分提取作为被摄体区域的单位之一。图7是示出从图4中所示的二维图像中提取出被摄体区域的状态的图，并且，用虚线表示的部分(人、侧向的汽车、交通标志及建筑物的各区域)代表提取出的各被摄体区域。
[0099]在步骤S308，系统控制单元208依照在步骤S306获取到的距离信息，进行用来改变(移位)在步骤S307提取出的各被摄体区域的位置(坐标)的处理，从而生成各被摄体区域在固定方向上被移位的“移位图像”。例如，在到图7中所示的4个被摄体区域的距离分别对应于lm、3m、5m及8m的情况下,生成如下的图像,在该图像中，各被摄体区域的坐标在水平方向上以及在垂直方向上被分别移位预定量(例如，分别移位100像素、33像素、20像素和13像素)。在“移位图像生成”中的移位量不一定必须与距离成反比例，并且，二者可以成对数比，或者，预先准备距离和移位量的对应表，并且可以通过应用该表来确定移位量。此时，为了使各区域的移位方向相同，而使水平方向上的移位量与垂直方向上的移位量之比恒定。作为另一选择，也可以通过如下所示的处理，来确定水平方向与垂直方向的移位量之比。
[0100]图8是示出用来确定水平方向与垂直方向的移位量之比的处理的流程的流程图。
[0101]在步骤S801，系统控制单元208生成以预定比率进行了移位的图像。在紧接在处理开始之后的阶段中，生成以预定初始值(例如，以1:1的比率)进行了移位的移位图像。
[0102]在步骤S802，系统控制单元208确定在步骤S801获得的移位图像内、是否存在被摄体区域的重叠。在存在被摄体区域的重叠的情况下，过程进入到步骤S803。另一方面，在不存在被摄体区域的重叠的情况下，过程进入到步骤S805。
[0103]在步骤S803，系统控制单元208确定如下的比例是否超过预定阈值(例如，50%)，所述比例中的一方是在被摄体区域上重叠的另一被摄体区域后面要显示的被摄体区域的隐藏部分的面积，另一方是在所述另一被摄体区域后面要显示的被摄体区域的面积。在这种情况下，要在后面显示的被摄体区域的隐藏部分的面积的比例越小，则越能够让用户适当地掌握被摄体。预定阈值是考虑到这一点而被预先确定的。在隐藏部分的面积的比例超过阈值的情况下，过程进入到步骤S804。另一方面，在隐藏部分的面积的比例不超过阈值的情况下，过程进入到步骤S805。
[0104]在步骤S804，系统控制单元208改变在水平方向与垂直方向上进行移位的比率，并且过程返回到步骤S801。亦即，改变比率，使得如下的比例变小，所述比例中的一方是在被摄体区域上重叠的另一被摄体区域后面要显示的被摄体区域的隐藏部分的面积，另一方是要在后面显示的被摄体区域的面积；然后，生成依照改变后的比率而进行了移位的移位图像。
[0105]在步骤S805，系统控制单元208确定在要在后面显示的被摄体区域的隐藏区域的比例变为低于阈值的情况下的比率，作为用于显示的正式比率。将依照如上所述确定的比率的移位量，确定为移位图像生成中的移位量。
[0106]在移位图像生成处理中，期望在如下的方向上将被摄体区域移位，在所述方向上，与近距离的被摄体相对应的被摄体区域(第一被摄体区域)看起来低于与远距离的被摄体相对应的被摄体区域(第二被摄体区域)。这是因为，由此能够产生由用户从前方俯视场景的、并且适合于用户的感觉的显示。此外，将上述背景区域(在快门的光圈全开的情况下、使二维图像中的最远距离的被摄体对焦时的前方景深中包括的区域)作为对位置(坐标)进行移位时的基准。之所以将“背景区域”作为基准来进行移位，是出于以下的原因。本发明的目的是使用户容易地掌握哪个被摄体被取焦，并且即使在光圈值被改变的情况下，在最远距离的被摄体对焦的情况下的、在光圈全开时的被摄体深度中包括的区域也被辨识为对焦。图9是示出对提取出4个被摄体区域的图像(参见图7)进行移位图像生成处理的结果的图，并且已知依照各被摄体区域的距离，来对该被摄体区域的位置(坐标)进行移位。在图9中的示例中，为了使对各被摄体区域进行移位的方向相同，而使水平方向与垂直方向的移位量之比恒定。
[0107]返回到图3中的流程图的说明。
[0108]在步骤S309，系统控制单元208对通过步骤S308的移位图像生成处理而生成的“移位图像”中的各被摄体区域进行剪切处理(斜变形处理)，使得水平方向发生倾斜。通过进行该剪切处理，使得能够产生更适合于用户从斜前方观察场景的感觉的显示。通过预先确定的剪切角度，来确定在何种程度上应用斜变形。图10是示出对移位图像中的各被摄体区域(参见图9)进行剪切处理的结果的图。通过该剪切处理，使得用户能够更容易地掌握被摄体之间的距离间隔。剪切角度可以是预先确定的给定角度，或者，也可以使用户能够任意地指定剪切角度。
[0109]在步骤S310，系统控制单元208基于移位方向及剪切角度，来进行叠加(组合)网格图案的处理。例如，生成包括与移位方向相同方向的线段、以及与剪切(斜变形)方向相同方向的线段的地面网格图案，并且将该地面网格图案叠加在图像上。图11是示出在经历了剪切处理的图10中的图像上叠加网格图案的结果的图。由此，使得用户能够更加容易地掌握被摄体之间的距离间隔。在图11中的示例中，重叠并显示总共两种网格图案:地面网格图案1101及壁面网格图案1102。由此，使得能够产生更加适合于用户从斜前方观察场景的感觉的显示。也可以将“背景区域”显示为“壁”，并且不显示与更远距离相对应的网格图案。由此，使得用户能够直观地掌握景深等的改变的极限(亦即，对于被显示为“壁”的部分，聚焦距离或景深不能改变)。
[0110]在步骤S311，系统控制单元208由拍摄图像的图像拍摄条件(焦点、曝光、白平衡等)，来推导前方景深和后方景深。例如，通过利用下面的式(2)及式(3)进行算术运算，分别推导出前方景深和后方景深。
[0111]前方景深(mm)= (R~2.δ.F)/(f~2+R.δ.F)..?式(2)
[0112]后方景深(mm)= (R'2.δ.F)/(f'2-R.δ.F)..?式(3)
[0113]在上述的式(2)及式(3)中，R表示与对焦被摄体(但不是无限远)的距离(mm)，f表示透镜的焦距(mm)，F表示透镜的光圈值，并且δ表示容许弥散圆直径(mm)。
[0114]容许弥散圆直径是由图像感测元件的对角线长度推导出的特征值，并且例如对于具有36mm的宽度、24mm的高度及43.27mm的对角线长度的图像感测元件，使用0.03328mm的值。
[0115]在步骤S312，系统控制单元208进行如下的处理:在拍摄图像上，叠加(组合)表示与对焦被摄体的距离(以下称为“聚焦距离”)、以及表示在步骤S311推导出的前方景深和后方景深的指标。亦即，在步骤S310叠加的地面网格图案上的、与这些距离相对应的位置，叠加充当指标的图像。图12是示出在组合有网格图案的图11中的图像上、叠加聚焦距离的指标以及景深的指标(前方景深的指标和后方景深的指标)的结果的图。在图12中，指标1201表示人(被摄体P)沿地面网格图案所处的位置在深度方向上的距离(聚焦距离)，从而代表人(被摄体P)对焦。指标1202及1203分别表示沿地面网格图案的前方景深和后方景深，从而代表侧向的汽车(被摄体C)在景深中(能够辨识出被摄体C在拍摄图像中对焦)。
[0116]在步骤S313，系统控制单元208在显示单元101上，显示在步骤S312组合了各指标的拍摄图像。然后，如后所述，通过由用户对组合的指标给出指令并进行操作，能够控制图像拍摄透镜201、快门202的光圈等，以改变聚焦距离及景深。此时，也可以依照用来移动指标的用户操作，产生与指标的位置相对应的网格线的突出显示，或者与其他被摄体的区域的显示不同地，显示与该位置相对应的被摄体的区域。由此，用户能够更清楚地掌握哪个被摄体被对焦，或者哪个被摄体在景深中。
[0117]在步骤S314，系统控制单元208确定是否存在用户在显示单元101上的触摸操作。在存在用户的触摸操作的情况下，过程进入到步骤S315。另一方面，在不存在用户的触摸操作的情况下，过程返回到步骤S305。
[0118]在步骤S315，系统控制单元208确定用户的触摸操作是否为“在聚焦距离的指标附近进行触摸着屏然后进行移动”的操作。在用户的触摸操作是“在聚焦距离的指标附近进行触摸着屏然后进行移动”的操作的情况下，过程进入到步骤S316。另一方面，在用户的触摸操作是“在聚焦距离的指标附近进行触摸着屏然后进行移动”的操作之外的操作的情况下，过程进入到步骤S318。
[0119]在步骤S316， 系统控制单元208控制图像拍摄透镜201，使得与用户触摸的位置相对应的距离的被摄体被对焦，从而调整焦点。
[0120]在步骤S317，系统控制单元208将表示聚焦距离的指标的显示位置，移动到用户触摸的位置。
[0121]在步骤S318，系统控制单元208确定用户的触摸操作是否为“在景深的指标附近进行触摸着屏然后进行双指捏合或双指分开”的操作。在用户的触摸操作是“在景深的指标附近进行触摸着屏然后进行双指捏合或双指分开”的操作的情况下，过程进入到步骤S319。另一方面，在用户的触摸操作是“在景深的指标附近进行触摸着屏然后进行双指捏合或双指分开”的操作之外的操作的情况下，过程进入到步骤S321。
[0122]在步骤S319，系统控制单元208控制图像拍摄透镜201及快门202，使得分别与用户的两个手指(接触的手指)相对应的距离之间的被摄体被对焦，从而调整景深。已知在诸如焦距及容许弥散圆直径等的条件被固定的情况下，景深通过减小光圈而增加。能够通过使用ND (中性密度)滤波器，或者通过增大或减小图像感测元件的灵敏度，来调整由于光圈值的改变而导致的光量的增加或减少。
[0123]在步骤S320，系统控制单元208将表示景深的两个指标的显示位置，分别移动到用户的两个手指接触的位置。
[0124]在步骤S321，系统控制单元208进行与用户的触摸操作的内容相对应的处理。例如，在从拍摄图像中提取出的区域中的任何区域被用户触摸的情况下，系统控制单元208控制图像拍摄透镜201使得与该区域相对应的距离被对焦，并且将表示聚焦距离的指标的显示位置移动到相应的位置。
[0125]在步骤S314，系统控制单元208依照诸如用户关闭电源等的预定结束操作，而退出本处理。
[0126]如上所述，通过应用了根据本实施例的图像处理装置的数字照相机，使得用户能够在图像接近实际图像的状态下，在该数字照相机的UI上直观地掌握哪个被摄体被对焦。
[0127][第二实施例]
[0128]接下来，说明如下的方面作为第二实施例，在该方面中，根据本发明的图像处理装置被应用于处置光场数据的信息处理装置。与第一实施例共同的部分的说明被简化或省略，并且，在此主要说明不同点。
[0129]首先，说明光场数据。
[0130]光场数据(光线信息)是针对光线路径来记录光量的数据。具体而言，在该数据中，针对穿过两个平行平面上的坐标(第一平面上的坐标(U，V)和第二平面上的坐标(x，y))的光线，用作为U、V、X及y的函数的L(U，V, X，y)来表示该光线的光量L。与此相反,用单个平面上的坐标(x，y)处的光线的光量，来表示二维图像。例如，记录图像感测元件的坐标(X，y)处的光量的是拍摄图像的二维图像。换言之，以与第一平面上的坐标的个数相对应的数量使二维图像成束的是光场数据。
[0131]作为用于通过图像拍摄装置来获取光场数据的方法，可以提及的有在图像感测元件的前面布置微透镜阵列的方法、控制光圈的开口位置的方法等。总之，能够通过与相平行的平面上的坐标(例如，各微透镜的位置的坐标)相对应地记录图像感测元件的坐标处的光量，来获得光场数据。
[0132]通过针对上述第一平面上的坐标(U，V)的部分或全部、对光场数据L (U，V, X, y)求积分(计算总和)，而获得能够在二维显示器上显示的二维图像。亦即，使得能够通过叠加构成光场数据的、与上述第一平面上的固定范围内的坐标相对应的多个二维图像，而在二维显示器上显示所述多个二维图像。
[0133]通过叠加构成光场数据的二维图像、使得在叠加这些二维图像时特定距离的被摄体的位置与自身一致，能够获得该距离的被摄体对焦的二维图像。相反，构成光场数据的二维图像各自具有与上述第一平面上的坐标之间的分隔距离相对应的视差，因此，所述特定距离之外的距离的被摄体在位置移位的情况下被叠加，结果这些被摄体的图像在获得的二维图像上发生模糊。
[0134]通过以与上述第一平面上的小范围内的坐标相对应的量、叠加构成光场数据的二维图像，使得各二维图像的视差被限定，因此，能够获得具有大的景深的二维图像。亦即，通过改变与要叠加的二维图像相对应的上述第一平面上的范围，使得能够改变通过叠加而获得的二维图像的景深。
[0135]还能够通过应用“图像相关方法”，以如下的方式由光场数据获得距离图像。亦即，从上述第一平面中选择两个坐标，并且比较与这两个坐标相对应的两个二维图像。针对两个二维图像中的一个图像中的任意像素周围的小区域，在其他二维图像中指定具有相似图案的小区域，并且计算两个相应小区域在两个二维图像之间的移动量。该移动量是所谓的“视差”，并且与在所述坐标处显示的被摄体的距离成反比例。结果，通过由针对各坐标的视差求出与被摄体的距离，并将该距离反映在该坐标处的像素的颜色(例如，灰色浓淡度)中，而获得距离图像。
[0136]图13是示出处置光场数据的、诸如一般个人计算机(以下称为“PC”)及平板终端等进行信息处理的装置的内部结构的示例的图。
[0137]在图13中，装置1300包括CPU1301、硬盘(HD) 1302、存储器1303、显示控制单元1304、输入单元1305、驱动设备1306及通信I/F1307，并且这些单元通过内部总线1308而相互连接。连接到内部总线1308的各单元能够经由内部总线1308来相互发送和接收数据。
[0138]在硬盘1302中，存储了图像数据、其他数据、使CPU1301工作的各种程序。存储器1303包括例如RAM。作为显示控制单元、改变单元及计算单元的CPU1301依照例如存储在硬盘1302中的程序，使用存储器1303作为工作存储器来控制装置1300的各单元。使CPUl301工作的程序不局限于存储在硬盘1302中的程序，并且，也可以将程序预先存储在例如未示意性地示出的ROM中。
[0139]输入单元1305接收用户操作，并依照该操作而生成控制信号，然后将该信号供给至CPU1301。例如，输入单元1305具有诸如键盘等的字符信息输入设备、诸如鼠标及触摸板等的指点设备等，作为被配置为接收用户操作的输入设备。触摸板是如下的输入设备，通过该输入设备，输出依照被配置为例如平面形状的输入单元1305上的触摸位置的坐标信息。CPU1301基于响应于对输入设备进行的用户操作而由输入单元1305生成并供给的控制信号，依照程序来控制装置1300的各单元。由此，能够使装置1300依照用户操作来进行操作。
[0140]显示控制单元1304输出用于使显示器1310显示图像的显示信号。例如，向显示控制单元1304，供给由CPU1301依照程序而生成的显示控制信号。显示控制单元1304基于显示控制信号而生成显示信号，并将该信号输出至显示器1310。例如，显示控制单元1304基于由CPU1301生成的显示控制信号，而使显示器1310显示构成⑶I (图像用户界面)的⑶I画面。
[0141]在将触摸板用作输入单元1305的情况下，也可以一体地配置输入单元1305和显示器1310。
[0142]在驱动设备1306上，能够安装诸如⑶及DVD等的外部存储介质1320，并且驱动设备1306基于CPU1301的控制，从安装在驱动设备1306上的外部存储介质1320中读取数据、以及将数据写入至外部存储介质1320。能够在驱动设备1306上安装的外部存储介质1320不局限于诸如CD及DVD等的盘存储介质，并且，可以将诸如存储卡等的非易失性半导体存储器安装在驱动设备1306上。通信接口(I/F)1307基于CPU1301的控制，而与诸如LAN及互联网等的网络1330通信。
[0143]图14是示出在根据本实施例的处置光场数据的装置中进行的图像处理的流程的流程图。通过由CPU1301将记录在硬盘1302或者未示意性地示出的ROM中的程序展开到存储器1303上，并执行这些程序，来实现这一系列处理。
[0144]首先，由通过图像拍摄装置获得的光场数据，来生成二维图像(步骤S1401)，并且由显示控制单元1304在显示器1310上显示所生成的二维图像(步骤S1402)。
[0145]然后，确定是否存在来自用户的改变显示模式的指令，并且在存在改变显示模式的指令的情况下，过程进入到步骤S1404，而在不存在改变显示模式的指令的情况下，过程返回到步骤S1402 (步骤S1403)。
[0146]后续的步骤S1404至步骤S1412的各处理对应于第一实施例中的步骤S305至步骤S313。亦即，进行以下的各处理。
[0147].检测二维图像中包括的被摄体的处理(步骤S1404)
[0148].获取二维图像的距离信息(距离图像)的处理(步骤S1405)
[0149].基于在步骤S1404检测到的被摄体以及在步骤S1405获取到的距离信息来提取被摄体区域的处理(步骤S1406)
[0150]?针对提取出的各被摄体区域、依照距离信息来生成移位图像的处理(步骤S1407)
[0151].在生成的移位图像上进行用来使水平方向倾斜的剪切处理的处理(步骤S1408)
[0152].基于移位方向及剪切角度来叠加网格图案的处理(步骤S1409)
[0153].推导二维图像的前方景深和后方景深的处理(步骤S1410)
[0154].将各自表示与对焦被摄体的距离(对焦距离)、前方景深和后方景深的指标与二维图像组合的处理(步骤S1411)
[0155].在显示器1310上显示组合了指标的二维图像的处理(步骤S1412)
[0156]在上述的各处理之后，在步骤S1413，确定针对在显示器1310上显示的图像内的各指标是否存在用户指令/操作。在这种情况下，针对指标的用户指令/操作在一般PC的情况下使用鼠标来输入，并且在具有触摸板的平板终端的情况下通过与第一实施例中相同的触摸操作来输入。在存在针对指标的用户指令/操作的情况下，过程进入到步骤S1414，而在不存在用户指令/操作的情况下，过程返回到步骤S1404。
[0157]然后，依照由用户指定的指标的新位置，利用前述的光场数据来进行用来改变聚焦距离和/或景深的处理(步骤S1414)。相伴随地，将表示聚焦距离或景深的指标的显示位置移动到用户指定的新位置(步骤S1415)。
[0158]在用户进行了预定的退出操作、例如给出了退出应用的指令的情况下，退出本处理(步骤S1416)。
[0159]在本实施例中同样地，在上述的步骤S1405，作为距离信息，例如生成如同图6中一样的距离图像，并且通过步骤S1407的移位图像生成处理，获得如同图9中一样使各被摄体区域的位置移位的“移位图像”。亦即，与仅基于光场数据而改变视点的图像(在这种情况下，以立体方式来表现各被摄体)不同，在此获得各被摄体区域被表现为用作背景幕布(舞台布景)的一部分的便携绘图(各被摄体区域不具有深度并且以平面方式来表现)的图像。由此，使用户更容易地掌握对各被摄体的距离感。
[0160]如上所述，通过根据本实施例的装置，同样使得用户能够在图像接近实际图像的状态下，在PC等的显示器上直观地掌握哪个被摄体被对焦。
[0161][第三实施例]
[0162]在第一及第二实施例中，使得能够通过依照各被摄体区域的距离而使各被摄体区域的位置移位的、并且接近实际图像的图像(移位图像)，来直观地掌握能够进行再聚焦的范围。在第三及后续实施例中，说明了如下的方面:使得能够利用依照各被摄体区域的距离而改变了各被摄体区域的坐标(布置)的图像，来直观地掌握能够进行再聚焦的范围。
[0163]图15是示出根据本实施例的照相机阵列图像拍摄装置(也简称为“照相机阵列”，如通常所说的照相机阵列系统及多镜头照相机等)的内部结构的框图。图像拍摄单元1500通过由图像感测元件接收被摄体的光信息，并通过对接收到的信号进行A/D转换，来获取图像数据(数字数据)。在从用户接收到进行图像拍摄的指令时，所述图像数据被作为拍摄图像数据保存在诸如SD卡等的存储介质中。由根据本实施例的图像拍摄单元1500获取的图像数据，是从多个视点捕捉被摄体空间的、并且具有视差的图像的数据(以下称为“视差图像数据”)。由图像拍摄单元1500获取的图像数据也被用于所谓的实时取景(live view)功能中，以在配设于图像拍摄装置的背面的显示单元1506上，实时地依次显示图像。在下文中，响应于来自用户的进行图像拍摄的指令而被保存在存储介质中的图像被称为记录图像，并且在实时取景显示中实时显示的图像被称为实时取景图像。
[0164]中央处理单元(CPU) 1501对以下描述的各单元进行总体控制。RAM1502用作主存储器、工作区等。R0M1503存储在CPU1501中执行的控制程序等。总线1504是各种数据的传送路径，并且例如，由图像拍摄单元1500获取的数字数据经由总线1504而被发送到预定处理单元。被配置为接收用户的指令的操作单元1505包括按钮、模式转盘等。在被配置为显示图像及字符的显示单元1506中，例如使用液晶显示器。显示单元1506可以具有触摸屏功能，并且在这种情况下，也可以将使用触摸屏的用户指示作为向操作单元1505的输入。在本实施例中，在显示能够进行再聚焦的范围、并且指定再聚焦时的聚焦位置的情况下，通过经由这种触摸屏的用户输入来指定这样的位置。
[0165]显示控制单元1507进行在显示单元1506上显示的图像及字符的显示控制。图像拍摄单元控制单元1508基于来自CPU1501的指令，来进行图像拍摄系统的控制，诸如聚焦、快门打开/关闭以及孔径光阑调整等。数字信号处理单元1509对经由总线1504接收到的数字数据，进行诸如白平衡处理、伽玛处理及噪声降低处理等的各种处理。编码器单元1510进行用来将数字数据转换为诸如JPEG及MPEG等的文件格式的处理。外部存储器控制单元1511是被配置为连接到PC及其他介质(例如，硬盘、存储卡、CF卡、SD卡、USB存储器)的接口。图像处理单元1512对由图像拍摄单元1500获取到的图像数据，或者从数字信号处理单元1509输出的图像数据，进行后述的诸如再聚焦处理等的图像处理。稍后将描述图像处理单元1512的详情。曝光状态预测单元1513预测在图像拍摄时的图像拍摄单元1500的曝光状态。存在除上面所述之外的图像拍摄装置的构成要素，然而，这些构成要素不是本发明的主要目的，因此省略说明。
[0166]首先，详细说明图像拍摄单元1500的结构。
[0167]如上所述，图像拍摄单元1500获取视差图像数据，即光场数据。在图16至图19中示出了图像拍摄单元1500的结构示例。其中，图16至图18各自示出了在图像形成光学系统的图像侧布置了透镜阵列的结构，并且图19示出了布置多个图像形成光学系统的结构(照相机阵列)。作为图像拍摄单元的结构，期望采用如图16至图19所示的、能够同时获得来自多个视点的图像的照相机阵列结构。这是因为，通过使用单照相机图像拍摄装置、在改变位置的同时多次进行图像拍摄的方法，所获得的是在不同时间拍摄的被摄体空间的图像的视差图像数据，并且在被摄体空间中存在移动物体的情况下，无法获得准确的视差信息。
[0168]通过进行像素的提取、再布置、组合等的处理，能够对由具有图16至图19中所示的结构的图像拍摄单元1500获取到的视差图像数据，进行再聚焦、景深控制、视点改变等。在下文中，如上所述的处理被称为图像组合处理，并且通过图像组合处理而生成的图像被称为组合图像。也可以对组合图像进行诸如噪声降低等的处理、以及诸如景深控制等的处理。此外，在被摄体空间中能够进行再聚焦的范围被称为“焦点控制范围”。
[0169]在此，详细说明图16中所示的图像拍摄单元1500的内部结构。
[0170]透镜阵列1603被布置在图像形成光学系统1602的、相对于被摄体面1601的图像侧共轭面上。此外，透镜阵列1603被配置为使得图像形成光学系统1602的出射光瞳和图像感测元件1604大致建立起共轭关系。来自被摄体面1601的光线经由图像形成光学系统1602及透镜阵列1603，依照该光线在被摄体面1601上的位置及角度，而入射至图像感测元件1604的不同像素。由此，获取到视差图像数据(光场数据)。在此，透镜阵列1603具有如下的作用:防止已穿过被摄体面1601上的不同位置的光线入射至同一像素。结果，在图像感测元件1604中获取到如下的图像，在该图像中，并排布置了从多个视点捕捉的被摄体面1601上的同一区域的像素组。
[0171]诸如人及建筑物等的物体不一定必须存在于图16至图19中的被摄体面1601上。这是因为，能够通过图像拍摄后的再聚焦，来聚焦存在于被摄体面1601后面或前面的人或建筑物。
[0172]<再聚焦的原理>
[0173]在下文中，说明再聚焦处理。在〃FourierSlice Photography^by Ren Ng, 2005ACMTrans.Graph.24，p735to744 (《傅立叶切片摄影》，Ren Ng撰，《ACM图形学汇刊》2005年第24期，第735至744页)中详细说明了再聚焦，因此，这里给出简要说明。再聚焦的基本原理在图16至图19中的各结构中是共通的。在此，说明图16中的结构作为示例。在图16中，图像形成光学系统的光瞳被以二维方式划分为9个光瞳(一个维度上为3个)，因此，结果获取到来自9个视点的图像。在此，与某一划分出的光瞳相对应的图像称为单视点图像。9个单视点图像彼此间具有视差，因此，图像上的被摄体的相对位置关系依照被摄体距离而改变。在对单视点图像进行组合、使得某一被摄体自身重叠的情况下，位于不同被摄体距离处的被摄体在移位状态下被组合。因为该移位，使得位于不同被摄体距离处的被摄体发生模糊。此时的模糊取决于与用于组合的单视点图像相对应的光瞳，并且在组合了全部9个单视点图像的情况下，能够再现由图像形成光学系统1602获取到的图像的模糊。与单视点图像相组合的在自身上重叠的被摄体是任意的，因此，能够再现在图像形成光学系统1602中使任意被摄体对焦的图像。这就是图像拍摄后的焦点控制，即再聚焦的原理。
[0174]在此，说明在本实施例中用于生成单视点图像的方法。图20是描绘图16中的透镜阵列1603与图像感测元件1604之间的关系的图。虚线圆圈2001代表已穿过构成透镜阵列1603的一个透镜(微透镜)的光线入射到的像素的区域。图20对应于以网格的形式布置了多个微透镜的情况，然而，微透镜的布置不局限于此。例如，所述布置可以具有六角对称性(蜂窝结构)。也可以将各微透镜从规则布置稍微移位。图20中的斜线区域2002代表已穿过图像形成光学系统1602的同一光瞳区域的光线入射到的像素。结果，通过提取斜线区域1602中的像素，能够生成在从图像形成光学系统1602的光瞳下方观察被摄体空间的情况下的单视点图像。同样，通过提取相对于虚线圆圈2001的相对位置相同的像素，也能够生成另一单视点图像。
[0175]<焦点控制范围>
[0176]接下来，说明能够进行再聚焦的焦点控制范围。
[0177]通过叠加单视点图像来进行再聚焦，因此，无法对各单视点图像内发生模糊的被摄体进行再聚焦。这是因为，即使通过叠加模糊图像，也不能获得高频分量，并且图像仍然模糊。 [0178]随着光瞳被划分为较小的光瞳，各单视点图像中的景深变深，因此，焦点控制范围扩大。亦即，焦点控制范围依赖于图像形成光学系统1602的划分后的光瞳。然而，单视点图像中的景深不一定与焦点控制范围一致。这是因为，依据单视点图像与通过组合单视点图像而获得的组合图像的分辨率之比，焦点控制范围会有改变。例如，在组合图像的分辨率低于来自各视点的单视点图像的分辨率的情况下，组合图像中的空间分量的采样间距相对于单视点图像中而变大。因为这样，组合图像的景深变为比单视点图像深，并且相伴随地，焦点控制范围扩大。相反，在组合图像的分辨率高于单视点图像的情况下，焦点控制范围变为窄于单视点图像的景深。
[0179]作为用于使组合图像的分辨率高于单视点图像的方法，可以设想使用基于像素移位的超析像(super-resolut1n)等。如前所述,在再聚焦中，通过使单视点图像彼此间相对移位来进行组合。在此时的移位量不是单视点图像的像素间距的整数倍的情况下，能够进行基于像素移位的超析像，并且组合图像的分辨率能够被提高。
[0180]从到目前为止的讨论中，能够知道有必要考虑到在组合单视点图像时的条件，以便获取组合图像中的准确焦点控制范围。
[0181]接下来，说明如何推导组合图像的焦点控制范围。考虑与组合图像的景深相对应的焦点深度。焦点深度的容许弥散圆被取为ε，并且光线的角分量的采样间距被取为Au。此时，再聚焦的系数α 土由以下的式(4)来给出。
[0182]α±=ΙΙ^...式⑷
[0183]与使用式⑷表示的在图像侧能够进行再聚焦的范围a +S2至a _s2共轭的范围(相对于图像形成光学系统1602共轭的范围)，是作为在物体侧能够进行再聚焦的范围的焦点控制范围。图21示意性地示出了式(4)的关系，并且能够进行再聚焦的范围的中心位置是图像形成光学系统1602的焦点位置(在这种情况下，透镜阵列1603的位置是能够进行再聚焦的范围的中心位置)。在此，s2是图像形成光学系统1602的图像侧主平面与相对于被摄体面1601的图像形成光学系统1602的图像侧共轭面之间的间隔。在图21中，图像侧焦点控制范围是指与经由图像形成光学系统1602的焦点控制范围共轭的范围。此外，Ay是光的二维强度分布的采样间距，并且在图16中的结构中，Ay等于透镜阵列1603的间距Alao式(4)的关系在图16至图19中的各结构中也成立。
[0184]然后，因为与图像形成光学系统1602的出射光瞳距离P相比，图像感测元件1604的像素间距Λ足够小，因此，式(4)可以近似为下面的式(5)。
[0185]a ± s2 = S2UNFe..?式(5)
[0186]在此，图像形成光学系统1602的出射光瞳距离P是以下两者之间的间隔，其中一者是图像形成光学系统1602的出射光瞳面，另一者是相对于被摄体面1601的图像形成光学系统1602的图像侧共轭面。另外，N是图像形成光学系统1602的一维划分的光瞳数，并且F是图像形成光学系统1602的F数。能够由图像形成光学系统1602的焦距f及透镜有效直径D，通过以下的式(6)来推导F数。
[0187]F = f / D..?式(6)
[0188]亦即，根据图像形成光学系统的一维划分的光瞳数、以及由图像形成光学系统的焦距和透镜有效直径限定的视场角的范围，来确定能够进行再聚焦的范围(焦点控制范围)。此外，根据后述的组合图像数据的分辨率，来确定能够进行再聚焦的范围。 [0189]<图像处理单元>
[0190]接下来，详细说明图像处理单元的结构。
[0191]图22是示出根据本实施例的图像处理单元1512的内部结构的框图。
[0192]视差图像数据获取单元2201获取从图像拍摄单元1500等供给的视差图像数据。
[0193]光学参数获取单元2202获取距离推导单元2203及焦点控制范围推导单元2207所必需的图像拍摄单元1500的光学参数。在此，光学参数是指图像拍摄单元1500的结构、光圈等的曝光状态、焦点位置、变焦透镜的焦距等。
[0194]距离推导单元2203推导到场景中的被摄体的距离的信息。使用从视差图像数据获取单元2201供给的视差图像数据、以及从光学参数获取单元2202供给的光学参数，来推导到被摄体的距离。稍后将描述距离推导的详情。
[0195]被摄体区域提取单元2204进行如下的处理:基于场景中的被摄体以及从距离推导单元2203供给的距离信息，来提取要经历再布置图像生成单元2205中的处理的被摄体区域。该被摄体区域提取处理也可以说成是针对各固定距离来分离被摄体区域的处理。
[0196]再布置图像生成单元2205进行如下的处理:依照从距离推导单元2203供给的距离信息，来改变在被摄体区域提取单元2204中提取的各被摄体区域的位置(坐标)。通过该处理，生成如下的图像，在该图像中，依照距图像拍摄装置的距离而对各被摄体区域进行再布置(以下称为“再布置图像”)，并且通过该图像，使得能够容易地掌握对各被摄体区域的距离感。
[0197]图像组合参数获取单元2206获取图像组合所需的参数(组合后的分辨率、视点、焦点位置、景深等)。[0198]焦点控制范围推导单元2207使用从光学参数获取单元2202供给的光学参数、以及从图像组合参数获取单元2206供给的图像组合参数，来推导焦点控制范围。
[0199]焦点位置获取单元2208基于经由操作单元1505的用户输入，来获取图像组合时的焦点位置。在本实施例的情况下，由用户基于由再布置图像生成单元2205生成的再布置图像、并经由作为操作单元1505的触摸屏而指定的距离，被指定作为焦点位置。关于指定的焦点位置的信息被发送到显示图像生成单元2209。
[0200]显示图像生成单元2209生成如下的图像，在该图像中，针对在再布置图像生成单元2205中生成的再布置图像，而反映了关于聚焦状态的信息(焦点位置、焦点控制范围、景深等)(以下称为“聚焦信息显示图像”)。在进行生成时，使用从上述各单元供给的光学参数、图像组合参数、焦点控制范围及焦点位置。可以针对图像拍摄前的实时取景图像，或者针对图像拍摄后的记录图像，来进行聚焦信息显示图像的生成。另外，聚焦信息显示图像可以基于视差图像中包括的任意单视点图像，或者可以基于通过组合多个单视点图像而获得的组合图像。生成的聚焦信息显示图像的数据被输出到显示单元1506。假设根据本实施例的显示图像生成单元2209还使用视差图像数据，依照图像组合参数来进行图像组合处理，然而，也可以与显示图像生成单元2209独立地，来配设被配置为进行图像组合处理的处理单元。
[0201]图23是示出根据本实施例的图像处理单元1512中的处理的流程的流程图。通过在将描述了以下所示的过程的计算机可执行程序从R0M1503中读取到RAM1502上之后，由CPU1501执行该程序，来进行这一系列处理。
[0202]在步骤S2301，视差图像数据获取单元2201获取由图像拍摄单元1500获取的视差图像数据。如上所述，在此获取的视差图像数据可以是作为实时取景图像的视差图像数据，或者可以是作为记录图像的视差图像数据。
[0203]在步骤S2302，光学参数获取单元2202和图像组合参数获取单元2206分别获取光学参数和图像组合参数。
[0204]在步骤S2303，距离推导单元2203推导整个场景中的距离信息。具体而言，距离推导单元2203通过用于在视差图像中包括的单视点图像之间进行立体匹配的方法等，来推导场景的距离。例如，在立体匹配方法中，首先，将充当基准的单视点图像(例如，与穿过光瞳的中心附近的光线相对应的单视点图像)划分为多个块，并且在其他单视点图像之中，检测距目标块最近的块位置。然后，通过利用两个块之间的位置关系、相应光瞳之间的位置关系以及各光瞳的视场角，由三角测量来推导目标块的距离。作为充当基准的单视点图像，也可以选择视点位置在中心之外的单视点图像。另外，作为用于获取距离信息的方法，除了上述的立体匹配方法之外，还存在诸如DFD (散焦测距，D印th From Defocus)等的方法、以及使用利用红外线等的测距单元来进行测量的方法。
[0205]图24A是示出单视点图像的示例的图，并且图24B示出了作为针对图24A中的单视点图像而推导出的距离信息的距离图。在图24A中所示的单视点图像中获得的场景中，3种被摄体(人，建筑物，山)存在于以图像拍摄装置作为基准的不同距离处。图24B中所示的距离图是依照离图像拍摄装置的距离而通过色调来显示的，并且图像拍摄装置附近的被摄体“人”用最深色调的颜色来显示，远离图像拍摄装置的被摄体“山”用最浅色调的颜色来显示，并且位于人与山之间的被摄体“建筑物”用中间色调的颜色来显示。如上所述，在该步骤，推导出场景中的被摄体的距离信息。
[0206]返回到图23中的流程图的说明。
[0207]在步骤S2304，被摄体区域提取单元2204进行如下的处理:基于在步骤S2303推导出的整个场景的距离图，来提取被摄体区域。该被摄体区域提取处理也可以说成是针对各固定距离来分离被摄体区域的处理。对具有大致相同距离的图像区域进行分组，并且将分组的图像区域提取作为被摄体区域。作为用于提取被摄体区域的方法，除了使用被摄体的距离信息的方法之外，可以提及的例如还有如下的方法。
[0208]I)通过对视差图像数据应用诸如面部辨识等的技术，来识别存在人、动物、植物等的区域，并且将识别出的人等提取作为被摄体区域。
[0209]2)预先准备诸如人、动物及植物等代表性的关注物体的图像数据作为模板，并且通过与该模板的匹配处理来提取被摄体区域。
[0210]3)如同在神经网络中一样进行预先学习，并且通过利用学习结果识别主要物体，来提取被摄体区域。
[0211]除了使用被摄体的距离信息的方法之外，还可以通过应用如上述的I)至3)中所述的各种公知方法，来实现本实施例中的被摄体区域的提取。
[0212]图25A和图25B分别是示出从图24B中所示的距离图中提取被摄体区域的结果的示例的图，并且，图25A示出了在沿各被摄体的轮廓提取出被摄体区域的情况下的图，并且图25B示出了在各被摄体外接的矩形区域被提取作为被摄体区域的情况下的图。在图25A及图25B中，用虚线包围的各区域分别是与“人”、“建筑物”及“山”相对应的被摄体区域。作为用于提取被摄体区域的方法，也可以应用其他方法，只要区域被设置为包括主要被摄体即可。例如，也可以用诸如圆形、椭圆形、三角形及多边形等的任意形状，来定义被摄体区域。
[0213]返回到图23中的流程图的说明。
[0214]在步骤S2305，再布置图像生成单元2205利用在步骤S2303推导出的整个场景中的距离信息、以及在步骤S2304提取出的场景中的被摄体区域，来生成场景的再布置图像。
[0215]图26A至图26D分别是示出在从正上方俯视图24A中所示的单视点图像的场景的情况下的再布置图像的示例的图。图24A至图24D中的“被摄体距离”不一定必须是到实际被摄体的按比例缩小的距离，并且例如，可以用倒数比或对数比来表示被摄体距离，或者也可以通过预先准备实际距离和相应的值彼此关联的对应表，而应用该表格。在通过按比例缩小实际距离进行再布置、来显示实际距离可能达到数千米或更多的诸如“山”等的远景、以及实际距离是数米至数十米的“人”及“建筑物”的情况下，与远景中的被摄体相比，近景中的被摄体在小的区域中被密集地显示。然而，“被摄体距离”充当指导，以让用户掌握被摄体的聚焦状态或者改变被摄体的聚焦状态，因此，聚焦状态一般不同的近景中的被摄体被密集地显示的情况是不适当的，因为这使得用户难以掌握或改变被摄体的聚焦状态。此外，与近距离的被摄体相比，由于远景中的被摄体的距离而导致的聚焦状态之间的差异非常轻微，因此，即使在远景中的被摄体被密集地显示的情况下，在用户掌握远景中的被摄体的聚焦状态方面，也不会出现任何问题。因此，在图像拍摄装置的显示单元上能够显示的一边的像素数是640、并且诸如“山”、“建筑物”及“人”等的被摄体分别位于例如离图像拍摄装置10km、8m及2m的距离处的情况下，通过产生分别在从显示区域的端部移动O像素、80像素及320像素的位置对被摄体进行再布置的显示，被摄体在显示单元上被显示得更加稀疏，因此，该显示便于用户掌握或改变聚焦状态。
[0216]在图26A至图26D各图中，距图像拍摄装置较近的位置被显示在下部，并且离图像拍摄装置较远的位置被显示在上部，因此，“人”因为位于距图像拍摄装置最近的位置，而被布置在下部，并且“山”因为位于离图像拍摄装置最远的位置，而被布置在上部。图26A是如下的再布置图像，在该再布置图像中，在与各被摄体距离相对应的位置，再布置了沿在步骤S2304提取出的被摄体区域(参见上述的图25A)而从上述单视点图像中切出的图像区域。在该再布置图像的情况下，与被摄体距离相关联地布置了单视点图像的一部分，因此，在图26A至图26D之中，这是最接近实际图像的再布置图像。图26B是如下的再布置图像，在该再布置图像中，在与各被摄体距离相对应的位置，再布置了从在步骤S2303推导出的距离图(参见图24B)中沿上述被摄体区域提取的图像区域。在该再布置图像的情况下，用与距离相对应的浓淡度来显示各图像区域，因此，在该再布置图像中，被摄体距离被强调。图26C及图26D分别是如下的再布置图像，在该再布置图像中，在与各被摄体距离相对应的位置，对在步骤S2304提取出的被摄体区域的边框(参见上述的图25A及图25B)进行了再布置。在这些再布置图像的情况下，再布置图像更加简化。
[0217]返回到图23中的流程图的说明。
[0218]在步骤S2306，焦点控制范围推导单元2207通过使用在步骤S2302获取到的光学参数及图像组合参数，来推导在对在步骤S2301获取到的视差图像进行了图像组合的情况下的焦点控制范围。下面给出详细说明。
[0219]如前所述，焦点控制范围依据各单视点图像与组合图像的分辨率之比而改变，然而，在此为了简化说明，考虑分辨率之比是I的情况。在图像侧焦点控制范围在由上述式
(5)表示的范围内的情况下，能够断定，已经获取到能够进行焦点控制的区域。因此，相对于被摄体面1601的图像形成光学系统1602的图像侧共轭面和图像侧焦点控制范围cUf_s仅需要满足以下的式(7)。
[0220]-NF ε ≤ drefocus ≤ NF ε...式⑵
[0221]图27是示出图16中所示的图像拍摄单元1500的结构中的光学布置的图，并且，σ是透镜阵列1603的图像侧主平面与图像感测元件1604之间的间隔。在图27中，从中心的微透镜两端延伸的两条平行虚线代表与这些微透镜相对应的图像感测元件1604的区域，并且，图像感测元件1604内的带斜线的像素代表无光线入射的死区。在本实施例中，透镜阵列1603被配置为能够防止死区产生，并且在这种情况下，Au= ΛΝ成立。然而，所述结构不局限于此，并且可以存在死区。从图27中，能够知道NF= σ/Λ在几何学的角度成立。通过用空间分量的采样间距Ay= Ala来表征决定焦点深度的容许弥散圆的大小，能够将式(7)改写为下面的式(8)。
【权利要求】
1.一种图像处理装置，该图像处理装置包括: 获取单元，其被配置为获取包括多个被摄体区域的图像以及与所述多个被摄体区域相对应的距离信息；以及 生成单元，其被配置为基于所述距离信息，来生成在所述图像中对所述多个被摄体区域的位置进行了移位的移位图像。
2.根据权利要求1所述的图像处理装置，其中， 所述生成单元将由所述获取单元获取到的图像中的、表示聚焦位置和景深中的至少一者的指标，与所述移位图像进行组合。
3.根据权利要求2所述的图像处理装置，该图像处理装置还包括: 接收单元，其被配置为接收用户操作；以及 改变单元，其被配置为响应于所述用户操作，而生成聚焦状态被改变的由所述获取单元获取到的图像。
4.根据权利要求3所述的图像处理装置，其中， 所述获取单元还获取与所述包括多个被摄体区域的图像相对应的光场数据，并且， 所述改变单元由所述光场数据，生成聚焦状态被改变的由所述获取单元获取到的图像。
5.根据权利要求1所述的图像处理装置，该图像处理装置还包括提取单元，该提取单元被配置为基于与所述多个被摄体区域相对应的所述距离信息，来提取所述多个被摄体区域，其中， 所述生成单元基于由所述提取单元提取出的被摄体区域，来生成所述移位图像。
6.根据权利要求1所述的图像处理装置，其中， 所述生成单元在由所述获取单元获取到的图像中使用形成背景的区域作为基准，来生成所述多个被摄体区域的位置被移位的移位图像。
7.根据权利要求6所述的图像处理装置，其中， 所述形成背景的区域是包括位于比预定距离更远处的全部被摄体的一个区域。
8.根据权利要求1所述的图像处理装置，其中， 所述生成单元以如下的方式生成所述移位图像，使得在所述移位图像中，所述多个被摄体区域彼此重叠的区域的比例小于阈值。
9.根据权利要求1所述的图像处理装置，其中， 所述生成单元以如下的方式生成所述移位图像，使得所述移位图像中包括的第一被摄体区域的位置低于第二被摄体区域的位置，所述第二被摄体区域距图像拍摄装置的距离比所述第一被摄体区域远。
10.根据权利要求1所述的图像处理装置，该图像处理装置还包括剪切处理单元，该剪切处理单元被配置为针对所述移位图像中的各被摄体区域，进行用来使水平方向倾斜的剪切处理。
11.根据权利要求1所述的图像处理装置，该图像处理装置还包括被配置为将基于所述移位图像中的所述多个被摄体区域的移位方向的网格图案与所述移位图像进行组合的单元。
12.根据权利要求6所述的图像处理装置，该图像处理装置还包括被配置为将基于所述移位图像中的所述多个被摄体区域的移位方向的网格图案与所述移位图像进行组合的单元，其中， 所述被配置为组合网格图案的单元不将所述网络图案与所述形成背景的区域进行组口 O
13.一种具有根据权利要求2所述的图像处理装置的图像拍摄装置，该图像拍摄装置包括: 显示单元，其被配置为显示组合有所述指标的图像；以及 被配置为依照在组合有所述指标的图像中的基于所述指标的用户操作、来调整焦点及景深的单元。
14.一种具有根据权利要求2所述的图像处理装置的图像拍摄装置，该图像拍摄装置包括: 被配置为由光场数据来生成包括所述多个被摄体区域的图像的单元； 显示单元，其被配置为显示组合有所述指标的图像；以及 被配置为响应于在组合有所述指标的图像中的基于所述指标的用户操作、使用所述光场数据改变在组合有所述指标的图像中的聚焦距离及景深的单元。
15.一种图像处理方法，该图像处理方法包括以下步骤: 获取包括多个被摄体区域的图像以及与所述多个被摄体区域相对应的距离信息；以及 基于所述距离信息，来生成在所述图像中对所述多个被摄体区域的位置进行了移位的移位图像。
16.一种图像处理装置，该图像处理装置包括: 获取单元，其被配置为获取包括多个被摄体区域的图像以及与所述多个被摄体区域相对应的距离信息； 第一生成单元，其被配置为基于所述距离信息，来生成在所述图像中对所述多个被摄体区域进行了再布置的再布置图像；以及 第二生成单元，其被配置为生成包括所述再布置图像的图像，其中，在所述再布置图像中反映了关于用来改变包括所述多个被摄体区域的图像的聚焦状态的图像组合处理的聚焦状态的信息。
17.根据权利要求16所述的图像处理装置，其中， 所述关于聚焦状态的信息包括焦点位置、景深及焦点控制范围中的至少一者。
18.根据权利要求16所述的图像处理装置，其中， 所述第一生成单元通过将所述多个被摄体区域从基准坐标，移动基于由所述距离信息表示的距离的反比或对数比的与像素相对应的量，来进行所述再布置。
19.根据权利要求16所述的图像处理装置，其中， 所述第一生成单元以如下的方式进行所述再布置，使得依照所述距离信息，而在深度方向上按次序布置所述多个被摄体区域。
20.根据权利要求16所述的图像处理装置，其中， 所述距离信息是表示从已拍摄包括所述多个被摄体区域的图像的图像拍摄装置分别距多个被摄体的距离的信息，并且， 所述图像处理装置还包括距离推导单元，该距离推导单元被配置为推导所述距离信肩、O
21.根据权利要求20所述的图像处理装置，其中， 所述获取单元获取作为表示包括所述多个被摄体区域的图像的图像数据的、通过从多个视点拍摄图像而获得的并且由分别与各个视点相对应的多个单视点图像构成的视差图像数据，并且， 所述距离推导单元通过在所述多个单视点图像之间进行立体匹配，来推导所述距离信肩、O
22.根据权利要求16所述的图像处理装置，其中， 所述获取单元获取作为表示包括所述多个被摄体区域的图像的图像数据的、通过从多个视点拍摄图像而获得的并且由分别与各个视点相对应的多个单视点图像构成的视差图像数据，并且， 所述第二生成单元基于所述多个单视点图像中的一个单视点图像，生成包括所述再布置图像的图像，其中，在所述再布置图像中反映了关于所述图像组合处理的聚焦状态的信肩、O
23.根据权利要求16所述的图像处理装置，其中， 所述获取单元获取作为表示包括所述多个被摄体区域的图像的图像数据的、通过从多个视点拍摄图像而获得的并且由分别与各个视点相对应的多个单视点图像构成的视差图像数据，并且， 所述第二生成单元基于通过所述图像组合处理而生成的图像，生成包括所述再布置图像的图像，其中，在所述再布置图像中反映了关于所述图像组合处理的聚焦状态的信息。
24.根据权利要求16所述的图像处理装置，其中， 所述图像组合处理是用来组合通过从多个不同视点拍摄所述多个被摄体区域而获得的多个视差图像的处理。
25.根据权利要求16所述的图像处理装置，其中， 所述图像组合处理是对包括所述多个被摄体区域的图像的滤波处理。
26.根据权利要求16所述的图像处理装置，该图像处理装置还包括提取单元，该提取单元被配置为基于所述距离信息，从包括所述多个被摄体区域的图像中提取被摄体区域，其中， 所述第一生成单元通过对由所述提取单元提取出的被摄体区域进行再布置，来生成所述再布置图像。
27.根据权利要求26所述的图像处理装置，其中， 所述提取单元提取沿被摄体的轮廓的区域或者包括被摄体的任意形状的区域，作为所述被摄体区域。
28.一种具有根据权利要求16所述的图像处理装置的图像拍摄装置，该图像拍摄装置包括: 接收单元，其被配置为接收用户指令； 显示单元，其被配置为显示反映了关于聚焦状态的信息的图像；以及调整单元，其被配置为基于所述用户指令，来调整在所述显示单元中显示的图像的聚焦状态。
29.根据权利要求28所述的具有所述图像处理装置的图像拍摄装置，其中， 所述显示单元具有实时取景功能，并且在实时取景中显示反映了关于聚焦状态的信息的图像。
30.一种图像处理方法，该图像处理方法包括以下步骤: 获取包括多个被摄体区域的图像以及与所述多个被摄体区域相对应的距离信息； 基于所述距离信息，来生成在所述图像中对所述多个被摄体区域进行了再布置的再布置图像；以及 生成包括所述再布置图像的图像，其中，在所述再布置图像中反映了关于用来改变包括所述多个被摄体区域的图像的聚焦 状态的图像组合处理的聚焦状态的信息。
【文档编号】G02B7/36GK104038690SQ201410078684
【公开日】2014年9月10日 申请日期:2014年3月5日 优先权日:2013年3月5日
【发明者】渡辺和宏, 坂田修, 高谷庆太, 加来亘, 堤正平 申请人:佳能株式会社