图像摄取装置和图像处理方法

专利名称：图像摄取装置和图像处理方法
技术领域：
在此公开的技术涉及使用透镜阵列的图像摄取装置和图像处理方法。
背景技术：
各种图像摄取装置已被提出并开发，并且例如在如下文献中被公开PCT专利公报No. W006/039486、日本专利公报No.平5-76234、日本专利公报No.平7-8055和日本专利 No. 3182009，以及 Ren Ng 等人的题为 “Light Field Photography with a Hand-Held Plenoptic Camera” 的 Stanford Tech Report CTSR 2005-02。此外，还提出了这样的图像摄取装置其中，对所摄取的图像数据执行预定图像处理并且得到的数据被输出。例如，在所提到的第一个专利文献和上述非专利文献中，公开了使用称为“光场摄影”(Light Field Photography)的方法的图像摄取装置。在该图像摄取装置中，透镜阵列被布置在图像摄取透镜的焦平面上，并且图像传感器被设置在透镜阵列的焦平面上。因此，图像传感器能够在接收形成在透镜阵列上的图像摄取对象的视频的同时，将该视频分散为各视点 (viewpoint)方向上的光线，从而同时获取多视点图像。

发明内容
在如上所述的图像摄取装置中，图像传感器上的多个像素被分配给透镜阵列中的一个透镜，其中，透镜的垂直和水平方向上的维度等于像素间距(Pixel pitch)的整数倍。 此外，与分配给该透镜的像素数目相等的多个视点图像可被获取。例如，在一个透镜被分配给3X3个像素(其中该透镜的垂直和水平维度等于每三个像素的间距)的情况中，垂直方向和水平方向上的三个视点处的图像可被获取。因此，每(总共)九个视点的图像可被获取。例如通过利用预定的显示单元来显示以如上所述的方式获取的视点图像中的左右两个视点图像，例如，可以实现立体图像显示。然而，在立体图像显示时，取决于所显示的图像，左右视点图像之间的视差会变得过大直到其超过人的立体感知界限。如果以这种方式被超过立体感知界限，则这两个视点图像被识别为双重图像。在此实例中，由于存在若如上所述这样的图像连续被观看则可能导致眼睛疲劳等的可能性，因此希望实现用于减小如上所述这样的过大视差对可视性的影响的方法。另一方面，在上面提到的日本专利公报No.平5-76234中，公开了在如下状态中执行图像摄取的方法在该状态中，光圈条件针对每个所摄取图像被改变，以产生模糊 (blurring)，即逐渐转化轮廓，从而缓和双重图像的影响。然而，在该方法中，由于光圈条件对于每个图像而不同，因此该方法不太可能准备用于运动图片。此外，在日本专利公报 No.平7-8055中，公开了一种使立体视频中的图像摄取对象的散焦图像的图片质量退化的技术。此外，在日本专利No.3182009中，用于计算被注意像素周围的像素的平均值的处理被执行以形成模糊。因此，希望提供可用来获取在立体图像显示时用于实现良好的可视性的视点图像的图像摄取装置。根据所公开技术的一个实施例，提供了一种图像摄取装置，包括图像摄取透镜； 透镜阵列，被布置在图像摄取透镜的图像形成平面上；图像摄取器件，用于接收经过图像摄取透镜和透镜阵列的光线以获取所摄取图像数据；图像处理部件，用于对所摄取图像数据执行图像处理；该图像处理部件包括视点图像产生部件，用于基于所摄取图像数据来产生多个视点图像，以及图像合成处理部件，用于对视点图像中的两个或更多个视点图像进行合成。在该图像摄取装置中，从图像摄取对象经过图像摄取透镜的光线由透镜阵列在各个视点方向上分散，并且被图像摄取器件接收，从而获得所摄取图像数据。图像处理部件基于所获得的所摄取图像数据来产生多个视点图像，并且对视点图像中的两个或更多个进行合成。合成之后的视点图像表现出这样的状态其中，其位置被位移，并且视点和进一步散焦的状态与具有模糊轮廓的图像相似。根据所公开技术的另一实施例，提供了一种图像处理方法，包括从图像摄取器件获取所摄取图像数据，该图像摄取器件接收经过图像摄取透镜和位于图像摄取透镜的图像形成平面上的透镜阵列的光线；基于所摄取图像数据产生多个视点图像；对多个视点图像中的两个或更多个视点图像进行合成。在该图像摄取装置中，图像处理部件对两个或更多个视点图像进行合成。因此， 在视点图像中的某个视点图像的位置被位移的同时，该视点图像的轮廓可被模糊。因此， 例如，当合成之后的左右两个视点图像被用来执行立体视频显示时，可以借助于通过视差量抑制和视点图像模糊获得的效果来减小超过人的感知界限的过大视差，以缓解视觉疲劳等。换言之，在立体视频显示时获得良好可视性的视点图像可被获得。在该图像处理方法中，所摄取图像数据从图像摄取器件被获得，该图像摄取器件接收经过图像摄取透镜和被布置在图像摄取透镜的图像形成平面上的透镜阵列的光线。然后，多个视点图像基于所摄取图像数据被产生，并且多个视点图像中的两个或更多个视点图像被合成。因此，例如，当合成之后的左右两个视点图像被用来执行立体视频显示时，可以借助于通过视差量抑制和视点图像模糊获得的效果来减小超过人的感知界限的过大视差，以缓解视觉疲劳等。换言之，在立体视频显示时获得良好可视性的视点图像可被获得。


图1是根据这里公开的技术的实施例的图像摄取装置的大体配置的视图；图2是图示出透镜阵列与图像传感器的布置关系的示意图；图3是示出图1所示的图像处理部件的详细配置的功能框图；图4是图示出各视点方向上的光线分散的示意图；图5是图示出由图1的图像摄取装置获得的所摄取图像数据的示意图；图6A至图61是图示出从图5所示的图像摄取数据获得的视点图像数据的示意图；图7A至图71是示出与图6A至图61所示的视点图像数据相对应的视点图像的示例的示意图；图8A和图8B是示出视点图像之间的视差量的示意图9A至图9C是图示出图像合成处理操作的示意图；图IOA至图IOC是图示出根据比较示例1的对视点图像执行合成处理的情况中的样子的示意图；图IlA至图IlC是图示出在由图1的图像摄取装置对视点图像执行合成处理的情况中的样子的示意图；图12A至图12C是图示出在比率被改变以由图1的图像摄取装置对视点图像执行合成处理的情况中的样子的示意图；图13是示出根据图1的图像摄取装置的修改的图像处理部件的详细配置的功能框图；以及图14A至图14C是图示出由图13所示的图像处理部件进行的图像合成处理操作的示意图。
具体实施例方式下面，将参考附图详细描述所公开技术的实施例。注意，将按以下顺序来描述所公开技术1.实施例(在图像平面上集体地执行视点图像的合成处理的示例)2.修改(响应于深度信息在图像平面上针对每个选择区域来执行合成处理的示例)<实施例>大体配置图1示出了根据所公开技术的实施例的图像摄取装置1的大体配置。图像摄取装置1是用于利用单个图像摄取透镜来摄取图像的单目镜型相机。图像摄取装置1摄取图像摄取对象2的图像，针对所摄取的图像摄取对象2执行预定图像处理，并且输出图像数据 Dout作为视点图像。图像摄取装置1包括图像摄取透镜11、透镜阵列12、图像传感器13、 图像处理部件14、图像传感器驱动部件15和控制部件16。注意，在以下描述中，光轴用Z 来表示，并且在与光轴Z垂直的平面中，水平方向和垂直方向分别用X和Y来表示。此外， 由于所公开技术的图像处理方法通过图像处理部件14的配置和操作来实现，因此这里省略对图像处理方法的描述。图像摄取透镜11是用于摄取图像摄取对象2的图像的主透镜，并且由例如用于视频相机或静止相机的一般图像摄取透镜构成。光圈10被布置在图像摄取透镜11的光进入侧，但是替代地也可被布置在光外出侧。透镜阵列12被布置在图像摄取透镜11的图像形成平面或焦平面上，并且由在基板上沿着X方向和Y方向二维布置的多个透镜或微透镜1 构成，该基板例如由玻璃构成。 每个透镜12a由诸如光阻材料之类的树脂材料构成，并且例如是在由玻璃或塑料构成的基板上使用光阻回流法(resist reflow method)或纳米压印法形成的，该基板由玻璃或塑料构成。或者，可以通过对基板的表面执行蚀刻处理来形成透镜12a。图像传感器13被布置在透镜阵列12的焦平面上。图像传感器13接收经过透镜阵列12的光线以获取图像摄取数据DO。在图像传感器13中，多个像素被布置在沿着X和Y方向的矩阵中。图像传感器13由固态图像摄取设
5备构成，例如CCD (电荷耦合器件)设备或CMOS (互补金属氧化物半导体)设备。图2示意性地图示出了透镜阵列12和图像传感器13的布置配置。参考图2，透镜阵列12和图像传感器13沿着光轴Z以彼此间隔预定距离，具体地间隔透镜阵列12的焦距的关系被布置，以使得图像传感器13中的mXn像素区域被分配给一个透镜12a。透镜 12a在XY平面上的形状为正方形，例如与mXn像素区域U的形状相同。注意，m和η是等于或大于1的整数，并且随着mXn值的增大，S卩，随着将被应用与一个微透镜的像素数目的增大，视点图像数目或者视点数目增大。另一方面，随着分配给每个透镜的像素数目减小， 即随着mXn值的减小，视点图像的分辨率或像素数目增大。以这种方式，视点数目与视点图像的分辨率彼此具有折中关系。下面，将以3X3个像素(m = n = ;3)的像素区域U被分配给一个透镜12a的情况为例给出描述。在图像传感器13的光接收面上，可以设置滤色器(未示出)。对于滤色器，可以使用这种类型的滤色器，其中，例如红(R)、绿(G)和蓝(B)颜色的滤色器例如以1 :2:1 的比率被排列(被称为拜耳(Bayer)阵列)。图像处理部件14对由图像传感器13获得的所摄取图像数据DO执行预定图像处理并且例如将图像数据Dout输出作为视点图像。图3示出了图像处理部件14的详细配置。 参考图3，图像处理部件14例如包括视点图像产生部件140、图像合成处理部件141和图像校正处理部件142。图像处理部件14的具体图像处理操作将在下面进行描述。图像传感器驱动部件15驱动图像传感器13来控制图像传感器13的曝光、读出寸。控制部件16控制图像处理部件14和图像传感器驱动部件15的操作，并且例如由微计算机构成。工作效果1.所摄取图像数据的获取在图像摄取装置1中，由于透镜阵列12被设置在图像摄取透镜11与图像传感器 13之间的预定位置处，因此图像传感器13除了记录来自图像摄取对象2的光线的强度分布以外，还将该光线记录为保留了关于光线的前进方向(即，视点方向)的信息的光线矢量。 具体地，经过透镜阵列12的光线针对视点的每个视点方向被分散并且由图像传感器13的不同像素接收。例如，参见图4，在经过透镜1 的光线中，来自某视点(即第一视点)方向的光线或光通量LA由像素“A”接收。同时，来自与某视点方向不同的视点(即，第二和第三视点)方向的光线或光通量LB和LC分别由像素“B”和“C”接收。以这种方式，在分配给透镜12a的像素区域U中，来自彼此不同的视点方向的光线由不同像素接收。在图像传感器13中，读出是响应于图像传感器驱动部件15的驱动操作而按照行顺次被执行的，并且所摄取图像数据DO被获取。图5示意性地图示出了所摄取图像数据DO被的像素数据阵列。如本实施例中这样在3X3个像素的像素区域U被分配给一个透镜12a的情况中，针对每个像素区域U接收来自总共九个视点方向的光线，并且3X3个像素的A至I像素数据被获取。注意，在图 5中，图示出了从3X3个像素的9X9像素区域，即从九个像素区域U获得的所摄取图像数据。此外，在滤色器被布置在图像传感器13的光接收面一侧上的情况中，所摄取图像数据 DO被记录为与滤色器的颜色阵列相对应的颜色数据。以如上所述的方式被获取的所摄取图像数据DO被输出给图像处理部件14。2.视点图像的产生参考图3，图像处理部件14包括视点图像产生部件140、图像合成处理部件141和图像校正处理部件142。图像处理部件14基于从图像传感器13输出的所摄取图像数据DO 来执行预定图像处理并且将图像数据Dout输出作为视点图像。具体地，视点图像产生部件140首先基于所摄取图像数据DO来执行产生多个视点图像的处理。具体地，视点图像产生部件140对图5所示的所摄取图像数据DO中属于同一视点方向的，即从位于像素区域U中的相同位置处的那些像素中提取的那些像素进行合成。例如，视点图像产生部件140从所摄取图像数据DO中提取所有的像素数据“A”，并且对所提取像素数据进行合成，参见图6A。也对其它像素数据“B”至“I”执行类似处理，参见图 6B至图61。以这种方式，视点图像产生部件140基于所摄取图像数据DO产生多个视点图像，在这里，产生第一至第九视点的九个视点图像。这些视点图像作为视点图像数据Dl被输出给图像合成处理部件141。3.图像合成处理图像合成处理部件141对输入给它的视点图像数据Dl中的多个视点图像执行如下所述的图像合成处理。图7A至图71所示的视点图像Rl至R9是与图6A至图61的数据阵列相对应的视点图像的具体示例。这里，以在深度方向上被布置在彼此不同位置处的三个图像摄取对象“人”、“山”和“花”的图像Ra、Rb和Rc为例，来描述图像摄取对象2的图像。视点图像 Rl至R9被摄取为使得直通图像摄取对象中的“人”被图像摄取透镜聚焦，并且位于相对于 “人”的内侧的“山”的图像Rb以及位于相对于“人”的这侧的“花”的图像Rc处于散焦状态。由于视点图像Rl至R9是由具有单个图像摄取透镜的单目镜相机的相机摄取的，因此即使视点变化，焦平面上“人”的图像Ra也不会位移。然而，散焦图像Rb和Rc被位移到彼此不同的位置。注意，在图7A至图71中，不同视点图像之间的位置位移(S卩，图像Rb和Rc 的位置位移)以夸张的形式被示出。当例如来自如上所述的九个视点图像Rl至R9中的左右两个视点图像被用来执行立体图像形式时，所显示视频的立体效果对应于两个视点图像之间的视差量。例如，如果图 7D所示的视点图像R4和图7F所示的视点图像R6被选作上述的两个视点图像，则显示视频的立体效果是如下所述这样的。例如，尽管“山”看起来在相对于“人”的内侧，然而这种观感的程度对应于视点图像R4中的图像Rb4与视点图像R6中的图像Rb6之间的位置移位量或视差量ffb，参见图8A和图8B。另一方面，尽管“花”看起来相对于“人”突出在这侧，然而这种观感的程度对应于视点图像R4中的图像Rc4与视点图像R6中的图像Rc6之间的位置移位量Wc。于是，随着位置移位量Wb和Wc的增加，“山”在内侧上相距增加的量的位置处被观看到，并且“花”在这侧上相距增加的量的位置处被观看到。然而，如果这样的视差量过大，则它们会超过人的感知界限，从而图像看起来是双重图像并且不会被识别为立体视频。或者，即使图像被识别为立体视频，观看者也有可能因连续观看接近感知界限的这样的视频而感到视觉疲劳。因此，在下面的实施例中，为了减小如上所述导致这样的视觉疲劳的过大视差，以预定合成比率来合成或相加两个以上视点图像的处理被执行。所提到的该处理在下面被称为合成处理。因此，两个以上视点图像的合成处理通过对视点图像加权而被执行。该合成处理可用下面的表达式(1)来表示Rn = (α X Rl+β XR2+Y XR3+ δ X R4+ ε XR5+ ζ XR6+ η X R7+ θ X R8+ ι X R9). . . (1)其中，1 是合成处理之后的视点图像，并且α，β，γ，δ，ε，ζ，η，θ*1是表示合成比率的系数。系数可以是0。具体地，所有视点图像可被合成，或者它们可以选择性地被合成。此外，可以利用平面数据、行数据和像素数据中的任一者来执行这样的合成处理。然而，由于在本实施例中合成比率在各图像平面中是相等的，因此合成处理针对各平面集体地被执行。视差减小原理下面参考图9Α至图12C描述通过如上所述这样的合成处理进行的视差减小的原理。为了简化描述，将描述这样的示例，其中，视点图像R4和视点图像R5将被合成，并且具体地，在上述系数中，a，3，Y，4，ii，efpl为零，而δ = 1并且0 < ε < 1。图9Α 至图9C将视点图像的合成处理表示为图像。如果乘以了系数的视点图像R4和视点图像R5 被相加，则处于散焦状态的“山，，和“花”的图像位置将被位移。具体地，如果关注“花”，则 “花”的位置被位移到视点图像R4中的图像Rc4的位置S4与视点图像R5中的图像Rc5的位置S5之间的位置Sn。此外，合成处理之后的图像1 具有相当模糊的轮廓。这类似地也适用于“山”的图像，并且合成处理之后的其图像Rbn的位置被位移到图像Rb4和Rb5的位置之间的位置，并且图像Rbn由于处于散焦状态中因此具有相当模糊的轮廓。顺便提及，如果由单目镜相机摄取的视点图像被用来执行与上述类似的合成处理，则如图IOA至图IOC所示的情况，难以使图像本身模糊，而图像位置却被位移。图IOA 至图IOC示意性地图示出了作为本实施例的比较示例的、由单目镜相机摄取的视点图像被合成的情况中的信号强度分布。在该比较示例中，由于图像本身在散焦区域中也是锐利的， 因此在彼此不同的视点图像被相加的情况中，双重图像被获得。具体地，由于对比度的宽度或跨度HlOO较小，参见图IOA和图10B，因此在在彼此不同的位置SlOO和SlOl处具有峰值的对比度AlOO和BlOO被合成的情况中，合成之后的对比度ClOO表现为在不同位置SlOO 和SlOl处具有两个峰值的分布状态，参见图10C。此外，在单目镜类型的相机被使用的情况中，尽管未示出，但是由于图像摄取对象的图像在焦平面上的位置在各视点图像之间是不同的，因此难以像本实施例中这样，针对整个图像执行集体合成处理。换言之，需要用于调节焦平面上的图像位置的处理或类似处理。相比之下，虽然在本实施例中可以通过如上所述的合成处理执行位置位移和轮廓模糊，然而这是出于以下原因。图IlA至图IlC图示出了在由图像摄取装置1获取的视点图像被用来执行合成处理的情况中的信号强度分布，即，散焦图像的轮廓位置的对比度。注意，在本示例中，各个视点图像的合成比率彼此相等。由于在本实施例中，散焦区域的对比度的宽度H较大，因此在在彼此不同的地点S4和S5处具有峰值的、对应于视点图像R4和 R5中的图像Rc4和Rc5的对比度A和B被合成的情况中，合成之后的对比度C表现出更适度的分布，没有导致双重图像，同时两个位置处的峰值也消失了，参见图11C。因此，在本书示例中，可以通过合成处理在使这样的散焦图像的位置被位移的同时对轮廓进行模糊。此外，与由上述单目镜类型的相机摄取的视点图像不同，图像摄取对象在焦平面上的图像位置在各视点图像之间相同，因此，在本合成处理中无需如比较示例的情况中的定位处理。另外，由于仅需要对所产生的视点图像加权并相加，因此处理负荷也低。另一方面，图12A至图12C示意性地图示出了在上述实施例的合成处理中使合成比率在视点图像间彼此不同的情况中的信号强度分布。同样，在此实例中，与上述情况类似，当例如分别对应于图像Rc4和Rc5的、在彼此不同的地点S4和S5具有峰值的对比度A 和Bl特定地在(R4的合成比率)< (R5的合成比率)的情况中被合成时，在合成之后的对比度Cl上没有出现双重图像。因此，在散焦图像的位置被位移的同时轮廓可被模糊。然而， 由于视点图像分别被加权，因此对比度Cl的峰值位置Sn’偏向位置S5侧被移位。虽然两个视点图像的合成被描述作为示例，然而三个以上视点图像的合成可类似地被执行。此外，可以通过使视点图像间的合成比率不同，即，通过对视点图像加权，来在预定范围内自由地位移图像位置。虽然在合成处理之前与视点数目相对应的九个散焦图像由不同位置来表示，然而通过执行本合成处理，能够将图像位移到九个位置中的任意位置并且对轮廓进行模糊。因此，可以借助于视差量抑制的效果和模糊图像的效果来减缓过大视差。如上所述这样的合成处理之后的视点图像作为视点图像数据D2被输出给图像校正处理部件142。图像校正处理部件142对视点图像数据D2执行诸如去马赛克处理、白平衡调节处理、伽马校正处理等之类的颜色插值处理，并且将图像处理之后的视点图像数据输出作为图像数据Dout。图像数据Dout可被输出到图像摄取装置1外面或者可被存储到设置在图像摄取装置1中的存储部件(未示出)中。注意，视点图像数据D2和图像数据Dout可以仅仅是与合成处理所产生的视点图像相对应的数据或者可以是与未被执行合成处理的原始视点图像(在此为九个视点图像) 相对应的数据。或者，与合成处理之前和之后的视点图像相对应的数据可被包括在混合状态中，或者原始视点图像可由合成处理所产生的视点图像替代。此外，将由合成处理产生的视点图像的数目可以是一个或多个。如上所述，在本实施例中，基于利用图像摄取透镜11、透镜阵列12和图像传感器 13获得的所摄取图像数据DO产生了多个视点图像，并且这些视点图像中的两个或更多个被合成。因此，在某个视点图像的位置被位移时，该视点图像的轮廓可被模糊。因此，例如， 当左右两个视点图像被用来执行立体图像显示时，可以借助于针对视点图像的视差量抑制和模糊所提供的效果来减小超过人的感知界限的过大视差，从而缓解视觉疲劳。换言之，在立体图像显示时，具有良好可视性的视点图像可被获得。下面，将描述对上述实施例的修改。< 修改 >图13示出了根据本实施例的修改的图像处理部件14A的详细配置的示例。参考图13，与上述实施例的图像处理部件14类似，该图像处理部件14A对由图像摄取透镜11、 透镜阵列12和图像传感器13获得的所摄取图像数据DO执行预定图像处理，并输出图像数据Dout。然而，在本修改中，图像处理部件14A除了包括视点图像产生部件140、图像合成处理部件141和图像校正处理部件142以外，还包括深度信息获取部件143。图像合成处理部件141响应于深度信息执行合成。具体地，在图像处理部件14A中，与上述第一实施例类似，视点图像产生部件140首先基于所摄取图像数据DO产生多个视点图像。例如，视点图像产生部件140产生第一至第九视点的视点图像Rl至R9，并且输出视点图像数据D1。同时，深度信息获取部件143从所摄取图像数据DO获取深度信息，例如，诸如差距图(disparity map)之类的表示图像摄取对象的深度的信息。具体地，深度信息获取部件 143例如通过立体匹配方法来针对每个像素计算多个视点图像之间的差距，即，相位差或相移，并且产生其中计算出的差距被与各个像素相关联的图。注意，差距图可以不是如上所述以像素为单位产生的差距图，而可以是这样的差距图，其中，针对各自由预定数目个像素形成的各个像素块而确定的差距被与像素块相关联。所产生的差距图作为深度信息DD被输出给图像合成处理部件141。然后，图像合成处理部件141利用输入给它的视点图像Rl至R9以及深度信息DD 来执行合成处理。具体地，图像合成处理部件141响应于深度信息DD来对图像平面中的每个选择区域的视点图像Rl至R9中的一个或多个进行加权，然后执行合成处理。更具体地， 图像合成处理部件141向离焦平面较近的图像平面上的图像摄取对象的图像设置较低的合成比率，而向距离焦平面较远的另一图像摄取对象的图像设置较高的合成比率，以对每个选择区域执行合成处理。图14A至图14C图示出了本修改中的图像合成处理的示例。这里注意，为了简化图示说明和描述，在附图中示出了位于焦平面上的“人”的图像Ra以及位于相对于“人”的这侧的两朵“花”的图像Rc41和Rc42。此外，在图像Rc41和Rc42之间，图像Rc42被看到位于相对于图像Rc41的这侧。或者，换言之，图像Rc42处于比图像Rc41更散焦的状态中并且是距焦平面更远量的“花”的图像。在就此描述的这样的实例中，例如，当视点图像R4 和视点图像R5将被合成时，分别由以下表达式( 和C3)表示的对图像Rc41和Rc42的合成处理被执行Rc41+ε 1XRC51 = Rcnl…(2)Rc42+ ε 2XRc52 = Rcn2. . . (3)其中，合成比率满足ε 1 < ε 2。因此，参见图14C，在合成处理之后的视点图像1 中，根据以上参考图IlA至图 lie描述的原理，“花”的图像Rcnl的位置被位移到图像Rc41与Rc51的位置之间的位置处， 并且图像Rcnl的轮廓被模糊。此外，类似地，“花”的图像Rcn2的位置被位移到图像Rc42 与Rc52的位置之间的位置处，并且图像Rcn2的轮廓被模糊。然而，由于使得图像Rc41和 Rc42之间的加权不同(ε 1 < ε 2)，因此根据以上参考图12Α至图12C描述的原理，图像 Rcn2的位移量大于图像Rcnl的。更具体地，图像Rcn2的位置靠近图像Rc52的位置的程度高于图像Rcnl的位置靠近图像Rc51的位置的程度。因此，虽然距焦平面更远距离的图像， 即具有更大散焦量的图像，与其它视点图像相比表现出更大的视差量，然而如上所述可以针对这样的散焦图像增大位移量。换言之，可以在模糊该图像的轮廓的同时，响应于图像平面上的视差量来抑制视差量。因此，例如，可以执行这样的合成处理，其中，对于视差量不太大的图像，不执行相移或轮廓模糊，而仅对具有大视差量的图像执行位置位移和轮廓模糊。这样的合成处理之后的多个视点图像作为视点图像数据D2被输出给图像校正处理部件142，并且经过与以上所述类似的图像校正处理，然后被输出作为图像数据Dout。在本修改中，图像合成处理部件141可以基于深度信息来对图像平面上的每个选择区域执行合成处理。此外，在这样的实例中，可以获得与上述实施例所获得的效果类似的效果。此外，通过使用深度信息，对于在图像平面上的视差量或深度不同的图像摄取对象的图像，图像轮廓可被模糊，同时视差抑制根据视差量被执行。因此，可以实现更自然的立体视频图像显示。虽然上面结合优选实施例和修改描述了所公开技术，然而本技术限于该实施例和修改，其它各种修改也是可以的。例如，虽然在上述实施例中透镜分配像素的数目或区域为 mXn = 3X3个像素，然而被分配给每个透镜的像素区域不限于此，而是例如，可以是 1、2或4或者更大。此外，虽然在上述实施例中差距图被产生作为深度信息并被用来执行图像合成处理，然而深度信息不限于这样的差距图，而可以是通过任何其它方法获得的信息。例如，由于图像摄取对象的图像的分辨率取决于离焦平面的距离而不同，因此每个图像的深度信息可基于分辨率来获取。更具体地，由于焦平面上的“人”的图像表现出高分辨率，而“山”或 “花”与焦平面相距一定距离，因此其图像处于散焦状态并且表现出低分辨率。此外，在上述实施例和修改中，在所公开技术的图像处理方法的示例中，S卩，在由图像处理部件14实现的图像处理方法中，包含图像摄取透镜、透镜阵列和图像传感器的一个图像摄取装置获取所摄取图像数据并且基于该所摄取图像数据执行预定图像处理。然而，成为图像处理对象的所摄取图像数据不一定由一个装置获取。换言之，与多个视点图像相对应的所摄取图像数据可从外面获取，或者预定图像处理可以针对从外面获取的所摄取图像数据被执行。本公开包含与2011年1月6日向日本专利局提交的日本优先专利申请JP 2011-001401中公开的主题有关的主题，该神奇的全部内容通过引用被结合于此。本领域的技术人员应当明白，可以根据设计要求和其它因素进行各种修改、组合、 子组合和变更，只要它们在所附权利要求或其等同物的范围之内。
权利要求
1.一种图像摄取装置，包括图像摄取透镜；透镜阵列，被布置在所述图像摄取透镜的图像形成平面上；图像摄取器件，用于接收经过所述图像摄取透镜和所述透镜阵列的光线以获取所摄取图像数据；以及图像处理部件，用于对所述所摄取图像数据执行图像处理；所述图像处理部件包括视点图像产生部件，用于基于所述所摄取图像数据来产生多个视点图像，以及图像合成处理部件，用于对所述视点图像中的两个或更多个视点图像进行合成。
2.根据权利要求1所述的图像摄取装置，其中，所述图像合成处理部件在对每个视点图像执行加权后，执行所述两个或更多个视点图像的合成处理。
3.根据权利要求1所述的图像摄取装置，其中，所述图像合成处理部件针对图像平面中的每个区域块来执行所述两个或更多个视点图像的合成处理。
4.根据权利要求3所述的图像摄取装置，其中，所述图像处理部件包括用于获取所述图像平面中的深度信息的深度信息获取部件；并且所述图像合成处理部件在基于所述深度信息来对所述图像平面中的每个区域块执行加权后，执行所述两个或更多个视点图像的合成处理。
5.根据权利要求4所述的图像摄取装置，其中，所述图像合成处理部件给位于距离焦平面更远距离的位置处的图像摄取对象的图像设置更高的合成比率。
6.一种图像处理方法，包括从图像摄取器件获取所摄取图像数据，所述图像摄取器件接收经过图像摄取透镜和位于所述图像摄取透镜的图像形成平面上的透镜阵列的光线；基于所述所摄取图像数据产生多个视点图像；以及对所述多个视点图像中的两个或更多个视点图像进行合成。
全文摘要
本发明公开了图像摄取装置和图像处理方法。这里公开的图像摄取装置包括图像摄取透镜；透镜阵列，被布置在图像摄取透镜的图像形成平面上；图像摄取器件，用于接收经过图像摄取透镜和透镜阵列的光线以获取所摄取图像数据；以及图像处理部件，用于对所摄取图像数据执行图像处理；图像处理部件包括视点图像产生部件，用于基于所摄取图像数据来产生多个视点图像，以及图像合成处理部件，用于对视点图像中的两个或更多个视点图像进行合成。
文档编号G02B27/22GK102595170SQ201110461328
公开日2012年7月18日 申请日期2011年12月30日 优先权日2011年1月6日
发明者田尻真一郎 申请人:索尼公司