专利名称：距离推定装置、距离推定方法、集成电路、计算机程序的制作方法
技术领域：
本发明涉及，拍摄运动图像或连续静止图像时推定与图像中的所有的被摄体之间的距离的装置以及方法。
背景技术：
一般而言，对于基于传感的距离推定方式，可以主要大致划分为以下的两种。一种为，主动传感型。例如，该主动传感型的方式有利用激光以及超声波的飞行时间法；在显微镜等上常用的共焦点法；以及利用多个光源的光度立体法等。另一种为，被动传感型。该被动传感型的方式有拍摄立体图像，并根据各个摄像图像中所拍摄的物体位置的差来推定距离的方法；以及虽然同时拍摄一张图像，但是利用透镜焦点的不同的焦点法。焦点法为，主要用于实现相机的自动对焦(以下，称为“AF(Auto Focus) )功能的技术。焦点法中的方法有用于小型数字相机的对比AF (Auto Focus)等的DFF法(Depth From R)CUS:对焦深度)；用于单镜头反光相机的AF等的瞳孔分割相位差检测法；以及DFD 法(D印th From Defocus 散焦深度)。在DFD法中，针对图像中的一点，计算在该一点的对比度，逐渐进行对焦位移，在判断为接近合焦状态时，停止对焦位移，来确定距离。在该DFD法中，需要依次进行对焦位移，直到成为合焦状态为止，而且，针对图像中的所有的像素执行该方法。因此，测量距离所需要的时间非常长。因此，对移动物体的测量不合适。并且，如AF的情况那样，在测量特定的物体的距离的情况下，通过所述的方法能够实现，但是，若想要针对图像中的所有的像素进行距离推定，必然需要拍摄合焦位置不同的许多图像。也就是说，存在的缺点是，需要从拍摄后的这些许多图像中选择合焦于各个像素的图像，进行距离推定。对于瞳孔分割相位差检测法，通过测量相位差检测传感器的成像间隔，从而能够直接推定距离，为了推定距离而不需要花费时间，但是，不能将相位差检测传感器排列为被分配到图像中的所有的像素。因此，仅在图像中的预先限定的点，能够推定距离。并且，用于实现其功能的机构尺寸，与其他的方式相比，必然大。DFD法是指，拍摄互不相同的两个聚焦位置的两张图像，根据各个图像以及透镜的模糊参数来直接求出合焦距离的方法(例如，参照非专利文献1以及2)。在此，模糊参数是表示亮度信息的模糊的值，也是与透镜的点扩展函数(PSF Point Spread Function)的方差相关的值。在此，PSF是表示理想的点像通过光学系统时的光线的扩展的函数。也称为散焦特性。对于DFD法，与所述的瞳孔分割相位差检测法相同，为了推定距离而不需要花费时间，并且，拍摄的张数为最小限度的两张即可，但是，需要预先获得透镜的模糊参数。而且，实际上，在模糊图像中，除了存在由透镜的模糊以外，还存在由摄像元件的孔径的模糊、 由薄膜特性的模糊等。因此，还需要预先获得并考虑这些模糊。DFD法的问题是，在拍摄互不相同的两个聚焦位置的两张图像时，在该两张之间， 需要不使像倍率发生变化。另一方，在通常的光学系统中，不是这样的设计的情况多。也就是说，需要采用像方远心光学系统(例如，参照非专利文献3)。并且，除此以外，还存在的问题是，只能以比较小的模糊，保持距离推定精度。对于该问题的第一原因是，通过图像处理，来进行匹配，并推定距离，因此，会有相对难以得到功率小时即模糊大时的距离推定精度的情况。第二原因是，虽然这是在理想的透镜模型例如高斯模型以及pillbox模型中不会产生的问题，但是，基于实际透镜(组合透镜)的模糊模型中存在如下倾向，即，模糊越大， 模糊的变化就越小。也就是说，因此存在的问题是，在模糊的变化量小的、模糊大的区域，导致距离推定精度降低。针对这样的问题，在通常的光学系统中有如下想法，S卩，用于决定模糊的性质的瞳孔(孔径)形状为圆形，并模糊的变化小，因此距离推定精度低。而且，对于基于该想法的方法，提出了以下的方法，即，采用结构化瞳孔遮罩，利用模糊的变化大的模型，来推定距离 (例如，参照非专利文献4)。由于采用结构化瞳孔遮罩，因此，与圆形孔径的情况相比，针对深度方向，模糊的变化的区别更明显，距离推定精度提高。并且，在推定距离的同时，能够生成All-in-focus图像(以下，称为“全焦点图
像”。)。而且，使该想法进一步发展而还提出了 Coded Aperture (编码孔径)方式，其中， 通过进一步研究瞳孔形状，从而按图像的每个部分区域，进行更高精度的距离测量(例如， 参照非专利文献5)。这样的研究瞳孔形状的方法的问题是，虽然距离推定精度提高，但是光量减少、且全焦点图像的画质也略降低。对于该问题，关注之处是这样的方法采用以下的想法，S卩，通过研究瞳孔形状，在作为光学系统整体的频率传递特性上，生成零点，使距离推定精度提高。也就是说，因此，与被摄体无关，而能够进行稳健的距离推定，反而，在复原全焦点图像时，存在因零点而消失的信息(在频率区域成为零的成分)。因此，包含像在后级的信号处理也不能复原该信息那样的根源性问题。据此，产生所述的问题。对于用于解决该问题的方法，有以下的方法。该方法是指，通过将以两张的、互不相同的光圈形状拍摄的两个图像，作为一对来使用，从而同时实现距离推定精度的提高和全焦点图像的复原性能劣化防止的方法。还提出了基于该方法的Coded Aperture Pairs 方式(例如，参照非专利文献6)。这是因为，期待以下效果的缘故，即，通过以两张的、互不相同的光圈形状拍摄被摄体，从而互补彼此的零点。另一方面，设定在任何光学系统、任何距离上都一定能够彼此互补零点的瞳孔形状的组合是困难的。并且，即使以特定的光学系统为前提，也设定在任何距离上都一定能够彼此互补零点的瞳孔形状是困难的。
也就是说，不能避免与通常的光学系统相比，复原后的全焦点图像劣化。另一方面，也有以下的方法，S卩，最初获得全焦点图像，将获得的全焦点图像、和由以后的通常拍摄的图像组合，根据焦点的不同来推定与物体之间的距离(例如，参照非专利文献7以及专利文献1)。从前存在称为R)cal Stack的方式，该方式是指，拍摄合焦位置互不相同的多张图像，并从各个图像分别提取有可能合焦的区域来合成，从而获得EDOF (Extended Depth of Field(Focus))图像(景深扩展图像)即全焦点图像。利用如此获得的全焦点图像、以及另一张的对焦于任意的距离例如最靠前(近端)的距离时的实际的图像，推定距离。通过进行测量等，预先获得对焦于近端时的各个被摄体距离的模糊参数。按图像的每个区域，比较利用所述的模糊参数来对全焦点图像的按每个被摄体距离的模糊进行模拟的多个图像的每一个、与所述的近端实际图像，将最类似的图像所示的距离判断为其被摄体的距离。对于实现这样的方式所需要的结构，利用图8进行说明。图8是示出距离推定装置9的结构的方框图，该距离推定装置9利用全焦点图像、 和对焦于特定的距离时的实际的图像，来推定距离。距离推定装置9包括全焦点图像生成部91、特定深度合焦图像获得部9101、模糊参数群获得部9102、模糊图像群生成部9103、类似模糊判断部9104、以及距离图生成部 9105。全焦点图像生成部91，生成全焦点图像(图8的图像91a)。而且，对于全焦点图像生成部91的具体结构，通过景深扩张(以下，称为“ED0F”。) 技术，获得全焦点图像的方法中的结构是所周知的。对于全焦点图像生成部91，例如，也可以采用该结构。而且，一般而言，主要有以下的五个方式。第一方式是称为R)cal Stack的方式，该方式是指，拍摄合焦位置互不相同的多张图像，并从各个图像分别提取有可能合焦的区域来合成。据此，获得EDOF图像(景深扩展图像)即全焦点图像。第二方式是指，通过插入称为相位板的光学元件，使深度方向的模糊均勻，根据预先通过测量或模拟而获得的模糊模式，进行图像复原处理，从而获得EDOF图像即全焦点图像。这称为Wavefront Coding (波前编码)(例如，参照非专利文献8)。第三方式是指，在曝光时间中，通过使聚焦透镜或摄像元件变动，在深度方向卷积一律合焦的图像(即，与以各个深度使模糊均勻同义)，根据预先通过测量或模拟而获得的模糊模式，进行图像复原处理，从而获得EDOF图像即全焦点图像。这称为Flexible DOF (例如，参照非专利文献9)。第四方式是指，虽然与R)cal Stack相似的方法，但是，不拍摄多张图像，而利用透镜的轴向色差，根据一张颜色图像，推定深度，或者，检测图像的清晰度，通过图像处理，获得整体清晰的图像，以作为全焦点图像(例如，参照非专利文献10)。第五方式是指，利用多焦点透镜，使深度方向的模糊均勻，根据预先通过测量或模拟而获得的模糊模式，进行图像复原处理，从而获得全焦点图像(例如，参照非专利文献11)。由如上所举出的五个方式中的任何方式，都能够实现全焦点图像生成部91。特定深度合焦图像获得部9101，从全焦点图像生成部91生成全焦点图像时使用了的图像群中选择任意的一张，或者，另外拍摄新的图像。特定深度合焦图像获得部9101， 据此，获得在特定深度即距离合焦的图像(图像9101a)。而且，如此，特定深度合焦图像获得部9101使相机在设定的特定深度合焦，获得在该合焦深度合焦的图像。模糊参数群获得部9102，读出记录的模糊参数。也就是说，预先以数值来记录模糊参数(数据910 )，该模糊参数(数据9102a)表示在使相机在特定深度合焦图像获得部 9101所设定的特定深度合焦时，按任意的深度(距离)，发生怎样的模糊。例如，由模糊参数群获得部9102进行该记录。而且，模糊参数群获得部9102，读出如此记录的模糊参数。或者，在能够使透镜的模糊方法定式化的情况下，利用其算式，计算模糊参数(数据9102a)。模糊图像群生成部9103，从全焦点图像生成部91接受全焦点图像。并且，从模糊参数群获得部9102接受按任意的深度的模糊参数。而且，针对全焦点图像，按任意的深度， 卷积模糊参数。这意味着，如此获得的按任意的深度的模糊图像群为，假设在其深度存在所有的被摄体时的模拟图像群。类似模糊判断部9104，对模糊图像群生成部9103所获得的按任意的深度的模糊图像群的各个图像(在各个深度(距离)的图像9103a)、与特定深度合焦图像获得部9101 所获得的在特定深度合焦的实际拍摄图像(图像9101a)，以这样的两个图像中包含的区域为单位进行比较，判断模糊的类似性。其结果为，以图像中包含的区域为单位，判断在哪个深度(距离)的图像(图像9103a)、与实际拍摄图像(图像9101a)之间产生类似。具体而言，利用以下的(式1)，计算评价函数。(算式1)
权利要求
1.一种距离推定装置，包括第一深度合焦图像获得部，获得相对于第一深度合焦的第一深度合焦图像；第二深度合焦图像获得部，获得相对于与所述第一深度不同的第二深度合焦的第二深度合焦图像；全焦点图像生成部，生成在比所述第一深度合焦图像的合焦范围至所述第二深度合焦图像的合焦范围宽的范围内合焦的全焦点图像；第一生成部，设定所述全焦点图像的深度范围内的多个深度，根据所述全焦点图像，生成在所述第一深度合焦时的所述多个深度的多个模糊图像，将作为与所述第一深度合焦图像中包含的各个图像区域的图像最类似的图像的所述模糊图像，从所述多个深度的所述多个模糊图像中拣选，生成将拣选的所述模糊图像的深度作为该图像区域的距离来表示的第一距离图；第二生成部，根据所述全焦点图像，生成在所述第二深度合焦时的所述多个深度的多个模糊图像，将作为与所述第二深度合焦图像中包含的各个图像区域的图像最类似的图像的所述模糊图像，从所述多个深度的所述多个模糊图像中拣选，生成将拣选的所述模糊图像的深度作为该图像区域的距离来表示的第二距离图；以及距离图合成部，根据生成后的所述第一距离图和所述第二距离图，合成距离图。
2.如权利要求1所述的距离推定装置，生成的所述全焦点图像为，至少在所述第一深度与所述第二深度之间的所有的深度合焦的图像，所述第一生成部，包括第一模糊参数群获得部，获得第一模糊参数群，该第一模糊参数群为，在所述第一深度合焦的状态下至少表示在所述第一深度与所述第二深度之间的各个深度的模糊程度的模糊参数的组；第一模糊图像群生成部，针对生成后的所述全焦点图像，卷积被获得的所述第一模糊参数群中包含的各个深度的所述模糊参数，生成包含各个深度的所述模糊图像而成的第一模糊图像群；第一类似模糊判断部，按每个图像区域，对被获得的所述第一深度合焦图像、与生成后的所述第一模糊图像群中包含的各个深度的所述模糊图像进行比较，按每个所述图像区域，判断作为所述最类似的图像的所述模糊图像；以及第一距离图生成部，按每个所述图像区域，生成将被判断的所述模糊图像的深度作为该图像区域的距离来表示的所述第一距离图，所述第二生成部，包括第二模糊参数群获得部，获得第二模糊参数群，该第二模糊参数群为，在所述第二深度合焦的状态下至少表示在所述第一深度与所述第二深度之间的各个深度的模糊程度的模糊参数的组；第二模糊图像群生成部，针对生成后的所述全焦点图像，卷积被获得的所述第二模糊参数群中包含的各个深度的所述模糊参数，生成包含各个深度的所述模糊图像而成的第二模糊图像群；第二类似模糊判断部，按每个图像区域，对被获得的所述第二深度合焦图像、与生成后的所述第二模糊图像群中包含的各个深度的所述模糊图像进行比较，按每个所述图像区域，判断作为所述最类似的图像的所述模糊图像；以及第二距离图生成部，按每个所述图像区域，生成将被判断的所述模糊图像的深度作为该图像区域的距离来表示的所述第二距离图。
3.如权利要求1所述的距离推定装置， 所述距离推定装置还包括第一图像特征提取部，提取被获得的所述第一深度合焦图像的第一图像特征；以及第二图像特征提取部，提取被获得的所述第二深度合焦图像的第二图像特征， 所述距离图合成部，根据所述第一图像特征和所述第二图像特征，对合成后的所述距离图进行合成。
4.如权利要求3所述的距离推定装置， 所述距离图合成部，包括第一图加权部，通过将根据被提取的所述第一图像特征而决定的第一权重系数、与生成后的更新前的所述第一距离图的值相乘，从而将更新前的所述第一距离图更新为更新后的所述第一距离图；第二图加权部，通过将根据被提取的所述第二图像特征而决定的第二权重系数、与生成后的更新前的所述第二距离图的值相乘，从而将更新前的所述第二距离图更新为更新后的所述第二距离图；以及距离图加法部，通过将更新后的所述第一距离图的值、与更新后的所述第二距离图的值相加，从而对合成后的所述距离图进行合成。
5.如权利要求3所述的距离推定装置，各个图像特征为，对应的所述第一深度合焦图像以及所述第二深度合焦图像之中的、 具有该图像特征的合焦图像中的对比度。
6.如权利要求3所述的距离推定装置，各个图像特征为，对应的所述第一深度合焦图像以及所述第二深度合焦图像之中的、 具有该图像特征的合焦图像中的亮度值的方差的值。
7.如权利要求5所述的距离推定装置， 所述距离图合成部，在所述对比度为比较高的第一对比度的情况下，针对根据具有作为该对比度的所述图像特征的对应的合焦图像而确定的所述距离的值，乘以作为所述权重系数的比较大的第一值，在所述对比度为比较低的第二对比度的情况下，针对根据具有作为该对比度的所述图像特征的对应的合焦图像而确定的所述距离的值，乘以作为所述权重系数的比较小的第二值。
8.如权利要求1所述的距离推定装置，所述第二深度合焦图像为，合焦于所述第一深度合焦图像中未被合焦的被摄体的图像，根据所述第一深度合焦图像和所述全焦点图像而确定的所述被摄体的第一所述距离的精度为比较低的精度，根据所述第二深度合焦图像和所述全焦点图像而确定的所述被摄体的第二所述距离的精度为比较高的精度，所述第一生成部确定第一所述距离， 所述第二生成部确定第二所述距离，根据合成后的所述距离图而确定的所述被摄体的距离的精度为，所述比较高的精度以下且比所述比较低的精度高。
9.一种距离推定方法，包括第一深度合焦图像获得步骤，获得相对于第一深度合焦的第一深度合焦图像； 第二深度合焦图像获得步骤，获得相对于与所述第一深度不同的第二深度合焦的第二深度合焦图像；全焦点图像生成步骤，生成在比所述第一深度合焦图像的合焦范围至所述第二深度合焦图像的合焦范围宽的范围内合焦的全焦点图像；第一生成步骤，设定所述全焦点图像的深度范围内的多个深度，根据所述全焦点图像， 生成在所述第一深度合焦时的所述多个深度的多个模糊图像，将作为与所述第一深度合焦图像中包含的各个图像区域的图像最类似的图像的所述模糊图像，从所述多个深度的所述多个模糊图像中拣选，生成将拣选的所述模糊图像的深度作为该图像区域的距离来表示的第一距离图；第二生成步骤，根据所述全焦点图像，生成在所述第二深度合焦时的所述多个深度的多个模糊图像，将作为与所述第二深度合焦图像中包含的各个图像区域的图像最类似的图像的所述模糊图像，从所述多个深度的所述多个模糊图像中拣选，生成将拣选的所述模糊图像的深度作为该图像区域的距离来表示的第二距离图；以及距离图合成步骤，根据生成后的所述第一距离图和所述第二距离图，合成距离图。
10.一种集成电路，包括第一深度合焦图像获得部，获得相对于第一深度合焦的第一深度合焦图像； 第二深度合焦图像获得部，获得相对于与所述第一深度不同的第二深度合焦的第二深度合焦图像；全焦点图像生成部，生成在比所述第一深度合焦图像的合焦范围至所述第二深度合焦图像的合焦范围宽的范围内合焦的全焦点图像；第一生成部，设定所述全焦点图像的深度范围内的多个深度，根据所述全焦点图像，生成在所述第一深度合焦时的所述多个深度的多个模糊图像，将作为与所述第一深度合焦图像中包含的各个图像区域的图像最类似的图像的所述模糊图像，从所述多个深度的所述多个模糊图像中拣选，生成将拣选的所述模糊图像的深度作为该图像区域的距离来表示的第一距离图；第二生成部，根据所述全焦点图像，生成在所述第二深度合焦时的所述多个深度的多个模糊图像，将作为与所述第二深度合焦图像中包含的各个图像区域的图像最类似的图像的所述模糊图像，从所述多个深度的所述多个模糊图像中拣选，生成将拣选的所述模糊图像的深度作为该图像区域的距离来表示的第二距离图；以及距离图合成部，根据生成后的所述第一距离图和所述第二距离图，合成距离图。
11.一种计算机程序，用于使计算机执行以下的步骤第一深度合焦图像获得步骤，获得相对于第一深度合焦的第一深度合焦图像； 第二深度合焦图像获得步骤，获得相对于与所述第一深度不同的第二深度合焦的第二深度合焦图像；全焦点图像生成步骤，生成在比所述第一深度合焦图像的合焦范围至所述第二深度合焦图像的合焦范围宽的范围内合焦的全焦点图像；第一生成步骤，设定所述全焦点图像的深度范围内的多个深度，根据所述全焦点图像， 生成在所述第一深度合焦时的所述多个深度的多个模糊图像，将作为与所述第一深度合焦图像中包含的各个图像区域的图像最类似的图像的所述模糊图像，从所述多个深度的所述多个模糊图像中拣选，生成将拣选的所述模糊图像的深度作为该图像区域的距离来表示的第一距离图；第二生成步骤，根据所述全焦点图像，生成在所述第二深度合焦时的所述多个深度的多个模糊图像，将作为与所述第二深度合焦图像中包含的各个图像区域的图像最类似的图像的所述模糊图像，从所述多个深度的所述多个模糊图像中拣选，生成将拣选的所述模糊图像的深度作为该图像区域的距离来表示的第二距离图；以及距离图合成步骤，根据生成后的所述第一距离图和所述第二距离图，合成距离图。
全文摘要
距离推定装置(1x)为，能够解消作为采用利用全焦点图像和任意焦点图像这两张来进行距离推定的方式时的缺点的距离推定精度的偏差，且在任何被摄体距离中都能够获得高的距离推定精度的装置，包括第一生成部(10w)，生成表示由全焦点图像和第一深度合焦图像确定的深度的第一距离图；第二生成部(11w)，生成表示由所述全焦点图像和第二深度合焦图像确定的深度的第二距离图；以及距离图合成部(14)，根据生成后的第一距离图和第二距离图合成距离图。
文档编号G01C3/06GK102472622SQ20118000333
公开日2012年5月23日 申请日期2011年6月17日 优先权日2010年6月17日
发明者P·拉桑, 河村岳 申请人:松下电器产业株式会社