专利名称：信号处理设备、成像设备、信号处理方法和程序的制作方法
信号处理设备、成像设备、信号处理方法和程序
背景技术：
本发明涉及例如一种合适地计算距离信息的信号处理设备、成像设备、信号处理方法和程序。近年来，由于对小型化的需求，小面积图像传感器经常用于小型数字静止照相机。例如，使用1/2. 33类型CXD (6. 2X4. 6)。另一方面，作为大幅面图像传感器，已知35mm胶片尺寸(36X24)和 APS-C 尺寸(23. 4X16. 7)。在具有这种小的屏幕尺寸的小型数字静止照相机中，景深变深并且通常通过常规胶片照相机和使用大幅面图像传感器的数字单镜头反光照相机获得的模糊效果极小。对于通过使背景模糊突出人物的肖像成像，需要模糊效果。在以上背景下，如日本专利申请提前公开No. 2007-66199中所述，已提出甚至在使用小的图像传感器的数字静止照相机中获得 较大的模糊效果的技术。根据日本专利申请提前公开No. 2007-66199中描述的方法，从肖像图像照片检测脸和人物，并且除脸和人物之外的位置被视为背景并且对其执行模糊处理。
发明内容
日本专利申请提前公开No. 2007-66199中描述的方法把模糊处理均匀地应用于背景。然而，不同量的模糊应该被添加到背景中所包含的位于不同距离的被摄体，并且从添加自然的模糊的角度，日本专利申请提前公开No. 2007-66199中描述的方法产生了问题。另外，日本专利申请提前公开No. 2007-66199中描述的方法产生这样的问题难以把该方法应用于除人物之外的被摄体。另外，日本专利申请提前公开No. 2007-66199中描述的方法产生这样的问题未考虑由被摄体的图像形成平面和成像单元的成像平面之间的不一致(诸如，像场弯曲)引起的模糊的偏差。因此，希望提供一种校正由例如模糊的偏差引起的距离信息的误差的信号处理设备、成像设备、信号处理方法和程序。为了解决以上问题，本发明是例如一种信号处理设备，包括输入单元，第一图像数据和第二图像数据输入到该输入单元，通过利用成像单元捕捉预定被摄体获得第一图像数据和第二图像数据并且第一图像数据和第二图像数据具有相互不同的模糊的状态；距离信息计算单元，基于第一图像数据和第二图像数据根据被摄体在深度方向上的位置计算第一距离信息；和距离信息校正单元，通过对第一距离信息执行校正由被摄体的图像形成平面和所述成像单元的成像平面之间的不一致引起的模糊的偏差的处理，计算第二距离信肩、O本发明是例如一种成像设备，包括成像单元；输入单元，第一图像数据和第二图像数据输入到该输入单元，通过利用成像单元捕捉预定被摄体来获得第一图像数据和第二图像数据并且第一图像数据和第二图像数据具有相互不同的模糊的状态；距离信息计算单元，基于第一图像数据和第二图像数据根据被摄体在深度方向上的位置计算第一距离信息；和距离信息校正单元，通过对第一距离信息执行校正由被摄体的图像形成平面和所述成像单元的成像平面之间的不一致引起的模糊的偏差的处理，计算第二距离信息。本发明是例如一种信号处理方法，包括输入第一图像数据和第二图像数据，通过利用成像单元捕捉预定被摄体获得第一图像数据和第二图像数据并且第一图像数据和第二图像数据具有相互不同的模糊的状态；基于第一图像数据和第二图像数据根据被摄体在深度方向上的位置计算第一距离信息；和通过对第一距离信息执行校正由被摄体的图像形成平面和所述成像单元的成像平面之间的不一致引起的模糊的偏差的处理，计算第二距离信息。本发明是例如一种使计算机执行用于信号处理设备的信号处理方法的程序，该方法包括输入第一图像数据和第二图像数据，通过利用成像单元捕捉预定被摄体获得第一图像数据和第二图像数据并且第一图像数据和第二图像数据具有相互不同的模糊的状态；基于第一图像数据和第二图像数据根据被摄体在深度方向上的位置计算第一距离信息；和通过对第一距离信息执行校正由被摄体的图像形成平面和所述成像单元的成像平面之间的不一致引起的模糊的偏差的处理，计算第二距离信息。 根据至少一个实施例，通过执行考虑模糊的偏差的处理，能够获得具有较小误差的高精度距离信息。
图I是说明根据本发明第一实施例的系统的结构的方框图；图2是说明根据本发明第一实施例的信号处理设备的主要结构的方框图；图3是说明根据本发明第一实施例的信号处理设备的控制单元的详细结构的方框图；图4是表示根据本发明第一实施例的处理概述的例子的流程图；图5是表示根据本发明第一实施例的计算第一距离信息的处理的例子的流程图；图6是表示根据本发明第一实施例的计算第一距离信息的处理的例子的示意图；图7是用于描述Pill Box函数的示意图；图8是用于描述高斯滤波器的示意图；图9是表示根据本发明实施例的计算第一距离信息的处理的例子的示意图；图10是表示像场弯曲的例子的示意图；图11是表示由像场弯曲引起的模糊圈的例子的示意图；图12是表不由像场弯曲引起的I旲糊圈的另一例子的不意图；图13是表示单侧模糊的例子的示意图；图14是表示单侧模糊的另一例子的示意图；图15是显示像场弯曲的例子的示意图；图16是表示由像场弯曲的例子引起的距离图的误差的示意图；图17是显示像场弯曲的另一例子的示意图；图18是表示由像场弯曲的另一例子引起的距离图的误差的示意图；图19是表示单侧模糊的例子的示意图；图20是表示由单侧模糊的例子引起的距离图的误差的示意图；图21是表示根据本发明第一实施例的校正距离信息的处理的流程图22是表示根据本发明第一实施例的散焦量的定义的示意图；图23是表示根据本发明第二实施例的校正距离信息的处理的流程图；图24A和24B是表示根据本发明第二实施例的前景替换处理的示意图；图25是显示像场弯曲的多个例子的示意图；图26是说明根据像场弯曲的第一主要分量的基底的示意图；图27是说明根据像场弯曲的第二主要分量的基底的示意图；图28是说明在垂直方向上的单侧模糊的基底的示意图；图29是说明在水平方向上的单侧模糊的基底的示意图； 图30是说明根据本发明第三实施例的成像设备的结构的方框图；和图31是显示根据本发明第三实施例的成像设备的一部分结构的方框图。
具体实施例方式以下，将参照附图详细描述本发明的优选实施例。需要注意的是，在本说明书和附图中，具有基本上相同的功能和结构的结构元素以相同的标号表示，并且省略这些结构元
素的重复解释。以下将描述本发明的实施例。将按照以下显示的次序提供描述。〈I.第一实施例><2.第二实施例><3.第三实施例><4.变型 >然而，本发明不限于以下描述的实施例和变型。〈I.第一实施例 > “系统的总体结构”将描述本发明的第一实施例。图I显示根据本发明第一实施例的系统的例子。系统I由例如信号处理设备2和连接到信号处理设备2的外部装置3构成。信号处理设备2是诸如个人计算机和电视机的装置。外部装置3是例如具有成像功能的成像设备，诸如数字静止照相机。在信号处理设备2和外部装置3之间执行通过导线或者通过无线电进行的双向通信。例如，包含处于不同模糊状态的两条图像数据的多条图像数据和诸如成像设备3的f数的特定信息通过通信从成像设备3传输到信号处理设备2。图像数据是例如通过由成像设备3的成像单元拍摄特定被摄体获得的数据。“信号处理设备的结构”图2显示信号处理设备2的主要结构的例子。信号处理设备2包括例如信号处理设备2和成像设备3之间的接口(I/F)4、控制单元5和模糊处理应用单元6。信号处理设备2可包括其它结构。例如，信号处理设备2可构造为包括操作单元(诸如键盘和鼠标)、显示单元或扬声器。另外，信号处理设备2也可构造为包括用于连接到网络(诸如，互联网)的通信单元。包含处于不同模糊状态的两条图像数据的多条图像数据可经通信单元从连接到网络的外部装置提供给信号处理设备2。控制单元5由例如CPU(中央处理单元)构造。R0M(只读存储器)或RAM(随机存取存储器)可连接到控制单元5。控制单元5根据例如存储在ROM中的程序执行预定处理。控制单元5执行例如通过确定距离信息产生距离图的处理和校正距离图的处理。
模糊处理应用单元6通过使用由控制单元5提供的距离图对图像数据执行模糊处理。模糊处理应用单元6的功能可以被包括在控制单元5中。另外，由模糊处理应用单元6执行的处理可由与信号处理设备2分开的另一设备执行。“控制单元的结构”图3显示控制单元5的详细结构的例子。控制单元5包括例如图像输入单元5a、距离信息计算单元5b和 距离信息校正单元5c。例如，包含处于不同模糊状态的两条图像数据的多条图像数据输入到图像输入单元5a中。所述多条图像数据被从图像输入单元5a提供给距离信息计算单元5b。所述多条提供的图像数据存储在RAM等中。所述多条图像数据中的一条图像数据是聚焦在被摄体(例如，前景中的人物)上的图像数据(第一图像)。所述多条图像数据中的另一条图像数据是通过相对于第一图像把焦点向远侧移动预定距离拍摄的同一被摄体的图像数据(第二图像)。所述多条图像数据中的又一条图像数据是通过相对于第一图像把焦点向近侧移动所述预定距离拍摄的同一被摄体的图像数据(第三图像)。这三个图像是具有相互不同的模糊程度的图像。前景在第一图像中合焦，因此，前景在第二图像中失焦的程度和前景在第三图像中失焦的程度是相同的。第三图像中的背景的模糊的程度大于第二图像中的背景的模糊的程度。与这三个图像对应的图像数据被提供给例如距离信息计算单元5b。与第一图像对应的图像数据可直接被提供给模糊处理应用单元6而不经过控制单元5。距离信息计算单元5b通过使用所提供的图像数据执行确定第一距离信息的处理。距离信息是根据被摄体在深度方向上的位置的距离，例如，前景和背景之间的距离。以例如图像数据的像素为单位确定距离信息。也可以图像数据的块为单位确定距离信息。由距离信息计算单元5b对于每个像素确定距离信息以产生由所有像素的距离信息构成的校正之前的距离图。由距离信息计算单元5b产生的距离图被提供给距离信息校正单元5c。距离信息校正单元5c执行校正提供的距离图的每个像素的距离信息的处理。距离信息校正单元5c执行校正处理以校正例如每个像素的距离信息上的模糊的偏差。通过校正处理确定校正之后的距离信息(即第二距离信息)。校正所有像素的距离信息以产生由校正的距离信息构成的校正之后的距离图(校正距离图)。产生的校正距离图和与第一图像数据对应的图像数据被提供给模糊处理应用单元6。模糊处理应用单元6参照提供的校正距离图对与第一图像数据对应的图像数据执行模糊处理。“处理的总体流程”将参照图4描述处理的总体流程。在图4中，例如，步骤SI至S5的处理由成像设备3执行，并且步骤S6至S8的处理由信号处理设备2执行。在第一步骤SI中，捕捉第一图像。在例如肖像的情况下，以这种方法捕捉图像使前景中的人物合焦。临时存储第一图像。接下来，在步骤S2中，相对于第一图像把焦点的位置向远侧改变预定量。然后，在步骤S3中，捕捉第二图像。临时存储第二图像。接下来，在步骤S4中，相对于第一图像把焦点的位置向近侧改变预定量。假设焦点的位置的变化与当获取第二图像时的变化相同。然后，在步骤S5中，捕捉第三图像。捕捉的三个图像(第一图像、第二图像和第三图像)经图像输入单元5a被提供给距离信息计算单元5b。接下来，在步骤S6中，例如，通过使用第二图像和第三图像计算每个像素的距离信息(第一距离信息)。步骤S6中的处理由例如距离信息计算单元5b执行。然后，产生由所有像素的距离信息构成的距离图。产生的距离图被提供给距离信息校正单元5c。在下面的描述中，计算距离信息可表示为距离估计或者估计距离。接下来，在步骤S7中，可执行校正距离图的处理。步骤S7中的处理由例如距离信息校正单元5c执行。在步骤S7中，校正提供的距离图中的每个像素的距离信息以产生由校正之后的所有像素的距离信息构成的校正距离图。产生的校正距离图被提供给模糊处理应用单元6。最后，在步骤S8中，在参照校正距离图的同时，把模糊处理应用于第一图像。步骤S8中的处理由例如模糊处理应用单元6执行。对于步骤S8中的处理，例如，能够使用低通滤波器。根据校正 距离图中的每个像素的距离信息设置是否可应用低通滤波器及其强度(截止频率越低，其强度越强)。也就是说，例如，低通滤波器不应用于前景(人物)，并且具有根据相对于前景的距离的强度的低通滤波器应用于背景。通过模糊处理能够产生具有适合欣赏的模糊背景的肖像图像。顺便提一句，前景不限于人物并且根据被摄体合适地设置前景。例如，动物或水果可以是前景。[距离图产生处理]将参照图5和图6更详细地描述图4中的步骤S6(距离图产生)。图6显示第二图像和第三图像。首先，如图6中所示，选择第二图像中的任何像素，并且其坐标设置为(x0，y0)。通过把(x0，y0)设置为(pXp)的范围的中心，(pXp)的范围由P定义，与稍后描述的q的值相比，P是足够大的值。对于第二图像的(pXp)的范围中包含的像素值进行由滤波器执行的卷积运算(图5中的步骤Sll)。例如，执行使用预定高斯滤波器的卷积运算。高斯滤波器是使用高斯函数的模糊滤波器。也就是说，在高斯滤波器中，用于组合像素的权重由高斯函数根据相对于中心像素的距离决定。接下来，在步骤S12中，计算在步骤Sll中获得的像素值的(x0，y0)周围的(qXq)的范围中的像素值和第三图像的(x0，y0)周围的(qXq)的范围中的像素值之间的相似度。作为相似度，能够使用SAD(绝对差值和)等。例如，SAD是通过确定与第二图像的(qXq)的范围和第三图像的(qXq)的范围之间的相同位置对应的两个像素值的差的绝对值并对(qXq)像素的差的绝对值进行累加获得的值。SAD的值随着相似度的增加而减小。在步骤S12之后的确定处理(步骤S13)中，确定相似度的计算和存储相似度的值的处理是否已执行M次。M是足够大的值。如果确定相似度的计算和存储相似度的值的处理已执行M次，则处理前进至步骤S14。在步骤S14中，搜索M次存储的相似度之中的相似度的最大值(当SAD用作相似度时的最小值)。与相似度的最大值对应的步骤Sll和S12的重复次数k被设置为距离信息(第一距离信息)。在由高斯滤波器执行的模糊处理次数中，未添加模糊的处理的次数可设置为O。当计算相似度时，还在执行由高斯滤波器进行的模糊处理之前进行比较。第二图像和第三图像的前景中的区域具有添加到它们中的大致相似的模糊，因此，SAD被确定为较小并且相似度被确定为较大。第三图像中的背景的模糊的程度大于第二图像中的背景的模糊的程度，因此，通过对第二图像执行添加模糊的处理，相似度增加。作为确定相似度的最大值的方法，也可采用不重复预设M次的处理的方法。如果例如使用SAD，则可检测SAD的最小值以把产生SAD的最小值之前的次数k设置为距离信息。另外，替代于差的绝对值，差的平方可用作相似度。另外，可通过使用除SAD之外的其它参数检测相似度。如上所述，对于图像中的所有像素中的每个像素确定k。在距离图中，对于每个像素存在确定的k的值。在这种情况下，可创建对于在水平方向和/或垂直方向上按照预定间隔采样的像素(而不是全部像素)确定k的值的距离图以减小计算的量。为了减小计算的量以减小处理的负荷，可对于每个预定范围确定距离信息。所述预定范围能够合适地设置为比如3像素X3像素和5像素X5像素。选择所述预定范围中的代表性像素。位于所述预定范围的中心等的像素能够合适地被设置为代表性像素。然后，通过以上方法计算代表性像素的距离信息k。计算的关于代表性像素的距离信息k可用作所述预定范围中所包含的每个像素的距离信息。如果该范围是例如大约3像素X 3像素、5像素X 5像素，则相邻像素的距离信息k并不显著改变。因此，替代于对于所述预定范围中的每个像素单独地确定距离信息k，通·过使用代表性像素的距离信息k的近似几乎不会引起实际的问题。作为另一方法，通过对所述预定范围中用于确定距离信息k的参数求平均值并使用该参数的平均值，可确定距离信息k。接下来，将描述为什么k的值能够是距离信息。首先，定义下面的符号Img :未应用利用散焦的模糊函数的合焦的图像σ2, σ3:分别是第二图像和第三图像中的模糊函数(二维各向同性高斯函数)的标准差σ f :步骤Sll中应用的高斯滤波器的标准差散焦的模糊函数在几何光学上被确定为具有如图7中所示的模糊圈直径的圆柱面(Pill Box)函数。当点图像合焦时，在成像平面上产生点图像，但是当点图像失焦时，由模糊产生圆形图像。这个圆圈称为模糊圈。然而，对于实际的透镜，考虑到像差等的影响，模糊函数经常近似为如图8中所示的二维各向同性高斯函数。在图8中，中心位置是待处理的像素(关注像素)的位置。高斯滤波器具有这样的分布(高斯分布的函数)当计算平均值时的权重随着相对于关注像素的位置的距离减小而增加，并且权重随着相对于关注位置的像素的距离增加而减小。标准差越小并且分布的宽度越窄，平滑的效果越小。在本发明的第一实施例中，当第二图像和第三图像散焦时的模糊函数也近似为二维各向同性高斯函数，并且其标准差分别假设为02和σ3。在这种情况下，确定图5中显示的处理中的k的过程对应于通过下面公式(I)对k的确定(G(y，σ )是平均值μ和标准差σ的二维各向同性高斯函数)。另外，方差是相对于平均值的变化的平方期望值。
Img G(0, 0,) = Img G(O, a2) G(0, af) G(0,of) … G(0, of)(1)
—' V ._^ ._.J
Y
k通过使用这样的事实，即高斯函数的卷积通常变为高斯函数并且将要进行卷积的两个高斯函数的方差之和(σ22+σ32)与所获得的卷积的高斯函数的方差匹配，通过下面的公式⑵能够描述k。
权利要求
1.一种信号处理设备,包括 输入单元，第一图像数据和第二图像数据输入到该输入单元，通过利用成像单元捕捉预定被摄体获得第一图像数据和第二图像数据并且第一图像数据和第二图像数据具有相互不同的模糊的状态； 距离信息计算单元，基于第一图像数据和第二图像数据根据被摄体在深度方向上的位置计算第一距离信息；和 距离信息校正单元，通过对第一距离信息执行校正由被摄体的图像形成平面和所述成像单元的成像平面之间的不一致引起的模糊的偏差的处理，计算第二距离信息。
2.如权利要求I所述的信号处理设备， 其中所述距离信息校正单元通过使用已知信息计算用于校正模糊的偏差的校正值，并通过对第一距离信息执行使用校正值的处理计算第二距离信息。
3.如权利要求2所述的信号处理设备， 其中所述已知信息包括散焦信息。
4.如权利要求I所述的信号处理设备， 其中所述距离信息校正单元通过使用第一距离信息计算用于校正模糊的偏差的校正值，并通过对第一距离信息执行使用校正值的处理计算第二距离信息。
5.如权利要求4所述的信号处理设备， 其中所述距离信息校正单元获取将叠加在第一距离信息上的误差模型化的多个基底，并通过使用第一距离信息和所述多个基底计算用于校正模糊的偏差的校正值。
6.如权利要求5所述的信号处理设备， 其中所述距离信息校正单元通过把第一距离信息表示为所述多个基底的线性和来计算用于校正模糊的偏差的校正值。
7.如权利要求4所述的信号处理设备， 其中所述被摄体包括前景被摄体和背景被摄体，以及 距离信息校正单元通过使用第一距离信息中与背景被摄体对应的位置的部分来替换与前景被摄体对应的位置的第一距离信息，以及通过使用与背景被摄体对应的位置的第一距离信息和替换之后的第一距离信息来计算用于校正模糊的偏差的校正值。
8.如权利要求I所述的信号处理设备， 其中通过在成像单元的第一光学系统状态下捕捉被摄体来获得第一图像数据， 通过在成像单元的第二光学系统状态下捕捉被摄体来获得第二图像数据，以及 第一光学系统状态和第二光学系统状态是焦点的位置相互不同的状态。
9.如权利要求I所述的信号处理设备， 其中通过在成像单元的第一光学系统状态下捕捉被摄体来获得第一图像数据， 通过在成像单元的第二光学系统状态下捕捉被摄体来获得第二图像数据，以及 第一光学系统状态和第二光学系统状态是光圈相互不同的状态。
10.如权利要求I所述的信号处理设备， 其中所述距离信息计算单元通过滤波器执行把模糊添加到第一图像数据的模糊处理，确定已添加了模糊的第一图像数据和第二图像数据之间的相似度，检测当相似度最大时的模糊处理的次数，并根据检测到的模糊处理的次数来计算第一距离信息。
11.如权利要求10所述的信号处理设备，其中不添加模糊的模糊处理的次数被设置为O0
12.—种成像设备，包括 成像单元； 输入单元，第一图像数据和第二图像数据输入到该输入单元，通过利用成像单元捕捉预定被摄体来获得第一图像数据和第二图像数据并且第一图像数据和第二图像数据具有相互不同的模糊的状态； 距离信息计算单元，基于第一图像数据和第二图像数据根据被摄体在深度方向上的位置计算第一距离信息；和 距离信息校正单元，通过对第一距离信息执行校正由被摄体的图像形成平面和所述成像单元的成像平面之间的不一致引起的模糊的偏差的处理，计算第二距离信息。
13.一种用于信号处理设备的信号处理方法，该方法包括 输入第一图像数据和第二图像数据，通过利用成像单元捕捉预定被摄体获得第一图像数据和第二图像数据并且第一图像数据和第二图像数据具有相互不同的模糊的状态；基于第一图像数据和第二图像数据根据被摄体在深度方向上的位置计算第一距离信息；和 通过对第一距离信息执行校正由被摄体的图像形成平面和所述成像单元的成像平面之间的不一致引起的模糊的偏差的处理，计算第二距离信息。
14.一种使计算机执行用于信号处理设备的信号处理方法的程序，该方法包括 输入第一图像数据和第二图像数据，通过利用成像单元捕捉预定被摄体获得第一图像数据和第二图像数据并且第一图像数据和第二图像数据具有相互不同的模糊的状态；基于第一图像数据和第二图像数据根据被摄体在深度方向上的位置计算第一距离信息；和 通过对第一距离信息执行校正由被摄体的图像形成平面和所述成像单元的成像平面之间的不一致引起的模糊的偏差的处理，计算第二距离信息。
全文摘要
本发明涉及信号处理设备、成像设备、信号处理方法和程序。一种信号处理设备，包括输入单元，第一图像数据和第二图像数据输入到该输入单元，通过利用成像单元捕捉预定被摄体获得第一图像数据和第二图像数据并且第一图像数据和第二图像数据具有相互不同的模糊的状态；距离信息计算单元，基于第一图像数据和第二图像数据根据被摄体在深度方向上的位置计算第一距离信息；和距离信息校正单元，通过对第一距离信息执行校正由被摄体的图像形成平面和所述成像单元的成像平面之间的不一致引起的模糊的偏差的处理，计算第二距离信息。
文档编号G06T1/00GK102905067SQ20121025265
公开日2013年1月30日 申请日期2012年7月20日 优先权日2011年7月27日
发明者松井启, 水仓贵美 申请人:索尼公司