专利名称：使用编码孔径的距离测量的制作方法
技术领域：
本发明涉及一种图像捕获装置，能够确定场景中的物体的距离信息，确切地说涉及一种用于使用具有编码孔径和新颖的计算算法的捕获装置来更高效地确定距离信息的方法。
背景技术：
光学成像系统经过设计可以在指定的距离范围内产生场景物体的聚焦图像。图像在图像空间中的一个二维(2D)平面中最清晰地对焦，这个平面称为焦平面或图像平面。根据几何光学，场景物体与图像平面之间的完美焦点关系只对于遵守薄透镜方程的物距与图像距离的组合存在
I I Im — = - + -(O
Jss其中是f是透镜的焦距，s是从物体到透镜的距离，且s’是从透镜到图像平面的距离。这个方程对于单个薄透镜是有效的，但众所周知，厚透镜、复合透镜和更加复杂的光学系统是建模成具有有效焦距f的单个薄透镜。或者，复杂系统是使用主平面的构造和使用上述方程(下文中称为透镜方程)中的有效焦距建模的，其中物距和图像距离S、S，是从这些平面测量的。还已知，一旦系统聚焦在处于距离S1上的物体上，那么总地来说，只有处在这个距离上的物体才在位于距离S1'上的对应图像平面上清晰对焦。处在不同距离S2上的物体在对应的图像距离s2’上产生其最清晰的图像，这个图像距离是通过透镜方程确定的。如果系统聚焦在S1上，那么处在S2处的物体会在位于S1'处的图像平面上产生散焦的模糊的图像。模糊程度取决于两个物距S1与S2之间的差、透镜的焦距f，以及通过f数(表示为f/#)测量的透镜的孔径。举例来说，图I展示了焦距为f且通光孔径为直径D的单透镜10。位于距离S1处的物体的轴上点P1在离透镜的距离Sl’处的点P1'上成像。位于距离S2处的物体的轴上点P2在离透镜的距离s2’处的点P2’上成像。跟踪来自这些物点的光线，轴向光线20和22在像点P/上会聚，而轴向光线24和26在像点P2’上会聚，然后在它们分开的距离为d时与P/的图像平面相交。在具有圆对称的光学系统中，从P2发出的光线在所有方向上分布，会在P1'的图像平面上产生直径为d的圆，称为“模糊圆”或“弥散圆”。轴上点P1从透镜移动得更远，趋向于无限远，根据透镜方程可以知道s/ = f。这使得f数通常被定义为f/# = f/D。在有限距离上，有效f数定义为(f/#)w = f/Sl’。在任一种情况下，显然f数是到达图像平面的光锥的角度测量，这又与模糊圆的直径d有关。实际上，可以显示出d= [fJj ⑶通过准确地测量透镜的焦距和f数，和各种物体在二维图像平面上的模糊圆的直径山原则上可以通过将方程(2)颠倒并且应用透镜方程使物距与图像距离相关，来获得场景中的物体的深度信息。这需要在一个或多个已知物距上仔细地校准光学系统，在这一点上，剩余的任务就是准确地确定模糊圆直径d。以上论述阐述了基于焦点的被动光学测距方法背后的原理。即，这些方法是基于现有的照明(被动)，其分析场景物体的聚焦程度，并且使之与物体离相机的距离相关。这些方法分成两个种类“离焦深度(depth from defocus)”方法假设相机聚焦一次，并且捕获单个图像进行深度分析，而“对焦深度”(cbpth from focus)方法假设在不同焦点位置捕获多个图像，并且使用不同相机设置的参数来推断场景物体的深度。上文呈现的方法提供了对深度恢复问题的了解，但遗憾的是过于简单，而且在实践上并不稳固。根据几何光学，其预测每个物点的散焦图像是均匀的圆盘或模糊圆。在实践中，衍射效应和透镜象差会引起更加复杂的光分布 ，通过点扩散函数(PSf)来表征，指定了在图像平面的任何点(X，y)上因为物体平面中的点光源所致的光强度。如薄夫(V. M ·薄夫(V. M. Bove), “距离感测相机的图片应用” (Pictorial Applications for Range SensingCameras), SPIE第901卷，第10到17页，1988)所阐述，散焦过程更加准确地建模为图像强度和与深度有关的Psf的卷积idef (x, y ；z) = i (x, y)*h(x, y ；z),(3)其中idef (x, y;z)是散焦图像，i (x, y)是对焦图像，h(x, y;z)是与深度有关的psf,且*表示卷积。在傅立叶域中,这被写为I def (vx, vy) = I (vx, vy)H(vx, vy ；z),(4)其中Idef(vx，vy)是散焦图像的傅立叶变换，I(vx，vy)是对焦图像的傅立叶变换，且H(vx, vy;ζ)是与深度有关的psf的傅立叶变换。请注意,psf的傅立叶变换是光学传递函数或0TF。薄夫描述了一种对焦深度方法，其中假设psf是圆对称的，即h(x，y;z)=h(r;z)且H(vx, vy ;ζ) =Η(ρ ;ζ)，且其中!■和P分别是空间和空间频域中的半径。捕获了两个图像，一个具有小相机孔径(焦深长)，一个具有大相机孔径(焦深小)。取两个图像中的对应窗口块的离散傅立叶变换(DFT)，之后是所得功率谱的径向平均，这意味着在360度角上在频率空间中离原点的一系列径向距离上计算功率谱的平均值。在该点处，使用长和短场深(DOF)的图像的径向平均功率谱来计算对应窗口块处的Η(Ρ ;ζ)的估计值，假设每个块代表离相机不同距离ζ处的场景元素。使用含有已知距离[Z1, Z2, . . . zj处的物体的场景来校准该系统以表征Η(Ρ ;ζ)，其于是与模糊圆直径有关。模糊圆直径对距离ζ的回归于是引起图像的深度或距离图，分辨率对应于为了 DFT选出的块的大小。已显示了基于模糊圆回归的方法来产生可靠的深度估计值。深度分辨率受到以下事实的限制模糊圆直径靠近焦点改变得很快，但远离焦点改变得很慢，且这个行为关于焦点位置并不对称。此外，虽然该方法是基于点扩散函数的分析，但其依赖于从PSf导出的单个量值(模糊圆直径)。其它离焦深度方法试图将psf的行为用可预测的方式设计成散焦的函数。通过产生受控的与深度有关的模糊函数，可以使用这个信息将图像去模糊，并且基于去模糊操作的结果来推断场景物体的深度。这个问题有两个主要部分控制PSf行为，并且将图像去模糊，假设Psf是散焦的函数。通过将掩模放置到光学系统中，通常放在孔径光阑的平面上，来控制PSf行为。举例来说，图2展示了现有技术的具有两个透镜30和34以及放置在其间的包含孔阵列的二元透射比掩模32的光学系统的示意图。在许多情况下，该掩模是系统中的限制从轴向物点传播的光线束的元件，且因此定义为孔径光阑。如果这些透镜合理地不会出现象差，那么掩模配合衍射效应将在很大程度上确定psf和OTF (见J. W.古德曼(J. ff. Goodman),《傅立叶光学简介》(Introduction to Fourier Optics), McGraw-Hill,旧金山，1968,第 113-117页)。这项观察结果是编码模糊或编码孔径方法背后的工作原理。在现有技术的一个实例中，维哈拉哈凡(Veeraraghavan)等人(“斑点摄影外差光场和编码孔径重新聚焦的掩模增强相机，，(Mask Enhanced Cameras for Heterodyned Light Fields and Coded ApertureRefocusing),《ACM 图形期刊》(ACM Transactions on Graphics)26 (3), 2007 年 7 月，论文69)阐明了由正方形均匀透射单元组成的宽带频率掩模可以在散焦模糊的过程中保持高空间频率。通过假设散焦psf是孔径掩模的缩放形式(当衍射效应可以忽略时有效的假设)，作者展示出通过去模糊而获得深度信息。这要求解决去卷积问题，即，将方程(3)颠倒以获得ζ的相关值的h(X，y;z)。原则上，将方程(3)的空间频域对应部分(B卩，方程(4))颠倒更容易，这是在H (vx, vy; ζ)为非零的所有频率下进行的。在实践中，众所周知要找到去卷积的唯一解是一个难题。维哈拉哈凡等人通过首 先假设场景是由离散的深度层组成然后形成场景中的层数的估计值来解决这个问题。接着，使用以下模型针对每层单独估计PSf的数值h (x, y, z) = m(k(z)x/w, k(z)y/w),(5)其中m(x，y)是掩模透射比函数，k(z)是在深度ζ处psf中的像素数，且w是2D掩模中的单元数目。作者应用图像梯度分布模型，还有用于psf的方程(5)，针对场景中的每个假设的深度层将图像去卷积一次。去卷积的结果只有对那些数值与其匹配的Psf是理想的，因而表明了此区域的对应深度。这些结果的范围限于根据方程(5)的掩模缩放模型操作的系统和由均匀的正方形单元组成的掩模。勒文(Levin)等人(“具有编码孔径的常规相机的图像和深度”(Image andDepth from a Conventional Camera with a Coded Aperture), ((ACM 图形期刊》(ACMTransactions on Graphics) 26 (3), 2007年7月，论文70)使用的方法与维哈拉哈凡相似，但是勒文等人依靠一系列散焦图像平面上的测试图案的直接摄影来按照散焦的函数推断Psf0此外，勒文等人研究了许多不同的掩模设计，试图获得最优的编码孔径。他们用自己的去卷积算法假设稀疏图像梯度的高斯分布，还有高斯噪声模型。因此，优化编码孔径解决方案取决于去卷积分析中进行的假设。
发明内容
编码孔径方法显示出使用单透镜相机系统确定物体距离的前景。但是，仍然需要可以跨各种图像内容用各种编码孔径设计来产生准确的测距结果的方法。本发明表示一种使用图像捕获装置来识别场景中的物体的距离信息的方法，其包括a)提供图像捕获装置，所述图像捕获装置具有图像传感器、编码孔径和透镜；b)在存储器中存储从距离校准数据导出的一组模糊参数；c)捕获所述场景的具有多个物体的图像；d)通过以下步骤使用捕获到的图像和所存储的组中的每一个模糊参数提供一组去模糊图像
i)将候选去模糊图像初始化；ii)确定表示所述候选去模糊图像中的相邻像素之间的差值的多个差分图像；iii)通过组合所述差分图像确定组合差分图像；iv)响应于所述捕获到的图像、所述模糊参数、所述候选去模糊图像和所述组合差分图像来更新所述候选去模糊图像；以及V)重复步骤i) -iv)，直到满足收敛标准为止；以及e)使用该组去模糊图像来确定所述场景中的所述物体的所述距离信息。本发明的优点是，可以基于一种新颖的对于去卷积内核的精确性质稳固的去卷积算法来产生改善的距离估计值，且因此更加普遍地适用于更加多种多样的编码孔径设 计。本发明还有另一个优点是它是基于具有比现有技术去模糊算法少的振铃假象(ringingartifact)的去模糊图像,这样可以产生改善的距离估计值。
图I是现有技术中已知的单透镜光学系统的示意图。图2是现有技术中已知的具有编码孔径掩模的光学系统的示意图。图3是展示根据本发明的一种布置的使用图像捕获装置识别场景中的物体的距离信息的方法的步骤的流程图。图4是根据本发明的一种布置的捕获装置的示意图。图5是根据本发明的一种布置的用于获得一个物距和一系列散焦距离的模糊参数的实验设置的示意图。图6是说明根据本发明的一种布置如何使用捕获到的图像和模糊参数来提供一组去模糊图像的过程图。图7是说明根据本发明的一种布置的将单个图像去模糊的过程图。图8是展示根据本发明的一种布置的中心在当前像素位置上的索引阵列的示意图。图9是说明根据本发明的一种布置的去模糊图像组经处理以确定场景中的物体的距离信息的过程图。图10是根据本发明的一种布置的数码相机系统的示意图。
具体实施例方式在下文的说明中，将在一些方面中说明本发明的一些布置，这些方面一般会实施成软件程序。本领域的技术人员容易认识到，也可以用硬件来构造这些软件的等效物。因为图像操纵算法和系统是众所周知的，所以本说明书将特别针对形成根据本发明的方法的一部分，或者与之更加直接协作的算法和系统。从本领域已知的这些系统、算法、组件和元件中选出这些算法和系统的其他方面，以及用于产生和以其他方式处理其中涉及的图像信号的硬件和软件，这些内容在本文中并未特定展示或说明。鉴于下文中根据本发明所述的系统，本文中未特别展示、提议或说明的对实施本发明有用的软件是本领域常用的，而且是本领域的普通技术。本发明包含本文中所述的布置的组合。提到“特定布置”等是指本发明的至少一种布置中存在的特征。分别提到“一种布置”或“特定布置”等不一定是指相同的布置；但是，这些布置互不排斥，除非指出了它们互相排斥，或者本领域的技术人员容易明白它们互相排斥。在提到“方法”等时使用单数或复数并不具有限制性。应当注意，除非上下文另有明确指出或要求，否则本披露中是在非排斥性意义上使用词语“或”。图3是展示根据本发明的一种布置的使用图像捕获装置识别场景中的物体的距离信息的方法的步骤的流程图。所述方法包括以下步骤提供图像捕获装置50，其具有图像传感器、编码孔径和透镜；在存储器中存储一组从距离校准数据导出的模糊参数60 ;捕获场景的具有多个物体的图像70 ;使用捕获到的图像和所存储的组中的每个模糊参数提供一组去模糊的图像80 ;以及使用该组模糊图像来确定场景中的物体的距离信息90。图像捕获装置包括一个或多个图像捕获装置，其实施根据本发明的各种布置的方法，包括本文中所述的实例图像捕获装置。短语“图像捕获装置”或“捕获装置”希望包括任何包括在图像平面上形成场景的聚焦图像的透镜的装置，其中电子图像传感器位于图像平面上，用于记录图像和使图像数字化，并且进一步包括编码孔径或掩模，位于场景或物体平面与图像平面之间。这些装置包括数码相机、蜂窝电话、数字录像机、监控摄像机、网络摄像机、电视摄像机、多媒体装置或任何其它用于记录图像的装置。图4展示根据本发明的一 种布置的一个这种捕获装置的示意图。捕获装置40包括透镜42，编码孔径44和电子传感器阵列46，透镜42在此处展示为包括多个元件的复合透镜。优选的是，编码孔径位于光学系统的孔径光阑上，或者位于孔径光阑的一个图像上，这在本领域中称为入射光瞳和出射光瞳。这样可能就必须根据孔径光阑的位置如图2中说明在复合透镜的元件之间放置编码孔径。编码孔径是光吸收类型的，仅更改入射在上面的光学波前上的振幅分布，或者是相位类型的，仅更改入射在上面的光学波前上的相位延迟，或者是混合类型的，更改振幅和相位两者。在存储器60中存储一组模糊参数的步骤是指存储图像捕获装置的一系列物距和散焦距离下的psf的表示。存储模糊参数包括存储psf的数字化表示,这是由二维矩阵中的离散代码值指定的。这个存储步骤还包括存储从应用于Psf数据的回归或拟和函数导出的数学参数，使得容易根据这些参数和已知的回归或拟和函数来计算给定(x，y，ζ)位置的psf值。此存储器可包括计算机硬盘、R0M、RAM或本领域中已知的任何其他电子存储器。此存储器可位于相机内部，或者位于以电子方式连接到相机的计算机或其他装置中。在图4所示的布置中，存储模糊参数47 [Ρι，ρ2，· · · pn]的存储器48位于相机40内部。图5是根据本发明的用于获得一个物距和一系列散焦距离下的模糊参数的实验设置的示意图。模拟点源包括通过聚光器210聚焦在光轴与焦平面F相交的点上的光源200，焦平面F与相机40的焦平面重合，位于离相机的物距Rci处。穿过焦点的光线220和230看起来是从位于离相机的距离Rtl处的光轴上的点源发出的。因此，相机40捕获的此光的图像是对相机40在物距Rtl处的相机psf的记录。通过将源200和聚光透镜210 —起(在此实例中，向左)移动以便将有效点源的位置移动到其它平面(例如D1和D2)同时将相机40的聚焦位置保持在平面F上，捕获在离相机40的其它距离处的物体的散焦psf。接着，与psf图像一起记录从相机40到平面F、D1和D2的距离(或距离数据)，从而完成此组距离校准数据。返回到图3，捕获场景的图像的步骤70包括捕获场景的一个图像，或数字图像序列形式的场景的两个或两个以上图像，这在本领域中也称为运动或视频序列。以此方式，所述方法包括识别场景中的一个或多个移动物体的距离信息的能力。这是通过确定序列中的每个图像的距离信息90，或者通过确定序列中的某个图像子集的距离信息来完成的。在一些布置中，使用序列中的图像子集来确定场景中的一个或多个移动物体的距离信息，只要图像之间的时间间隔被选择成足够小，能够解析深度或ζ方向上的显著变化。也就是说，这将是ζ方向上的物体速度和原始图像捕获间隔或帧速率的函数。在其它布置中，使用场景中的一个或多个移动物体的距离信息的确定来识别场景中的固定和移动的物体。如果移动物体对其运动向量具有ζ分量，即，其深度随时间或图像帧变化，那么这一点特别有利。在考虑到相机运动之后，将固定物体识别为那些计算出的距离值不随时间变化的物体，而移动物体具有可随时间改变的距离值。在另一种布置中，图像捕获装置使用与移动物体相关联的距离信息来追踪这些物体。图6展示了一个过程图，其中使用存储在存储器48中的捕获到的图像72和模糊参数47[Pl，p2，…pn]来提供一组去模糊图像81。这些模糊参数是一组二维矩阵，近似图像捕获装置40在捕获图像的距离以及覆盖场景中的物体范围的一系列散焦距离上的psf。或者，模糊参数是根据如上所述的回归或拟和函数的数学参数。在任一种情况下，根据图6中 表示为[PSf1, psf2,. . . PSfm组的模糊参数来计算跨越物体空间中所关注的物距范围的点扩散函数49的数字表示。在优选实施例中，模糊参数47与此组数字表示的psf 49之间存在
对应关系。在一些布置中，不存在对应关系。在一些布置中，通过根据可获得模糊参数数据的散焦距离来内插或外推模糊参数数据，计算尚未记录模糊参数数据的散焦距离处的数字表示的psf。在去卷积运算中使用数字表示的psf 49来提供80—组去模糊的图像81。将捕获的图像72去卷积m次，组49中的m个元素中每个元素一次，从而产生一组m个去模糊图像81。接着，参照原始捕获到的图像72进一步处理去模糊图像组81 (其元素表示为[I1,I2,…Im])，以确定场景中的物体的距离信息。现在将参照图7更详细地说明提供一组去模糊图像的步骤80，图7中图示了根据本发明使用此组psf49的单个元素将单个图像去模糊的过程。本领域中已知，有待去模糊的图像称为模糊图像，并且表示相机系统的模糊效应的Psf称为模糊内核。使用接收模糊图像步骤102来接收场景的捕获到的图像72。接下来，使用接收模糊内核步骤105来接收从此组psf 49中选出的模糊内核106。模糊内核106是一个卷积内核,被应用于场景的清晰图像，从而产生具有大致等于场景的捕获到的图像72内的一个或多个物体的清晰度特性的图像。接下来，使用将候选去模糊图像初始化步骤104来使用捕获到的图像72将候选去模糊图像107初始化。在本发明的优选实施例中，通过简单地将候选去模糊图像107设置成等于捕获到的图像72，将候选去模糊图像107初始化。任选地，可以使用本领域的技术人员已知的任何去卷积算法来使用模糊内核106来处理捕获到的图像72，然后通过将候选去模糊图像107设置成等于经处理的图像，将候选去模糊图像107初始化。这些去卷积算法的实例将包括常规频域过滤算法，例如在背景技术部分中说明的众所周知的Richardson-Iucy(RL)去卷积方法。在其他布置中，其中捕获到的图像72是图像序列的一部分，则在图像序列中的当前图像与前一图像之间计算出差值图像，并且参照此差值图像将候选去模糊图像初始化。举例来说，如果序列中的连续图像之间的差值当前很小，则不从候选去模糊图像的先前状态将候选去模糊图像重新初始化，从而节省处理时间。省去重新初始化过程，直到检测到序列中有显著差值为止。在其他布置中，如果仅在选定区域中检测到序列中有显著变化，则仅将候选去模糊图像的选定区域重新初始化。在另一种布置中，只针对场景中的检测到序列中有显著差值的选定区域或物体确定距离信息，因而可以节省处理时间。接下来，使用计算差分图像步骤108来确定多个差分图像109。差分图像109可以包括通过计算不同方向(例如，X和y)上且具有不同距离间隔(例如，Λ X=I, 2，3)的数值导数而计算的差分图像。使用计算组合差分图像步骤110，通过组合差分图像109来形成组合差分图像111。接下来使用更新候选去模糊图像步骤112来响应于捕获到的图像72、模糊内核106、候选去模糊图像107和组合差分图像111来计算新候选去模糊图像113。如下文将更详细说明，在本发明的优选实施例中，更新候选去模糊图像步骤112采用一种使用最大后 验(MAP)估计的贝叶斯推理方法。接下来，使用收敛判别法114来通过应用收敛标准115确定去模糊算法是否已经收敛。收敛标准115用本领域的技术人员已知的任何适当方式指定。在本发明的优选实施例中，收敛标准115指定，如果新候选去模糊图像113与候选去模糊图像107之间的均方差小于预定阈值，则终止该算法。本领域的技术人员众所周知收敛标准的替代形式。举例来说，当算法重复了预定次迭代的时候，满足收敛标准115。或者，收敛标准115可指定如果新候选去模糊图像113与候选去模糊图像107之间的均方差小于预定阈值则终止该算法，但是即使不满足均方差条件，在算法重复了预定次迭代之后也终止该算法。如果尚未满足收敛标准115，则更新候选去模糊图像107使其等于新候选去模糊图像113。如果已经满足收敛标准115，则将去模糊图像116设置成等于新候选去模糊图像113。接着使用存储去模糊图像步骤117在处理器可存取的存储器中存储所得的去模糊图像116。处理器可存取的存储器是例如RAM或硬盘等任何类型的数字存储装置。在本发明的优选实施例中，采用一种使用最大后验(MAP)估计的贝叶斯推理方法来确定去模糊图像116。使用此方法，通过定义以下形式的能量函数来确定去模糊图像116 E(L) = (L K-B)2+XD(L)(6)其中L是去模糊图像116，K是模糊内核106，Β是模糊图像，即，捕获到的图像72， 是卷积算子，D(L)是组合差分图像111，且λ是权重系数。在本发明的优选实施例中，使用以下方程来计算组合差分图像111 D(L) = IwjOjL)2(7)
j其中j是索引值，巧是对应于第j个索引的差分算子，W」是下文将更详细描述的与像素有关的权重因子。使用索引j来识别相邻像素以用于计算差值。在本发明的优选实施例中，针对中心在特定像素上的5X5像素窗计算差值。图8展示了中心在当前像素位置310上的索引阵列300。在索引阵列300中展示的数字是索引j。举例来说，索引值j = 6对应于在当前像素位置310的上方I行左边2列的像素。
差分算子夺确定当前像素的像素值与索引j指定的相对位置处的像素值之间的差值。举例来说AS将对应于通过取去模糊图像L中的每个像素与上方I行左边2列的对应像素之间的差值来确定的差分图像。用方程形式这将表达为3jL 二 L(x,y) —L(x —Axj，y-Ayj)(8)其中Λ Xj和Λ Yj分别是对应于第j个索引的列和行偏移。一般来说将需要该组差分图像SjL包括一个或多个表示水平方向上相邻像素之间的差值的水平差分图像，以及一个或多个表示垂直方向上相邻像素之间的差值的垂直差分图像，还有一个或多个表示对角线方向上的相邻像素之间的差值的对角线差分图像。在本发明的优选实施例中，使用以下方程确定与像素有关的权重因子％ Wj = (Wd)j(Wp)j(9) 其中(Wd)j是第j个差分图像的距离权重因子，且(Wp)j是第j个差分图像的与像素有关的权重因子。距离权重因子(Wd)j依据被差分的像素之间的距离对每个差分图像进行加权(Wd)j = G(d)(10)其中d = +Ayj2是被差分的像素之间的距离，且G( ·)是权重函数。在优选
实施例中,权重函数G( ·)按照高斯函数衰减，使得具有较大距离的差分图像的加权小于具有较小距离的差分图像。与像素有关的权重因子(Wp)J衣据像素的量值将每个差分图像中的像素加权。出于上文提到的勒文等人所写的文章“具有编码孔径的常规相机的图像和深度”中论述的原因，需要使用以下方程来确定与像素有关的权重因子w :(Wp)j =|ajL|a~2.(H)其中I ·|是绝对值算子，且α是常量(例如，O. 8)。在优化过程中，使用针对前一次迭代确定的L的估计值，针对每次迭代计算一组差分图像AL。方程(6)中表达的能量函数的第一项是图像逼真度项。在贝叶斯推理的术语中，其通常称为“相似度”项。可以看出，当模糊图像B (捕获到的图像72)与用模糊内核106(K)卷积的候选去模糊图像(L)的模糊版本之间的差很小时，此项将很小。方程(6)中表达的能量函数的第二项是图像差分项。该项通常称为“图像先验”(image prior)。当组合差分图像111的量值很小时，第二项将具有低能量。这反映了随着模糊边缘的宽度减小，较清晰的图像一般将具有更多低梯度值的像素。更新候选去模糊图像步骤112通过使用本领域的技术人员众所周知的优化方法通过减小方程(8)中表达的能量函数来计算新候选去模糊图像113。在本发明的优选实施例中，将优化问题公式化为通过以下方程表达的TOE
r I 3E(L)-n--°·
dL (12)其是使用常规PDE解来求解的。在本发明的优选实施例中，使用PDE解算器，其中将PDE转换成使用常规线性方程解算器(例如共轭梯度算法)求解的线性方程形式。关于求解PDE解算器的更多细节，请参照上文提到的勒文等人的文章。应注意，即使组合差分图像Ill是去模糊图像L的函数，其也会在计算新候选去模糊图像113的过程中保持恒定。一旦已经确定了新候选去模糊图像113，其便用于下一次迭代中以确定更新的组合差分图像111。图9展示了根据本发明的布置处理去模糊图像组81以确定场景中的物体的距离信息91的过程图。在此布置中，使用本领域中已知的算法，使用输入到用于对其进行计算的去卷积程序的相同psf，将去模糊图像组81的每个元素[I1, I2,. . . IJ与该组数字表示的psf 49的对应元素数字卷积。结果是一组重建的图像82，其元素表示为[P1, P2,... P J。理论上，每个重建的图像[PpPw^Pm]应当是原始捕获到的图像72的精确匹配，因为卷积运算是去模糊或者先前执行的去卷积运算的相反形式。然而，因为去卷积运算不完美，所以所得的重建图像组92的元素都不是捕获到的图像72的完美匹配。场景元素在用对应于更加紧密地匹配场景元素相对于相机焦平面的距离的距离的Psf处理时用较高逼真度重建，而用对应于不同于场景元素相对于相机焦平面的距离的距离的Psf处理的场景元素展现出不良的逼真度和显著假象。参照图9，通过将重建的图像组82与捕获到的图像72中的场景元素比较93，通过找到捕获到的图像72中的场景元素与重建图像组82中的那些元素的重建版本之间的最紧密匹配来指派距离值91。举例来说，将捕获到的图像72中的场景元素U2及O3与重建图像组82的每个元素[P1, P2,... P1J中的其重建版本比较93，并且指派对应于与产生最紧密匹配的对应psf相关联的已知距离的Rp R2及R3的距离值91。通过使用所存储的组中的模糊参数子集来有意地限制去模糊图像组81。此操作是出于多种原因，例如减少达到距离值91的处理时间，或者利用来自相机40的指示模糊参数的完整范围不必要的其他信息。所使用的模糊参数组(且因此创建的去模糊图像组81)在增量(即，二次抽样的)或程度(即，在范围方面受到限制)方面受到限制。如果处理了数字图像序列，则该组模糊参数对于序列中的每个图像是相同的或不同的。或者，不是从所存储的组中的模糊参数构造子集或二次抽样，而是通过组合对应于选定距离间隔内的距离值的图像来创建减少的去模糊图像组。可以进行此操作，以改进难以分割的高度纹理化或高度复杂场景中的深度估计值的精度。举例来说，令Zm (其中，m=l, 2, ... Μ)表示已经测量了 psf数据[Psf1, psf2,. . . psf J和对应模糊参数的距离值组。
令乙(x，4表示对应于距离值m的去模糊图像，且令表示其傅立叶变换。举例来说，如果将距离值划分成M个相等群组或间隔，每个含有M个距离值，则将减少的去模糊图像组定义为
权利要求
1.一种使用图像捕获装置来识别场景中的物体的距离信息的方法，其包括 a)提供图像捕获装置，所述图像捕获装置具有图像传感器、编码孔径和透镜； b)在存储器中存储从距离校准数据导出的一组模糊参数； c)捕获所述场景的具有多个物体的图像； d)通过以下步骤使用捕获到的图像和所存储的组中的每一个模糊参数提供一组去模糊图像 i)将候选去模糊图像初始化； )确定表示所述候选去模糊图像中的相邻像素之间的差值的多个差分图像； iii)通过组合所述差分图像来确定组合差分图像； iv)响应于所述捕获到的图像、所述模糊参数、所述候选去模糊图像和所述组合差分图像来更新所述候选去模糊图像；以及 V)重复步骤i)-iv)，直到满足收敛标准为止；以及 e)使用该组去模糊图像来确定所述场景中的所述物体的所述距离信息。
2.根据权利要求I所述的方法，其中步骤c)包含捕获数字图像的序列。
3.根据权利要求2所述的方法，其中步骤e)包含确定所述序列中的每个图像的距离信息。
4.根据权利要求2所述的方法，其中步骤e)包含确定所述序列中的图像子集的距离信息。
5.根据权利要求3所述的方法，其中使用所述距离信息来识别所述场景中的固定物体和移动物体。
6.根据权利要求5所述的方法，其中所述图像捕获装置使用所述距离信息来追踪移动物体。
7.根据权利要求2所述的方法，其中所述将候选去模糊图像初始化的步骤包含 a)确定所述图像序列中的当前图像与前一图像之间的差值图像；以及 b)响应于所述差值图像将候选去模糊图像初始化。
8.根据权利要求7所述的方法，其中步骤e)包含响应于所述差值图像确定所述场景中的所述物体的距离信息。
9.根据权利要求I所述的方法，其中步骤d)包含使用所存储的组中的模糊参数的子集。
10.根据权利要求I所述的方法，其中步骤b)包含使用在一组距离值下从校准数据导出的一组模糊参数，使得存在与每个对应距离值相关联的一组模糊参数。
11.根据权利要求I所述的方法，其中步骤b)包含使用在一组距离值下从校准数据导出的一组模糊参数，使得有至少一个距离值不具有一组模糊参数。
12.根据权利要求I所述的方法，其中步骤b)包含使用根据用所述编码孔径和点光源在一系列距离值下捕获到的图像所计算出的模糊参数。
13.根据权利要求I所述的方法，其中步骤e)包含组合从对应于在选定间隔内的距离值的模糊参数得到的去模糊图像。
14.根据权利要求13所述的方法，其进一步包含根据与空间频率有关的权重标准来组合所述去模糊图像。
15.—种数码相机系统,其包括 a)用于捕获场景的一个或多个图像的图像传感器； b)用于将所述场景成像到所述图像传感器上的透镜； c)编码孔径； d)处理器可存取的存储器，用于存储从距离校准数据导出的一组模糊参数；以及 e)数据处理系统，用于通过以下步骤使用捕获到的图像和所存储的组中的每一个模糊参数提供一组去模糊图像 i)将候选去模糊图像初始化； )确定表示所述候选去模糊图像中的相邻像素之间的差值的多个差分图像； iii)通过组合所述差分图像来确定组合差分图像； iv)响应于所述捕获到的图像、所述模糊参数、所述候选去模糊图像和所述组合差分图像来更新所述候选去模糊图像； V)重复步骤i)_iv)，直到满足收敛标准为止；以及 vi)使用该组去模糊图像来确定所述场景中的所述物体的所述距离信息。
全文摘要
一种使用图像捕获装置来识别距离信息的方法包含提供图像捕获装置，其具有图像传感器、编码孔径和透镜；在存储器中存储从距离校准数据导出的一组模糊参数；以及捕获具有多个物体的图像。该方法进一步包含通过以下步骤使用捕获到的图像和所存储的组中的每一个模糊参数提供一组去模糊图像将候选去模糊图像初始化；确定表示候选去模糊图像中的相邻像素之间的差值的多个差分图像；通过组合差分图像来确定组合差分图像；响应于捕获到的图像、模糊参数、候选去模糊图像和组合差分图像来更新候选去模糊图像；和重复这些步骤直到满足收敛标准为止。最后，使用该组去模糊图像来确定距离信息。
文档编号G06T7/00GK102859389SQ201180020795
公开日2013年1月2日 申请日期2011年4月27日 优先权日2010年4月30日
发明者P·J·凯恩, S·王 申请人:伊斯曼柯达公司