来俘获一或多个图像。在另一实施例中，所述装置可接收来自另一图像俘获装置的图像。在又一实施例中，所述装置可使用其内嵌相机俘获一些图像且接收来自其它图像俘获装置的一或多个图像。大体来说，所述装置可为移动电话、平板计算机、膝上型计算机、头戴式显示器(HMD)、相机，或能够俘获和/或处理图像的任何其它类型的固定或移动装置。
[0028]如所说明，在框102中，所述装置可俘获和/或获得具有至少两个不同焦距的两个或两个以上图像。所述装置可随后存储所述图像且处理所述图像以获得第一深度图和第二深度图(框104)。所述装置可基于第一深度图产生全对焦图像(框106)。所述装置还可使用第二深度图再聚焦在图像的一部分上(框108)。
[0029]图2说明根据本发明的某些实施例的实例图像组合方法。如所说明，可由装置获得图像的堆叠2:2024204^、ZN206。作为实例，所述装置可具有相机且自身俘获图像，或所述装置可接收来自另一来源的图像。图像ZgljZN中的每一者可具有不同焦距。因此，在每一图像中，一些区段呈现为对焦，而其它区段离焦。举例来说，在图像?^。]中，区段&210对焦，而其它部分离焦。类似地，在图像Z2204中，区段A2212呈现为对焦，且在图像Z3206中，区段An214呈现为对焦，而其它部分呈现为离焦。
[0030]图像组合器216根据本文中的教示组合图像堆叠ZlZsv'Zn以产生其中大多数或所有区段呈现为对焦的全对焦图像208。还可从全对焦图像产生其中图像再聚焦在区段220上的再对焦图像230。其它区段可或可不呈现为在再聚焦图像230中离焦。
[0031]在一个实施例中，焦点堆叠图像(例如，ZjljZN)可具有两个或两个以上不同焦距。在一个实施例中，焦距可均一地分布在预定最小与最大焦距值之间。大体来说，不同图像的焦距可在不脱离本发明的教示的情况下基于预定义分布或基于场景中不同对象的特性来随机选择。
[0032]图3说明根据一个实施例的图像产生方法的实例框图300。在302处，装置可俘获具有不同焦点设定的两个或两个以上图像。在一个实施例中，所述装置可接收来自另一装置的所述两个或两个以上图像。在304处，所述装置可将所有图像寄存到参考图像。在不损失一般性的情况下，假定图像中的每一者与参考图像具有至少一些重叠。举例来说，参考图像可(尤其)展示人、建筑物和树。两个或两个以上图像中的一者可展示所述人和所述树，其中人呈现为对焦。另一图像可展示所述建筑物和所述树，其中建筑物呈现为对焦。又一图像可展示所述人、所述树和所述建筑物，其中树呈现为对焦。通过将所述两个或两个以上图像寄存到参考图像，可确定图像之间的重叠。大体来说，在不脱离本发明的教示的情况下，所述图像中的任一者可视为参考图像。此外，为论述简单起见，可假定所有图像是从同一场景拍摄且完全重置。
[0033]在306处，所述装置可使图像通过清晰度测量滤波器306(例如，拉普拉斯滤波器)。拉普拉斯滤波器为图像的第二空间导数的二维各向同性测量。拉普拉斯滤波器突出显示图像中快速强度改变的区，且常常用于边缘检测。大体来说，在不脱离本发明的教示的情况下，可使用拉普拉斯滤波器或任何其它清晰度测量滤波器。
[0034]在314处，可使用小核心(例如，对应于每一图像中像素周围的小邻域)使图像变模糊。模糊指代减小图像的清晰度的过程。大体来说，模糊可用于减小图像噪声和/或图像中的高频率分量。在此项技术中存在用于使图像变模糊的若干方法(例如，高斯模糊、选择性模糊等)。作为实例，在高斯模糊中，高斯函数与图像卷积以使图像变模糊。在二维(2-D)图像的情况下，2-D高斯函数(例如，两个1-D高斯函数的乘积，每一维度中一个)可与图像中不同像素的值卷积。
[0035]在316处，为产生精细深度图(DAIF，318)，比较对应于模糊化图像中的每一者中的每一像素的深度值。精细深度图Dmf可对应于大多数或所有模糊化图像中的每一像素的最大深度值。举例来说，可通过比较模糊化图像中的对应像素的深度值来确定图像中每一像素(i，j)的最大深度值。在一个实施例中，可针对每一像素确定最大深度值。在另一实施例中，可确定像素周围的预定义邻域(例如，像素周围的3X3矩阵)内的最大深度值。在320处，可使用精细深度图Dmf组合所述图像以产生全对焦图像。
[0036]此外，在326处，可对清晰度测量滤波器312的结果执行较大邻域大小(例如，较大核心)的另一模糊操作以产生第二组模糊化图像。在328处，可对第二组模糊化图像执行逐像素最大操作以产生平滑深度图DRF330。在332处，可基于所述平滑深度图Drf对图像(例如，全对焦图像)执行再聚焦操作以产生再聚焦图像。
[0037]在一个实施例中，可使用以下程序产生所述全对焦图像。焦点堆叠图像可由Z1、Ζ2、.._..，ZN表示，其中Zi表示图像。所述图像可具有红-绿-蓝(RGB)、灰度或任何其它格式。每一图像(ZJ可与清晰度测量滤波器(例如，拉普拉斯滤波器)卷积以产生输出图像Y,，如下:
[0038]γi=拉普拉斯(Zi)。
[0039]在一个实施例中，可在产生深度图时考虑对应于所关注的像素附近的多个像素的信息。使用来自邻域中的其它像素的信息减少噪声的影响且确保局部一致性。作为实例，可对对应于预定义邻域内的其它像素的信息求平均且在计算中予以考虑。在另一实施例中，可考虑关于邻域中的像素的经加权投票方案。在不损失一般性的情况下，可假定邻域为具有围绕像素的大小S的半径的圆形，然而，所述邻域可具有任何其它形状(例如，矩形、六边形等等)而不脱离本发明的教示。
[0040]对于某些实施例，可考虑两个不同邻域大小(例如，SdPS2)用于产生所述两个深度图。第一小邻域大小(例如，so可用于产生精细深度图。此外，第二邻域大小&(例如，&>&)可用于产生平滑深度图。选择用于产生精细深度图的小邻域大小可确保全对焦图像的清晰度，同时确保局部一致性。另一方面，大邻域大小可更适合于再聚焦(例如，平滑深度图)，因为用户通常想要再聚焦在图像中的区(例如，对象)上，而非像素上。此外，较大邻域确保不存在相同对象上的两个附近像素中的急剧再聚焦改变。在一个实施例中，用于产生平滑深度图(例如，&)的邻域的大小可比用于产生精细深度图(例如，&)的邻域的大小大3倍。
[0041]在一个实施例中，可跨越图像的焦点堆叠中的每一者中的邻域计算最大深度值以产生深度图。举例来说，可通过跨越图像的焦点堆叠中的大小Si的邻域计算最大深度值来确定用于产生全对焦图像的精细深度图(例如，Dmf)。类似地，可通过跨越图像的焦点堆叠中的大小&的邻域计算最大深度值来确定用于产生再聚焦图像的平滑深度图(例如，Drf)。
[0042]在一个实施例中，可基于精细深度图Dmf在运行中计算对应于图像(或图像的一部分)的平滑深度图Drf。举例来说，当用户选择待在其上再聚焦的像素(例如，通过触摸屏幕或任何其它装置上的像素)时，可考虑所述选定像素周围的大邻域中的Dmf的值。投票方案(或经加权投票方案，或任何其它选择方案)可随后应用到对应于所述选定像素周围的大邻域中的多个像素的精细深度值。对应于具有最大投票数的索引的值可选定为对应于所述选定像素的平滑深度值。可针对图像中的大多数或所有像素重复相同过程以产生平滑深度图Drf。所述平滑深度图可随后用于再聚焦在图像的选定部分上。
[0043]作为实例，为产生对应于像素(i，j)的平滑深度值，可考虑像素周围的大小nXm的邻域。可基于对应于所述选定邻域中的像素中的每一者的精细深度值计算对应于像素(i，j)的平滑深度值。在一个实例中，精细深度值可基于投票方案组合以产生对应于像素(i，j)的平滑深度值。举例来说，在大小nXm像素的邻域中，在K = nXm精细深度值当中，Ki值可等于11(2值可等于β且K3值可等于γ。在不损失一般性的情况下，可假定KOK0K3。在一个实例中，值α可被认为是对应于像素(i，j)的平滑深度值(例如，具有最高数目的重复或投票数的值)。在另一实例中，可基于值α、β和γ的加权平均值计算平滑深度图。应注意，任何其它方案可用于获得平滑深度值和/或平滑深度图，而不脱离本发明的教示。
[0044]图4说明根据本发明的某些实施例可由装置执行以产生图像的实例操作。在402处，所述装置可获得不同焦距处的图像(例如，从图像俘获装置俘获或接收)。在404处，所述装置可利用清晰度测量滤波器(例如，拉普拉斯滤波器)对图像滤波。在406处，所述装置可将二维函数应用到所述图像中的每一者以产生深度图像的第一堆叠。在一个实施例中，2-D函数可使用第一较小邻域。作为实例，可通过将对应于小邻域的2-D高斯模糊函数与图像中的每一者卷积来产生深度图像的第一堆叠。在另一实施例中，可通过在对应于定位于图像中的每一像素周围的小邻域中的多个像素的深度值当中执行加权平均