用于产生全对焦图像的方法和设备的制造方法
【技术领域】
[0001]本发明大体上涉及俘获和处理数字图像，且特定来说涉及产生具有再聚焦能力的全对焦图像。
【背景技术】
[0002]在摄影中，取决于场景中的不同对象距相机的距离，一些对象可能呈现为对焦，而其它对象呈现为离焦或模糊。这是归因于以下事实:在大多数视觉系统中，每一图像以特定“焦距”俘获。“焦距”指代从相机径向延伸到图像的场景中的距离。确切位于焦距处的图像中的任何对象呈现为完全对焦。另一方面，并不位于焦距处(例如，较靠近或较远离相机)的任何对象呈现为模糊和离焦。任何给定场景中的不同对象可位于距相机不同距离处，因此，很可能仅一些对象完全对焦。因此，对于由视觉系统俘获的典型图像，一些对象呈现为在图像中对焦，而其它对象呈现为离焦。
[0003]尽管人类视觉系统产生具有类似特性的图像(例如，在任何给定图像中)，仅位于焦距处的对象是对焦的而其它对象是模糊的，人类适于快速扫描场景、聚焦在不同对象上，且获得物理环境的有用“复合”视觉概念。这就是我们如何“观看”世界。然而，当我们查看所俘获图像(例如显示装置上的图像)时，相同自然扫描和再聚焦通常不可用。实际上，我们常常在任何给定时间查看静态图像，其中特定对象在图像中对焦，且特定其它对象在图像中是模糊或离焦的。为解决这些缺点，本发明呈现用于实现检视图像的两种不同方法的实施例。一种方法涉及产生其中所有对象均对焦的“全对焦”图像。另一方法涉及提供“再聚焦”能力，借此用户可选择图像的一部分且使其对焦。
【发明内容】
[0004]在一个实例中，揭示一种用于图像处理的方法。所述方法大体包含获得不同焦距处场景的多个图像。每一图像可展示对焦的场景的不同部分。所述方法进一步包含(部分)获得与所述多个图像相关联的第一深度图，以及获得与所述多个图像相关联的第二深度图。第一深度图对应于第一邻域大小，且第二深度图对应于第二邻域大小。在一个方面中，所述第一邻域大小小于所述第二邻域大小。
[0005]所述方法进一步包含基于所述多个图像和所述第一深度图产生展示对焦的场景的两个或两个以上部分的合成图像。此外，所述方法包含基于所述合成图像和所述第二深度图产生展示对焦的场景的选定部分的再聚焦图像。
[0006]在一个方面中，所述方法进一步包含用清晰度测量滤波器对所述多个所俘获图像中的每一者滤波以产生多个经滤波图像。在一个方面中，清晰度测量滤波器为拉普拉斯(Laplacian)滤波器。
[0007]在一个方面中，获得第一深度图可包含将基于第一邻域大小的第一二维像素函数应用到所述多个经滤波图像中的每一图像以产生第一多个深度图像。类似地，获得第二深度图可包含将基于第二邻域大小的第二二维像素函数应用到所述多个经滤波图像中的每一图像以产生第二多个深度图像。
[0008]在一个方面中，所述第一二维像素函数涉及计算对应于第一邻域中的多个像素的深度值当中的加权平均值。在另一方面中，所述第一二维像素函数涉及对对应于第一邻域中的像素的深度值实行经加权投票方案。
[0009]在一个方面中，获得所述第一深度图包含(部分)针对每一像素位置获得对应于所述第一多个深度图像的第一多个深度值当中的最大深度值。类似地，获得所述第二深度图包含(部分)针对每一像素位置获得对应于所述第二多个深度图像的第二多个深度值当中的最大深度值。
[0010]在一个方面中，所述多个图像的不同焦距均一地分布在最小焦距值与最大焦距值之间。
[0011]在一个方面中，基于第一深度图在运行中产生第二深度图。举例来说，可通过将加权平均值、经加权投票方案或任何其它选择方案应用到对应于第二邻域中的多个像素的第一深度图中的深度值来产生所述第二深度图。
[0012]此外，某些方面提供一种用于图像处理的设备。所述设备大体包含用于获得不同焦距处场景的多个图像的装置。每一图像展示对焦的场景的不同部分。所述设备进一步包含:用于获得与所述多个图像相关联的第一深度图的装置；用于获得与所述多个图像相关联的第二深度图的装置;用于基于所述多个图像和所述第一深度图产生展示对焦的所述场景的两个或两个以上部分的合成图像的装置；以及用于基于所述合成图像和所述第二深度图产生展示对焦的所述场景的选定部分的再聚焦图像的装置。在一个方面中，第一深度图对应于第一邻域大小，且第二深度图对应于第二邻域大小。
[0013]某些方面提供一种用于图像处理的非暂时性处理器可读媒体。所述处理器可读媒体包含(部分)处理器可读指令，所述处理器可读指令经配置以致使处理器获得不同焦距处场景的多个图像。每一图像展示对焦的场景的不同部分。所述指令进一步经配置以致使所述处理器:获得与所述多个图像相关联的第一深度图，获得与所述多个图像相关联的第二深度图，基于所述多个图像和所述第一深度图产生展示对焦的场景的两个或两个以上部分的合成图像，且基于所述合成图像和所述第二深度图产生展示对焦的场景的选定部分的再聚焦图像。在一个方面中，第一深度图对应于第一邻域大小，且第二深度图对应于第二邻域大小。
[0014]某些方面提供一种用于图像处理的设备。所述设备包含(部分)至少一个处理器和耦合到所述至少一个处理器的存储器。所述至少一个处理器经配置以获得不同焦距处的场景的多个图像。每一图像展示对焦的场景的不同部分。所述至少一个处理器进一步经配置以:获得与所述多个图像相关联的第一深度图，获得与所述多个图像相关联的第二深度图，基于所述多个图像和所述第一深度图产生展示对焦的场景的两个或两个以上部分的合成图像，且基于所述合成图像和所述第二深度图产生展示对焦的场景的选定部分的再聚焦图像。第一深度图对应于第一邻域大小，且第二深度图对应于第二邻域大小。
【附图说明】
[0015]可通过参考以下各图来实现对各种实施例的性质及优点的理解。在附图中，类似组件或特征可以具有相同参考标记。此外，可通过在参考标记之后跟着短划线及在类似组件当中进行区分的第二标记来区分相同类型的各种组件。如果在说明书中仅使用第一参考标记，那么描述适用于具有相同的第一参考标记的类似组件中的任一者，而无关于第二参考标记。
[0016]图1说明根据本发明的某些实施例能够俘获和/或处理图像的装置的实例高级框图。
[0017]图2说明根据本发明的某些实施例的实例图像组合方法。
[0018]图3说明根据本发明的某些实施例的图像组合方法的实例框图。
[0019]图4说明根据本发明的某些实施例可由装置执行以组合多个图像的实例操作。
[0020]图5A-5C说明根据本发明的某些实施例使用图像组合方法组合的实例图像。
[0021]图6描述根据本发明的某些实施例可用于产生图像的装置的一个潜在实施方案。
【具体实施方式】
[0022]某些实施例呈现一种用于产生具有经扩展景深连同稍后在图像的所要部分处再聚焦的能力的图像的方法。景深通常指代图像中呈现可接受的清晰度的场景中的最近与最远对象之间的距离。尽管镜头仅可同时精确对焦在一个距离(例如，焦距)处，但清晰度的减小可在聚焦距离的每一侧上为渐进的，使得在景深内，不清晰在正常检视条件下不可感知。大体来说，焦距指代对象与相机之间的距离，其中对象呈现为在图像中对焦。
[0023]—个实施例使用具有不同焦距的两个或两个以上图像(下文称为焦点堆叠图像)，且处理这些焦点堆叠图像以产生合成图像。合成图像中的大多数或所有对象可呈现为对焦(例如，全对焦图像)。
[0024]如本文所描述。通过组合具有不同焦距的两个或两个以上图像，合成图像的景深可经扩展为大于个别图像中的每一者的景深。因此，相对远离彼此的对象可呈现为在合成图像中对焦。
[0025]用户通常通过改变相机的焦距而聚焦在场景中的不同对象上。举例来说，在具有距相机的不同距离的两个对象的场景中(例如，人接近相机，且建筑物在背景中较远处)。第一图像可以第一焦距拍摄，其中人呈现为对焦，而建筑物呈现为离焦。此外，可从同一场景以第二焦距拍摄第二图像，其中建筑物呈现为对焦，而人呈现为离焦。某些实施例提出一种组合这些图像(以不同焦距拍摄的)以产生其中几乎所有对象呈现为对焦的合成图像的方法。在以上实例中，人和建筑物两者可呈现为在合成图像中对焦。此外，在一个实施例中，合成图像可具有可用于稍后在图像的所要部分处再聚焦的内嵌信息。
[0026]此项技术中使用的用于合并图像的当前技术通常使用单一深度图用于再聚焦和计算全对焦图像这两个操作。这些技术中的一些技术使用基于硬件的解决方案来俘获光场以启用再聚焦能力。本发明的某些实施例产生两个不同深度图(例如，掩码)，第一深度图可用于产生全对焦图像且第二深度图可用于再聚焦。
[0027]图1说明根据本发明的某些实施例的图像俘获和/或处理装置100的实例高级框图。在一个实施例中，所述装置可使用内嵌相机