像以及细化的深度图。在一些示例中，还生成细化的深度似 然图。然后重复以上（以及下面更详细地）讨论的技术以进一步细化在细化的深度图中的 深度估计。在一些示例中，接收表示最小水平的深度精度、要捕获的附加图像的总量、用于 捕获附加图像的时间量、捕获分块中的附加图像的期望的输入、或者用于约束深度细化图 像捕获指令的确定的任何其他合适的输入。基于这些输入中的任何一个输入，可以调节用 于在深度细化图像捕获指令中包括的配置设置的选择。例如，如果输入表示用户想要仅采 用3个附加图像，则可以选择并且在深度细化图像捕获指令中包括从投票图接收3个最高 投票（例如具有3个最大值）的配置设置。
[0028] 本文所描述的涉及生成深度细化图像捕获指令以在深度图细化中使用的技术可 以用于改善现有的图像编辑技术。例如，现有的深度图可以是具有深度信息的图像文件、具 有深度信息的平面文件、或者任何其他合适类型的文件。在任何情况下，深度信息可以用作 图像编辑过程的一部分。例如，这样的信息可以和区分前景对象与背景对象相关。这样的 区分可以与选择图像内的对象（在前景中或者在背景中）相关。设想其中图像一一包括如 本文所描绘地生成的深度估计信息一一描绘站在树前面的孩子（例如前景元素）的示例场 景。期望从场景中"剪切"孩子的用户可以通过使用图像编辑应用选择孩子的一部分来表 明这一想法。除了选择诸如颜色和纹理等线索，图像编辑应用然后可以访问深度信息，以生 成要剪切的孩子的轮廓。因此，在一些示例中，深度信息可以用于补充诸如颜色和纹理等传 统的选择线索。
[0029] 现在转向附图，图1图示如本文所描述的用于实现与确定深度细化图像捕获指令 用于在深度图细化时使用相关的技术的框图100。框图100包括深度细化引擎102。深度 细化引擎102被配置成接收或者访问现有的深度图104、不确定性的测量124和全景对焦图 像122。现有的深度图104、不确定性的测量124和全景对焦图像122中的每个都可以从用 户接收、从存储器访问、或者以任何其他合适的方式来检索。现有的深度图104包括用于场 景中的每个对象的深度估计、或者可能地包括用于与场景对应的图像内的每个像素的深度 估计。在一些示例中，现有的深度图104使用深度估计技术预先输出。示例深度估计技术 包括：来自分析要估计深度的一个或多个图像的模糊的散焦技术的深度、以及使用全景对 焦图像的集合估计深度的计算机版本技术。不管如何生成现有的深度图104,向深度细化引 擎102提供现有的深度图104。深度细化引擎102被配置成分析现有的深度图104并且通 过建议深度细化图像捕获指令108来细化所包括的深度估计。
[0030] 作为生成现有的深度图104的一部分，深度估计技术还可以生成不确定性的测量 124和全景对焦图像122。在一些示例中，不确定性的测量124和全景对焦图像122可以由 深度估计技术用于生成现有的深度图104。不确定性的测量124包括用于在现有的深度图 104中被表示的每个像素或者分块的每个深度估计的变化。全景对焦图像122表示在图像 中没有一个像素经历任何模糊的情况下所呈现出的成像场景。以这一方式，可以认为全景 对焦图像122是清晰图像。在一些示例中，根据用于生成现有的深度图104的场景的一个 或多个图像来生成全景对焦图像122。在一些示例中，通过相机来捕获全景对焦图像122。
[0031] 先于被提供至深度细化引擎102,预先计算不确定性124的测量、全景对焦图像 122和可选的现有的深度图104(统称为深度细化输入126)。在一些示例中，还可以包括与 现有的深度图104对应的深度似然图，作为至深度细化引擎102的输入。在一些示例中，根 据现有的深度图104和不确定性的测量124来得到深度似然图。在一些示例中，深度似然 图包括用于现有的深度图104的每个像素的深度似然、用于现有的深度图104的多个像素 的深度似然、用于现有的深度图104的图像分块（其可以包括一个或多个像素）的深度似 然、或者用于整个现有的深度图104的深度似然。如本文所使用的，"图像分块"是指包括 多个像素的图像的小区域（例如图像118(1)-118 (N))。深度细化引擎102采用深度细化输 入126作为输入并且输出深度细化图像捕获指令108。根本上地，生成深度细化图像捕获 指令108或者深度细化图像捕获指令108的至少一部分的目的是使用根据由图形捕获设备 106根据指令捕获的一个或多个图像118(1)-118(N)得到的附加深度信息来细化现有的深 度图104。
[0032] 深度细化引擎102因此以如下方式来确定深度细化图像捕获指令108 :该方式使 得在使用图像118(1)_118(N)生成细化的深度图时，可以增加现有的深度图104中的深度 估计的精度。根据改善准则来测量精度的增加。如本文中更详细地描述的，改善准则表示 对于每个像素而言用于像素的深度估计的深度精度的可能的增加量。为此，深度细化引擎 102确定图像的数量110和配置设置112。图像的数量110表示应当使用图像捕获设备106 来取得的图像的数目（即图像118 (1)-118 (N)的数目），并且配置设置112表示用于捕获图 像118 (1) -118 (N)使得能够使用根据图像118 (1) -118 (N)得到的深度信息来细化现有的深 度图104的图像捕获设备106的设置。特别地，配置设置112表示应当在捕获由上述数量 的图像110标识的推荐数目的图像时使用的、光圈设置114和焦距设置116形式的相机设 置。光圈设置114涉及在捕获图像时被允许进入相机的光的量。使用调节光的量的叶片机 制来调节相机的光圈。焦距设置116涉及焦平面到图像捕获设备106(例如数字相机）的 距离并且因此被调节。
[0033] 深度细化引擎102不仅生成深度细化图像捕获指令108的每个部分，还使得这些 部分相关联。例如，假定深度细化引擎102确定应用被捕获的上述数量的图像112为4个。 深度细化引擎102还使得来自光圈设置114的特定光圈设置以及来自焦距设置116的特定 焦距设置与4个图像中的每个图像关联。在一些示例中，用于附加图像中的每个附加图像 的光圈设置114和焦距设置116不同。然而，在一些示例中，用于附加图像中的每个附加图 像的光圈设置114和/或焦距设置116中的至少一些相同。
[0034] 然后，向图像捕获设备106提供深度细化图像捕获指令108。图像捕获设备 106根据深度细化图像捕获指令108被配置以便捕获图像118(1)-118(N)。因为使用图 像捕获设备106根据深度细化图像捕获指令108来捕获图像118(1)-118(N)，所以图像 118 (1)-118 (N)包括配置信息120(1)-120 (N)。配置信息120(1)与图像118(1)关联，配置 信息120(2)与图像118(2)关联，以此类推。用于图像118(1)-118(N)中的每个图像的配 置信息120(1)-120 (N)至少包括由图形捕获设备106使用以捕获图像118(1)-118 (N)的光 圈设置和焦距设置。使用根据图像118(1)_118(N)得到的深度信息，可以改善现有的深度 图 104。
[0035] 图2图示如本文中所描述的用于实现与确定深度细化图像捕获指令相关的技术 的示例深度细化引擎102。深度细化引擎102包括或者被配置成管理一个或多个引擎、子引 擎、模块、子模块、部件和/或与本文中所公开的示例相关的服务。在一些示例中，深度细化 引擎102包括通信服务204、深度细化指令服务206和深度图细化服务208。虽然示例性模 块在图2中被图示并且将被描述为参考本文中的其他附图来执行离散的任务，然而应当理 解，可以根据本文中所描绘的技术来实现用于执行如本文中所描述的那些任何的其他任何 和/或相似的任务的其他模块和/或配置。可以如参考图6所解释地在诸如用户设备或者 服务器设备等任何合适的计算设备上来实现深度细化引擎102。
[0036] 通信服务204被配置成管理深度细化引擎102的其他模块与和深度细化引擎102 通信的其他设备或者部件（例如硬件和/或软件部件）之间的通信。例如，通过通信服务 204来接收深度细化输入126。在一些示例中，向深度细化引擎102的另一模块提供深度细 化输入126。例如，如下面所讨论的，在接收深度细化输入126之后，通信服务204向深度细 化指令服务206提供深度细化输入126 (或者其一部分）。通信服务204还向深度细化引擎 102的其他模块、向数字相机的操作者、向数字相机、向输出设备（例如打印机）、向与深度 细化引擎102关联的存储结构、和/或向其他类似的位置提供深度细化图像捕获指令108。 当在被配置成捕获图像并且用于生成深度图的相同的用户设备（例如具有数字相机的移 动设备、具有数字相机的平板电脑、手持式数字相机、具有数字相机的膝上型电脑和其他类 似的用户设备）上实现深度细化引擎102时，通信服务204处理执行从该用户设备的其他 部件接收的操作的请求。当深度细化引擎102被实现为（例如在网络服务器上托管的）图 像编辑服务的一部分时，通信服务204处理来自用户设备的访问深度细化引擎102的部分 的一个或多个请求。在一些示例中，由通信服务204来接收其他输入。在一些示例中，这些 其他输入界定和/或约束深度细化图像捕获指令108的确定。
[0037] 深度细化指令服务206被配置成实现如本文中所描述的与确定深度细化图像捕 获指令108用于在深度图细化时使用相关的技术。在一些示例中，深度细化指令服务206基 于深度细化输入126的部分来确定深度细化图像捕获指令108。在一些示例中，深度细化图 像捕获指令108表示要捕获的图像的数量108、用于每个图像的光圈设置114、以及用于图 像118中的每个图像的焦距设置116。在一些示例中，深度细化指令服务206标识深度细化 图像捕获指令108,使得能够消除仿真场景内的多个恒定深度的深度模糊。在一些示例中， 确定深度细化图像捕获指令108包括标识现有的深度图104中的能够细化的深度范围。在 一些示例中，细化现有的深度图104包括确定深度细化图像捕获指令108,使得在得到图像 118并且将根据其得到的深度信息与现有的深度图104组合时，能够改善现有的深度图104 的深度估计的深度似然。
[0038] 深度图细化服务208被配置成使用根据深度细化图像捕获指令108捕获的图像 118得到的深度信息来细化现有的深度图104。在一些示例中，作为生成细化的深度图的一 部分，深度图细化服务208还生成细化的不确定性的测量、细化的全景对焦图像和细化的 深度似然。在一些示例中，深度图细化服务208生成改善的或者细化的深度图，并且深度细 化指令服务206分析改善的深度图以查看改善的深度图是否能够在此改善。如果是，深度 细化指令服务206生成用于捕获附加图像的第二深度细化图像捕获指令。向深度图细化服 务208提供根据这些附加图像118得到的附加深度信息以生成第二改善的深度图。以这一 方式，现有的深度图104的改善或者细化可以迭代。如本文中所使用的，"迭代地"估计是指 依次估计和/或并行估计。
[0039] 图3图示描绘根据本文中所描述的技术生成的仿真图像分块与实际图像分块比 较的曲线的示例图300。在一些示例中，这样的曲线可以用于使用根据至少一个附加图像得 到的附加深度信息来标识针对现有的深度图104可实现的改善准则。图300示出以仿真图 像分块304 (A) -304 (D)并置的全景对焦图像122的全景对焦图像分块302 (A) -302 (D)。使 用用于每个可能的深度值的全景对焦图像分块302 (A)-302 (D)以及适当