用于深度图细化的数字相机的设置的制作方法
【专利说明】
[0001] 相关申请的夺叉引用
[0002] 本申请涉及2014年11月24日提交的共同待决的美国申请序列号14/552, 332以 及与此同时提交的美国申请序列号_，上述每个申请的全部内容由此通过引用被合并。
技术领域
[0003] 本公开内容总体上涉及用于确定用于数字相机以及要由数字相机使用这些设置 来捕获的大量图像的配置设置以改进深度信息的方法和系统。
[0004] 版权通知
[0005] 本专利文档的公开内容的一部分包含涉及版权保护的材料。版权拥有者不反对 任何人对专利文档或者专利公开的拓制，因为其出现在专利和商标局的专利文件或者记录 中，但是另外无论如何保留所有版权权利。
【背景技术】
[0006] 数字相机（包括集成到移动设备中的数字单镜头反射（DSLR)相机和数字相机） 通常具有使得用户能够使用不同用户的定义的和相机定义的配置设置的组合来捕获数字 图像的复杂的硬件和软件。数字图像提供特定场景的数字表示。随后可以通过其自身或者 与场景的其他图像的组合来处理数字图像，以从图像中取得附加信息。例如，可以处理场景 的一个或多个图像以估计在场景内描绘的对象的深度，即，每个对象到从该处得到图像的 位置的距离。用于场景中的每个对象的深度估计或者可能的图像内的每个像素被包括在称 为"深度图"的文件中。其中，深度图可以用于改善现有的图像编辑技术（例如剪切、孔洞 填充、到图像的层的复制等）。
[0007] 传统上，使用各种技术之一来生成深度图。这样的技术包括来自散焦技术的深度， 其使用焦距未对准的模糊来估计成像场景的深度。使用这样的技术的深度估计是可能的， 因为成像的场景位置取决于用以得到图像的相机配置设置（例如光圈设置和焦距设置）而 将具有不同量的焦距未对准的模糊（即深度信息）。估计深度因此包括估计不同场景位置 处的大量深度信息，深度信息从场景的一个图像还是从场景的多个图像取得。传统上，这样 的深度估计的精度取决于所使用的图像的数目。通常而言，输入的图像的数目越大，能够针 对场景中的任何一个位置（例如像素）而被比较的深度信息的量就越大。
[0008] 因此，来自散焦技术的很多传统的深度可能需要输入图像的大量集合以便以更高 的确定程度来估计场景深度。然而，传统的技术不能预测性地确定可选数目的图像以及以 任何特定的确定程度来估计场景深度图所需要的对应的相机配置设置。传统的技术也不 能用于分析现有的深度图以预测性地确定可以使用特定相机配置设置来捕获的场景的大 量附加图像，使得足够多的深度信息会可用于细化现有的深度图（即改善其深度估计的精 度）。
[0009] 因此，期望提供用于分析现有的深度图或者其他场景深度信息以预测性地确定场 景的要捕获的大量附加图像以及用于捕获其的相机配置设置的改进的解决方案，使得足够 的深度信息可用于细化由现有的深度图或者其他的场景深度信息提供的深度估计。
【发明内容】
[0010] 在一些示例中，提供了用于预测性地确定用于在细化深度图时使用的深度细化图 像捕获指令的系统和方法。特别地，深度细化图像捕获指令一旦被确定则表示要得到的大 量附加图像以及要使用哪些光圈设置和焦距设置来捕获它们，使得可以使用从附加图像取 得的附加深度信息来细化现有的深度图。细化现有的深度图包括改善现有的深度图中的深 度估计的精度。以依赖于场景的方式来确定深度细化图像捕获指令，因为分析的是与现有 的深度图关联的数据。例如，本文中所描述的用于生成深度细化图像捕获指令的技术以场 景的全景对焦的图像、场景的现有的深度图和/或与场景的现有的深度图对应的不确定性 的测量的组合作为输入。全景对焦图像是在没有任何模糊的情况下生成的潜在的场景的图 像。不确定性的测量是现有的深度图中的每个深度估计的精度的表示，其提供图像的每个 像素的深度估计。例如，不确定性的测量可以表示，对于特定像素，5米的深度估计具有特定 变化。在一些示例中，还提供现有的深度图作为输入。然而，因为可以从不确定性的测量和 全景对焦图像得到在深度图中找到的深度估计，所以现有的深度图对于实现本文所描述的 技术是可选的。在一些示例中，还可以提供与现有的深度图对应的深度似然作为输入。深 度似然是概率到深度的映射，并且可以以深度似然图的形式来提供。
[0011] 通过改进准则测量现有的深度图中的深度估计可以被改进的程度。改进准则是在 特定配置信息用于捕获附加图像并且附加深度信息从其取得的情况下在现有的深度图中 的给定像素处的可能的深度精度（例如以比特为单位）的增加之和。在用于每个像素的可 能的配置设置的集合上评估改进准则，以将用于每个像素的总的改进程度确定作为配置设 置的函数。这一函数在本文中可以被称为投票图。投票图表示，对于现有的深度图中的每 个像素，从使用特定配置设置捕获的图像取得的附加深度信息的程度将改善在该像素处的 深度估计。投票图然后用于选择哪些配置设置应当用于得到场景的一个或多个附加图像。
[0012] 然后通过分析投票图来确定用于一个或多个图像的深度细化图像捕获指令。例 如，投票图可以指示使用特定焦距设置和特定光圈设置得到的场景的图像将有意义地改善 用于现有的深度图的足够百分比的像素的深度估计的精度，并且指示使用不同的焦距设置 和/或不同的光圈设置得到的另一图像将进一步有意义地改善另一足够百分比的像素的 深度估计的精度。可以忽略投票图中的无关的数据，使得出于仅实现对现有的深度图的无 关紧要的细化的目的而不捕获和处理附加图像。
[0013] 提及这些说明性实施例并非限制或者定义本公开内容，而是提供用以帮助理解其 的示例。"具体实施例"中讨论另外的示例，并且其中提供进一步的描述。
【附图说明】
[0014] 在参考附图阅读以下"具体实施例"时，能够更好地理解本公开内容的这些和其他 特征、示例和优点，其中：
[0015] 图1是描绘根据至少一种实施例的用于确定深度细化图像捕获指令以在深度图 细化中使用的深度细化引擎的示例、示例图像捕获设备和各自的示例输入和输出的框图；
[0016] 图2是描绘根据至少一种实施例的包括用于确定深度细化图像捕获指令以在深 度图细化中使用的服务的示例深度细化引擎的图；
[0017] 图3是图示根据至少一种实施例的被分析用于确定深度细化图像捕获指令的多 个图像分块的图；
[0018] 图4是根据至少一种实施例的包括根据深度细化图像捕获指令来捕获场景的用 户的示例环境；
[0019] 图5是描绘根据至少一种实施例的用于确定深度细化图像捕获指令以在深度图 细化中使用的示例方法的流程图；以及
[0020] 图6是描绘根据至少一种实施例的示例网络环境的图，该示例网络环境包括用户 设备和示例图形编辑服务，用于实现与确定深度细化图像捕获指令以在深度图细化中使用 相关的技术。
【具体实施方式】
[0021] 公开了用于确定深度细化图像捕获指令以结合细化现有的深度图来使用的计算 机实现的系统和方法。如以上所介绍的，可以通过例如比较与两个或多个输入图像关联的 散焦模糊的差异来生成深度图。
[0022] 本文所描述的技术用于以如下方式来预测性地确定深度细化图像捕获指令：该方 式考虑到在现有的深度图中的每个像素处的深度精度的可能的增加量。在一个示例中，使 用传统的技术或者根据在通过引用合并于此的相关公开内容中讨论的特定技术来生成深 度图（如下面所说明的）。深度图包括用于场景的深度信息，其通常被表示为用于图像的每 个像素的深度的估计。可以预先根据使用数字相机捕获的场景的一个或多个图像来生成现 有的深度图。现有的深度图具有不确定性的对应测量，不确定性表示用于现有的深度图中 的每个深度估计的变化。现有的深度图还具有用于现有的深度图中的每个深度估计的对应 的深度似然。深度似然是概率到深度的映射，并且可以以深度似然图的形式来提供。
[0023] 在一些示例中，现有的深度图的分析可以表示其提供用于场景的合适的深度估 计。然而，在其他情况下，分析可以指示可通过解释来自使用某些相机配置设置捕获的一个 或多个附加图像的附加深度信息来实现改进的（例如关于精度改进的）深度估计。在一些 示例中，这包括预测性地确定应当使用数字相机捕获多少图像以及哪些配置设置（例如光 圈设置和焦距设置）应当用于捕获这些图像。
[0024] 在一些示例中，细化深度估计包括：针对感兴趣的每个配置设置（例如光圈和焦 距）确定根据使用该配置设置捕获的图像的图像分块得到的附加深度信息是否能够用于 区分与现有的深度估计对应的多个可能的深度值。在一些示例中，所评估的配置设置是可 用于具有特定镜头的特定数字相机的那些配置设置。例如，特定的镜头和相机组合可以仅 具有离散的数目的可能的光圈设置和焦距设置。
[0025] 本文所描述的技术使用全景对焦图像、现有的深度、和/或与现有的深度对应的 不确定性的测量的组合作为输入。这些输入中的每个输入使用任意合适的深度估计技术来 生成并且如本文所描述的用以确定深度细化图像捕获指令。使用全景对焦图像和根据用于 现有的深度图的不确定性的测量确定的多个可能的深度值（例如在9米与12米之间），仿 真图像分块以确定每个图像分块在可能的深度值（例如9米、10米、11米和12米）中的每 个深度值处会有多模糊。图像分块的模糊强度与可以根据图形分块得到的深度信息的量对 应。当在频域中考虑时，图像的模糊强度可以与图像分块中的频率内容的量对应。在一些 示例中，可能的深度之间的距离具有更大或者更小水平的梯度。对于特定的感兴趣的配置 设置，如果在第一可能深度处的仿真图像分块和在第二可能深度处的仿真图像分块在模糊 强度方面足够不同，则使用该配置设置捕获的图像可以是用以根据现有的深度图来细化图 像分块的深度估计的很好的选择。这是因为，使用该配置设置捕获的图像会实现第一可能 深度与第二可能深度之间的充分区分。这一概念被称为深度分辨力。在一些示例中，以使 得与图像分块对应的多个可能的深度值之间的深度分辨力最大化的方式来选择相机配置 设置。
[0026] 在一些示例中，作为确定深度细化图像捕获指令这一过程的一部分来生成改善准 贝1J。如果使用数字相机的特定配置设置（例如光圈设置和焦距设置），则改善准则表示在每 个像素处的可能的深度精度（例如以比特为单位）的增加之和。在一些示例中，基于改善准 贝1J，可以选择使得总的深度精度的增加最大化的特定配置设置。在任何情况下，可以在一组 可能的配置设置上估计改善准则以便确定作为配置设置的函数的深度精度的总的改善量。 这一函数在本文中可以被称为投票图。投票图针对现有的深度图中的每个像素对关于会最 大程度地改善在该像素处的深度估计的配置设置的"投票"进行组合。所分析的每个图像 分块提供用于将改善其对应的深度估计的特定配置设置的"投票"。在一些示例中，特定图 形分块投票多于一个配置设置。可以对所有图像分块的投票求平均或者合计，并且可以使 用与平均或者合计投票对应的配置设置。在一些示例中，确定要捕获的下一图像的配置设 置包括：在投票图中寻找最大值的位置。在一些示例中，投票图具有与不同的深度范围对应 的多于一个本地最大值，其可以通过根据使用不同的配置设置捕获的图像得到的深度信息 来改进。在这一示例中，可以选择与每个最大值对应的配置设置，并且因此深度细化图像捕 获指令可以表示应当采用多于一个附加图像。
[0027] 在一些示例中，在推荐和捕获具有某些配置设置的大量图像之后，生成细化的不 确定性测量、细化的全景对焦图