启用自动测量的制作方法

本公开整体涉及提供测量，并且更具体地涉及用于使用电子设备启用自动测量的方法和技术。

背景技术：

配备有相机的电子设备可用于提供真实世界距离的测量。然而，常规测量技术需要指示用户遵循特定步骤，以便设备从采集并处理来自真实世界环境的必要数据以使设备能够确定和提供准确测量。因此，可改进常规测量技术以提高效率，从而使设备能够节省更多能量，这对于电池驱动的设备尤为重要。

技术实现要素：

因此，需要一种使用电子设备来提供测量的更有效的改进技术。本文提供的技术使得具有相机的电子设备诸如智能电话或可穿戴设备(例如，智能手表或智能眼镜)能够自动地从真实世界环境采集和生成必要数据，以使设备能够快速且高效地确定并提供真实世界环境内的物理空间和/或对象的准确测量。

根据一些实施方案，描述了一种在具有相机的电子设备处执行的方法。所述方法包括：在检测对用于测量所述电子设备上的真实世界点之间的距离的应用程序的激活之前，通过所述相机沿所述电子设备的移动路径捕获多个图像；基于所述多个图像的一个或多个特征来确定关键帧；存储所述关键帧；并且响应于检测到对用于测量所述距离的所述应用程序的所述激活：使用所存储的关键帧中的一个或多个关键帧来确定真实世界点之间的所述距离；以及在应用程序的用户界面中显示距离的表示。

根据一些实施方案，描述了一种非暂态计算机可读存储介质。非暂态计算机可读存储介质存储被配置为由具有相机的电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行以下操作的指令：在检测对用于测量所述电子设备上的真实世界点之间的距离的应用程序的激活之前，通过所述相机沿所述电子设备的移动路径捕获多个图像；基于所述多个图像的一个或多个特征来确定关键帧；存储所述关键帧；并且响应于检测到对用于测量所述距离的所述应用程序的所述激活：使用所存储的关键帧中的一个或多个关键帧来确定真实世界点之间的所述距离；以及在应用程序的用户界面中显示距离的表示。

根据一些实施方案，描述了一种暂态计算机可读存储介质。暂态计算机可读存储介质存储被配置为由具有相机的电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行以下操作的指令：在检测对用于测量所述电子设备上的真实世界点之间的距离的应用程序的激活之前，通过所述相机沿所述电子设备的移动路径捕获多个图像；基于所述多个图像的一个或多个特征来确定关键帧；存储所述关键帧；并且响应于检测到对用于测量所述距离的所述应用程序的所述激活：使用所存储的关键帧中的一个或多个关键帧来确定真实世界点之间的所述距离；以及在应用程序的用户界面中显示距离的表示。

根据一些实施方案，描述了一种电子设备。所述电子设备包括：相机；一个或多个处理器；以及存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行以下操作的指令：在检测对用于测量所述电子设备上的真实世界点之间的距离的应用程序的激活之前，通过所述相机沿所述电子设备的移动路径捕获多个图像；基于所述多个图像的一个或多个特征来确定关键帧；存储所述关键帧；并且响应于检测到对用于测量所述距离的所述应用程序的所述激活：使用所存储的关键帧中的一个或多个关键帧来确定真实世界点之间的所述距离；以及在应用程序的用户界面中显示距离的表示。

根据一些实施方案，描述了一种电子设备。所述电子设备包括：相机；用于在检测对用于测量所述电子设备上的真实世界点之间的距离的应用程序的激活之前通过所述相机沿所述电子设备的移动路径捕获多个图像的装置；用于基于所述多个图像的一个或多个特征来确定关键帧的装置；用于存储所述关键帧的装置；以及用于响应于检测到对用于测量距离的应用程序的激活进行以下操作的装置：使用所存储的关键帧中的一个或多个关键帧来确定真实世界点之间的距离；以及在应用程序的用户界面中显示距离的表示。

根据一些实施方案，描述了一种在具有相机的电子设备处执行的方法。所述方法包括：在检测使用所述电子设备上的应用程序测量真实世界点之间的距离的请求之前，通过所述相机沿所述电子设备从第一位置到第二位置的移动路径捕获多个图像，其中所述第一位置对应于当所述应用程序在所述电子设备上被激活时所述电子设备的位置；基于所述多个图像的一个或多个特征来确定关键帧；存储所述关键帧；并且响应于检测到测量距离的请求：使用所存储的关键帧中的一个或多个关键帧来确定真实世界点之间的距离；以及在应用程序的用户界面中显示距离的表示。

根据一些实施方案，描述了一种非暂态计算机可读存储介质。非暂态计算机可读存储介质存储被配置为由具有相机的电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行以下操作的指令：在检测使用所述电子设备上的应用程序测量真实世界点之间的距离的请求之前，通过所述相机沿所述电子设备从第一位置到第二位置的移动路径捕获多个图像，其中所述第一位置对应于当所述应用程序在所述电子设备上被激活时所述电子设备的位置；基于所述多个图像的一个或多个特征来确定关键帧；存储所述关键帧；并且响应于检测到测量距离的请求：使用所存储的关键帧中的一个或多个关键帧来确定真实世界点之间的距离；以及在应用程序的用户界面中显示距离的表示。

根据一些实施方案，描述了一种暂态计算机可读存储介质。暂态计算机可读存储介质存储被配置为由具有相机的电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行以下操作的指令：在检测使用所述电子设备上的应用程序测量真实世界点之间的距离的请求之前，通过所述相机沿所述电子设备从第一位置到第二位置的移动路径捕获多个图像，其中所述第一位置对应于当所述应用程序在所述电子设备上被激活时所述电子设备的位置；基于所述多个图像的一个或多个特征来确定关键帧；存储所述关键帧；并且响应于检测到测量距离的请求：使用所存储的关键帧中的一个或多个关键帧来确定真实世界点之间的距离；以及在应用程序的用户界面中显示距离的表示。

根据一些实施方案，描述了一种电子设备。所述电子设备包括：相机；一个或多个处理器；以及存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行以下操作的指令：在检测使用所述电子设备上的应用程序测量真实世界点之间的距离的请求之前，通过所述相机沿所述电子设备从第一位置到第二位置的移动路径捕获多个图像，其中所述第一位置对应于当所述应用程序在所述电子设备上被激活时所述电子设备的位置；基于所述多个图像的一个或多个特征来确定关键帧；存储所述关键帧；并且响应于检测到测量距离的请求：使用所存储的关键帧中的一个或多个关键帧来确定真实世界点之间的距离；以及在应用程序的用户界面中显示距离的表示。

根据一些实施方案，描述了一种电子设备。所述电子设备包括：相机；用于在检测使用所述电子设备上的应用程序测量真实世界点之间的距离的请求之前通过所述相机沿所述电子设备从第一位置到第二位置的移动路径捕获多个图像的装置，其中所述第一位置对应于当所述应用程序在所述电子设备上被激活时所述电子设备的位置；用于基于所述多个图像的一个或多个特征来确定关键帧的装置；用于存储所述关键帧的装置；以及用于响应于检测到测量距离的请求进行以下操作的装置：使用所存储的关键帧中的一个或多个关键帧来确定真实世界点之间的距离；以及在应用程序的用户界面中显示距离的表示。

附图说明

为了更好地理解各种所述实施方案，应该结合以下附图参考下面的具体实施方式，在附图中，类似的附图标号在所有附图中指示对应的部分。

图1a至图1g和图2a至图2i示出了根据一些实施方案的用于使电子设备能够提供测量的示例性技术。

图3a至图3f示出了根据一些实施方案的用于使电子设备能够提供测量的另一示例性技术。

图4为示出根据一些实施方案的用于使电子设备能够提供测量的方法的流程图。

图5为示出根据一些实施方案的用于使电子设备能够提供测量的另一方法的流程图。

具体实施方式

本文描述了使得具有相机的电子设备(诸如智能电话或可穿戴设备)自动提供真实世界环境的测量(具体地，物理空间和其中的对象的测量)的各种技术。

图1a至图1g示出了根据一些实施方案的用于使电子设备100能够提供测量的示例性技术。电子设备100包括显示器102(例如，与触敏表面集成在一起)和相机104(例如，位于设备上，使得当设备被用户保持在自然位置时，相机的视场正指向远离设备的用户)。在一些实施方案中，电子设备100是智能电话或平板电脑。在一些实施方案中，电子设备100是可穿戴电子设备(例如，智能手表、智能眼镜)。

图1a示出了在物理位置108(例如，房间)握持电子设备100的用户106。物理位置108包括多个对象，包括对象110(例如，办公桌)、对象112(例如，椅子)、对象114(例如，马克杯)、对象116(例如，鼠标)和对象118(例如，膝上型计算机)。尽管图1a至图1g中所示的物理位置为室内房间，但物理位置也可以是用户可在其中使用设备的真实世界环境内的任何位置(例如，室内位置、室外位置)。在图1a中，用户106正握持电子设备100(例如，处于自然位置，使得用户可轻松且舒适地查看显示器102并导航显示在显示器102上的内容)。

图1b示出了如在图1a中最先示出的，当用户106处于物理位置108并将设备保持在自然位置时，在显示器102上显示用户界面120的电子设备100。如图1b所示，用户界面120是电子设备的操作系统的主要用户界面的主页用户界面，并且包括对应于安装在设备上的各种应用程序的多个应用程序图标122a-122d。在一些实施方案中，当显示用户界面120时，电子设备100的操作系统正在设备的后台执行一个或多个打开的应用程序，使得对应于这些应用程序的用户界面当前不显示在显示器上。在其他示例中，电子设备100可正在显示安装在设备上的第三方应用程序(而不是第一方应用程序)的用户界面。

如本文所用，术语“打开的应用程序”或“执行应用程序”是指具有保留状态信息的应用程序，并且任选地是以下三种类型的应用程序中的任一种：(1)“活动应用程序”或“激活的应用程序”，这些应用程序当前显示在正在使用这些应用程序的设备的显示器上；(2)“后台应用程序”(或后台进程)，这些应用程序当前未显示但这些应用程序的一个或多个进程正由设备的一个或多个处理器处理；以及(3)“暂停的应用程序”或“休眠的应用程序”，这些应用程序当前未运行但具有被存储在存储器(易失性的或非易失性的)中并可用于恢复应用程序的执行的状态信息。

还如本文所用，术语“关闭的应用程序”是指不具有保留状态信息的应用程序(即，用于关闭的应用程序的状态信息不被存储在设备的存储器中)。因此，关闭应用程序包括停止和/或移除应用程序的应用程序进程以及从设备的存储器移除应用程序的状态信息。一般来讲，当在第一应用程序中时，打开第二应用程序并不关闭第一应用程序。在显示第二应用程序并且第一应用程序停止显示时，第一应用程序变为后台应用程序。

在图1b中，在显示用户界面120时，电子设备100检测(例如，经由设备的触敏表面)对与用于测量真实世界环境内的距离的应用程序对应的应用程序图标122b的用户选择。为了简单起见，用于测量真实世界环境内的距离的应用程序在下文中称为测量应用程序。

响应于检测到对与测量应用程序对应的应用程序图标122b的用户选择，电子设备100在设备上激活测量应用程序(并且因此设备在显示器102上显示测量应用程序的用户界面)以显示测量应用程序的用户界面124(图1c)。例如，如果测量应用程序已关闭，则电子设备100通过打开测量应用程序并显示测量应用程序的用户界面124来激活测量应用程序。如果测量应用程序已在后台或被暂停，则电子设备100通过显示测量应用程序的用户界面124来激活测量应用程序。如图1c所示，电子设备100在用户界面124中显示物理位置108的区域的实时馈送图像126，其中实时馈送图像126正被相机104捕获并且对应于相机104的视场内的物理位置108的区域。另外，在一些实施方案中，响应于检测到测量应用程序的激活，电子设备100自动开始通过相机104捕获(例如，不向用户提供反馈，由此使得设备是否正在捕获对用户是不可见的)在相机104的视场内的物理位置108的区域的多个图像。

在图1c至图1e中，用户106将电子设备100从其在图1b中的位置(在测量应用程序被激活时)移动到图1e中的位置，在图1e中的位置处，对象118(例如，膝上型计算机)在相机104的视场内。在图1c至图1e中的电子设备100的移动期间，在设备被用户从其在图1b中的位置移动到其在1e中的位置，电子设备100继续通过相机104沿设备的移动路径自动捕获(例如，不向用户提供反馈，由此使得设备是否正在捕获对用户是不可见的)多个图像。

响应于(例如，并且在)沿设备的移动路径(例如，图1c至图1e中的设备的移动路径)捕获多个图像，电子设备100基于所捕获图像的一个或多个特征来确定(例如，选择)来自所捕获图像的关键帧(例如，基于图像的一个或多个特征来筛选所捕获图像以确定/识别关键帧)。响应于确定关键帧，电子设备100存储(例如，在存储缓冲器中)关键帧(例如，预定数量的关键帧)。在一些实施方案中，如果设备已存储(例如，在存储缓冲器中)预定义的最大数量的关键帧(例如，11个关键帧)，则电子设备100将最旧的所存储关键帧替换为新确定的关键帧。

在一些实施方案中，用于确定(例如，选择、识别)来自所捕获图像的关键帧的一个或多个特征包括设备在所确定的关键帧之间的移动(例如，使用设备的加速度计确定/检测)的量(例如，距离、角距离、旋转)。例如，如果设备在第一捕获图像和第二捕获图像的捕获之间的移动量至少为预定义的量，则电子设备100选择多个捕获图像中的第一捕获图像作为第一关键帧，并选择多个捕获图像中的第二捕获图像作为第二关键帧。

在一些实施方案中，用于确定(例如，选择、识别)来自所捕获图像的关键帧的一个或多个特征包括所捕获图像的图像质量(例如，所捕获图像的一个或多个视觉上显著属性或所捕获图像的视觉上显著属性的加权组合是否满足特定阈值)。例如，如果第一捕获图像满足图像质量标准，则电子设备100选择多个捕获图像中的第一捕获图像，但如果第二捕获图像未满足图像质量标准，则电子设备放弃选择多个捕获图像中的第二捕获图像。

在一些实施方案中，用于确定(例如，选择、识别)来自所捕获图像的关键帧的一个或多个特征包括图像的亮度/照度水平，其中亮度/照度水平基于从所捕获图像提取的数据来确定。例如，如果从第一捕获图像提取的亮度/照度数据满足阈值标准，则电子设备100选择多个捕获图像中的第一捕获图像，但如果第二捕获图像未满足阈值标准，则电子设备放弃选择多个捕获图像的第二捕获图像。

在已基于从其在图1b中的位置到其在图1e中的位置的移动路径进行移动之后，在图1e中，用户106将电子设备100的相机104指向对象118的方向。在指向对象118的方向时，电子设备100在用户界面124中显示包括对象118的实时馈送图像126。

在用户界面124中显示包括对象118的实时馈送图像126时，电子设备100检测使用测量应用程序来测量距离的请求(例如，与实时馈送图像中所示的对象诸如对象118内的点对应的真实世界点之间的距离)。在一些实施方案中，测量距离的请求包括对测量应用程序的用户界面124内对应于真实世界点的一个或多个点(例如，要测量在其间距离的两个端点)的用户选择，如下文参考图1e至图1f所述。在一些实施方案中，测量距离的请求包括对各种图标(例如，应用程序图标)、示能表示和/或控件的用户选择。

在图1e中，在显示包括对象118的实时馈送图像126时，电子设备100检测(例如，经由设备的触敏表面)对实时馈送图像126中与对象118的真实世界第一测量点130(例如，对象的拐角、边缘、区段、部分)对应的第一选择点128的用户选择。

响应于检测到对与对象118的第一测量点130对应的第一选择点128的用户选择，电子设备100将对象118的第一测量点130设定(例如，定义、指定)为测量的第一端点。在一些实施方案中，响应于检测到对第一选择点128的用户选择，电子设备100在用户界面124中显示对第一选择点128的用户选择的指示132，如图1f所示。

在图1f中，在仍显示包括对象118的实时馈送图像126时，电子设备100检测(例如，经由显示器的触敏表面)对实时馈送图像126中与对象118的另一真实世界第二测量点136(例如，对象的不同拐角、不同边缘、不同区段、不同部分)对应的第二选择点134的用户选择。

响应于检测到对与对象118的第二测量点136对应的第二选择点134的用户选择，电子设备100将对象118的第二测量点136设定(例如，定义、指定)为测量的第二端点。在一些实施方案中，响应于检测到对第二选择点134的用户选择，电子设备100在用户界面124中显示对第二选择点134的用户选择的指示138，如图1g所示。

在图1g中，响应于检测到测量距离的请求(例如，响应于检测到对第一选择点128的用户选择(对应于对象118的第一测量点130)和对第二选择点134的用户选择(对应于对象118的第二测量点136))，电子设备100使用所存储的关键帧中的一个或多个关键帧来确定(例如，生成、计算)对应于第一选择点和第二选择点的测量值(例如，对象118的第一测量点130和第二测量点136之间的真实世界直线距离)。例如，如果第一测量点130对应于对象118的第一拐角并且第二测量点136对应于对象118的第二拐角，其中两个拐角由直边缘连接，则电子设备100提供第一测量点130和第二测量点136之间的对应于边缘长度的直线距离。在一些实施方案中，电子设备100响应于检测到测量距离的请求(例如，响应于检测到对第二选择点134的用户选择)而停止捕获多个图像。

在一些实施方案中，电子设备100仅使用来自由设备在检测到对测量应用程序的激活时和在设备上检测到测量距离的请求时之间的设备的移动路径期间所捕获的图像的关键帧。在一些实施方案中，提供测量包括在实时馈送图像126中显示对象118的所选择部分之间的测量的表示140，如图1g所示，其中测量的表示140包括测量的数值142。

在一些实施方案中，使用所存储的关键帧中的一个或多个关键帧来确定对应于真实世界对象的所选择部分的测量(例如，在对象118的第一测量点130和第二测量点136之间)涉及将能够检测由所存储的关键帧所捕获的物理位置108的区域中的真实世界对象(例如，对象118)的机器学习技术与使用关键帧提取真实世界对象的三维特征点(例如，使用从关键帧中所提取的像素信息)的技术相结合。在一些实施方案中，电子设备100继而使用所提取的对象(例如，对象118)的特征点来自动确定(例如，限定)用于确定所请求的测量的对象的边界体。在一些实施方案中，跟踪测量(例如，在对象118的第一测量点130和第二测量点136之间的测量)在真实世界的物理位置中的放置涉及跟踪所请求的测量的视图矢量和表面平面的交叉点。

在一些实施方案中，电子设备100在检测到对用于测量的一个或多个点(例如，第一选择点128、第二选择点134)的用户选择之后继续通过相机104自动捕获多个图像，并且基于所捕获图像的一个或多个特征来确定新的关键帧(例如，以不断更新存储缓冲器中所存储的关键帧)。真实世界数据的这种连续收集使得电子设备100能够实时地细化测量，以提高测量的准确性。

图2a示出了在物理位置202(例如，室外运动场)握持电子设备100的用户106。物理位置202包括多个对象，包括对象204(例如，滑梯)和对象206(例如，树)。

图2b示出了在用户106将设备保持在自然位置时的电子设备100。电子设备100正在显示器102上显示在设备上活动的应用程序(例如，地图应用程序)的用户界面226，其中对应于用户界面226的应用程序不是测量应用程序。在一些实施方案中，应用程序是第三方应用程序而不是第一方应用程序。

在一些实施方案中，在显示用户界面226(例如，地图应用程序的用户界面)时，电子设备100检测涉及导航至设备的主页用户界面(例如，主页用户界面120)的用户输入(例如，设备的主页按钮上的用户输入)。响应于检测到涉及导航至主页用户界面的用户输入，电子设备100在显示器102上显示主页用户界面(并且停止显示用户界面226)。在一些实施方案中，在显示主页用户界面时，电子设备100检测对与测量应用程序对应的应用程序图标(例如，应用程序图标122b)的用户选择。响应于检测到对与主页用户界面上的测量应用程序对应的应用程序图标的用户选择，电子设备100通过在显示器102上显示测量应用程序的用户界面124来激活测量应用程序(并停止显示主页用户界面)。

另选地，在一些实施方案中，如下文参考图2f至图2g更详述的，在显示用户界面226(例如，地图应用程序的用户界面)时，电子设备100检测涉及选择要在显示器上查看的不同应用程序的用户输入。在一些实施方案中，响应于检测到涉及选择要在显示器上查看的不同应用程序的用户输入，电子设备100在显示器102上显示对应于当前在设备上执行的应用程序的多个用户界面项目，包括与用户界面226(例如，地图应用程序的用户界面)对应的用户界面项目和与测量应用程序(其已在设备上执行)的用户界面124对应的用户界面项目。在一些实施方案中，在显示多个用户界面项目时，电子设备100检测对与测量应用程序的用户界面124对应的用户界面项目的用户选择。响应于检测到对与测量应用程序的用户界面124对应的用户界面项目的用户选择，电子设备100通过在显示器102上显示测量应用程序的用户界面124来激活测量应用程序(并且停止显示多个用户界面项目)。

在一些实施方案中，电子设备100在检测对测量应用程序的激活之前通过相机104捕获多个图像，如参考图2b至图2e所述。在图2b至图2e中，当电子设备100正在显示器102上显示用户界面226(例如，地图应用程序的用户界面)时，用户106将电子设备100从其在自然位置处的位置(例如，在图2b中)移动到其中对象204(例如，滑梯)在相机104的视场内的不同位置(例如，在图2e中)。

当电子设备100从其在图2b中的位置移动到其在图2e中的位置时，设备通过相机104沿设备的移动路径自动捕获(例如，不向用户提供反馈，由此使得设备是否正在捕获对用户是不可见的)多个图像。在一些实施方案中，电子设备100在被定位在其在图2b中的位置之前，自动捕获多个图像。在一些实施方案中，电子设备100在被定位在其在图2e中的位置之后，继续自动捕获多个图像。在一些实施方案中，当设备从其在图2b中的位置移动到其在图2e中的位置时，在设备上打开/执行测量应用程序(作为后台应用程序)。在一些实施方案中，当设备从其在图2b中的位置移动到其在图2e中的位置时，在设备上关闭测量应用程序；因此，在一些实施方案中，在未在设备上打开/执行测量应用程序的情况下捕获多个图像。

如上文最先参考图1a至图1g所述的，响应于(例如，并且在)捕获多个图像，电子设备100基于所捕获图像的一个或多个特征来确定(例如，选择)来自所捕获图像的关键帧(例如，基于图像的一个或多个特征来筛选所捕获图像以确定/识别关键帧)并存储(例如，在存储缓冲器中)关键帧(例如，预定数量的关键帧)。用于确定关键帧而捕获的一个或多个特征的示例在上文参考图1a至图1g所述，并且为了简单起见，本文不再重复。

在图2e中，在显示用户界面226(例如，地图应用程序的用户界面)时，用户106将电子设备100的相机104指向对象204。在显示用户界面226时，电子设备100检测涉及选择要在显示器上查看的不同应用程序的用户输入。如图2f所示，响应于检测到涉及选择要在显示器上查看的不同应用程序的用户输入，电子设备100在显示器102上显示对应于当前在设备上执行的应用程序的多个用户界面项目，包括与在图2e中活动的应用程序(例如，地图应用程序)的用户界面226对应的用户界面项目228和与之前且当前仍正在设备上执行的测量应用程序的用户界面124对应的用户界面项目230。在显示多个用户界面项目时，电子设备检测对与测量应用程序的用户界面124对应的用户界面项目228的用户选择，如图2f所示。

在图2g中，响应于检测到对与测量应用程序对应的用户界面228的用户选择，电子设备100通过在显示器102上显示测量应用程序的用户界面124来激活测量应用程序。如图2g所示，用户界面124包括对相机104的视场的实时馈送图像208的显示，其中实时馈送图像包括对象204。在一些实施方案中，响应于检测到测量应用程序的激活，并且在显示测量应用程序的用户界面124时，电子设备100继续自动捕获多个图像。

在用户界面124中显示包括对象204的实时馈送图像208时，电子设备100检测使用测量应用程序来测量距离的请求(例如，与实时馈送图像中所示的对象诸如对象204内的点对应的真实世界点之间的距离)。在一些实施方案中，测量距离的请求包括对用户界面124内对应于真实世界点的一个或多个点的用户选择，如在上文中最先参考图1e至图1f所述并且在下文中再次参考图2g至图2h所述的。

在图2g中，在显示实时馈送图像208时，电子设备100检测(例如，经由设备的触敏表面)对实时馈送图像208中与对象204的真实世界第一测量点212(例如，对象的拐角、边缘、区段、部分)对应的第一选择点210的用户选择。

响应于检测到对与对象204的第一测量点212对应的第一选择点210的用户选择，电子设备100将对象204的第一测量点212设定(例如，定义、指定)为测量的第一端点。在一些实施方案中，响应于检测到对第一选择点210的用户选择，电子设备100在用户界面124中显示对第一选择点210的用户选择的指示214，如图2h所示。

在图2h中，在仍显示包括对象204的实时馈送图像208时，电子设备100检测(例如，经由显示器的触敏表面)对实时馈送图像208中与对象204的真实世界第二测量点218(例如，对象的不同拐角、不同边缘、不同区段、不同部分)对应的第二选择点216的用户选择。

响应于检测到对与对象204的第二测量点218对应的第二选择点216的用户选择，电子设备100将对象204的第二测量点218设定(例如，定义、指定)为测量的第二端点。在一些实施方案中，响应于检测到对第二选择点216的用户选择，电子设备100在用户界面124中显示对第二选择点216的用户选择的指示220，如图2i所示。

在图2i中，响应于检测到测量距离的请求(例如，响应于检测到对第一选择点210的用户选择(对应于对象204的第一测量点212)和对第二选择点216的用户选择(对应于对象204的第二测量点218))，电子设备100使用所存储的关键帧中的一个或多个关键帧来确定(例如，生成、计算)对应于第一选择点和第二选择点的测量值(例如，在对象204的第一测量点212和第二测量点218之间的真实世界直线距离)。换句话讲，在一些实施方案中，电子设备100仅使用在检测到设备上的测量距离的请求之前由设备捕获的图像的关键帧。上文参考图1a至图1g更详细地描述了使用存储的关键帧来确定测量，并且为了简单起见，本文不再重复。

响应于确定对应于第一选择点和第二选择点的测量，电子设备100提供测量。在一些实施方案中，提供测量包括电子设备100在实时馈送图像208中显示对象204的所选择部分之间的测量的表示222，如图2i所示，其中测量的表示222包括测量的数值224。

图3a示出了在物理位置302(例如，室内区域，诸如房间或走廊)处的用户106。物理位置302包括墙壁304和放置在墙壁304上的对象306(例如，肖像)。在图3a中，用户106在物理位置302时握持电子设备100(例如，处于自然位置，使得用户可轻松且舒适地查看显示器102并导航在显示器102上示出的内容)。

图3b示出了当用户106处于物理位置302并将设备保持在自然位置时，在显示器102上显示用户界面120的电子设备100。在图3b中，在显示用户界面120时，电子设备100检测(例如，经由设备的触敏表面)对与测量应用程序对应的应用程序图标122b的用户选择。

在图3c中，响应于检测到对与测量应用程序对应的应用程序图标122b的用户选择，电子设备100通过在显示器102上显示测量应用程序的用户界面124来激活测量应用程序。

如图3c所示，用户界面124包括物理位置302的区域的实时馈送图像308，其中实时馈送图像308正被相机104捕获并且对应于相机104的视场内的物理位置302的区域。在一些实施方案中，响应于检测到测量应用程序的激活，电子设备100开始通过相机104自动捕获(例如，不向用户提供反馈，由此使得设备是否正在捕获对用户是不可见的)在相机104的视场内的物理位置302的区域的多个图像。

在图3c至图3e中，用户106将电子设备100从其在图3b中的位置(在测量应用程序被激活时)移动到图3e中的其中墙壁304在相机104的视场内(例如，完全在相机的视场的视图内，使得墙壁的所有四个角在实时馈送图像308内可见)的位置。在图3c至图3e中的电子设备100的移动期间，在设备被用户106从其在图3b中的位置移动到其在3e中的位置，电子设备100继续通过相机104沿设备的移动路径自动捕获(例如，不向用户提供反馈，由此使得设备是否正在捕获对用户是不可见的)多个图像。

如上文最先参考图1a至图1g所述的，在沿设备的移动路径(例如，图3c至图3e中的设备的移动路径)捕获多个图像期间或在此之后，电子设备100基于所捕获图像的一个或多个特征来确定(例如，选择)来自所捕获图像的关键帧(例如，基于图像的一个或多个特征来筛选所捕获图像以确定/识别关键帧)并存储(例如，在存储缓冲器中)关键帧(例如，预定数量的关键帧)。用于确定关键帧而捕获的一个或多个特征的示例在上文参考图1a至图1g所述，并且为了简单起见，本文不再重复。

在跟随从其在图3b中的位置到其在图3e中的位置的移动路径之后，用户106将电子设备100的相机104指向墙壁304的方向。作为响应，电子设备100在用户界面124中显示包括墙壁304(例如，包括墙壁304的所有四个侧面)的实时馈送图像308。

在一些实施方案中，响应于或在检测到(例如，使用利用从所存储的关键帧提取的三维特征点检测物理位置内的真实世界对象的机器学习技术)当测量应用程序被显示在显示器102上时，墙壁304位于相机104的视场内，电子设备100自动确定对应于墙壁304的一个或多个测量值(例如，墙壁尺寸的布局，诸如墙壁的水平长度和竖直长度；悬挂在墙壁上的对象306的尺寸，诸如对象306的水平长度和竖直长度；从墙壁304的边缘到对象306的边缘的距离)。

在一些实施方案中，电子设备100还在用户界面124中自动显示对应于墙壁304的一个或多个测量值(例如，墙壁的测量布局310)，如图3f所示。如上文参考图1a至图1g更详细描述的，电子设备100使用在设备从其在图3b中的初始位置(当测量应用程序被激活时)到其在图3f中的当前位置(当设备的相机指向墙壁时)的移动路径期间所捕获的存储关键帧来确定对应于墙壁304的一个或多个测量值。因此，在一些实施方案中，在未检测到对测量的用户请求或具体请求测量的用户输入的情况下或在检测到此之前，测量应用程序提供对象的一个或多个测量值(例如，在检测到或确定对象的存在时)。

图4为示出根据一些实施方案的用于使电子设备(例如，100)能够提供测量的方法的流程图。电子设备具有相机(例如，104)。在一些实施方案中，电子设备还具有显示器(例如，102)和一个或多个输入设备(例如，触敏表面)。

在检测到用于测量电子设备(例如，100)上的真实世界点(例如，130、136、212、218)之间的距离的应用程序(例如，测量应用程序)的激活之前，电子设备通过相机(例如，104)沿电子设备的移动路径捕获(例如，在框402处)多个图像。在一些实施方案中，电子设备(例如，100)的移动路径包括电子设备在三维平面中沿x方向和y方向的移动。

电子设备(例如，100)基于多个图像的一个或多个特征来确定(例如，在框404处)关键帧。在一些实施方案中，基于多个图像的一个或多个特征来确定关键帧包括电子设备基于一个或多个特征选择多个图像中的一个或多个图像作为关键帧。

在一些实施方案中，一个或多个特征包括电子设备(例如，100)在电子设备的对应于多个图像中的第一图像的位置与电子设备的对应于多个图像中的第二图像的位置之间的移动量。在一些实施方案中，一个或多个特征包括多个图像中的第一图像的图像质量。在一些实施方案中，一个或多个特征包括多个图像中的第一图像的亮度水平。

电子设备(例如，100)存储(例如，在框406处)关键帧(例如，在设备的存储缓冲器中)。

在一些实施方案中，在检测到对应用程序(例如，测量应用程序)的激活之前，电子设备(例如，100)基于关键帧确定特征点，其中特征点识别在关键帧中所捕获的对象(例如，118、204、304)，并且其中真实世界点(例如，130、136、212、218)对应于对象上的点。在一些实施方案中，电子设备基于关键帧确定特征点，并同时确定真实世界点之间的距离(例如，响应于检测到对应用程序的激活)。

在一些实施方案中，电子设备(例如，100)检测(例如，在框408处)对用于测量距离的应用程序(例如，测量应用程序)的激活。

响应于检测到对用于测量距离的应用程序(例如，测量应用程序)的激活，电子设备(例如，100)使用所存储的关键帧中的一个或多个关键帧来确定(例如，在框410处)真实世界点(例如，130、136、212、218)之间的距离。

响应于检测到对用于测量距离的应用程序(例如，测量应用程序)的激活，电子设备(例如，100)在应用程序的用户界面(例如，124)中显示(例如，在框412处)该距离的表示(例如，140、142、222、224、310)。

在一些实施方案中，还响应于检测到对用于测量距离的应用程序(例如，测量应用程序)的激活，电子设备(例如，100)检测对用户界面(例如，124)中的第一测量点(例如，128、210)和第二测量点(例如，134、216)的选择，其中第一测量点对应于真实世界环境中的真实世界点中的第一真实世界点(例如，130、212)并且第二测量点对应于真实世界环境中的真实世界点中的第二真实世界点(例如，136、218)，并且其中确定真实世界点之间的距离包括确定第一真实世界点与第二真实世界点之间的距离。

在一些实施方案中，在使用所存储的关键帧中的一个或多个关键帧来确定真实世界点(例如，130、136、212、218)之间的距离之后，电子设备(例如，100)通过相机(例如，104)沿电子设备的第二移动路径捕获第二多个图像。在一些实施方案中，电子设备基于第二多个图像的一个或多个特征来确定新的关键帧。在一些实施方案中，电子设备存储新的关键帧。在一些实施方案中，使用所存储的新关键帧中的一个或多个关键帧来确定真实世界点之间的更新的距离。在一些实施方案中，电子设备在应用程序(例如，测量应用程序)的用户界面(例如，124)中显示更新的距离的表示。

图5为示出根据一些实施方案的用于使电子设备(例如，100)能够提供测量的另一方法的流程图。电子设备具有相机(例如，104)。在一些实施方案中，电子设备还具有显示器(例如，102)和一个或多个输入设备(例如，触敏表面)。

在检测使用电子设备(例如，100)上的应用程序(例如，测量应用程序)测量真实世界点(例如，130、136、212、218)之间的距离的请求之前，电子设备通过相机(例如，104)沿电子设备从第一位置到第二位置的移动路径捕获(例如，在框502处)多个图像，其中第一位置对应于当应用程序在电子设备上被激活(从而使得设备显示应用程序的用户界面(例如，124))时电子设备的位置。

在一些实施方案中，第二位置对应于当在电子设备上检测到测量距离的请求时电子设备(例如，100)的位置。在一些实施方案中，电子设备(例如，100)从第一位置到第二位置的移动路径包括电子设备在三维平面中沿x方向和y方向的移动。

在一些实施方案中，当应用程序未在电子设备上被激活时，电子设备(例如，100)显示与应用程序(例如，测量应用程序)不对应的第二用户界面(例如，120)。在一些实施方案中，当应用程序在电子设备上被激活时，电子设备显示应用程序的用户界面(例如，124)。

电子设备(例如，100)基于多个图像的一个或多个特征来确定(例如，在框504处)关键帧。在一些实施方案中，基于多个图像的一个或多个特征来确定关键帧包括电子设备基于一个或多个特征选择多个图像中的一个或多个图像作为关键帧。

在一些实施方案中，一个或多个特征包括电子设备(例如，100)在电子设备的对应于多个图像中的第一图像的位置与电子设备的对应于多个图像中的第二图像的位置之间的移动量。在一些实施方案中，一个或多个特征包括多个图像中的第一图像的图像质量。在一些实施方案中，一个或多个特征包括多个图像中的第一图像的亮度水平。

电子设备(例如，100)存储(例如，在框506处)关键帧(例如，在设备的存储缓冲器中)。

在一些实施方案中，在检测测量距离的请求之前，电子设备(例如，100)基于关键帧确定特征点，其中特征点识别在关键帧中所捕获的真实世界对象(例如，118、204、304)，并且其中真实世界点(例如，130、136、212、218)对应于真实世界对象上的点。

在一些实施方案中，电子设备(例如，100)检测(例如，在框508处)测量距离的请求。在一些实施方案中，检测测量距离的请求包括电子设备检测对应用程序(例如，测量应用程序)的用户界面中的测量点(例如，第一测量点和第二测量点)的选择，其中用户界面(例如，124)中的测量点对应于真实世界环境(例如，108、202、302)中的真实世界点(例如，130、136、212、218)中的第一真实世界点。

响应于检测到测量距离的请求，电子设备(例如，100)使用所存储的关键帧中的一个或多个关键帧来确定(例如，在框510处)真实世界点(例如，130、136、212、218)之间的距离。

响应于检测到测量距离的请求，电子设备(例如，100)在应用程序(例如，测量应用程序)的用户界面(例如，124)中显示(例如，在框512处)该距离的表示(例如，140、142、222、224、310)。

在一些实施方案中，在使用所存储的关键帧中的一个或多个关键帧来确定真实世界点(例如，130、136、212、218)之间的距离之后，电子设备(例如，100)通过相机(例如，104)沿电子设备的第二移动路径捕获第二多个图像。在一些实施方案中，电子设备基于第二多个图像的一个或多个特征来确定新的关键帧。在一些实施方案中，电子设备存储新的关键帧。在一些实施方案中，电子设备使用所存储的新关键帧中的一个或多个关键帧来确定真实世界点之间的更新的距离。在一些实施方案中，电子设备在应用程序(例如，测量应用程序)的用户界面(例如，124)中显示更新的距离的表示。

出于解释的目的，前面的描述是通过参考具体实施方案来描述的。然而，上面的例示性论述并非旨在是穷尽的或将本发明限制为所公开的精确形式。例如，可穿戴设备可以是智能手表、耳机、一副眼镜等。根据以上教导内容，很多修改形式和变型形式都是可能的。选择并描述这些实施方案是为了最好地解释这些技术的原理及其实际应用程序。本领域的其他技术人员由此能够最好地利用这些技术以及具有适合于所预期的特定用途的各种修改的各种实施方案。

虽然参照附图对本公开以及示例进行了全面的描述，但应当注意，各种变化和修改对于本领域内的技术人员而言将变得显而易见。应当理解，此类变化和修改被认为被包括在由权利要求书所限定的本公开和示例的范围内。

如上所述，本技术的一个方面在于采集和使用图像数据以使用电子设备上的应用程序来提供测量。实现这些特征的实体应注意区分设备上正在进行的图像处理与在设备之外传输的信息。本公开设想，可使用本地处理来提供测量信息，这意味着拍摄的用户的附近环境图像不会被设备传输到远程服务器。

在实施上述技术的实体选择传输由设备拍摄的作为设备之外的测量活动的一部分的图像的情况下，此类实体应主动地向其用户通知可能的数据传输，并通知用户选择“选择加入”或“选择退出”使得当相关应用程序(例如，测量应用程序)未处于活动状态时允许设备捕获和/或处理图像数据。

因此，虽然本公开广义地涵盖了使用相机图像进行测量活动的使用，但本公开还设想所捕获的图像本质上是短暂的。