用于在增强现实环境中添加效果的系统、方法和图形用户界面与流程

本发明整体涉及用于虚拟/增强现实的计算机系统，包括但不限于产生虚拟/增强现实环境的电子设备。

背景技术：

1、近年来，用于虚拟/增强现实的计算机系统的发展显著增加。但用于与包括至少一些虚拟元素的环境(例如，增强现实环境、混合现实环境和虚拟现实环境)进行交互的方法和界面麻烦且低效。

2、使用增强现实添加虚拟效果的常规方法不智能地确定物理环境的表面和对象，使得虚拟效果被显示为随着增强现实设备的位置的改变而与物理环境的各个部分交互。在一些情况下，显示虚拟效果的常规方法不考虑物理环境内的个体，使得虚拟效果基于物理环境的各个静止部分以及个体的特征来动态地更新。另外，这些方法花费比必要时间更长的时间，从而浪费能量和/或产生与由设备或计算机系统的一个或多个相机产生的物理环境的“实况视图”未良好同步的虚拟效果。能源使用的考虑在电池驱动的设备中是特别重要的。

技术实现思路

1、因此，需要具有用于使用增强现实环境显示虚拟效果的更快速、更有效的方法和界面的计算机系统。此类方法和界面减少了来自用户的输入的数量、程度、和/或性质，并且产生更有效的人机界面。对于电池驱动设备，此类方法和界面可节省用电并且增加两次电池充电之间的时间。

2、通过所公开的计算机系统减小或消除了与用于虚拟/增强现实的用户界面相关联的上述缺陷和其他问题。在一些实施方案中，计算机系统包括台式计算机。在一些实施方案中，计算机系统是便携式的(例如，笔记本电脑、平板电脑或手持设备)。在一些实施方案中，计算机系统包括个人电子设备(例如，可穿戴电子设备，诸如手表)。在一些实施方案中，计算机系统具有触控板(和/或与触控板通信)。在一些实施方案中，计算机系统具有触敏显示器(也称为“触摸屏”或“触摸屏显示器”)或显示生成部件(和/或与触敏显示器或显示生成部件通信)。在一些实施方案中，计算机系统具有图形用户界面(gui)、一个或多个处理器、存储器和一个或多个模块、存储在存储器中用于执行多个功能的程序或指令集。在一些实施方案中，用户部分地通过触笔和/或手指接触以及触敏表面上的手势来与gui进行交互。在一些实施方案中，这些功能任选地包括玩游戏、图像编辑、绘图、演示、文字处理、电子表格制作、接打电话、视频会议、收发电子邮件、即时消息通信、健身支持、数字摄影、数字视频录制、网页浏览、数字音乐播放、记笔记和/或数字视频播放。用于执行这些功能的可执行指令任选地被包括在被配置用于由一个或多个处理器执行的非暂态计算机可读存储介质或其他计算机程序产品中。

3、根据一些实施方案，在与显示生成部件和一个或多个相机通信的计算机系统处执行一种方法。该方法包括经由该显示生成部件显示该一个或多个相机的视场的表示，该视场的表示包括三维物理环境的位于该一个或多个相机的该视场中的一部分的表示。该方法还包括接收将第一虚拟效果添加到该一个或多个相机的该视场的所显示的表示的请求。该方法包括响应于接收到将该第一虚拟效果添加到该一个或多个相机的该视场的所显示的表示的该请求并且根据确定该第一虚拟效果需要对该物理环境的扫描，发起对该物理环境的扫描以检测该物理环境的一个或多个特征并且显示指示对该物理环境的该扫描的进度的用户界面。

4、根据一些实施方案，在与显示生成部件和一个或多个相机通信的计算机系统处执行一种方法。该方法包括经由该显示生成部件显示该一个或多个相机的视场的表示，该视场的表示包括三维物理环境的位于该一个或多个相机的该视场中的一部分的表示。该方法还包括接收添加虚拟效果的请求。该方法包括响应于接收到添加该虚拟效果的该请求，将该虚拟效果添加到该一个或多个相机的该视场的所显示的表示。该方法包括根据确定人类主体处于该一个或多个相机的该视场内的第一位置处，以第一方式显示该虚拟效果，其中以该第一方式显示该虚拟效果包括显示具有基于以下项而确定的外观的一个或多个虚拟元素：该三维物理环境中与该人类主体分离的一个或多个检测到的表面的位置和/或形状和该人类主体在该物理空间中的该第一位置。该方法还包括根据确定该人类主体处于该一个或多个相机的该视场内的第二位置处，以不同于该第一方式的第二方式显示该虚拟效果，其中以该第二方式显示该虚拟效果包括显示具有基于以下项而确定的外观的一个或多个虚拟元素：该三维物理环境中与该人类主体分离的一个或多个检测到的表面的该位置和/或形状和该人类主体在该物理空间中的该第二位置。

5、根据一些实施方案，一种计算机系统包括显示生成部件(例如，显示器、投影仪、头戴式显示器、平视显示器等)、一个或多个相机(例如，连续地或以固定间隔重复地提供相机视野内的至少一部分内容的实时预览并且任选地生成包括捕获相机视野内的内容的一个或多个图像帧流的视频输出的摄影机)、以及一个或多个输入设备(例如，触敏表面，诸如触敏遥控器，或者也用作显示生成部件的触摸屏显示器、鼠标、操纵杆、棒控制器和/或跟踪用户的一个或多个特征诸如用户的手的位置的相机)、任选的一个或多个姿势传感器、任选的用于检测与触敏表面的接触的强度的一个或多个传感器、任选的一个或多个触觉输出发生器、一个或多个处理器、以及存储一个或多个程序的存储器(并且/或者与这些部件通信)；一个或多个程序被配置为由一个或多个处理器执行，并且一个或多个程序包括用于执行或引起执行本文所述方法中的任一种方法的操作的指令。

6、根据一些实施方案，一种计算机可读存储介质在其中存储有指令，这些指令在由包括显示生成部件、一个或多个相机、一个或多个输入设备、任选的一个或多个姿势传感器、任选的用于检测与触敏表面的接触的强度的一个或多个传感器、以及任选的一个或多个触觉输出发生器(并且/或者与这些部件通信)的计算机系统执行时，使得计算机系统执行本文所述的任一方法的操作或使得本文所述的任一方法的操作被执行。

7、根据一些实施方案，在包括显示生成部件、一个或多个相机、一个或多个输入设备、任选的一个或多个姿势传感器、任选的用于检测与触敏表面的接触的强度的一个或多个传感器、任选的一个或多个触觉输出发生器、存储器、以及用于执行存储在存储器中的一个或多个程序的一个或多个处理器(并且/或者与这些部件通信)的计算机系统上的图形用户界面包括在本文所述的任一方法中显示的一个或多个元素，该一个或多个元素响应于输入而更新，如本文所述的任一方法所述。根据一些实施方案，一种计算机系统包括(并且/或者与以下部件通信)：显示生成部件、一个或多个相机、一个或多个输入设备、任选的一个或多个姿势传感器、任选的用于检测与触敏表面的接触的强度的一个或多个传感器、任选的一个或多个触觉输出发生器、以及用于执行本文所述的任一方法的操作或使得本文所述的任一方法的操作被执行的装置。根据一些实施方案，一种在包括显示生成部件、一个或多个相机、一个或多个输入设备、任选的一个或多个姿势传感器、任选的用于检测与触敏表面的接触的强度的一个或多个传感器、以及任选的一个或多个触觉输出发生器(并且/或者与这些部件通信)的计算机系统中使用的信息处理装置包括用于执行本文所述的任一方法的操作或使得本文所述的任一方法的操作被执行的装置。

8、因此，具有显示生成部件、一个或多个相机、一个或多个输入设备、任选的一个或多个姿势传感器、任选的用以检测与触敏表面的接触的强度的一个或多个传感器和任选的一个或多个触觉输出发生器(和/或与这些部件通信)的计算机系统被设置有用于使用增强现实环境添加虚拟效果的改进的方法和界面，从而提高此类计算机系统的有效性、效率和用户满意度。此类方法和界面可补充或替换用于使用增强现实环境添加虚拟效果的常规方法。