用于与三维环境进行交互的设备、方法和图形用户界面与流程

本公开整体涉及具有显示生成部件和提供计算机生成的现实(cgr)体验的一个或多个输入设备(包括但不限于经由显示器提供虚拟现实和混合现实体验的电子设备)的计算机系统。

背景技术：

1、近年来，用于增强现实的计算机系统的发展显著增加。示例增强现实环境包括至少一些替换或增强物理世界的虚拟元素。用于计算机系统和其他电子计算设备的输入设备(诸如相机、控制器、操纵杆、触敏表面和触摸屏显示器)用于与虚拟/增强现实环境进行交互。示例性虚拟元素包括虚拟对象(包括数字图像、视频、文本、图标、控制元素(诸如按钮)，以及其他图形)。

2、但用于与包括至少一些虚拟元素的环境(例如，应用程序、增强现实环境、混合现实环境和虚拟现实环境)进行交互的方法和界面麻烦、低效且受限。例如，提供用于执行与虚拟对象相关联的动作的不足反馈的系统、需要一系列输入来在增强现实环境中实现期望结果的系统，以及虚拟对象操纵复杂、繁琐且容易出错的系统，会给用户造成巨大的认知负担，并且减损虚拟/增强现实环境的体验感。此外，这些方法花费比所需时间更长的时间，从而浪费能量。这后一考虑在电池驱动的设备中是特别重要的。

技术实现思路

1、因此，需要具有改进的方法和界面的计算机系统来向用户提供计算机生成的体验，从而使得用户与计算机系统的交互对用户来说更高效且更直观。所公开的系统、方法和用户界面减少或消除了与用于计算机系统的用户界面相关联的上述缺陷和其他问题，这些计算机系统具有显示生成部件和一个或多个输入设备。此类系统、方法和界面任选地补充或替换用于向用户提供计算机生成的现实体验的常规系统、方法和用户界面。此类方法和界面通过帮助用户理解所提供的输入与设备对这些输入的响应之间的联系，减少了来自用户的输入的数量、程度和/或性质，从而形成了更有效的人机界面。

2、根据一些实施方案，在与第一显示生成部件和一个或多个第一输入设备通信的计算机系统处执行一种方法。该方法包括经由第一显示生成部件显示三维环境的第一视图，包括在三维环境中的第一位置处显示具有第一表面的第一用户界面对象，其中第一用户界面对象在由满足第一标准的用户输入激活时导致执行第一操作。该方法还包括在三维环境中的第一位置处显示具有第一表面的第一用户界面对象时，检测手部在物理环境中的第一移动，其中在手部的整个第一移动期间，手部在物理环境中的定位在三维环境中具有对应位置，该对应位置与三维环境中的第一位置相距至少第一阈值距离；该方法还包括响应于检测到手部在物理环境中的第一移动：根据确定手部的第一移动满足第二标准并且不满足第一标准，在三维环境中的第一位置处使第一用户界面对象的第一表面变形，而不执行第一操作，其中使第一用户界面对象的第一表面变形包括相对于第一表面的第二部分移动第一表面的第一部分，第一表面的第二部分不同于第一表面的第一部分。

3、根据一些实施方案，在与第一显示生成部件和一个或多个输入设备通信的计算机系统处执行一种方法。该方法包括经由第一显示生成部件显示三维环境的第一视图，包括在三维环境中的第一位置处显示对应于第一操作和不同于第一操作的第二操作的第一用户界面对象。该方法还包括在显示三维环境的第一视图时并且在第一用户界面对象具有输入焦点时，检测第一手指集合相对于手部的连接到第一手指集合的部分的移动。该方法还包括响应于检测到第一手指集合相对于手部的连接到第一手指集合的部分的移动：根据确定第一手指集合相对于手部的连接到第一手指集合的部分的移动满足第一标准，其中第一标准要求第一手指集合相对于手部的连接到第一手指集合的部分的特性移动速度超过第一阈值速度以便满足第一标准，执行第一操作；以及根据确定第一手指集合相对于手部的连接到第一手指集合的部分的移动满足不同于第一标准的第二标准，执行第二操作，其中第二标准包括当第一手指集合相对于手部的连接到第一手指集合的部分的特性移动速度不超过第一阈值速度时能够满足的要求。

4、根据一些实施方案，在与第一显示生成部件和一个或多个第一输入设备通信的计算机系统处执行一种方法。该方法包括经由第一显示生成部件显示三维环境的第一视图，包括在三维环境中的第一位置处显示第一用户界面对象，其中第一用户界面对象在由满足第一标准的用户输入激活时导致执行第一操作。该方法还包括：在显示三维环境的第一视图时，检测手部在物理环境中的第一移动，其中显示三维环境的第一视图包括在三维环境中的第一位置处显示第一用户界面对象。该方法还包括响应于检测到手部在物理环境中的第一移动，基于手部在物理环境中的第一移动来改变三维环境的第一视图中的第一用户界面对象的外观，包括：根据确定手部的第一移动满足第一标准，其中第一标准要求在手部的第一移动期间手部以第一方式移动以便满足所述第一标准，执行与第一用户界面对象相关联的第一操作，以及改变第一用户界面对象的外观以指示已经执行了第一操作；以及根据确定手部的第一移动不满足第一标准，将第一用户界面对象从三维环境中对应于手部在物理环境中的定位的相应位置移开，而不执行第一操作。

5、根据一些实施方案，在与第一显示生成部件和一个或多个第一输入设备通信的计算机系统处执行一种方法。该方法包括经由第一显示生成部件显示三维环境的第一视图，包括显示围绕第一显示生成部件的物理环境的表示，以及在三维环境中的对应于物理环境中的第一定位的第一位置处显示具有第一表面的第一用户界面对象。该方法还包括在显示三维环境的第一视图时，检测第一人在物理环境中的移动，其中第一人不是与计算机系统通信的一个或多个第一输入设备的用户。该方法还包括响应于检测到第一人在物理环境中的移动：根据确定第一人在物理环境中的移动与物理环境中的对应于第一用户界面对象的第一定位具有第一空间关系，根据第一人在物理环境中的移动在三维环境的第一视图中移动第一用户界面对象的第一表面。

6、根据一些实施方案，在与第一显示生成部件和一个或多个输入设备通信的计算机系统处执行一种方法。该方法包括经由第一显示生成部件显示三维环境的第一视图，包括在三维环境中的对应于物理环境中的第一定位的第一位置处显示具有第一表面的第一用户界面对象。该方法还包括在显示三维环境的第一视图时，包括在三维环境中的第一位置处显示具有第一表面的第一用户界面对象，检测第一用户的生物计量数据的变化，并且响应于检测到第一用户的生物计量数据的变化，根据第一用户的生物计量数据的变化来改变第一用户界面对象中的第一表面的外观。该方法还包括在显示具有已经基于第一用户的生物计量数据的改变而改变的外观的第一用户界面对象时，检测第一用户的第一移动，并且响应于检测到第一用户的第一移动，根据第一用户的第一移动改变第一用户界面对象的外观。

7、根据一些实施方案，计算机系统包括以下部件或与以下部件进行通信：显示生成部件(例如，显示器、投影仪、头戴式显示器等)、一个或多个输入设备(例如，一个或多个相机、触敏表面、任选地用于检测与触敏表面的接触强度的一个或多个传感器)、任选地一个或多个触觉输出发生器、一个或多个处理器，以及存储一个或多个程序的存储器；一个或多个程序被配置为由一个或多个处理器执行，并且一个或多个程序包括用于执行或引起执行本文所述方法中的任一种方法的操作的指令。根据一些实施方案，一种非暂态计算机可读存储介质在其中存储有指令，这些指令在被具有显示生成部件、一个或多个输入设备(例如，一个或多个相机、触敏表面、用于检测与触敏表面的接触强度的任选的一个或多个传感器)以及任选的一个或多个触觉输出发生器的计算机系统执行时，使该设备执行本文所述方法中的任一种方法或使本文所述方法中的任一种方法的操作的执行。根据一些实施方案，具有显示生成部件、一个或多个输入设备(例如，一个或多个相机、触敏表面、用于检测与触敏表面的接触强度的任选的一个或多个传感器)、任选的一个或多个触觉输出发生器、存储器和用于执行存储在存储器中的一个或多个程序的一个或多个处理器的计算机系统上的图形用户界面包括在本文所述方法中的任一种方法中所显示的元素中的一个或多个元素，该一个或多个元素响应于输入而被更新，如本文所述方法中的任一种方法所描述的。根据一些实施方案，计算机系统包括：显示生成部件、一个或多个输入设备(例如，一个或多个相机、触敏表面、任选地用于检测与触敏表面的接触强度的一个或多个传感器)以及任选地一个或多个触觉输出发生器；以及用于执行或导致执行本文所述的方法中的任一种方法的操作的装置。根据一些实施方案，用于具有显示生成部件、一个或多个输入设备(例如，一个或多个相机、触敏表面、用于检测与触敏表面的接触强度的任选的一个或多个传感器)以及任选的一个或多个触觉输出发生器的计算机系统中的信息处理设备包括用于执行本文所述方法中的任一种方法的操作或导致本文所述方法中的任一种方法的操作被执行的装置。

8、因此，为具有显示生成部件的计算机系统提供了改进的方法和界面，以用于与三维环境进行交互并且有利于用户在与三维环境进行交互时使用计算机系统，从而提高此类计算机系统的有效性、效率，以及用户安全性和满意度。此类方法和界面可以补充或替换用于与三维环境进行交互并且有利于用户在与三维环境进行交互时使用计算机系统的常规方法。

9、需注意，上述各种实施方案可与本文所述任何其他实施方案相结合。本说明书中描述的特征和优点并不全面，具体来说，根据附图、说明书和权利要求书，许多另外的特征和优点对本领域的普通技术人员将是显而易见的。此外，应当指出，出于可读性和指导性目的，在原则上选择了本说明书中使用的语言，并且可以不这样选择以描绘或界定本发明的主题。