用于与三维环境进行交互的设备、方法和图形用户界面与流程

本公开整体涉及具有显示生成部件和提供计算机生成的扩展现实(xr)体验的一个或多个输入设备(包括但不限于经由显示生成部件提供虚拟现实和混合现实体验的电子设备)的计算机系统。

背景技术：

1、近年来，用于虚拟现实、增强现实和扩展现实的计算机系统的发展显著增加。示例性增强现实和扩展现实环境包括至少一些替换或增强物理世界的虚拟元素。用于计算机系统和其他电子计算设备的输入设备(诸如相机、控制器、操纵杆、触敏表面和触摸屏显示器)用于与虚拟/增强/扩展现实环境进行交互。示例性虚拟元素包括虚拟对象诸如数字图像、视频、文本、图标和控制元素诸如按钮和其他图形。

2、但用于与包括至少一些虚拟元素的环境(例如，应用程序、增强现实环境、混合现实环境、虚拟现实环境和扩展现实环境)进行交互的方法和界面既繁琐、效率低下，又有局限性。例如，提供用于执行与虚拟对象相关联的动作的不足反馈的系统、需要一系列输入来在虚拟/增强/扩展现实环境中实现期望结果的系统，以及虚拟对象操纵复杂、繁琐且容易出错的系统，会给用户造成巨大的认知负担，并且减损虚拟/增强/扩展现实环境的体验感。此外，这些方法花费比所需时间更长的时间，从而浪费能量。这后一考虑在电池驱动的设备中是特别重要的。

技术实现思路

1、因此，需要具有改进的方法和界面的计算机系统来向用户提供计算机生成的体验，从而使得用户与计算机系统的交互对用户来说更高效且更直观。所公开的系统、方法和用户界面减少或消除了与用于计算机系统的用户界面相关联的上述缺陷和其他问题，这些计算机系统具有显示生成部件和一个或多个输入设备。此类系统、方法和界面任选地补充或替换用于向用户提供扩展现实体验的常规系统、方法和用户界面。此类方法和界面通过帮助用户理解所提供的输入与设备对这些输入的响应之间的联系，减少了来自用户的输入的数量、程度和/或性质，从而形成了更有效的人机界面。

2、根据一些实施方案，一种方法在与显示生成部件通信的计算机系统处执行。该方法包括经由显示生成部件同时显示物理环境的视图和覆盖在该物理环境的视图的至少一部分上的计算机生成的用户界面元素。该计算机生成的用户界面元素的外观基于计算机生成的用户界面元素所覆盖的物理环境的视图的一个或多个部分的外观。当同时显示物理环境的视图和计算机生成的用户界面元素时，该物理环境的一部分的外观改变。响应于该物理环境的该部分的外观改变，该计算机生成的用户界面元素的该外观在第一时间基于该物理环境的一个或多个部分在该第一时间之前的不同时间的该外观的图形组成而被更新，该物理环境的一个或多个部分在该第一时间之前的不同时间的该外观包括：该物理环境的第一部分在该第一时间之前的第二时间的外观；和该物理环境的第二部分在该第二时间之前的第三时间的外观。

3、在一些实施方案中，一种方法在与显示生成部件通信的计算机系统处执行。该方法包括经由显示生成部件同时显示：物理环境的视图；和覆盖在物理环境的视图的至少一部分上的计算机生成的用户界面元素。该计算机生成的用户界面元素的外观基于从计算机生成的用户界面元素所覆盖的物理环境的视图的一个或多个部分采样的第一组代表性颜色之间的相应梯度。该第一组代表性颜色包括：第一颜色，该第一颜色表示物理环境的视图的在第一时间段内在计算机生成的用户界面元素的第一部分后方的一部分；和第二颜色，该第二颜色表示物理环境的视图的在第一时间段内在计算机生成的用户界面元素的第二部分后方的一部分。当同时显示物理环境的视图和计算机生成的用户界面元素时，该物理环境的一部分的外观改变。该方法包括：响应于物理环境的该部分的外观改变，基于从计算机生成的用户界面元素所覆盖的物理环境的视图的一个或多个部分采样的第二组代表性颜色之间的相应梯度来更新计算机生成的用户界面元素的外观。第二组代表性颜色包括：第三颜色，该第三颜色表示物理环境的视图的在与第一时间段不同的第二时间段内在计算机生成的用户界面元素的第一部分后方的一部分；和第四颜色，该第四颜色表示物理环境的视图的在第二时间段内在计算机生成的用户界面元素的第二部分后方的一部分。

4、在一些实施方案中，一种方法在与显示生成部件通信的计算机系统处执行。该方法包括经由显示生成部件显示三维环境的第一视图，包括在三维环境的第一视图中显示第一用户界面对象以及在三维环境中的第一用户界面对象后方显示背景内容。第一用户界面对象包括第一部分，该第一部分具有基于位于三维环境中的第一用户界面对象的第一部分后方的背景内容的外观来选择的外观。第一用户界面对象在第一部分与第一用户界面对象的前部之间具有模拟厚度；并且内容显示在第一用户界面对象中第一用户界面对象的第一部分与第一用户界面对象的前部之间。该方法包括：当显示第一用户界面对象时，检测移动内容的请求；以及响应于检测到移动内容的请求，在内容保持在第一用户界面对象的第一部分与第一用户界面对象的前部之间的同时在第一用户界面对象内移动该内容。在第一用户界面对象内移动内容包括基于第一用户界面对象的模拟厚度显示应用于内容的视觉效果。

5、在一些实施方案中，一种方法在具有显示生成部件和一个或多个输入设备的计算机系统处执行。该方法包括：经由显示生成部件显示：用户界面，该用户界面包括三维环境的视图；三维环境中的模拟三维对象，该模拟三维对象被显示为具有与相应模拟材料相对应的外观，其中该模拟三维对象的第一区域被显示为具有从该模拟三维对象的表面移除了相应模拟材料的一部分的外观；和第一用户界面元素，该第一用户界面元素包括该模拟三维对象的第一区域。该方法包括：检测指向第一用户界面元素的第一输入；并且响应于检测到指向第一用户界面元素的第一输入：在用户界面中执行与第一用户界面元素相关联的相应操作。

6、在一些实施方案中，一种方法在具有显示生成部件和一个或多个输入设备的计算机系统处执行。该方法包括经由显示生成部件显示用户界面，该用户界面包括三维环境的视图以及与该三维环境中的相应表面相关联的用户界面元素。用户界面元素的第一组一个或多个部分与用户界面元素的第一层相关联；用户界面元素的第二组一个或多个部分与用户界面元素的第二层相关联；并且用户界面元素被显示为具有指示第一层与第二层之间的第一分离程度的外观。该方法包括：检测与用户将注意力集中到用户界面元素相对应的第一输入；以及响应于检测到与用户将注意力集中到用户界面元素相对应的第一输入：改变用户界面元素的外观以指示第一层与第二层之间的第二分离程度。该第二程度不同于该第一程度。

7、在一些实施方案中，一种方法在与显示生成部件和一个或多个输入设备通信的计算机系统处执行。该方法包括经由显示生成部件显示用户界面对象，同时三维环境的第一视图是可见的。该用户界面对象包括能够被激活以在三维环境中执行相应操作的第一可选择对象。该方法包括检测与第一可选择对象相对应的第一输入。该方法还包括：响应于检测到与第一可选择对象相对应的第一输入，并且根据确定第一输入指示用户准备与第一可选择对象交互，改变第一可选择对象的厚度。

8、在一些实施方案中，一种方法在具有显示生成部件和一个或多个输入设备的计算机系统处执行。该方法包括经由显示生成部件显示覆盖在三维环境的视图的第一部分上的计算机生成的用户界面对象。计算机生成的用户界面对象的外观基于计算机生成的用户界面对象所覆盖的三维环境的视图的第一部分的模糊表示。该方法包括通过以下方式在视觉上区分计算机生成的用户界面对象的第一区域与计算机生成的用户界面对象的第二区域：对计算机生成的用户界面对象所覆盖的三维环境的视图的第一部分的模糊表示的第一子集应用第一变换而不应用第二变换，该第一子集对应于计算机生成的用户界面对象的第一区域；以及对计算机生成的用户界面对象所覆盖的三维环境的视图的第一部分的模糊表示的第二子集应用第二变换而不应用第一变换，该第二子集对应于计算机生成的用户界面对象的第二区域。三维环境的视图的第一部分的模糊表示的第二子集不同于三维环境的视图的第一部分的模糊表示的第一子集。该方法包括：随着三维环境的视图的第一部分的外观改变，基于三维环境的视图的所改变的第一部分的模糊表示来更新计算机生成的用户界面对象的外观，包括：对计算机生成的用户界面对象所覆盖的三维环境的视图的所改变的第一部分的模糊表示的第一子集应用第一变换而不应用第二变换，该第一子集对应于计算机生成的用户界面对象的第一区域；以及对计算机生成的用户界面对象所覆盖的三维环境的视图的所改变的第一部分的模糊表示的第二子集应用第二变换而不应用第一变换，该第二子集对应于计算机生成的用户界面对象的第二区域。三维环境的视图的所改变的第一部分的模糊表示的第二子集不同于三维环境的视图的所改变的第一部分的模糊表示的第一子集。

9、根据一些实施方案，计算机系统包括以下各项或与以下各项通信：显示生成部件(例如，硬件元件，包括一个或多个显示设备，诸如显示器、投影仪、平视显示器、头戴式显示器、触摸屏等)、一个或多个输入设备(例如，一个或多个相机、触敏表面、用于检测与触敏表面的接触强度的任选的一个或多个传感器)、任选的一个或多个音频输出部件、任选的一个或多个触觉输出发生器、一个或多个处理器，以及存储一个或多个程序的存储器；一个或多个程序被配置为由一个或多个处理器执行，并且一个或多个程序包括用于执行或引起执行本文所述方法中的任一种方法的操作的指令。根据一些实施方案，非暂态计算机可读存储介质在其中存储有指令，这些指令在被具有显示生成部件、一个或多个输入设备(例如，一个或多个相机、触敏表面、用于检测与触敏表面的接触强度的任选的一个或多个传感器)、任选的一个或多个音频输出部件以及任选的一个或多个触觉输出发生器的计算机系统执行时，使得该设备执行本文所述方法中的任一种方法或使得本文所述方法中的任一种方法的操作被执行。根据一些实施方案，具有显示生成部件、一个或多个输入设备(例如，一个或多个相机、触敏表面、用于检测与触敏表面的接触强度的任选的一个或多个传感器)、任选的一个或多个音频输出部件、任选的一个或多个触觉输出发生器、存储器和用于执行存储在存储器中的一个或多个程序的一个或多个处理器的计算机系统上的图形用户界面包括在本文所述方法中的任一种方法中所显示的元素中的一个或多个元素，该一个或多个元素响应于输入而被更新，如本文所述方法中的任一种方法所描述的。根据一些实施方案，计算机系统包括：显示生成部件、一个或多个输入设备(例如，一个或多个相机、触敏表面、用于检测与触敏表面的接触强度的任选的一个或多个传感器)、任选的一个或多个音频输出部件以及任选的一个或多个触觉输出发生器；以及用于执行或导致执行本文所述的方法中的任一种方法的操作的构件。根据一些实施方案，用于具有显示生成部件、一个或多个输入设备(例如，一个或多个相机、触敏表面、用于检测与触敏表面的接触强度的任选的一个或多个传感器)、任选的一个或多个音频输出部件以及任选的一个或多个触觉输出发生器的计算机系统中的信息处理装置包括用于执行本文所述方法中的任一种方法的操作或使得本文所述方法中的任一种方法的操作被执行的构件。

10、因此，为具有显示生成部件的计算机系统提供了改进的方法和界面，以用于与三维环境进行交互并且有利于用户在与三维环境进行交互时使用计算机系统，从而提高此类计算机系统的有效性、效率，以及用户安全性和满意度。此类方法和界面可以补充或替换用于与三维环境进行交互并且有利于用户在与三维环境进行交互时使用计算机系统的常规方法。

11、需注意，上述各种实施方案可与本文所述任何其他实施方案相结合。本说明书中描述的特征和优点并不全面，具体来说，根据附图、说明书和权利要求书，许多另外的特征和优点对本领域的普通技术人员将是显而易见的。此外，应当指出，出于可读性和指导性目的，在原则上选择了本说明书中使用的语言，并且可以不这样选择以描绘或界定本发明的主题。