在三维环境中进行注释的系统和方法与流程

本申请整体涉及显示虚拟环境以及将虚拟内容添加到该虚拟环境的系统和方法。

背景技术：

1、能够创建数字场景的软件和硬件的激增已使得电子设备的用户能够为影院、软件应用程序、交互式展览等制作特效背景、计算机图形和沉浸式虚拟环境。当前的系统使用计算显示器来促进数字场景的创建和编辑，但通常需要指向诸如操纵杆、计算鼠标、触控板、键盘之类的计算外围设备的输入。然而，针对此类数字场景的备注和注释在空间上脱离数字场景内的相关内容。此外，使用常规计算外围设备输入此类备注和注释可能是低效的。因此，可理解，可能需要一种促进在模拟三维环境中对数字资产进行注释并提高用户输入效率的系统。

技术实现思路

1、本公开的一些示例涉及用于在查看至少部分虚拟的三维场景时插入注释并促进协作的系统和方法。在一些示例中，电子设备可向三维环境的用户呈现和/或显示该三维环境。在一些示例中，该三维环境可包括物理对象和/或个体的表示。在一些示例中，该三维环境可包括一个或多个虚拟对象和/或虚拟资产。

2、在一些示例中，该电子设备可显示物理个体的一个或多个表示。在一些示例中，该一个或多个表示包括参与与该电子设备的通信会话的另一电子设备的用户的表示。在一些示例中，该电子设备显示可与该另一电子设备共享的虚拟场景。在一些示例中，该虚拟场景被显示为如同该电子设备的该用户存在于该虚拟场景的物理等效物内。在一些示例中，该物理个体的该表示相对于该虚拟场景移动。

3、在一些示例中，该电子设备显示该三维环境内的用户注意力的指示。在一些示例中，该电子设备显示与检查该虚拟场景的其他用户的注意力相对应的注意力的指示。在一些示例中，该电子设备检测请求将注释插入并显示到该虚拟场景中的输入，并且响应于该请求，显示该注释的表示。在一些示例中，请求插入该注释的该用户输入包括空中手势、语音命令、该用户的身体的移动和/或指向该虚拟场景中包括的虚拟内容的该用户的凝视。在一些示例中，该电子设备响应于检测到请求插入该注释的该用户输入而确定该用户与该虚拟场景和/或三维环境的交互的上下文。在一些示例中，该电子设备响应于该用户输入而获得诸如文本、语音记录、该用户的身体的移动和/或该用户的注意力相对于该虚拟场景的移动之类的信息，并且将所提供的信息与所插入的注释相关联。

4、在一些示例中，该电子设备确定该用户的环境的该上下文以确定该注释的表示的放置和/或取向。在一些示例中，该电子设备使用该上下文来确定被存储并且与该注释的该表示相对应的信息。在一些示例中，该用户的该上下文包括该用户输入的该模态。在一些示例中，该用户的该上下文包括经解析的语音和/或自然语言处理以确定该用户的语音的语义。在一些示例中，注释的表示的视觉外观具有指示该对应注释的作者的视觉特性或属性。在一些示例中，响应于检测到指向注释的表示的用户输入，该电子设备呈现信息，诸如音频的记录、文本的显示、个体的表示的空间记录的回放、该个体的注意力的记录的回放和/或它们的某种组合。

5、在一些示例中，该电子设备捕获该虚拟场景的虚拟屏幕截图。在一些示例中，该虚拟屏幕截图是用户可进行注释的虚拟对象，与指向该虚拟场景的注释类似或相同。在一些示例中，被插入到该虚拟屏幕截图中的注释可由该电子设备插入到该虚拟场景中。在一些示例中，该电子设备可响应于相对于该虚拟屏幕截图的偏角移动来变更该虚拟屏幕截图的视觉属性或特性。在一些示例中，该电子设备可将该屏幕截图导出到另一设备。

6、在一些示例中，该电子设备显示用户界面，该用户界面提供虚拟场景内包括的注释的概览。在一些示例中，该用户界面可根据对应注释的类型、提供该注释的作者和/或该注释的输入的时间顺序，来对与该注释相对应的列表和/或图标进行分类和/或分组。在一些示例中，响应于检测到指向该用户界面内的注释的表示的用户输入，该电子设备可显示、在视觉上强调和/或呈现与该用户输入的该目标相关联的该注释信息。

7、附图和具体实施方式中提供了对这些示例的全面描述，应当理解，本
技术实现要素：
不以任何方式限制本公开的范围。

技术特征：

1.一种方法，包括：

2.根据权利要求1所述的方法，其中所述第一表示包括定位标记物，所述定位标记物包括指示所述虚拟场景的一个或多个部分的图形表示。

3.根据权利要求1所述的方法，其中所述第一表示包括模拟标记，所述模拟标记具有基于在获得所述第一信息时选择的模拟标记工具的一个或多个视觉特性。

4.根据权利要求1所述的方法，其中所述用户与所述三维环境的交互的所述上下文基于所述用户的注意力的目标，所述方法还包括：

5.根据权利要求4所述的方法，其中所述用户的所述注意力的所述目标基于所述用户的凝视相对于所述三维环境的定位。

6.根据权利要求4所述的方法，其中所述用户的所述注意力的所述目标基于所述用户的身体的一个或多个部分、所述用户的所述视点和所述三维环境之间的空间关系。

7.根据权利要求1所述的方法，其中所述第一信息由与所述计算机系统的所述用户不同的所述通信会话的参与者提供，并且所述第一注释具有在视觉上指示所述参与者提供了所述第一信息的一个或多个视觉特性。

8.根据权利要求1所述的方法，还包括：

9.根据权利要求8所述的方法，其中所述上下文信息的所述呈现包括呈现与由所述通信会话的参与者记录的所述第一注释相关联的音频。

10.根据权利要求1所述的方法，还包括：

11.根据权利要求1所述的方法，其中所述第一信息包括由所述用户的身体的一个或多个部分执行的空中手势。

12.根据权利要求1所述的方法，还包括：

13.根据权利要求1所述的方法，还包括：

14.根据权利要求1所述的方法，其中所述第一注释的所述第一表示的视觉外观对应于所述第一注释中包括的内容。

15.根据权利要求1所述的方法，其中所述第一注释与所述三维环境内的所述相应定位之间的所述对应关系基于所述用户的身体的一个或多个部分相对于所述三维环境之间的空间关系。

16.根据权利要求1所述的方法，其中所述用户与所述三维环境的交互的所述上下文与所述第一信息中包括的由所述计算机系统的所述用户说出的一个或多个词语相关联。

17.根据权利要求1所述的方法，其中所述第一定位为距所述用户的所述视点的预定距离。

18.根据权利要求1所述的方法，还包括：

19.一种电子设备，所述电子设备与一个或多个输入设备和显示器通信，所述电子设备包括：

20.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储一个或多个程序，所述一个或多个程序包括指令，所述指令在由与一个或多个输入设备和显示器通信的电子设备的一个或多个处理器执行时，使所述电子设备执行根据权利要求1至18中任一项所述的方法。

技术总结
本公开提供了一种在三维环境中进行注释的系统和方法。本公开的一些示例涉及用于显示和编辑虚拟场景的系统和方法。在一些示例中，电子设备可显示沉浸式虚拟场景。在一些示例中，在与其他电子设备的通信会话中共享该沉浸式虚拟场景。在一些示例中，该电子设备可检测请求将注释插入并显示到该虚拟场景中的用户输入。在一些示例中，该电子设备可确定用户上下文以确定与所插入的注释相关联的放置和内容，并显示该注释的表示。在一些示例中，该电子设备可捕获该虚拟场景的虚拟屏幕截图。在一些示例中，该电子设备可显示用户界面，该用户界面提供与该虚拟场景相关联的该注释的概览。

技术研发人员：D·H·黄,R·W·拉莫洛,S·普拉卡马库尔,J·罗森,王珏,E·格乌兹,E·G·蒂维耶格
受保护的技术使用者：苹果公司
技术研发日：
技术公布日：2025/3/31