3D环境中的内容回放和修改的制作方法

本公开整体涉及用于在电子设备上的三维(3d)环境中呈现应用程序内容的视图的系统、方法和设备，并且具体地涉及提供包括3d环境内的应用程序内容回放的视图。

背景技术：

1、电子设备可呈现包括由应用程序提供的内容的3d环境。例如，电子设备可提供包括某个环境内的应用程序内容的视图，该环境包括用户客厅的三维(3d)表示。可基于3d重建等经由光学透视技术、透传视频技术来提供用户客厅的外观。开发和调试在3d环境中使用的应用程序内容可能是耗时且困难的。现有技术可能不容易检测、审核和纠正不期望的应用程序活动和其他问题。例如，识别和解决应用程序的非预期行为(诸如致使虚拟对象非预期地移动的物理引擎)可能涉及不期望的应用程序测试和重新测试工作量。

技术实现思路

1、本文所公开的各种具体实施包括用于录制和回放应用程序的使用/测试的设备、系统和方法，该应用程序基于录制程序状态、参数值、变化等在三维(3d)环境(例如，计算机生成的现实(cgr))中提供内容以用于3d环境内的调试目的。例如，开发者可使用设备(例如，头戴式设备(hmd))来测试应用程序，并且在测试中将虚拟保龄球滚入虚拟保龄球瓶，然后倒回测试的录像以观察为什么瓶中的一者未如预期响应。在一个应用程序与系统应用程序交互/同步变化的示例性使用情况下，录制可涉及抓取/重用那些变化并将它们写入视频文件，即录制场景内容快照和可能已在其中发生的变化的视频文件。另外，系统可重建声音(例如，空间立体音频)和应用程序的其他细节以供回放和审核(例如，应用程序的完整快照)。

2、一般来讲，本说明书中描述的主题的一个创新方面可体现在包括以下动作的方法中：在应用程序的执行期间，在三维(3d)环境内呈现包括由应用程序提供的应用程序内容的第一视图集，其中从3d环境中的第一视点集提供第一视图集；在应用程序的执行期间，基于录制程序状态信息和根据用户交互所确定的应用程序内容的变化来生成应用程序的执行的录像；以及呈现包括基于录像而在3d环境内回放应用程序内容的第二视图集，其中从不同于第一视点集的第二视点集提供第二视图集。

3、这些实施方案和其他实施方案均可任选地包括以下特征中的一个或多个特征。

4、在一些方面，在应用程序的执行期间，应用程序与系统进程之间的通信包括应用程序内容的变化，其中基于通信生成第二视图集。

5、在一些方面，生成录像包括：获得对应于应用程序内容在多个时间点的状态的所录制程序状态信息；获得应用程序内容的变化，其中变化包括在状态之间发生的应用程序内容的变化；以及基于所录制程序状态信息和来自应用程序与系统进程之间的通信的应用程序内容的变化生成应用程序的执行的录像。

6、在一些方面，应用程序内容包括对象并且变化包括对象的位置变化的增量值。

7、在一些方面，方法还包括接收选择应用程序的执行期间的时间点作为回放的开始点的输入。

8、在一些方面，呈现回放包括呈现执行应用程序的的执行的用户的头部位置、注视方向或手部位置的图形描绘。

9、在一些方面，呈现回放包括呈现声音源的图形描绘。

10、在一些方面，呈现场景的视图包括呈现物理环境的至少一部分的视频透传或透视图像，其中物理环境的至少部分的3d重建在应用程序的执行期间动态地生成，并且呈现回放包括呈现3d重建。

11、在一些方面，在应用程序的执行期间，基于物理引擎来定位应用程序内容的对象，并且在回放期间，基于根据程序状态信息确定对象的位置并根据变化重新定位对象来定位应用程序内容的对象。

12、在一些方面，在应用程序的执行期间，在头戴式设备(hmd)上呈现场景的视图。

13、根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器以及一个或多个程序；该一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行，并且该一个或多个程序包括用于执行或使得执行本文所述方法中的任一种的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，这些指令在由设备的一个或多个处理器执行时使该设备执行或使执行本文所述方法中的任一种。根据一些具体实施，一种设备包括：一个或多个处理器、非暂态存储器以及用于执行或使执行本文所述方法中的任一种的装置。

技术特征：

1.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储程序指令，所述程序指令能够由一个或多个处理器执行以执行操作，所述操作包括：

2.根据权利要求1所述的非暂态计算机可读存储介质，其中，在所述应用程序的执行期间，所述应用程序与系统进程之间的通信包括所述应用程序内容的所述变化，其中基于所述通信生成所述第二视图集。

3.根据权利要求2所述的非暂态计算机可读存储介质，其中生成所述录像包括：

4.根据权利要求1至3中任一项所述的非暂态计算机可读存储介质，其中所述应用程序内容包括对象，并且所述变化包括所述对象的位置变化的增量值。

5.根据权利要求1至4中任一项所述的非暂态计算机可读存储介质，其中所述操作还包括接收输入，所述输入选择在所述应用程序的所述执行期间的时间点作为所述回放的开始点。

6.根据权利要求1至5中任一项所述的非暂态计算机可读存储介质，其中呈现所述回放包括呈现执行所述应用程序的所述执行的用户的头部位置、注视方向或手部位置的图形描绘。

7.根据权利要求1至6中任一项所述的非暂态计算机可读存储介质，其中呈现所述回放包括呈现声音源的图形描绘。

8.根据权利要求1至7中任一项所述的非暂态计算机可读存储介质，其中：

9.根据权利要求1至8中任一项所述的非暂态计算机可读存储介质，其中，

10.根据权利要求1至9中任一项所述的非暂态计算机可读存储介质，其中，在所述应用程序的执行期间，所述场景的所述视图呈现在头戴式设备(hmd)上。

11.一种设备，所述设备包括：

12.根据权利要求11所述的设备，其中在所述应用程序的执行期间，所述应用程序与系统进程之间的通信包括所述应用程序内容的所述变化，其中基于所述通信生成所述第二视图集。

13.根据权利要求12所述的设备，其中生成所述录像包括：

14.根据权利要求11至13中任一项所述的设备，其中所述操作还包括接收输入，所述输入选择在所述应用程序的所述执行期间的时间点作为所述回放的开始点。

15.根据权利要求11至14中任一项所述的设备，其中呈现所述回放包括呈现执行所述应用程序的所述执行的用户的头部位置、注视方向或手部位置的图形描绘。

16.根据权利要求11至15中任一项所述的设备，其中呈现所述回放包括呈现执行所述应用程序的所述执行的用户的头部位置、注视方向或手部位置的图形描绘。

17.根据权利要求11至16中任一项所述的设备，其中呈现所述回放包括呈现声音源的图形描绘。

18.根据权利要求11至17中任一项所述的设备，其中：

19.根据权利要求11至18中任一项所述的设备，其中在所述应用程序的执行期间，基于物理引擎来定位所述应用程序内容的对象；并且

20.一种方法，所述方法包括：

技术总结
本文所公开的各种具体实施包括在三维(3D)环境内呈现应用程序内容的回放的设备、系统和方法。示例性过程在3D环境内呈现包括由该应用程序提供的应用程序内容的场景的第一视图集。在该应用程序的执行期间从第一视点集提供该第一视图集。该过程基于录制程序状态信息和根据用户交互所确定的该应用程序内容的变化来录制该应用程序的执行，并且呈现包括基于录像而在该3D环境内回放该应用程序内容的第二视图集。从不同于该第一视点集的第二视点集提供该第二视图集。

技术研发人员：T·L·卡塞拉,Y·周,M·努尔卡米,D·J·艾迪
受保护的技术使用者：苹果公司
技术研发日：
技术公布日：2024/1/13