使用外部网格使现实世界对象变形的制作方法

本公开内容总体上涉及使用消息收发应用提供增强现实体验。

背景技术：

1、增强现实(ar)是对虚拟环境的修改。例如，在虚拟现实(vr)中，用户完全沉浸在虚拟世界中，而在ar中，用户沉浸在将虚拟对象与现实世界组合或将虚拟对象覆盖在现实世界上的世界中。ar系统旨在生成并呈现与现实世界环境真实地交互并且彼此之间进行交互的虚拟对象。ar应用的示例可以包括单人或多人视频游戏、即时消息收发系统等。

技术实现思路

技术特征：

1.一种方法，包括：

2.根据权利要求1所述的方法，其中，所述现实世界对象包括人；并且

3.根据权利要求1至2中任一项所述的方法，还包括：自动地建立与所述现实世界对象相关联的所述3d身体网格与所述外部网格之间的对应，其中，所述对应包括：将所述外部网格放置在与所述3d身体网格相同的位置和取向处。

4.根据权利要求1至3中任一项所述的方法，其中，所述uv位置表示所述现实世界对象在二维(2d)空间中的纹理。

5.根据权利要求1至4中任一项所述的方法，其中，在所述现实世界对象在描绘的现实世界环境中移动时，实时地修改所述视频以描绘所述现实世界对象正被改变成所述ar元素。

6.根据权利要求1至5中任一项所述的方法，其中，根据包括线性函数或非线性函数的混合参数，用所述ar元素替换所述现实世界对象。

7.根据权利要求1至6中任一项所述的方法，还包括：获得所述外部网格的放置信息，所述放置信息描述相对于所述3d身体网格将所述外部网格定位在何处。

8.根据权利要求1至7中任一项所述的方法，还包括：

9.根据权利要求1至8中任一项所述的方法，还包括：

10.根据权利要求1至9中任一项所述的方法，还包括：

11.根据权利要求1至10中任一项所述的方法，还包括：

12.根据权利要求1至11中任一项所述的方法，还包括：

13.根据权利要求1至12中任一项所述的方法，还包括：

14.根据权利要求1至13中任一项所述的方法，其中，所述变形参数标识所述外部网格的一部分，并且包括对所述外部网格的一部分的修改。

15.根据权利要求14所述的方法，其中，所述修改包括：放大所述外部网格的一部分的大小，以生成被放大的所述外部网格的一部分。

16.根据权利要求14至15中任一项所述的方法，还包括：

17.根据权利要求14至16中任一项所述的方法，其中，所述修改包括：减小所述外部网格的一部分的大小。

18.根据权利要求14至17中任一项所述的方法，其中，所述修改包括所述外部网格的一部分的颜色的改变，还包括：基于所述颜色的改变来调整与所述外部网格的一部分对应的所述ar元素的像素值。

19.一种系统，包括：

20.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质上存储有指令，所述指令在由客户端设备的处理器执行时使所述处理器执行操作，所述操作包括：

技术总结
公开了用于执行操作的方法和系统，所述操作包括：接收视频，该视频包括对现实世界对象的描绘；生成与现实世界对象相关联的三维(3D)身体网格，该三维(3D)身体网格跟踪现实世界对象跨视频的帧的移动；确定视频中描绘的现实世界对象的UV位置，以获得与UV位置相关联的像素值；基于与UV位置相关联的像素值，生成表示现实世界对象的外部网格和相关联的增强现实(AR)元素；基于3D身体网格的改变和变形参数，使外部网格变形；以及基于经变形的外部网格来修改视频以用AR元素替换现实世界对象。

技术研发人员：马坦·祖海尔,赵艳丽,布赖恩·富尔克森,勒扎·阿尔普·居莱尔
受保护的技术使用者：斯纳普公司
技术研发日：
技术公布日：2024/5/10