基于二维UV地图集采样的用于动态网格压缩的方法与流程

本公开针对的是一组高级视频编解码技术。更具体地说，本公开针对的是基于视频的动态网格压缩。

背景技术：

1、世界的高级三维(3d)表示使得能够实现更沉浸式的交互和交流形式。为了在3d表示中实现真实感，3d模型变得越来越复杂，大量数据与这些3d模型的创建和消耗相关联。3d网格广泛用于对沉浸式内容进行3d建模。

2、3d网格可由描述体积对象(volumetric object)的表面的多个多边形组成。动态网格序列可能需要大量数据，因为动态网格序列可具有大量随时间变化的信息。因此，需要高效的压缩技术来存储和传输这样的内容。

3、先前已开发了网格压缩标准ic、meshgrid、famc，用以处理具有恒定连接性、以及具有随时间变化的几何形状和顶点属性的动态网格。然而，这些标准没有考虑随时间变化的属性图和连接性信息。

4、此外，体积采集技术生成恒定连接性动态网格，也存在挑战，尤其是在实时约束的情况下。现有标准不支持这种类型的动态网格内容。

技术实现思路

1、根据实施例，可提供一种基于采样的动态网格压缩的方法。该方法可由至少一个处理器执行，且可包括：基于一个或多个采样率，确定与输入网格相关联的一个或多个样本位置；确定分别与一个或多个样本位置中的每个样本位置相关联的占用状态，其中，占用状态指示一个或多个样本位置中的每一个是否位于由输入网格限定的一个或多个多边形的边界内；基于分别与一个或多个样本位置中的每个样本位置相关联的占用状态，生成基于样本的占用图；以及使用视频编解码器将基于样本的占用图压缩成多个单通道图像或多个多通道图像。

2、根据实施例，可提供一种用于基于采样的动态网格压缩的装置。该装置可包括：至少一个存储器，配置成存储程序代码；和至少一个处理器，配置成读取程序代码并按照程序代码的指令进行操作。程序代码可包括：第一确定代码，配置成使得至少一个处理器基于一个或多个采样率，确定与输入网格相关联的一个或多个样本位置；第二确定代码，配置成使得至少一个处理器确定分别与一个或多个样本位置中的每个样本位置相关联的占用状态，其中，占用状态指示一个或多个样本位置中的每一个是否位于由输入网格限定的一个或多个多边形的边界内；第一生成代码，配置成使得至少一个处理器基于分别与一个或多个样本位置中的每个样本位置相关联的占用状态，生成基于样本的占用图；以及压缩代码，配置成使得至少一个处理器使用视频编解码器将基于样本的占用图压缩成多个单通道图像或多个多通道图像。

3、根据实施例，可提供一种非暂时性计算机可读介质，非暂时性计算机可读介质存储有计算机指令。该指令可包括一个或多个指令，当一个或多个指令由用于基于采样的动态网格压缩的装置的一个或多个处理器执行时使得一个或多个处理器：基于一个或多个采样率，确定与输入网格相关联的一个或多个样本位置；确定分别与一个或多个样本位置中的每个样本位置相关联的占用状态，其中，占用状态指示一个或多个样本位置中的每一个是否位于由输入网格限定的一个或多个多边形的边界内；基于分别与一个或多个样本位置中的每个样本位置相关联的占用状态，生成基于样本的占用图；以及使用视频编解码器将基于样本的占用图压缩成多个单通道图像或多个多通道图像。

技术特征：

1.一种用于基于采样的动态网格压缩的方法，所述方法由至少一个处理器执行，所述方法包括：

2.根据权利要求1所述的方法，其中，所述一个或多个采样率基于第一轴的第一采样率和第二轴的第二采样率。

3.根据权利要求1所述的方法，其中，所述输入网格被划分成一个或多个区域，并且其中，所述一个或多个采样率基于所述一个或多个区域中每个区域的相应的一个或多个采样率。

4.根据权利要求1所述的方法，其中，所述一个或多个采样率在高级语法中用信号表示。

5.根据权利要求3所述的方法，其中，所述一个或多个区域中每个区域的相应的一个或多个采样率基于所述一个或多个区域的相应的特性。

6.根据权利要求5所述的方法，其中，所述相应的特性为以下至少一项：

7.根据权利要求1所述的方法，其中，所述一个或多个采样率基于相邻区域的采样率。

8.根据权利要求1所述的方法，其中，所述一个或多个采样率基于一个或多个已编码的网格帧的先前的一个或多个采样率。

9.根据权利要求1所述的方法，其中，所述方法进一步包括：

10.根据权利要求9所述的方法，其中，所述基于样本的几何图包括三个单通道几何图，并且其中，所述三个单通道几何图中的第一图指示与所述一个或多个样本位置中的每个样本位置相关联的x轴位置，所述三个单通道几何图中的第二图指示与所述一个或多个样本位置中的每个样本位置相关联的y轴位置，以及所述三个单通道几何图中的第三图指示与所述一个或多个样本位置中的每个样本位置相关联的z轴位置。

11.根据权利要求1所述的方法，其中，所述方法进一步包括：

12.根据权利要求11所述的方法，其中，所述基于样本的属性图是以下一者：n通道属性图，或n个单通道属性图。

13.根据权利要求1所述的方法，其中，所述方法进一步包括：

14.一种用于基于采样的动态网格压缩的装置，所述装置包括：

15.根据权利要求14所述的装置，其中，所述程序代码进一步包括：

16.根据权利要求14所述的装置，其中，所述程序代码进一步包括：

17.根据权利要求14所述的装置，其中，所述程序代码进一步包括：

18.根据权利要求14所述的装置，其中，所述输入网格被划分成一个或多个区域，并且其中，所述一个或多个采样率基于所述一个或多个区域中每个区域的相应的一个或多个采样率。

19.根据权利要求18所述的装置，其中，所述一个或多个区域中每个区域的相应的一个或多个采样率基于所述一个或多个区域的相应的特性。

20.一种非暂时性计算机可读介质，存储有指令，所述指令包括一个或多个指令，当所述一个或多个指令由用于基于采样的动态网格压缩的装置的一个或多个处理器执行时使得所述一个或多个处理器：

技术总结
提供用于基于采样的动态网格压缩的方法、装置以及系统。方法可包括：基于一个或多个采样率，确定与输入网格相关联的一个或多个样本位置；确定分别与一个或多个样本位置中的每个样本位置相关联的占用状态，占用状态指示一个或多个样本位置中的每一个是否位于由输入网格限定的一个或多个多边形的边界内。方法可包括：基于分别与一个或多个样本位置中的每个样本位置相关联的占用状态，生成基于样本的占用图。

技术研发人员：张翔,黄超,许晓中,田军,刘杉
受保护的技术使用者：腾讯美国有限责任公司
技术研发日：
技术公布日：2024/1/15