3D网格压缩中的2D图谱自适应采样的制作方法

本公开描述了总体上涉及网格编码的实施例。

背景技术：

1、此处提供的背景描述是为了总体呈现本公开的上下文。在该背景技术部分中描述的程度上，目前署名的发明人的工作以及该描述的在提交时可能不符合现有技术的方面既不明确也不隐含地被认为是本公开的现有技术。

2、各种技术被开发用来捕捉和表示世界，例如，三维(three dimensional，3d)空间中的世界中的物体、世界中的环境等。世界的3d表示可以实现更具沉浸感的交互和通信形式。在一些示例中，点云和网格可以用作世界的3d表示。

技术实现思路

1、本公开的各方面提供了用于网格编码(例如，压缩和解压缩)的方法和装置。在一些示例中，用于网格编码的装置包括处理电路。处理电路从携带三维(3d)网格帧的比特流中解码二维(two dimensional，2d)的多个初始图。处理电路确定与多个初始图的不同部分相关联的至少两个采样率，并且基于与多个初始图的不同部分相关联的至少两个采样率从多个初始图中恢复出多个恢复图。基于至少两个采样率中的与多个初始图的第一部分相关联的第一采样率来恢复多个初始图的第一部分，并且基于至少两个采样率中的与多个初始图的第二部分相关联的第二采样率来恢复多个初始图的第二部分。处理电路基于多个恢复图重构3d网格帧。

2、在一些示例中，处理电路确定与第一图类型的第一初始图相关联的第一采样率；以及确定与第二图类型的第二初始图相关联的第二采样率。

3、在一些示例中，处理电路确定与第一初始图中的第一子区域相关联的第一采样率；以及确定与第一初始图中的第二子区域相关联的第二采样率。第一子区域或第二子区域可以包括以下至少之一：多行像素；多列像素；采样的编码树单元(coding tree unit，ctu)线；采样的切片；采样的图块；采样的图块组；和/或采样的ctu。

4、在一些示例中，处理电路确定与第一初始图中的第一贴片相关联的第一采样率；以及确定与第一初始图中的第二贴片相关联的第二采样率。

5、在一些示例中，处理电路从比特流中解码与多个初始图的第一部分相关联的第一标志。第一标志指示与第一部分相关联的第一采样率是否不同于默认采样率。当第一标志指示第一采样率不同于默认采样率时，在一个示例中，处理电路从比特流中解码第一采样率；在另一示例中，处理电路从比特流中解码第一采样率和默认采样率之间的差。

6、在一些示例中，处理电路从比特流中解码索引，该索引指示从一组预定义采样率中选择的作为与多个初始图的一部分相关联的采样率。

7、在一些示例中，比特流携带多个3d网格帧。处理电路基于与第一3d网格帧的第一贴片相关联的第一采样率，恢复与第一3d网格帧相关联的第一图；以及根据第一采样率确定与第二3d网格帧中的第二贴片相关联的采样率。第二3d网格帧中的第二贴片是与第一3d网格帧的第一贴片对应的贴片。在一个示例中，第一3d网格帧是图片组(group ofpictures，gop)的关键帧，并且对应采样率等于第一采样率。

8、本公开的各方面还提供了一种存储指令的非暂时性计算机可读存储介质，该指令在由计算机执行时，使计算机执行用于网格编码的方法中的任一种或其组合。

技术特征：

1.一种用于网格解压缩的方法，包括：

2.根据权利要求1所述的方法，其中，确定所述至少两个采样率还包括：

3.根据权利要求1所述的方法，其中，确定所述至少两个采样率还包括：

4.根据权利要求3所述的方法，其中，所述第一子区域包括以下至少之一：

5.根据权利要求1所述的方法，其中，确定所述至少两个采样率还包括：

6.根据权利要求1所述的方法，其中，确定所述至少两个采样率还包括：

7.根据权利要求6所述的方法，其中，所述第一标志指示所述第一采样率不同于所述默认采样率，所述方法还包括以下至少之一：

8.根据权利要求1所述的方法，其中，确定所述至少两个采样率还包括：

9.根据权利要求1所述的方法，其中，所述比特流携带多个3d网格帧，所述方法还包括：

10.根据权利要求9所述的方法，其中，所述第一3d网格帧是图片组gop的关键帧，并且所述对应采样率等于所述第一采样率。

11.一种装置，包括处理电路，所述处理电路被配置为：

12.根据权利要求11所述的装置，其中，所述处理电路被配置为：

13.根据权利要求11所述的装置，其中，所述处理电路被配置为：

14.根据权利要求13所述的装置，其中，所述第一子区域包括以下至少之一：

15.根据权利要求11所述的装置，其中，所述处理电路被配置为：

16.根据权利要求11所述的装置，其中，所述处理电路被配置为：

17.根据权利要求16所述的装置，其中，所述第一标志指示所述第一采样率不同于所述默认采样率，所述处理电路被配置为：

18.根据权利要求11所述的装置，其中，所述处理电路被配置为：

19.根据权利要求11所述的装置，其中，所述比特流携带多个3d网格帧，所述处理电路被配置为：

20.根据权利要求19所述的装置，其中，所述第一3d网格帧是图片组gop的关键帧，并且所述对应采样率等于所述第一采样率。

技术总结
本公开的各方面提供了用于网格编码(例如，压缩和解压缩)的方法和装置。在一些示例中，用于网格编码的装置包括处理电路。处理电路从携带三维(3D)网格帧的比特流中解码二维的多个初始图。处理电路确定与多个初始图的不同部分相关联的至少两个采样率，并且基于与多个初始图的不同部分相关联的至少两个采样率从多个初始图中恢复出多个恢复图。基于第一采样率恢复多个初始图的第一部分，并且基于第二采样率恢复多个初始图的第二部分。处理电路基于多个恢复图重构3D网格帧。

技术研发人员：许晓中,张翔,刘杉,黄超,田军
受保护的技术使用者：腾讯美国有限责任公司
技术研发日：
技术公布日：2024/1/15