用于基于AI的动态点云译码的几何结构坐标缩放的制作方法

本公开涉及包括点云编码和点云解码的点云译码。

背景技术：

1、点云(pc)是三维(3d)空间的3d数据表示。pc可以用于扩展现实(xr)、增强现实(ar)、虚拟现实(vr)和混合现实(mr)、自动驾驶或文化遗产等任务。pc是3d空间中的点集，由其被称为几何结构的3d坐标(x,y,z)表示。每个点还可以与诸如颜色、法向矢量或反射率之类的多个属性相关联。

2、根据目标应用和pc获取方法，pc可以被分类为点云场景或点云对象。点云场景可以使用lidar传感器来捕获，并且经常被动态地获取。点云对象可以被进一步细分为静态点云和动态点云。静态pc是单个对象，而动态pc是时变pc，其中动态pc的每个实例是静态pc。动态时变pc可以用于ar/vr、体积视频流和远程呈现，并且可以使用3d模型(即，cgi)来生成，或者使用各种方法(诸如用深度传感器围绕对象的多个相机)从现实世界场景捕获。这些pc是密集型照片级真实感点云，这些密集型照片级真实感点云可以具有大量的点，尤其是在高精度或大规模捕获中(高达每秒60帧(fps)，每帧数百万个点)。因此，高效的点云压缩(pcc)对于在vr和mr应用中实现实际用途尤其重要。

技术实现思路

1、一般来讲，本公开描述了系统的灵活配置，其中可以应用灵活的缩减量，而不是采用固定三次缩减/下采样表示。也就是说，点云编码器和点云解码器可以被配置为将点云几何结构数据缩减/放大可变次数。该点云编码器可以发信号通知点云比特流中指示对该点云几何结构进行缩减的该次数的值，使得点云解码器可以按相同的因子放大经解码点云几何结构数据。根据用例、比特要求和点云类型，该灵活的缩减量可以获得更好的压缩。该灵活配置可以用于针对静态和动态点云的点云内压缩以及针对动态点云的点云间压缩。

2、在一个示例中，一种对点云数据进行编码的方法包括：确定对点云几何结构的表示进行缩减的次数；将该点云几何结构的该表示缩减该次数以形成该点云几何结构的缩减表示；对该点云几何结构的该缩减表示进行编码；以及输出该点云几何结构的所编码的缩减表示。

3、在另一示例中，一种用于对点云数据进行编码的设备包括：存储器，该存储器被配置为存储点云数据；和一个或多个处理器，该一个或多个处理器在电路系统中实现并且被配置为：确定对点云几何结构的表示进行缩减的次数；将该点云几何结构的该表示缩减该次数以形成该点云几何结构的缩减表示；对该点云几何结构的该缩减表示进行编码；以及输出该点云几何结构的所编码的缩减表示。

4、在另一示例中，一种用于对点云数据进行编码的设备包括：用于确定对点云几何结构的表示进行缩减的次数的构件；用于将该点云几何结构的该表示缩减该次数以形成该点云几何结构的缩减表示的构件；用于对该点云几何结构的该缩减表示进行编码的构件；和用于输出该点云几何结构的所编码的缩减表示的构件。

5、在另一示例中，一种对点云数据进行解码的方法包括：确定对点云几何结构的缩减经编码表示进行放大的次数；对该点云几何结构的该缩减经编码表示进行解码；将该点云几何结构的该缩减表示放大该次数以形成该点云几何结构的放大表示；以及使用该点云几何结构的该放大表示再现点云。

6、在另一示例中，一种用于对点云数据进行解码的设备包括：存储器，该存储器被配置为存储点云数据；和一个或多个处理器，该一个或多个处理器在电路系统中实现并且被配置为：确定对点云几何结构的缩减经编码表示进行放大的次数；对该点云几何结构的该缩减经编码表示进行解码；将该点云几何结构的该缩减表示放大该次数以形成该点云几何结构的放大表示；以及使用该点云几何结构的该放大表示再现点云。

7、在另一示例中，一种用于对点云数据进行解码的设备包括：用于确定对点云几何结构的缩减经编码表示进行放大的次数的构件；用于对该点云几何结构的该缩减经编码表示进行解码的构件；用于将该点云几何结构的该缩减表示放大该次数以形成该点云几何结构的放大表示的构件；和用于使用该点云几何结构的该放大表示再现点云的构件。

8、在附图和以下说明书中阐述一个或多个示例的细节。根据说明书、附图以及权利要求书，其他特征、目的和优点将是显而易见的。

技术特征：

1.一种对点云数据进行编码的方法，所述方法包括：

2.根据权利要求1所述的方法，其中确定对所述表示进行缩减的所述次数包括：根据所述点云几何结构的用例、比特要求或点云类型中的至少一者，确定对所述表示进行缩减的所述次数。

3.根据权利要求1所述的方法，其中对所述点云几何结构的所述缩减表示进行编码包括：对所述点云几何结构的所述缩减表示进行无损编码。

4.根据权利要求1所述的方法，所述方法还包括：使用有损编码对与所述点云几何结构的所述缩减表示对应的特征进行编码。

5.根据权利要求1所述的方法，其中对所述点云几何结构的所述缩减表示进行编码包括：使用帧内(i帧)编码、帧间(p帧)编码或双向帧间(b帧)编码中的一者对所述点云几何结构的所述缩减表示进行编码。

6.根据权利要求1所述的方法，其中所述点云几何结构的所述缩减表示包括当前帧的点云几何结构的缩减表示，所述方法还包括：对与所述点云几何结构的所述缩减表示对应的特征进行编码，包括：

7.根据权利要求1所述的方法，所述方法还包括：对表示所述点云几何结构的所述表示被缩减的所述次数的数据进行编码。

8.根据权利要求1所述的方法，其中缩减所述点云几何结构的所述表示并对所述缩减表示进行编码包括：执行神经网络，所述神经网络被训练为在数个阶段中缩减所述点云几何结构并对所述点云几何结构进行编码，所述数个阶段等于对所述点云几何结构的所述表示进行缩减的所述次数，每个阶段包括缩减步骤和编码部分。

9.根据权利要求1所述的方法，其中缩减所述点云几何结构的所述表示并对所述缩减表示进行编码包括：执行神经网络，所述神经网络被训练为在数个阶段中缩减所述点云几何结构，并且被训练为随后对所述点云几何结构的所述缩减表示进行编码，所述数个阶段等于对所述点云几何结构的所述表示进行缩减的所述次数，每个阶段包括缩减步骤。

10.一种用于对点云数据进行编码的设备，所述设备包括：

11.根据权利要求10所述的设备，其中为了确定对所述表示进行缩减的所述次数，所述一个或多个处理器被配置为：根据所述点云几何结构的用例、比特要求或点云类型中的至少一者，确定对所述表示进行缩减的所述次数。

12.根据权利要求10所述的设备，其中为了对所述点云几何结构的所述缩减表示进行编码，所述一个或多个处理器被配置为：对所述点云几何结构的所述缩减表示进行无损编码。

13.根据权利要求10所述的设备，其中所述一个或多个处理器被进一步配置为：使用有损编码对与所述点云几何结构的所述缩减表示对应的特征进行编码。

14.根据权利要求10所述的设备，其中为了对所述点云几何结构的所述缩减表示进行编码，所述一个或多个处理器被配置为：使用帧内(i帧)编码、帧间(p帧)编码或双向帧间(b帧)编码中的一者对所述点云几何结构的所述缩减表示进行编码。

15.根据权利要求10所述的设备，其中所述点云几何结构的所述缩减表示包括当前帧的点云几何结构的缩减表示，并且其中所述一个或多个处理器被进一步配置为：对与所述点云几何结构对应的特征进行编码，其中为了对所述特征进行编码，所述一个或多个处理器被配置为：

16.根据权利要求10所述的设备，其中所述一个或多个处理器被进一步配置为：对表示所述点云几何结构的所述表示被缩减的所述次数的数据进行编码。

17.根据权利要求10所述的设备，其中为了缩减所述点云几何结构的所述表示并对所述缩减表示进行编码，所述一个或多个处理器被配置为：执行神经网络，所述神经网络被训练为在数个阶段中缩减所述点云几何结构并对所述点云几何结构进行编码，所述数个阶段等于对所述点云几何结构的所述表示进行缩减的所述次数，每个阶段包括缩减步骤和编码部分。

18.根据权利要求10所述的设备，其中为了缩减所述点云几何结构的所述表示并对所述缩减表示进行编码，所述一个或多个处理器被配置为：执行神经网络，所述神经网络被训练为在数个阶段中缩减所述点云几何结构，并且被训练为随后对所述点云几何结构的所述缩减表示进行编码，所述数个阶段等于对所述点云几何结构的所述表示进行缩减的所述次数，每个阶段包括缩减步骤。

19.一种用于对点云数据进行编码的设备，所述设备包括：

20.一种对点云数据进行解码的方法，所述方法包括：

21.根据权利要求20所述的方法，其中确定对所述缩减表示进行放大的所述次数包括：根据所述点云几何结构的用例、比特要求或点云类型中的至少一者，确定对所述缩减表示进行放大的所述次数。

22.根据权利要求20所述的方法，其中确定对所述缩减表示进行放大的所述次数包括：对表示所述点云几何结构的所述表示被缩减的所述次数的数据进行解码。

23.根据权利要求20所述的方法，其中对所述点云几何结构的所述缩减表示进行解码包括：使用帧内(i帧)解码、帧间(p帧)解码或双向帧间(b帧)解码中的一者对所述点云几何结构的所述缩减表示进行解码。

24.根据权利要求20所述的方法，其中所述点云几何结构的所述缩减表示包括当前帧的点云几何结构的缩减表示，所述方法还包括：对与所述点云几何结构的所述缩减表示对应的特征进行解码，包括：

25.根据权利要求20所述的方法，其中将所述点云几何结构的所述表示放大所述次数还包括：在每次放大之后修剪虚假体素并使用二元分类提取真实占用体素。

26.根据权利要求20所述的方法，其中对所述点云几何结构的所述缩减表示进行解码并放大所述表示包括：执行神经网络，所述神经网络被训练为在数个阶段中对所述点云几何结构进行解码并放大所述点云几何结构，所述数个阶段等于对所述点云几何结构的所述表示进行放大的所述次数，每个阶段包括解码步骤和放大部分。

27.根据权利要求20所述的方法，其中对所述点云几何结构的所述缩减表示进行解码并放大所述缩减表示包括：执行神经网络，所述神经网络被训练为在数个阶段中对所述点云几何结构的所述表示进行解码，然后放大所述点云几何结构，所述数个阶段等于对所述点云几何结构的所述表示进行放大的所述次数。

28.一种用于对点云数据进行解码的设备，所述设备包括：

29.根据权利要求28所述的设备，其中为了确定对所述缩减表示进行放大的所述次数，所述一个或多个处理器被配置为：根据所述点云几何结构的用例、比特要求或点云类型中的至少一者，确定对所述缩减表示进行放大的所述次数。

30.根据权利要求28所述的设备，其中为了确定对所述缩减表示进行放大的所述次数，所述一个或多个处理器被配置为：对表示所述点云几何结构的所述表示被缩减的所述次数的数据进行解码。

31.根据权利要求28所述的设备，其中为了对所述点云几何结构的所述缩减表示进行解码，所述一个或多个处理器被配置为：使用帧内(i帧)解码、帧间(p帧)解码或双向帧间(b帧)解码中的一者对所述点云几何结构的所述缩减表示进行解码。

32.根据权利要求28所述的设备，其中所述点云几何结构的所述表示包括当前帧的点云几何结构的缩减表示，并且其中为了对所述点云几何结构的所述缩减表示进行解码，所述一个或多个处理器被配置为：

33.根据权利要求28所述的设备，其中为了将所述点云几何结构的所述表示放大所述次数，所述一个或多个处理器被配置为：在每次放大之后修剪虚假体素并使用二元分类提取真实占用体素。

34.根据权利要求28所述的设备，其中为了对所述点云几何结构的所述缩减表示进行解码并放大所述表示，所述一个或多个处理器被配置为：执行神经网络，所述神经网络被训练为在数个阶段中对所述点云几何结构进行解码并放大所述点云几何结构，所述数个阶段等于对所述点云几何结构的所述表示进行放大的所述次数，每个阶段包括解码步骤和放大部分。

35.根据权利要求28所述的设备，其中为了对所述点云几何结构的所述缩减表示进行解码并放大所述缩减表示，所述一个或多个处理器被配置为：执行神经网络，所述神经网络被训练为在数个阶段中对所述点云几何结构的所述表示进行解码，然后放大所述点云几何结构，所述数个阶段等于对所述点云几何结构的所述表示进行放大的所述次数。

36.一种用于对点云数据进行解码的设备，所述设备包括：

技术总结
一种用于对点云数据进行解码的示例设备包括：存储器，该存储器被配置为存储点云数据；和一个或多个处理器，该一个或多个处理器在电路系统中实现并且被配置为：确定对点云几何结构的缩减经编码表示进行放大的次数；对该点云几何结构的该缩减经编码表示进行解码；将该点云几何结构的该缩减表示放大该次数以形成该点云几何结构的放大表示；以及使用该点云几何结构的该放大表示再现点云。

技术研发人员：A·阿赫塔尔,G·范德奥韦拉,A·K·拉马苏布拉莫尼安,M·卡尔切维奇,L·法姆范
受保护的技术使用者：高通股份有限公司
技术研发日：
技术公布日：2025/1/2