通过展开3D点云进行基于学习的点云压缩的制作方法

本实施方案整体涉及用于点云压缩和处理的方法和装置。

背景技术：

1、点云(pc)数据格式是跨若干商业领域的通用数据格式，例如从自主驾驶、机器人、增强现实/虚拟现实(ar/vr)、土木工程、计算机图形到动画/电影产业。3d lidar(激光雷达)传感器已部署在自动驾驶汽车中，并且velodyne velabit、apple ipad pro 2020和intel realsense lidar相机l515发布经济实惠的lidar传感器。随着感测技术的进步，3d点云数据变得比以往更加实用，并有望成为本文讨论的应用的最终推动者。

技术实现思路

1、根据实施方案，提供了一种用于对点云数据进行解码的方法，该方法包括：访问具有规则网格上的样本的数据数组，其中所述数据数组中的每个样本指示点云中的点的位置；以及响应于所述数据数组重建所述点云。可由与基于神经网络的自编码器相关联的解码器或图像或视频解码器来对数据数组进行解码。此外，可以对提供所述点云的初始表示的码字进行解码，其中进一步响应于所述码字来重建所述点云。

2、根据另一实施方案，提供了一种用于对点云数据进行编码的方法，该方法包括：由基于神经网络的第一模块生成码字，该码字提供与所述点云数据相关联的输入点云的表示；基于所述码字和网格，由基于神经网络的第二模块重建第一点云；以及基于所述重建的第一点云、所述网格和所述输入点云，生成具有所述网格上的样本的数据数组，其中所述数据数组中的每个样本指示所述输入点云中的点的位置。数据数组或码字可以被压缩。可由与基于神经网络的自编码器相关联的编码器或图像或视频编码器来对数据数组进行编码。

3、根据另一实施方案，提出了一种用于对点云数据进行解码的装置，该装置包括一个或多个处理器，其中所述一个或多个处理器被配置为访问具有规则网格上的样本的数据数组，其中所述数据数组中的每个样本指示点云中的点的位置；以及响应于所述数据数组重建所述点云。可由与基于神经网络的自编码器相关联的解码器或图像或视频解码器来对数据数组进行解码。此外，可以对提供所述点云的初始表示的码字进行解码，其中进一步响应于所述码字来重建所述点云。该装置还可以包括耦接到所述所述多个或多个处理器的至少一个存储器。

4、根据另一实施方案，呈现了一种用于对点云数据进行编码的装置，该装置包括一个或多个处理器，其中所述一个或多个处理器被配置为：由基于神经网络的第一模块生成码字，该码字提供与所述点云数据相关联的输入点云的表示；基于所述码字和网格，由基于神经网络的第二模块重建第一点云；以及基于所述重建的第一点云、所述网格和所述输入点云，生成具有所述网格上的样本的数据数组，其中所述数据数组中的每个样本指示所述输入点云中的点的位置。数据数组或码字可以被压缩。可由与基于神经网络的自编码器相关联的编码器或图像或视频编码器来对数据数组进行编码。

5、一个或多个实施方案还提供了一种计算机程序，该计算机程序包括指令，该指令在由一个或多个处理器执行时使该一个或多个处理器执行根据上述任一实施方案中的编码方法或解码方法。本发明实施方案中的一个或多个实施方案还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有用于根据上述方法对点云数据进行编码或解码的指令。

6、一个或多个实施方案还提供了一种计算机可读存储介质，该计算机可读存储介质在其上存储有根据上述方法生成的比特流。一个或多个本发明实施方案还提供了一种用于传输或接收根据上述方法生成的比特流的方法和装置。

技术特征：

1.一种用于对点云数据进行解码的方法，所述方法包括：

2.根据权利要求1所述的方法，所述方法还包括：

3.根据权利要求1或2所述的方法，所述方法还包括：

4.根据权利要求3所述的方法，其中所述数据数组中的每个样本指示所述点云中的点的位置与所述重建点云的初始版本中的相应点的位置之间的差。

5.根据权利要求3至4中任一项所述的方法，所述方法还包括：

6.根据权利要求3至5中任一项所述的方法，其中由与基于神经网络的自编码器相关联的解码器来对所述码字进行解码。

7.根据权利要求1至6中任一项所述的方法，其中所述数据数组中的每个样本进一步指示颜色、法向量和反射率中的一者或多者。

8.根据权利要求5至7中任一项所述的方法，其中所述基于神经网络的模块包括至少第一组层和第二组层，其中所述第一组层响应于所述码字和所述规则网格，并且其中所述第二组层响应于所述第一组层和所述码字的输出。

9.根据权利要求8所述的方法，其中所述第一组层对应于第一组共享多层感知器(mlp)，并且所述第二组层对应于第二组共享mlp。

10.根据权利要求3至9中任一项所述的方法，其中所述码字是表示隐空间中的所述点云的特征向量。

11.根据权利要求1至10中任一项所述的方法，其中所述规则网格表示在2d表面上规则采样的2d坐标。

12.根据权利要求11所述的方法，其中所述2d表面是矩形、正方形区域或2d球体。

13.根据权利要求2至12中任一项所述的方法，所述方法还包括：

14.一种用于对点云数据进行编码的方法，所述方法包括：

15.根据权利要求14所述的方法，所述方法还包括压缩所述数据数组。

16.根据权利要求15所述的方法，其中由与基于神经网络的自编码器相关联的编码器或图像或视频编码器来对所述数据数组进行编码。

17.根据权利要求14至16中任一项所述的方法，所述方法还包括压缩所述码字。

18.根据权利要求17所述的方法，其中由与基于神经网络的自编码器相关联的编码器对所述码字进行编码。

19.根据权利要求14至18中任一项所述的方法，所述方法还包括：

20.根据权利要求19所述的方法，其中与所述网格中的所述对应位置相关联的所述样本指示所述输入点云的所述对应点的所述位置与所述重建的第一点云的所述对应点的位置之间的差。

21.根据权利要求14至20中任一项所述的方法，其中所述基于神经网络的第二模块包括至少第一组层和第二组层，其中所述第一组层响应于所述码字和所述网格，并且其中所述第二组层响应于所述第一组层和所述码字的输出。

22.根据权利要求21所述的方法，其中所述第一组层对应于第一组共享mlp，并且所述第二组层对应于第二组共享mlp。

23.根据权利要求14至22中任一项所述的方法，其中所述码字是表示隐空间中的所述输入点云的特征向量。

24.根据权利要求14至23中任一项所述的方法，其中所述数据数组中的每个样本进一步指示颜色、法向量和反射率中的一者或多者。

25.根据权利要求14至24中任一项所述的方法，其中所述网格表示在2d表面上规则采样的2d坐标。

26.根据权利要求25所述的方法，其中所述2d表面是矩形、正方形区域或2d球体。

27.根据权利要求15至26中任一项所述的方法，所述方法还包括：

28.一种装置，所述装置包括一个或多个处理器和耦接到所述一个或多个处理器的至少一个存储器，其中所述一个或多个处理器被配置为执行根据权利要求1至27中任一项所述的方法。

29.一种包括比特流的信号，所述比特流通过执行根据权利要求14至27中任一项所述的方法形成。

30.一种计算机可读存储介质，所述计算机可读存储介质上存储有用于根据权利要求1至27中任一项所述的方法对点云进行编码或解码的指令。

技术总结
在一个具体实施中，提出了UnfoldingOperator，其将未组织的输入3D点云展开/展平到规则的2D网格上。给定输入点云、输入2D网格和由FoldingNet产生的重建点云，该提议基于重建的点云将输入点云映射到2D网格上，从而产生三通道图像。另选地，并非单独使用图像来表示点云，而是将点云分解为码字和三通道残差图像。通过从原始输入中减去重建的点云来获得该残差图像。所提出的UnfoldingOperator可以应用于点云压缩，从而产生被称为UnfoldingCompression的对应压缩系统。UnfoldingCompression可与TearingCompression一起使用，其中可以适应性地选择是使用UnfoldingCompression还是TearingCompression。

技术研发人员：庞家昊,田东,M·夸克,G·瓦伦齐斯,F·迪福克斯
受保护的技术使用者：交互数字专利控股公司
技术研发日：
技术公布日：2024/3/11