一种用于增强压缩点云重建质量的装置及方法

1.本发明属于点云几何技术领域，具体涉及一种用于增强压缩点云重建质量的装置及方法。


背景技术：

2.点云是表示三维物体形状、颜色、反射强度等信息的数据集合，如今已成为描述三维物体形状和结构的主流方式，被广泛应用于自动驾驶、虚拟现实等技术领域。现实应用中涉及的点云往往包含数量庞大的点，存在大量冗余，如果直接对未经压缩的点云进行存储和传输，需要消耗大量的内存和带宽，而点云压缩能够有效解决这个问题。
3.传统的点云压缩方法中，比较具有代表性的是moving picture experts group(mpeg)提出的geometry-based point cloud compression(g-pcc)和video-based point cloud compression(v-pcc)方法。其中，g-pcc通常用于静态点云的压缩，v-pcc则用于动态点云的压缩。这两种方法利用八叉树分解、二维到三维的投影、三角曲面模型等传统手段，能够高效地完成点云的无损和有损压缩。但是压缩后的点云视觉效果不佳，对压缩后的点云进行上采样可以提升点云视觉效果，以及客观评价指标，使重建点云更接近原始点云。
4.目前针对点云重建的方法可分为传统和基于深度学习的方法，传统方法主要是查表法：在体素化点云后，利用多个尺度的点云体素信息构建查找表，按照此表对点云进行重建，能够提升重建点云的质量，但是建立表的时间过长，且提升效果有限。基于深度学习的方法有：(1)基于点的方法，利用多层感知机提取点之间的特征信息，对点云进行重建，但是此类方法只适用于点数较少的点云，复杂度较高；(2)基于体素的方法：体素化点云后利用三维卷积提取点云特征信息，再进行重建，该类方法适用于点数多的点云，符合实际应用。
5.然而现有的点云压缩重建方法，在对重建点云进行质量增强时，没有充分利用点云的原始信息，通常只能对特定种类的点云进行质量增强，特别是在训练集的点云类型上表现较好，但是泛化性较差，此外点云增强的效果也很有限。


技术实现要素：

6.针对现有技术的不足，本发明提出了一种用于增强压缩点云重建质量的装置及方法，在点云压缩前计算其密度信息，然后在重建过程中根据密度信息进行针对性的质量增强，克服现有技术的增强方法质量较差的缺点。
7.一种用于增强压缩点云重建质量的装置，包括点云密度计算模块、多尺度特征提取模块和点云质量增强模块。
8.所述点云密度计算模块计算原始点云的全局密度信息。设置球体半径为r，依次以原始点云中的每个点作为球体中心，计算球体覆盖的点元数量除以球体体积的商，作为该点的局部密度，然后取点云中所有点的局部密度的中位数，作为该点云的全局密度ρ。其中，r为正整数。
9.所述多尺度特征提取模块包括多个特征提取分支，对输入点云进行不同尺度的下
采样操作，每个尺度的点云都使用卷积进行特征提取，最后将多尺度的特征进行融合，得到点云的多尺度特征。
10.所述点云质量增强模块将点云的全局密度ρ与设定的阈值t1、t2进行比较，对点云进行分类。当ρ≥t1时，则当前点云为solid点云，使用坐标恢复模块进行点云质量增强；当t2《ρ《t1时，则当前点云为dense点云，先使用坐标恢复模块，再使用坐标细化模块进行点云质量增强；当ρ≤t2时，则当前点云为sparse点云，使用坐标细化模块进行点云质量增强。
11.所述坐标恢复模块对压缩后的点云坐标进行反卷积，在每个点的周围生成新的点。然后根据原始点云的多尺度特征计算每个点对应的概率，然后保留其中概率最高的k个点，得到重建点云。k为原始点云中点的数量。
12.所述坐标细化模块将原始点云的多尺度特征进行稀疏卷积，然后通过3个连续的全连接操作，得到坐标的偏移量。将压缩点云的坐标加上偏移量，得到重建点云。
13.作为优选，还包括点云分割模块，用于将原始点云分割为m个子点云，每个子点云分别进行压缩与质量增强。其中m为正整数。
14.一种用于增强压缩点云重建质量的方法，具体包括以下步骤：
15.步骤1、原始点云分割
16.将待压缩的原始点云分割成m块子点云，其中m为正整数。
17.步骤2、子点云密度计算
18.设置球体半径为r，依次以子点云中的每个点作为球体中心，计算球体覆盖的点元数量除以球体体积的商，作为该点的局部密度，然后取子点云中所有点的局部密度的中位数，作为该子点云的全局密度ρ。其中，r为正整数。
19.步骤3、特征提取与压缩
20.通过多个分支对原始点云进行不同尺度的下采样和卷积操作，以获得原始点云不同尺度的特征，最后将每个分支的输出结果融合，得到原始点云的多尺度特征。最后对原始点云的几何信息进行压缩。
21.步骤4、点云质量增强
22.将每个子点云压缩前的全局密度ρ与设定的阈值t1、t2进行比较，对点云进行分类，对不同类别的点云采取不同的质量增强方式：
23.s4.1、当ρ≥t1时，则该子点云为solid点云，通过对压缩后的点云坐标进行反卷积，在每个点的周围生成新的点。然后根据步骤3提取的多尺度特征，计算每个点的概率并保留其中概率最高的k个点，得到重建点云。k为原始点云中点的数量。
24.s4.2、当t2《ρ《t1时，则该子点云为dense点云，先通过对压缩后的点云坐标进行反卷积，在每个点的周围生成新的点。然后根据步骤3提取的多尺度特征，计算每个点的概率并保留其中概率最高的k个点。再将多尺度特征进行稀疏卷积和3次全连接操作，得到坐标的偏移量，将这k个点的坐标加上偏移量后，得到重建点云。
25.s4.3、当ρ≤t2时，则该子点云为sparse点云，将多尺度特征进行稀疏卷积和3次全连接操作，得到坐标的偏移量，将压缩点云的坐标加上偏移量后，得到重建点云。
26.本发明具有以下有益效果：
27.1、对原始点云分割后，对子点云进行分类，作为压缩点云质量增强时的密度信息，选择合适的重建方法，能够显著提升压缩点云的重建效果，使重建点云更接近原始点云。同
时该重建方法可以处理不同压缩率以及不同种类的点云，符合实际场景的应用。
28.2、在点云质量增强过程中使用多尺度的特征提取模块，包含多个尺度的点云特征提取模块，对输入点云进行一次到多次的下采样，每个尺度的点云都使用卷积进行特征提取，最后将多尺度的特征进行融合，得到点云的多尺度特征，用于后续点云重建过程。能够充分提取点云的特征信息，增强点云重建质量。
附图说明
29.图1为实施例中一种用于增强压缩点云重建质量的装置结构示意图；
30.图2为实施例中点云分割示意图；
31.图3为实施例中点多尺度特征提取模块示意图；
32.图4为实施例中点云质量增强模块示意图图
33.图5为实施例中坐标恢复模块示意图；
34.图6为实施例中坐标细化模块示意图；
35.图7为实施例中针对不同数据的对比实验结果。
具体实施方式
36.以下结合附图对本发明作进一步的解释说明；
37.如图1所示，一种用于增强压缩点云重建质量的装置，包括点云特征提取模块100、点云质量增强模块200。所述点云特征提取模块100包括点云分割模块101、多尺度特征提取模块102、点云分类模块103和点云密度计算模块104。
38.如图2所示，所述点云分割模块101用于将原始点云分割成m个子点云，针对子点云进行后续的密度计算与特征提取、压缩重建等操作，可以降低计算复杂度与处理时间。
39.所述点云密度计算模块104针对点云分割模块101分割后的子点云，计算其全局密度信息。
40.如图3所示，所述多尺度特征提取模块102包含多个分支，在每个分支中通过不同尺度的下采样与卷积操作，提取子点云不同尺度的特征，最后融合得到子点云的多尺度特征，用于后续重建点云的质量增强中。
41.所述点云分类模块103根据点云密度计算模块104计算的子点云全局密度ρ与阈值t1、t2的比较结果，将子点云分为solid点云、dense点云或sparse点云。
42.如图4所示，所述点云质量增强模块200对solid点云，使用坐标恢复模块进行点云质量增强；对dense点云，先使用坐标恢复模块，再使用坐标细化模块进行点云质量增强；对sparse点云，使用坐标细化模块进行点云质量增强。
43.如图5所示，所述坐标恢复模块对压缩后的点云坐标进行反卷积，在每个点的周围生成新的点。然后根据原始点云的多尺度特征计算每个点对应的概率，然后保留其中概率最高的k个点，得到重建点云。k为原始点云中点的数量。
44.如图6所示，所述坐标细化模块将原始点云的多尺度特征进行稀疏卷积，然后通过3个连续的全连接操作，得到坐标的偏移量。将压缩点云的坐标加上偏移量，得到重建点云。
45.一种用于增强压缩点云重建质量的方法，具体包括以下步骤：
46.步骤1、原始点云分割
47.将待压缩的原始点云分割成m块子点云，其中m为正整数。
48.步骤2、子点云密度计算
49.设置球体半径为r，依次以子点云中的每个点作为球体中心，计算球体覆盖的点元数量除以球体体积的商，作为该点的局部密度，然后取子点云中所有点的局部密度的中位数，作为该子点云的全局密度ρ。其中，r为正整数。
50.步骤3、特征提取与压缩
51.通过多个分支对原始点云进行不同尺度的下采样操作，以获得原始点云不同尺度的特征，最后将每个分支的输出结果融合，得到原始点云的多尺度特征。最后对原始点云的几何信息进行压缩。
52.步骤4、点云质量增强
53.将每个子点云压缩前的全局密度ρ与设定的阈值t1、t2进行比较，其中阈值t1可以设定为1e-4，t2可以设定为1e-5，对点云进行分类，对不同类别的点云采取不同的质量增强方式：
54.s4.1、当ρ≥t1时，则该子点云为solid点云，通过对压缩后的点云坐标进行反卷积，在每个点的周围生成新的点。然后根据步骤3提取的多尺度特征，计算每个点的概率并保留其中概率最高的k个点，得到重建点云。k为原始点云中点的数量。
55.s4.2、当t2《ρ《t1时，则该子点云为dense点云，先通过对压缩后的点云坐标进行反卷积，在每个点的周围生成新的点。然后根据步骤3提取的多尺度特征，计算每个点的概率并保留其中概率最高的k个点。再将多尺度特征进行稀疏卷积和3次全连接操作，得到坐标的偏移量，将这k个点的坐标加上偏移量后，得到重建点云。
56.s4.3、当ρ≤t2时，则该子点云为sparse点云，将多尺度特征进行稀疏卷积和3次全连接操作，得到坐标的偏移量，将压缩点云的坐标加上偏移量后，得到重建点云。
57.为了说明本方法的效果，使用相同的数据集训练对比方法pu-dense，在mpeg序列上进行测试，实验结果如图7所示，其中横轴bpp表示压缩率的大小，竖轴d1 psnr为评价点云质量的一种常用客观指标，量纲为db。gpcc+upsampling为本发明的方法，利用原始点云的密度信息选择合适的点云质量增强方法。pu-dense为基于体素的点云质量增强方法，没有利用原始点云的密度信息。lut为查表上采样方法，gpcc(octree)和gpcc(trisoup)为有损压缩方法。根据图中的线条走向可以看出，本发明的方法在多个数据集上的表现均优于其他点云质量增强方法。
58.以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界。