基于场景流网络与时间熵模型的动态点云几何压缩方法

1.本发明涉及一种动态点云几何压缩方法，属于人工智能和gis信息技术领域，具体涉及一种基于场景流网络和时间熵模型的动态点云几何压缩方法。


背景技术：

2.点云(point cloud)是三维(或三维以上)几何模型表面采样点的集合，每个点包含几何信息(x,y,z)以及对应的属性信息，例如颜色(r,g,b)，反射率，透明度等信息。动态点云是时间上连续的点云序列，不像网格数据，点云在空间上不包含拓扑信息，在时间上不存在对应关系，而且点云包含很多噪声数据，这使得如何有效去除空间及时间冗余是及其困难的事情。
3.另一方面，随着传感设备的发展，点云获取越来越容易，点云在很多领域，如沉浸式3d远程，vr，自由视角的运动回放和自动驾驶等领域都有巨大的应用潜力。同时，高分辨率动态点云的数据量越来越大，大量的动态点云数据对硬件设备的存储能力，传输能力造成了巨大压力。因此，研究动态点云数据的压缩存储，具有十分重要的现实意义。
4.据可查阅的文献资料显示，近几年来国内外已有较多的科研人员从事动态点云压缩相关的研究工作，提出了一系列压缩方案，包括:xor(编码相邻帧八叉树结构的差异)方法，基于图的动态点云压缩方法，基于icp(最近迭代点)及帧内编码的压缩方法，均实现了不同程度的压缩效果，但这些方式压缩率较低。
5.运动估计和残差压缩对于动态点云几何压缩是很关键的因素，而之前采取的运动估计方式，如基于图的运动估计和icp等方式的估计准确性较低，之前的残差压缩方法，如xor方法，基于块的帧内编码等方式的编码量均较大。
6.因此，设计并实现一种能够有效去除动态点云几何冗余的压缩方法，具有较强的现实意义和应用价值。


技术实现要素：

7.本发明主要是解决现有技术所存在的上述问题，提供一种基于场景流网络以及时间熵模型的动态点云几何压缩方法。
8.本发明主要针对动态点云几何压缩问题，利用场景流网络估计前一帧点云的运动向量，从而利用时间冗余，并将运动向量视为点云的属性，利用mpeg(动态图像专家组)中的属性压缩方式进行编码以利用空间冗余，之后引入时间熵模型网络以编码预测帧和当前帧在隐空间中的残差，实现动态点云的几何压缩。解决时序海量动态点云数据的优化压缩，为三维动态点云更加广泛的应用与推广提供技术支撑。
9.本发明是通过以下技术方案得以解决的：
10.步骤一：基于场景流网络的运动估计步骤，用于估计前一帧点云相对于当前帧点云的运动向量；
11.步骤二：运动向量编码及运动补偿步骤，用于对上一步估计的运动向量进行编码，
并利用解码的运动向量对前一帧点云进行运动补偿，得到预测点云；
12.步骤三：残差压缩步骤，用于编码预测点云和原始点云的差值信息。
13.本发明具有如下有益效果：本发明通过引入场景流网络，能够快速准确地估计前一帧点云的运动向量，有效去除时间冗余。将运动向量视为点云属性并利用mpeg中的属性压缩方式进行编码，本发明可以高效编码运动向量并有效利用空间冗余。引入时间熵模型网络，可以极大得减少残差编码量。最后，整个框架使用稀疏卷积网络，能够极大得减少内存并提高运行速度。
附图说明
14.附图1是本发明实施例提供的基于场景流网络和时间熵模型的动态点云几何压缩的整体框架。
具体实施方式
15.下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。
16.实施例：
17.本实施例提供一种基于场景流网络和时间熵模型的动态点云几何压缩方法，如图1所示，具体包括：
18.步骤一：场景流估计
19.首先将解码的上一帧点云和当前帧点云进行缩放并量化，从中随机采样一定点数以输入到场景流网络中处理。采样的点经过几层步长为2的稀疏卷积以提取点云的多尺度特征，然后以自底向上的方式估计场景流信息，在每一层中均利用场景流估计模块估计当前层的场景流信息。
20.场景流估计模块主要利用代价体子模块和场景流预测器子模块估计场景流信息。代价体子模块主要以块到块的方式集成点与点之间的相似性。场景流预测器子模块主要利用解码上一帧点云的特征，当前帧点云的特征，上一层中上采样的场景流信息，代价体信息以预测当前层的场景流信息。在求得采样点的运动向量之后，通过插值的方式得到解码前一帧所有点的运动向量。
21.步骤二：运动向量压缩及运动补偿
22.解码的运动向量利用mpeg中的属性压缩方式进行压缩，解压缩，得到解压缩的运动向量，然后利用解压缩的运动向量对解码上一帧点云进行运动补偿，得到预测点云。
23.步骤三：残差压缩
24.利用时间熵模型网络将预测点云和原始点云的差值进行编码：首先利用编码器将预测点云和当前帧点云映射到隐空间中的隐变量y1和y。隐变量y是由位置信息cy以及对应的特征信息fy表示。在隐空间中将y1和y作差，得到隐空间中的差值y
res
。利用八叉树压缩方法对y的位置信息进行无损压缩，之后考虑如何编码差值y
res
。对于差值y
res
的位置信息，可以由y1和y中的位置信息作差得到，对于差值y
res
的特征信息，先进行量化，然后利用算数编码进行无损压缩。假设差值对应的特征信息的概率分布满足高斯混合分布，而对于每个分量的概率分布，用一个高斯分布(均值为μ,方差为σ)来近似，从而我们只需要设计一个网络得到高斯分布的参数即可。
25.将y1和y拼接后的信息经过2层步长为2的稀疏卷积得到隐变量z，对于z的特征信息fz，先进行量化，然后利用算数编码进行无损压缩，并利用全分解熵模型估计fz的概率分布信息。上述压缩的特征信息fz经过算数解码后，得解码后的隐变量得解码后的隐变量经过2层步长为2的稀疏卷积得到z1。预测点云的隐变量y1经过3层稀疏卷积得到y2，之后将y2和z1拼接后的隐变量经过3层稀疏卷积用于估计差值的特征信息的概率分布。
26.将压缩的y的位置信息进行八叉树解码，得到当前点云的隐变量的位置信息，将的位置信息和y1的位置信息作差，得到差值的位置信息，将压缩的差值的特征信息进行算数解码，得到差值的特征信息，由位置信息和特征信息构成解码的差值解码的差值加上预测点云的隐变量y1，得到当前点云的隐变量隐变量经过解码器得到解码的点云。
27.实施例：
28.本实施例中用于测试的数据集是mpeg中的动态点云序列soldier；根据图1发明整体流程图步骤可知，先要训练场景流网络和时间熵模型网络。这里选取amass中的部分点云数据进行训练。对于输入的当前帧点云和解码的上一帧点云，先将它们缩小2倍，并进行量化，随机采样100000个点输入到场景流网络中以估计前一帧点云的运动向量。对于得到的运动向量，利用插值的方式得到前一帧中所有点的运动向量，并将运动向量扩大2倍。
29.之后将运动向量视为点云的属性信息，利用mpeg中的lift变换方式将运动向量进行编码，得到位流。然后对位流用lift变换方式进行解码，得到解码的运动向量，并利用该运动向量对解码的上一帧点云进行运动补偿，得到预测点云。
30.最后将当前帧点云和预测帧点云输入到时间熵模型网络中，可以得到最终解码的点云，并将该点云放到解码帧缓冲区中。
31.分别对本实施方法和其它方法在bpp，d1，d2几个指标上进行测试，将得到的结果汇聚成表格如下：
[0032][0033][0034]
其中bpp表示平均每个顶点需要多少位编码，值越小越好，d1表示点到点的失真度量，值越大越好，d2表示点到面的失真度量，值越大越好。由结果可以看到，本实施例在最小的bpp下，在d1和d2两种失真度量下均得到最好的结果，由此可以体现本发明相比于之前的方法能够有效提高压缩率。