一种基于深度学习的自适应扰动点云上采样方法与流程

[0001]
本发明涉及计算机图形三维视觉技术领域，具体地说，涉及一种基于深度学习的自适应扰动点云上采样方法。


背景技术：

[0002]
三维点云作为三维数据的原始表示，被广泛应用于沉浸式设备体验、三维城市重建、自主驾驶以及虚拟/增强现实等。尽管近年来三维传感技术有了很大的发展，但获得的点云数据往往会有稀疏、缺失、噪点等多种缺陷。因此，需要改进获取的原始点云数据以利于后续的使用。
[0003]
现有的点云上采样方法包括传统方法和基于数据驱动的方法，早期的传统方法如alexa等人提出了一个开创性的方法，在局部切线空间中对voronoi图顶点处插入点，进而在此基础上进行上采样。huang等人提出了一种用于点集边缘感知上采样的渐进式方法ear。首先，该方法重新采样远离边缘的部分，然后逐渐接近边缘和角落。总的来说，这些方法很大程度上依赖于一些先验条件，例如平滑曲面假设、正态估计等。
[0004]
近年来基于深度学习的方法可以通过大量的数据进行神经网络的学习，进而完成各种三维点云的任务，如分类，分割等。在qi等人提出了开创性的工作pointnet之后，一系列的基于深度学习的点云处理方法被提出来。利用神经网络进行点云上采样的方法首先由yu等人提出，即pu-net，该方法首先学习输入点云从局部到全局的特征，进而再对特征复制多份并分别卷积，最后回归至欧式空间得到上采样后的点云坐标。wang等人提出了基于片元的多步骤上采样方法mpu，当需要进行多倍上采样时，该网络会拆成多个小模块，每个模块负责2倍上采样，每个层之间相互独立，最终通过融合不同片元的上采样结果得到最终的重建结果，但其模型过大，上采样的速度过慢。yu等人之后又提出了基于生成对抗网络的上采样点云模型，通过生成器得到上采样点云，并利用鉴别器进行判别，但它的性能提升主要还是因为引入了鉴别器。


技术实现要素：

[0005]
本发明的目的是提供一种基于深度学习的自适应扰动点云上采样方法，对需要进行上采样的点云进行上采样，结果均匀性较好，且可以很好的体现丰富的几何细节。
[0006]
为了实现上述目的，本发明提供的基于深度学习的自适应扰动点云上采样方法，包括将需要进行上采样的稀疏有噪音的点云文件输入至上采样模型，进行上采样操作，得到干净密集均匀的上采样点云；
[0007]
所述上采样模型通过以下学习过程得到：
[0008]
1)将原始稀疏点云n
×
3输入神经网络，其中，n为点云中点的数量，3为每个点的欧式空间坐标；
[0009]
2)对n
×
3的点云进行基于denseblock(稠密卷积网络)的简单密集连接的特征提取，得到输入点云特征值n
×
c
l
；
[0010]
3)将步骤2)得到的点云特征值n
×
c
l
输入自适应扰动层，得到n
×
2的二维自适应随机扰动值，根据点云上采样倍数的需求重复此步骤r次，得到r n
×
2的扰动值；
[0011]
4)将点云特征值n
×
c
l
复制r份，得到rn
×
c
l
，每份连接步骤3)的n
×
2扰动值，得到r n
×
(c
l
+2)的上采样点云隐式空间特征值，使用自注意机制单元对该特征值进行非局部特征增强后，再经过自适应残差层得到r n
×
3的自适应残差值；
[0012]
5)将rn
×
c
l
与r n
×
3的残差值进行连接，再使用一次自注意机制单元进行非局部特征增强后，进行3次卷积得到最终的上采样点云；
[0013]
6)将步骤5)得到的上采样点云和对应的ground truth(正确标注)点云进行对比，得到损失函数值后，对网络参数进行反向优化；
[0014]
7)重复步骤1)～6)，直到模型收敛，得到上采样模型。
[0015]
步骤2)中，所述的基于denseblock的简单密集连接的特征提取过程包括：
[0016]
2-1)对n
×
3的点云进行一次卷积得到隐式空间中的特征值n
×
c，并将特征值送入denseblock进行细粒度的特征提取，得到特征值n
×
g；
[0017]
2-2)将步骤2-1)得到的特征值n
×
g与n
×
c进行特征维度的连接得到n
×
(g+c)；
[0018]
2-3)重复步骤2-1)和2-2)，得到点云特征值n
×
(g'+g+c)后，再进行一次卷积得到点云特征值n
×
c
l
。
[0019]
步骤2-1)中，denseblock进行细粒度的特征提取的过程如下：
[0020]
2-1-1)已知输入特征n
×
c，对c维隐式空间中的n个点均进行k最近邻搜索，搜索距离为隐式空间中c维空间的欧氏距离，并得到每个点和其k个最近邻点的索引值；
[0021]
2-1-2)根据索引计算每个点和k个最近邻点的c维空间的欧氏距离c
relative
得到n
×
k
×
c
relative
，每个点的特征值复制k份得到n
×
k
×
c，连接得到基于每个点的点簇特征值n
×
k
×
(c+c
relative
)；
[0022]
2-1-3)对点簇特征值再进行一次卷积后和复制k份的n
×
c连接得到特征值n
×
k
×
(c'+c)，得到的n
×
k
×
(c'+c)进行一次卷积得到n
×
k
×
c”，并与特征值n
×
k
×
(c'+c)进行连接后，使用最大池化操作即得到输出特征值n
×
g。
[0023]
步骤3)中，使用自适应扰动层得到二维自适应随机扰动值的过程如下：
[0024]
3-1)将点云特征值n
×
c
l
首先进行一次卷积，得到n
×
c
l
'的点云扰动特征值；
[0025]
3-2)对n
×
c
l
'再进行一次卷积，通道数为第一次的一半，得到的点云扰动特征值；
[0026]
3-3)将的扰动特征值再进行一次卷积，通道数为2，进而得到n
×
2的二维自适应随机扰动；根据点云加密倍数的需求重复步骤3-1)到步骤3-3)r次，每次使用不同的卷积核，得到rn
×
2的扰动值。
[0027]
步骤4)和步骤5)中，自注意机制单元进行非局部特征增强的过程如下：
[0028]
对已知输入rn
×
(c
l
+2)分别进行一次基于1
×
1卷积核的卷积，共三次，得到三个隐式空间的输出f，g，h，将f进行转置并和g相乘，通过softmax(归一化指数函数)得到一个attention map(注意力特征图)；将attention map与h相乘，得到自适应的自注意feature map特征图，之后和输入rn
×
(c
l
+2)相加即得到进行了非局部特征增强的特征值。
[0029]
步骤4)中，所述的经过自适应残差层得到r n
×
3的自适应残差值的过程如下：
[0030]
4-1)对rn
×
(c
l
+2)的点云特征值首先进行一次卷积，得到rn
×
c
″
l
的自适应残差特征值；
[0031]
4-2)将rn
×
c
″
l
再进行一次卷积，通道数为第一次的一半，得到的残差特征值；
[0032]
4-3)将的残差特征值再进行一次卷积，通道数为3，进而得到rn
×
3的自适应残差值。
[0033]
步骤6)中，所述损失函数表示如下：
[0034][0035]
其中，n为上采样后的点云数，χ
r
、γ
r
分别表示上采样点云和对应ground truth点云，ψ分别表示两个相同维度空间的最近距离映射，即其中一个点集中某个点在另一个点集中对应的最近邻点；x
i
表示上采样点云的第i个点，y
k
表示正确标注点云的第k个点。
[0036]
与现有技术相比，本发明的有益之处在于：
[0037]
本发明提出的用于点云上采样的方法，其神经网络模型设计简单，网络模型所占空间尺寸小，生成上采样的点云速度快，同时能保证生成质量较高的上采样点云。
附图说明
[0038]
图1为本发明实施例中基于深度学习的自适应扰动点云上采样方法的神经网络的结构示意图；
[0039]
图2为本发明实施例中denseblock的结构示意图；
[0040]
图3为本发明实施例中昌盛的上采样点云的可视化结果，使用的曲面重建算法为泊松曲面重建。
具体实施方式
[0041]
为使本发明的目的、技术方案和优点更加清楚，以下结合实施例及其附图对本发明作进一步说明。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0042]
除非另外定义，本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明中使用的“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。
[0043]
实施例
[0044]
参见图1，本实施例将一个有噪音不均匀的稀疏点云输入至上采样模型，通过上采样模型进行4倍上采样的点云上采样过程，从而得到一个干净，密集且均匀的输出点云。具
体过程如下：
[0045]
步骤s100，首先，将稀疏点云5000
×
3输入神经网络，其中5000为点云中点的数量，3为每个点的欧式空间坐标。
[0046]
步骤s200，对5000
×
3的点云进行基于denseblock的简单密集连接的特征提取，具体的说，首先进行一次卷积得到隐式空间中的特征值5000
×
48，并将特征值送入denseblock进行简单密集连接特征提取，得到特征值5000
×
144；
[0047]
步骤s300，将步骤2得到的5000
×
144与送入denseblock前的特征值5000
×
48进行特征维度的连接得到5000
×
(144+48)。
[0048]
步骤s400，重复步骤s200和s300，并再进行一次卷积最终得到点云特征值5000
×
192。
[0049]
步骤s500，将步骤s400得到的点云特征值5000
×
192送入自适应扰动层，得到5000
×
2的二维自适应随机扰动值，并重复此步骤4次，得到4
×
5000
×
2的二维自适应随机扰动值。
[0050]
步骤s600，将点云特征值5000
×
192复制4份得到4
×
5000
×
192，每份连接步骤s500的5000
×
2扰动值，得到4
×
5000
×
194的上采样点云隐式空间特征值，使用自注意机制单元对该特征值进行非局部特征增强后，再经过自适应残差层得到4
×
5000
×
3的自适应残差值。
[0051]
步骤s700，将4
×
5000
×
192的点云提取特征值与4
×
5000
×
3扰动值进行连接，再使用一次自注意机制对非局部特征增强后，进行3次卷积，得到最终的20000
×
3上采样点云。
[0052]
最后，在图3中给出了和本示例相同输入数据大小的上采样点云的可视化结果。结果表明，本实施例在模型尺寸小的情况下，其点分布均匀性达到并超过了一些已有的方法，且可以比较好的呈现下垫面几何结构。