一种三维点云上采样方法、系统、设备及介质

1.本发明涉及一种多媒体信号处理领域，具体地说，涉及的是一种三维点云上采样方法、系统、设备及介质。


背景技术：

2.近些年，深度神经网络模型在三维点云的分类与识别上展现出令人瞩目的出色性能。受此鼓舞，研究者开始致力于利用深度学习方法解决点云上采样问题。yu等人在《2018 ieee/cvf conference on computer vision and pattern recognition》公开了点云上采样网络(pu
‑
net)，通过点采样与邻域分组来抽取多尺度的点特征，串联特征并利用多分支的双层点卷积进行点集扩展，然而下采样不可避免地带来分辨率损失。随后，yu等人在《european conference on computer vision 2018》公开了边缘感知的点集固结网络(ec
‑
net)，通过最小化点到边缘的距离损失函数来锐化点云的边缘精细结构，训练过程依赖于耗费时力的手工边缘标注。wang等人在《2019 ieee/cvf conference on computer vision and pattern recognition》公开了一种多阶段点云上采样方法(mpu)，借鉴图像超分辨率的多阶段网络训练机制，以不同的精细粒度渐进式地上采样输入点云，其分阶段的模块训练需要高昂的计算复杂度。li等人在《2019 ieee/cvf international conference on computer vision》和wu等人在《british machine vision conference 2020》分别公开了点云上采样的生成对抗网络(pu
‑
gan)和对抗残差图卷积网络(ar
‑
gcn)，引入生成对抗机制产生稠密点云，利用鉴别器约束隐空间中的期望点分布，但是由于网络结构复杂而不易收敛。qian等人在《european conference on computer vision 2020》公开了基于几何的点云上采样方法(pu
‑
geo)，根据离散微分几何的局部参数化形式学习点邻域的基本几何特征，从平面参数空间中对点云的坐标与法向量进行联合上采样，利用学习到的几何变换将采样点提升至曲面空间，训练过程需要借助法向量作为附加的监督数据，但是许多原始数据如lidar点云并未包含法方向信息。qian等人在《2021 ieee/cvf conference on computer vision and pattern recognition》公开了基于图卷积网络的点云上采样网络(pu
‑
gcn)，结合inception网络结构与稠密连接的空洞图卷积提取多尺度邻域特征，在保持卷积核参数量不变的前提下扩张感知野，利用单个图卷积层提取高维特征以实现点集扩展，但空洞卷积需要繁琐的手动参数调节，容易丢失局部信息而产生棋盘效应，且特征空间内的直接扩展无法利用潜在曲面的几何形状信息。


技术实现要素：

3.本发明针对现有技术的不足，提供了一种三维点云上采样方法、系统、设备及介质，能够对空间稀疏非均匀分布的三维点云进行不同精细粒度的细节信息增强，同时对潜在的噪声扰动与局部形变具备良好的稳定性。
4.根据本发明的第一方面，提供了一种三维点云上采样方法，包括：
5.将三维点云划分为能覆盖所有点的固定点数可重叠点云块；
6.根据点云块中点坐标提取层次化特征；
7.利用多尺度热核图卷积对提取的所述层次化特征实现点集特征扩展；
8.从所述扩展特征重建上采样的三维点云中点坐标。
9.可选的，所述从点云块中点坐标提取层次化特征，通过深层稠密连接动态图卷积网络实现，由多个动态图卷积单元构成，网络的输入为点云块中n个点的三维坐标网络的输出为层次化特征其中，第一个动态图卷积单元的输入特征将第k
‑
1个动态图卷积单元的输出特征作为对第k个动态图卷积单元的输入特征，更新得到第k个动态图卷积单元的输出特征并将最终的第l1个动态图卷积单元的输出特征作为输出的层次化特征
10.所述动态图卷积单元进行以下操作：
11.根据输入特征的相似性构造k1邻域图生成邻接矩阵
12.对任意点i的维输入特征计算相对所有邻接点j的维特征平移向量并与输入特征串联生成维向量并通过图卷积提取该点局部邻域特征
[0013][0014]
这里，concatv是向量的串联操作，是图卷积的可学习参数；
[0015]
对点i邻域通过排序不变的最大值池化层聚合局部邻域特征通过排序不变的最大值池化层聚合局部邻域特征作为该点的输出特征
[0016]
合并所有点的输出特征得到点数为n的点云块输出特征矩阵
[0017]
可选的，所述多尺度热核图卷积通过具有跨层连接的多尺度热核图滤波器组实现，所述多尺度热核图滤波器组的响应可通过以下任一方式获得：
[0018]
‑
高参数复杂度、尺度数量可变的聚合方式：
[0019]
将输入的所述层次化特征分别通过s个不同热扩散尺度t1,
…
,t
s
的热核图滤波器，并通过非线性激活函数σ(
·
)，得到对应的s个滤波响应h1,
…
,h
s
，其中尺度s的滤波响应为
[0020]
h
s
＝σ(exp(
‑
t
s
l)hw
s
)
[0021]
这里，是热扩散尺度t
s
的热核函数，l是输入点云块中点坐标相似度构造的k2邻域图的拉普拉斯矩阵，是第s个尺度的可学习参数矩阵，用于尺度s的特征变换和自适应聚合，行数为输入特征维数n
h
，列数为输入特征维数乘以上采样倍率rn
h
；
[0022]
对s个不同热扩散尺度的滤波响应求和得到聚合特征矩阵，重排所述聚合特征矩阵，保持矩阵元素数量不变并使得矩阵行数等于上采样的目标点数rn，列数为输入特征的
维数n
h
：
[0023][0024]
这里，是重排操作，获得重排特征矩阵
[0025]
将输入的所述层次化特征通过跨层连接，并以上采样倍率r进行平铺扩展，将矩阵的每行复制为r行得到扩展输入特征并与聚合特征矩阵h
′
a
相加，得到扩展特征矩阵
[0026]
‑
低参数复杂度、尺度数量固定为上采样倍率r的串联方式：
[0027]
将输入的所述层次化特征分别通过r个不同热扩散尺度t1,
…
,t
r
的热核图滤波器，并通过非线性激活函数σ(
·
)，得到对应的r个滤波响应h1,
…
,h
r
，其中尺度s的滤波响应为
[0028]
h
s
＝σ(exp(
‑
t
s
l)hw
s
)
[0029]
这里，是热扩散尺度ts的热核函数，l是输入点云块中点坐标相似度构造的k2邻域图的拉普拉斯矩阵，是第s个尺度的可学习参数矩阵，用于尺度s的特征变换和自适应聚合，行数和列数均为输入特征维数n
h
；
[0030]
对r个不同热扩散尺度的滤波响应按行对齐进行串联，得到串联特征矩阵对r个不同热扩散尺度的滤波响应按行对齐进行串联，得到串联特征矩阵
[0031]
h
′
c
＝concatm(h1,h2,
…
,h
r
)
[0032]
这里concatm是所述按行对齐的串联操作；
[0033]
将输入的所述层次化特征通过跨层连接，并以上采样倍率r进行平铺扩展，将矩阵的每行复制为r行得到扩展输入特征并与串联特征矩阵h
′
c
相加，得到扩展特征矩阵
[0034]
可选的，所述从扩展特征重建上采样的三维点云坐标，包括
[0035]
将所述扩展特征矩阵通过全连接网络，采用聚合模式时采用串联模式时全连接网络由多个非线性激活的全连接层组成：
[0036][0037]
这里σ
′
是非线性激活函数，l2是全连接网络层数，是具有可学习参数θ
i
的第i个全连接层；
[0038]
将点云块中点坐标通过跨层连接，并以上采样倍率r进行平铺扩展，将矩阵的每行复制为r行得到扩展点云块坐标并与全连接网络输出y
′
相加，得到上
采样倍率r的点云块中点坐标
[0039]
对所有上采样的点云块中点坐标进行聚合，利用最远点重采样得到上采样的三维点云。
[0040]
可选的，所述的三维点云上采样方法的可学习参数是基于点云块端到端训练获得，包括：
[0041]
利用泊松圆盘采样从多边形网格形式的三维形状中采集三维点云数据以及上采样的基准点云数据，将所有采集到的点云空间坐标归一化至中心点在原点位置、半径为1的单位球面之内，从三维点云中随机选取质询点作为中心，选取到中心的空间距离最近的点形成输入点云块，并将所有抽取的k3近邻块归一化至单位球面，以此作为训练数据集合；
[0042]
利用所述三维点云上采样方法从所述三维点云得到上采样的三维点云
[0043]
计算所述上采样的三维点云与基准点云q的chamfer距离：
[0044][0045]
这里，|q|和分别是q和中点的数量，y
q
和分别是q中点q和中点的三维坐标；
[0046]
计算所述上采样的三维点云中点空间分布的互斥损失：
[0047][0048]
这里，是点的k4邻域点集，η是一个经验常数；
[0049]
计算损失函数其中‖θ‖2是三维点云上采样方法的可学习参数θ的二范数正则化损失项，
[0050]
根据损失函数计算对于可学习参数θ的梯度，反向传播更新三维点云上采样方法的可学习参数θ；
[0051]
重复上述三维点云上采样、损失函数计算和反向传播的步骤直至收敛，更新得到的可学习参数θ用于三维点云的上采样。
[0052]
根据本发明的第二方面，提供了一种三维点云上采样系统，包括：
[0053]
数据获取模块：获取三维点云数据；
[0054]
特征提取模块：将所述三维点云数据划分为固定点数的点云块，根据点云块中点坐标提取层次化特征；
[0055]
点集获取模块：利用多尺度热核图卷积对提取的所述层次化特征在不同尺度上实现点集特征扩展；
[0056]
坐标重建模块：从扩展特征重建上采样的三维点云坐标。
[0057]
根据本发明的第三方面，提供了一种三维点云上采样装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序；所述处理器可用于执行所述计算机程序时可用于执行上述所述三维点云上采样方法。
[0058]
根据本发明的第四方面，提供了一种电子设备，包括处理器和存储器，所述存储器
中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行上述所述三维点云上采样方法。
[0059]
根据本发明的第五方面，提供了一种计算机可读存储介质，其上存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行上述所述三维点云上采样方法。
[0060]
与现有技术相比，本发明实施例具有如下至少一项的有益效果：
[0061]
本发明上述三维点云上采样方法及系统，采用多尺度热核图卷积能够有效表征点云的局部几何特征与全局拓扑结构，对原始输入点云进行不同精细粒度的细节信息增强，同时对潜在的噪声扰动与局部形变具备良好的稳定性。
[0062]
本发明上述三维点云上采样方法及系统，采用跨层连接的多尺度热核图滤波器能够增强点云的生成质量，促进上采样稠密点云空间分布的均匀性，保证了对于目标物体几何结构的精确表示，同时加速网络参数训练的收敛速率。
[0063]
本发明上述三维点云上采样方法及系统，与现有方法(参见实施例)相比，获得了一致的性能提升。
附图说明
[0064]
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
[0065]
图1为本发明一实施例中的三维点云上采样方法示意图；
[0066]
图2为本发明一实施例中的聚合模式多尺度热核图卷积示意图；
[0067]
图3为本发明一实施例中的串联模式多尺度热核图卷积示意图。
具体实施方式
[0068]
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
[0069]
图1为本发明一优选实施例提供的基于图卷积网络的三维点云上采样方法的流程图。
[0070]
如图1所示，该优选实施例提供的三维点云上采样方法，可以包括如下步骤：
[0071]
s1，将三维点云划分为能覆盖所有点的固定点数可重叠点云块。
[0072]
将具有p个点单三维点云划分为m个点云块，其中每个点云块都包含n个点，并且中任意一点p
i
被包含在一个或多个点云块中。
[0073]
s2，根据点云块中点坐标提取层次化特征，通过深层稠密连接动态图卷积网络实现，由多个动态图卷积单元构成，网络的输入为点云块中n个点的三维坐标现，由多个动态图卷积单元构成，网络的输入为点云块中n个点的三维坐标网络的输出为层次化特征其中，第一个动态图卷积单元的输入特征将第k
‑
1个动态图卷积单元的输出特征作为对第k个动态图卷积单元的输入特征，更新得到第k个动态图卷积单元的输出特征并将最终的第l1个动态图卷积单元的输出特征作为
输出的层次化特征动态图卷积单元包括以下步骤：
[0074]
s21，根据输入特征的相似性构造k1邻域图生成邻接矩阵
[0075]
s22，对任意点i的维输入特征计算相对所有邻接点j的维特征平移向量并与输入特征串联生成维向量并通过图卷积提取该点局部邻域特征
[0076][0077]
这里，concatv是向量的串联操作，是图卷积的可学习参数；
[0078]
s23，对点i邻域通过排序不变的最大值池化层聚合局部邻域特征通过排序不变的最大值池化层聚合局部邻域特征作为该点的输出特征
[0079]
合并所有点的输出特征得到点数为n的点云块输出特征矩阵
[0080]
s3，利用多尺度热核图卷积对提取的所述层次化特征实现点集特征扩展。
[0081]
本实施例采用多尺度热核图卷积，能够有效表征点云的局部几何特征与全局拓扑结构，对原始输入点云进行不同精细粒度的细节信息增强，同时对潜在的噪声扰动与局部形变具备良好的稳定性。
[0082]
如图2所示，作为一优选实施例，s3可以通过高模型参数量、尺度数量可变的聚合方式实现，包括如下步骤：
[0083]
s31，将输入的所述层次化特征分别通过s个不同热扩散尺度t1,
…
,t
s
的热核图滤波器，并通过非线性激活函数σ(
·
)，得到对应的s个滤波响应h1，
…
,h
s
，其中尺度s的滤波响应为
[0084]
h
s
＝σ(exp(
‑
t
s
l)hw
s
)
[0085]
这里，是热扩散尺度t
s
的热核函数，l是输入点云块中点坐标相似度构造的k2邻域图的拉普拉斯矩阵，是第s个尺度的可学习参数矩阵，用于尺度s的特征变换和自适应聚合，行数为输入特征维数n
h
，列数为输入特征维数乘以上采样倍率rn
h
；
[0086]
s32，对s个不同热扩散尺度的滤波响应求和得到聚合特征矩阵，重排所述聚合特征矩阵，保持矩阵元素数量不变并使得矩阵行数等于上采样的目标点数rn，列数为输入特征的维数n
h
：
[0087][0088]
这里，是重排操作，获得重排特征矩阵
[0089]
s33，将输入的所述层次化特征通过跨层连接，并以上采样倍率r进行平铺扩展，将矩阵的每行复制为r行得到扩展输入特征并与聚合特征矩阵h
′
相加，得到扩展特征矩阵
[0090]
如图3所示，在另一个优选实施例中，s3可以通过低参数复杂度、尺度数量固定为上采样倍率r的串联方式实现，包括如下步骤：
[0091]
s31，将输入的所述层次化特征分别通过r个不同热扩散尺度t1,
…
,t
r
的热核图滤波器，并通过非线性激活函数σ(
·
)，得到对应的r个滤波响应h1,
…
,h
r
，其中尺度s的滤波响应为
[0092]
h
s
＝σ(exp(
‑
t
s
l)hw
s
)
[0093]
这里，是热扩散尺度ts的热核函数，l是输入点云块中点坐标相似度构造的k2邻域图的拉普拉斯矩阵，是第s个尺度的可学习参数矩阵，用于尺度s的特征变换和自适应聚合，行数和列数均为输入特征维数n
h
；
[0094]
s32，对r个不同热扩散尺度的滤波响应按行对齐进行串联，得到串联特征矩阵s32，对r个不同热扩散尺度的滤波响应按行对齐进行串联，得到串联特征矩阵
[0095]
h
′
c
＝concatm(h1,h2,
…
,h
r
)
[0096]
这里concatm是所述按行对齐的串联操作；
[0097]
s33，将输入的所述层次化特征通过跨层连接，并以上采样倍率r进行平铺扩展，将矩阵的每行复制为r行得到扩展输入特征并与串联特征矩阵h
′
c
相加，得到扩展特征矩阵
[0098]
s4，从所述扩展特征重建上采样的三维点云中点坐标，可以包括如下步骤：
[0099]
s41，将所述扩展特征矩阵通过全连接网络，采用聚合模式时采用串联模式时全连接网络由多个非线性激活的全连接层组成：
[0100][0101]
这里σ
′
是非线性激活函数，l2是全连接网络层数，是具有可学习参数θ
i
的第i个全连接层；
[0102]
s42，将点云块中点坐标通过跨层连接，并以上采样倍率r进行平铺扩展，将矩阵的每行复制为r行得到扩展点云块坐标并与全连接网络输出y
′
相加，得到上采样倍率r的点云块中点坐标
[0103]
s43，对所有上采样的点云块中点坐标进行聚合，利用最远点重采样得到上采样的三维点云。
[0104]
本实施例中输入信号是待上采样的三维点云，其中每个点均记录了空间中的三维坐标，输出是上采样后三维点云中各个点的三维坐标。
[0105]
上述优选实施例中，采用跨层连接的多尺度热核图滤波器能够增强点云的生成质
量，促进上采样稠密点云空间分布的均匀性，保证了对于目标物体几何结构的精确表示，同时加速网络参数训练的收敛速率。
[0106]
在上述图1所示的实施例的基础上，进一步包括三维点云上采样方法的参数优化。三维点云上采样方法根据训练数据，基于点云块端到端训练获得可学习参数，包括：
[0107]
步骤1，利用泊松圆盘采样从多边形网格形式的三维形状中采集三维点云数据以及上采样的基准点云数据，将所有采集到的点云空间坐标归一化至中心点在原点位置、半径为1的单位球面之内，从三维点云中随机选取质询点作为中心，选取到中心的空间距离最近的点形成输入点云块，并将所有抽取的k3近邻块归一化至单位球面，以此作为训练数据集合；
[0108]
步骤2，利用s2
‑
s4从输入的三维点云得到上采样的三维点云
[0109]
步骤3，计算上采样的三维点云与基准点云q的chamfer距离：
[0110][0111]
这里，|q|和分别是q和中点的数量，y
q
和分别是q中点q和中点的三维坐标；
[0112]
步骤4，计算上采样的三维点云中点空间分布的互斥损失：
[0113][0114]
这里，是点的k4邻域点集，η是一个经验常数；
[0115]
步骤5，计算损失函数其中‖θ‖2是三维点云上采样方法的可学习参数θ的二范数正则化损失项，
[0116]
步骤6，根据损失函数计算对于可学习参数θ的梯度，反向传播更新三维点云上采样方法的可学习参数θ；
[0117]
重复上述步骤2
‑
6，直至收敛，更新得到的可学习参数θ用于三维点云的上采样。
[0118]
基于上述相同的技术构思，本发明实施例中还提供一种三维点云上采样系统，包括：
[0119]
数据获取模块：获取三维点云数据；
[0120]
特征提取模块：将三维点云数据划分为固定点数的点云块，根据点云块中点坐标提取层次化特征；
[0121]
点集获取模块：利用多尺度热核图卷积对提取的所述层次化特征在不同尺度上实现点集特征扩展；
[0122]
坐标重建模块：从扩展特征重建上采样的三维点云坐标。
[0123]
上述系统中各模块，其中采用的技术可以参照上述的三维点云上采样方法实施例中步骤对应的实现技术，在此不再赘述。
[0124]
基于上述相同的技术构思，本发明实施例中还提供一种三维点云上采样装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序；所述处理器可用
于执行所述计算机程序时可用于执行上述任一项实施例中的三维点云上采样方法。
[0125]
基于上述相同的技术构思，本发明实施例中还提供一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行上述任一项实施例中的三维点云上采样方法。
[0126]
基于上述相同的技术构思，本发明实施例中还提供一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行上述任一项实施例中的三维点云上采样方法。
[0127]
为了更好理解，以下结合具体应用实例对本发明上述实施例提供的技术方案进一步详细描述如下。
[0128]
在该具体应用实例中，实现三维点云上采样，具体的，基于图卷积神经网络的三维点云上采样方法包括以下4个主要步骤：
[0129]
步骤1，将三维点云划分为能覆盖所有点的固定点数可重叠点云块。
[0130]
输入三维点云的点数为5,000，上采样倍率分别为4和16，上采样倍率为4时，上采样的三维点云的点数为20,000；上采样倍率为16时，上采样的三维点云的点数为80,000。将三维点云划分为600个点云块，每个点云块的点数为256。
[0131]
步骤2，根据点云块中点坐标提取层次化特征。
[0132]
利用深层稠密连接动态图卷积神经网络对点云块进行特征提取，输入特征为点云块中点的三维坐标，使用4个稠密连接的动态图卷积单元，第1个动态图卷积单元的输入特征为网络输入特征，第k＝2，3，4个动态图卷积单元的输入特征是第k
‑
1个动态图卷积单元的输出特征，为每个点i动态地构建点数为16的点邻域串联当前点的输入特征以及点i相对邻接点j的特征平移向量利用层数为3、隐藏层神经元数目为24、稠密连接的多层感知机进行空域图卷积，获得维度为480的输出点特征。通过单个全连接层，将特征维度降低至128，形成层次化特征送入步骤3。
[0133]
步骤3，利用多尺度热核图卷积对提取的所述层次化特征实现点集特征扩展。
[0134]
根据输入的三维点云中点的三维坐标构建点数为16的点近邻图，计算对应的256
×
256维的图拉普拉斯矩阵l，定义多尺度热核图卷积进行点集上采样。在计算热核滤波矩阵exp(
‑
tl)时，为了规避特征分解的高昂计算代价，采用5阶的切比雪夫多项式来近似实现热核图卷积，即其中稀疏矩阵是l的m阶切比雪夫多项式，c
m
是切比雪夫系数，该近似滤波能够通过高效的稀疏矩阵与向量相乘实现。在选取热核尺度参数t1,
…
,t
s
时，在对数尺度上进行均匀采样，其中，尺度数目s与上采样倍率相同，热核尺度参数最小为t1＝0.05r，热核尺度参数最大为t
s
＝0.5r，这里r表示点云块的半径，即块内中心点到最远点的距离，由于点云坐标已预先经过归一化，因此满足r≤1，非线性激活函数采用修正线性单元函数(relu)，每个点的热核图卷积的输出特征维度设置为128。
[0135]
步骤4，从所述扩展特征重建上采样的三维点云中点坐标。
[0136]
全连接网络由两层神经元数量分别为64和3的全连接层构成，非线性激活函数采
用修正线性单元函数(relu)，用来进行坐标重建。
[0137]
在上述具体应用实例的基础上，进一步包括三维点云上采样方法的参数优化的具体应用实例，包括以下6个主要步骤：
[0138]
步骤1，收集相关工作中用到的三维模型数据，共173个三维形状数据，构成训练数据集。这些三维形状数据的存储格式均为三角形网格，涵盖了丰富多样的几何结构特征，既有缓慢变换的平滑区域，又有尖角、边缘等剧烈变化的复杂细节信息。采用泊松圆盘采样，从原始的三角形网格数据中进行点云采集，包括用于下采样的三维点云，以及4倍和16倍上采样的基准三维点云。将所有采集到的点云空间坐标归一化至中心点在原点位置、半径为1的单位球面之内，对于每对输入点云p与基准点云q，利用k近邻搜索法从相同位置的中心点抽取200个点数为256的互相对应的输入点云块与基准点云块，分别作为模型训练的输入数据与真实值(标签)。训练集共有34,600对训练数据块。为了防止网络过拟合，对输入点云进行数据增强，对点云的坐标施加随机旋转、尺度放缩变换、以及高斯噪声扰动。
[0139]
步骤2，利用三维点云上采样方法的步骤2
‑
4从输入的三维点云得到上采样的三维点云
[0140]
步骤3，计算上采样的三维点云与基准点云q的chamfer距离：
[0141][0142]
这里，|q|和分别是q和中点的数量，y
q
和分别是q中点q和中点的三维坐标；
[0143]
步骤4，计算上采样的三维点云中点空间分布的互斥损失：
[0144][0145]
这里，是点的k4邻域点集，η是一个经验常数；
[0146]
步骤5，计算损失函数其中‖θ‖2是三维点云上采样方法的可学习参数θ的二范数正则化损失项，
[0147]
步骤6，根据损失函数计算对于可学习参数θ的梯度，反向传播更新三维点云上采样方法的可学习参数θ，使用adam优化算法，设置学习率为0.001。训练数据的批量尺寸设置为28，网络的训练周期数量设置为800。
[0148]
重复上述步骤2
‑
6，直至收敛，更新得到的可学习参数θ用于三维点云的上采样。
[0149]
实施效果：
[0150]
实施效果评估的对比方法为pu
‑
net、mpu、pu
‑
gan和pu
‑
geo。为公平起见，所有对比的网络模型均使用去开源代码在收集到的数据集上进行重新训练，参数设置为默认数值。测试数据为39个三维形状数据中实现的泊松圆盘采样，从原始的三角形网格数据中采集待下采样的三维点云，以及对应的4倍和16倍上采样的基准三维点云用于评估。表1提供了本发明提供的三维点云上采样方法(聚合模式和串联模式)以及对比方法，在上采样后与基准三维点云的chamfer距离、hausdorff距离、地动距离，以及参数量。表1显示本发明提供的方法能够显著提升三维点云上采样的精度。
[0151]
表1：本发明提供的三维上采样方法、pu
‑
net、mpu、pu
‑
gan、pu
‑
geo在39个三维点云测试数据上4倍与16倍上采样的结果。cd：chamfer距离，hd：hausdorff距离，emd：地动距离。
[0152][0153]
本发明实施例的三维点云上采样方法，与点云上采样网络(pu
‑
net)相比，能够改进多分支单点卷积对点云点的孤立特征提取，充分利用点云相邻点的空间关联性；与多阶段点云上采样方法(mpu)与点云上采样的生成对抗网络(pu
‑
gan)相比，能够规避直接拷贝特征进行扩展所引发的点聚集问题，能够生成空间分布较为均匀的稠密点云；与基于图卷积网络的点云上采样网络(pu
‑
gcn)和对抗残差图卷积网络(ar
‑
gcn)相比，能够更为有效地表征目标物体的几何结构信息；与边缘感知的点集固结网络(ec
‑
net)与基于图卷积网络的点云上采样网络(pu
‑
gcn)相比，无需额外的辅助数据。因此，与现有方法相比，本发明获得了一致的性能提升。
[0154]
本发明上述实施例中的三维点云上采样方法，三维点云广泛应用于自动驾驶、环境建模、沉浸式通讯、虚拟导览等新型应用领域，但是，由于受到硬件性能制约，3
‑
d采集设备(如microsoft kinect、lidar传感器)获取的初始点云具有高度稀疏、分布均非匀的特点，而三维点云上采样能够通过计算方法生成稠密的、细节增强、且分布较为均匀的点云数据，以利于后续的渲染、分析与曲面重建，因此本发明提出的方法拥有巨大的工业应用潜力。
[0155]
本领域内的技术人员应明白，本发明的实施例可提供为方法、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
[0156]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实
现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0157]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0158]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0159]
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
[0160]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。