一种基于PointNet网络优化的语义地图构建方法

一种基于pointnet网络优化的语义地图构建方法
技术领域
1.本发明涉及语义地图构建技术领域，特别是涉及一种基于pointnet网络优化的语义地图构建方法。


背景技术：

2.pointnet是一个点云的语义分割网络。与传统的结构化点云分割方式不同，pointnet直接将点云数据输入至网络中进行训练，不需要将点云数据使用具体的数据结构进行索引，减少了点云语义分割需要的计算开销。而传统的三维卷积和体素化的方法会提高算法的复杂度导致这些方法的速度较慢，同时这些方法对数据的具体组织形式有着具体的要求，需要对数据进行预处理。因此pointnet网络的简便性和快捷性成为了现在使用和研究的热点
3.现有的基于pointnet网络的语义地图构建方法，特别针对于局部细节较为精细的场景不够准确。其主要原因在于，pointnet网络中没有对点云的局部特征进行提取，仅仅考虑了点云的全局特征，导致网络对点云局部进行分割时信息缺失，无法对细节处的点云进行精确的分类，从而降低了pointnet网络的精确性。但是该网络作为一种使用方便运行速度较快的语义地图构建方法，需要提高该网络对各种场景的分割精度。因此如何提高pointnet网络对局部区域的分割精度，已经成为当今语义地图构建领域中一个亟待解决的技术问题。


技术实现要素：

4.本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种基于pointnet网络优化的语义地图构建方法。
5.为了实现本发明的上述目的，本发明提供了一种基于pointnet网络优化的语义地图构建方法，包括以下步骤：
6.s1，数据采集和预处理：将采集的数据转换为jpg格式并保存图像，然后将图像大小进行统一转换，再使用光度标定对图像进行增强得到预处理的图像；
7.s2，根据图像获得环境原始点云地图：将预处理的图像输入视觉slam算法dso中进行三维重建，得到原始的点云地图；
8.s3，原始点云数据降采样：对原始的点云地图中的原始点云数据进行降采样得到中心点，然后保存每一个中心点之间的距离，存储为一个中心间距矩阵；并以kd树为数据结构将采样的中心点存储并排序；
9.s4，降采样中心邻域提取：将原始点云数据、降采样得到的中心点和中心间距矩阵输入优化的pointnet网络，依照中心点存储顺序将每一个中心点进行遍历，在遍历中计算k值，以k值确定中心点的邻域，从而得到不同邻域的点云集合；这部分是由优化的pointnet网络中的采样层和划分层完成的。
10.s5，点云语义分割：将不同邻域的点云集合输入pointnet网络进行语义分割，并通
过最大池化、以及特征融合层，最终得到点云的分类；
11.s6，输出点云地图。
12.进一步地，s3包括以下步骤：
13.集合a为所有点的集合，有n个点；
14.集合c为采样点的集合，有m个点；
15.s31，首先从数据集合a中随机选择一个点作为第一个采样点；之后将第一个点放入集合c中，此时m＝1；
16.s32，对采样后剩下的点集合a-c与集合c进行距离计算，选择距离最大的点作为下一个采样点，并将所述采样点后放入集合c中；其中集合a-c可用其他任意字符指代。
17.所述距离计算距离是根据两点之间的距离确定下一个采样点p，d为集合a-c中距离c最大的距离：
18.d＝max(d
1j
) j＝1,2,3
…
,n-1
19.s33，判断采样点数量是否达到设定值，若达到则结束采样，执行步骤s36；若未达到则进行下一步骤；
20.s34，继续从数据集合a中随机选择一个点作为采样点，此时集合c中的点数大于等于2，依次求解集合a-c中的点到集合c中各个点的距离，求出点到集合距离最大的点即为采样点；
21.pi＝min(d
i1
,d
i2
,
…dij
) j＝1,2,3...n-m
22.pi表示集合c中第i个点到集合a-c中所有点距离的最小值；
23.d
ij
表示集合c中第i个点到集合a-c中第j个点的距离；
24.上式求取的是集合c中点到集合a-c中所有点距离的最小值，最后求取所有pi的最大值即可得到点到集合的距离，计算公式为：
25.d＝max(pi) i＝1,2,3...m
26.d表示pi中的最大值；
27.s35，判断采样点数量是否达到设定值，若达到则结束采样，执行步骤s36；若未达到则跳转执行步骤s34；
28.s36，保存每一个中心点之间的距离，存储为一个上三角矩阵m，该矩阵用于刻画各个中心点之间的关系。用于之后确定每一个中心对应的邻域大小。并以kd树为数据结构，将采样的中心点存储并排序。
29.进一步地，s4包括以下步骤：
30.s41，输入原始点云数据、降采样得到的中心点和中心间距矩阵到优化的pointnet网络；
31.s42，依照中心点存储顺序将每一个中心点进行遍历，在遍历中计算k值，与此同时，计算原始点云数据附近点距离ci的欧式距离，并对计算的数据进行排序，选择小于ki的数据加入以ci为中心的邻域；当遍历完集合c中的所有中心点，即可确定以ci为中心数据的邻域；ci表示第i个中心点，ki为第i个中心点对应的k值。
32.进一步地，所述中心间距矩阵的表达式如下：
[0033][0034]
其中g
ij
代表第i个中心点与第j个中心点之间的距离，i＝1,2，
…
n-1，j＝1,2，
…
n；
[0035]
n代表所有中心点的个数。
[0036]
进一步地，计算k值的方法如下：
[0037]ki
＝α
·ki
+θ
[0038]
其中α为权重系数；
[0039]
θ为偏移常数；
[0040]ki
为第i个中心点对应的k值，用于进行邻域的确定，1≤i≤n；
[0041]ki
为为第i个中心点的初始k值，其计算方法如式所示：
[0042][0043]
s＝σ
×
n，表示以中心点周围s个中心点为依据却确定初始k值；σ为范围可调参数，σ＝[0.2，1]。
[0044]
l表示区域间距，l值越小表示两个区域距离越近，每个区域由k值划分而成；
[0045]
min(ei)
l
表示所有中心点与第i个中心点距离的集合e中第l小的距离。
[0046]
进一步地，s5包括：
[0047]
s51，将不同邻域的点云集合输入pointnet网络进行语义分割，输出不同邻域的局部特征；
[0048]
s52，将输出的所有特征输入特征提取层进行进一步的特征提取，并通过最大池化得到原始点云数据的全局特征；
[0049]
s53，将全局特征与之前得到的点云局部特征进行特征融合，将融合后的数据输入特征提取层进行数据压缩，然后将压缩后的数据经过输出层，得到每一个点云对应的类别，从而完成语义地图的构建。
[0050]
进一步地，还包括：
[0051]
使用语义分割的总体精度oa和语义分割的交并比iou作为评价指标。
[0052]
综上所述，由于采用了上述技术方案，本发明能够提高了点云分割网络对点云局部特征的描述，提高了点云地图的精度。
[0053]
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
[0054]
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
[0055]
图1是本发明语义地图构建流程图。
[0056]
图2是本发明优化的pointnet网络结构图。
[0057]
图3是本发明具体实施例dso原始点云地图。
[0058]
图4是本发明具体实施例点云语义地图建模示意图。
具体实施方式
[0059]
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
[0060]
本发明提供了一种基于pointnet网络优化的语义地图构建方法，如图1所示，包括：s1，数据采集和预处理；s2，原始点云地图获取；s3，原始点云降采样；s4，点云邻域提取；s5，点云语义分割；s6，点云语义地图输出。
[0061]
s1，数据采集和预处理：
[0062]
s11，若采集的数据为视频格式，将视频分帧，转换为jpg格式保存。若采集的数据为图像，转换为jpg格式；并判断图像是否为灰度图像，若不是则将图像转化为灰度图像。
[0063]
s12，按照时间顺序对所有图像数据进行命名，从0号开始编号名称长度为6位，长度不够时使用0进行补齐，例如000000，000001，并将图像尺寸进行统一，以及将大小转换为640
×
480。具体转换尺寸依据实际情况决定，通常来说尺寸越小，速度越快。
[0064]
s13，使用光度标定对图像进行增强，提升图像质量。因采用slam的直接法，姿态估计以图像的亮度值为出发点，亮度值的准确度会影响算法的精度和稳定性。因此需要进行光度标定。
[0065]
s2，原始点云地图获取：对s1预处理的图像进行输入视觉slam算法dso中进行三维重建，得到原始的点云地图，如图3所示。
[0066]
s3，原始点云数据降采样；
[0067]
使用最远点降采样方法对点云进行降采样完成对点云进据的划分；在有n个点的数据集合a中随机选择一个点作为第一个采样点，之后将第一个点放入集合c中，集合c中的元素个数为m，初始情况下m＝0，该集合表示的是已经选取的采样点，其次对采样后剩下的点集合a-c与集合c进行距离计算，选择距离最大的点作为下一个采样点，找到该采样点后放入集合c中，当集合c中一个点时，距离的计算即为点云之间的距离如下式所示：
[0068][0069]
由于采样考虑的是点的空间分布，因此当点数据的维度大于3时，仍然仅使用数据的前三个维度，即仅考虑点三维坐标的关系，根据两点之间的距离确定下一个采样点p，即d为集合a-c中距离c最大的距离：
[0070]
d＝max(d
1j
) j＝1,2,3
…
,n-1
[0071]
继续进行采样，此时集合c中的点数大于等于2，则需要计算集合a-c中点到集合c的距离，与前文所述的不同之处在于，集合c中的点多于2，无法使用简单的两点之间的距离求解，需要描述点与集合之间的距离。对于这种情况，依次求解集合a-c中的点到集合c中各个点的距离，找到这些距离中最小的点即为点到集合的距离，之后求出点到集合距离最大的点即为采样点。其计算公式如下：
[0072]
pi＝min(d
i1
,d
i2
,...d
ij
) j＝1,2,3
…
n-m
[0073]
pi表示集合c中第i个点到集合a-c中所有点距离的最小值；
[0074]dij
表示集合c中第i个点到集合a-c中第j个点的距离；
[0075]
上式求取的是集合c中点到集合a-c中所有点距离的最小值，最后求取所有di的最大值即可得到点到集合的距离。其计算公式为：
[0076]
d＝max(pi) i＝1,2,3
…m[0077]
d表示pi中的最大值；
[0078]
之后重复该步骤，直到选取点的数量达到设定值即完成了采样。得了采样点后，点云就被进行了划分，该划分基于点云之间的集合关系，每个采样点即可视为一个局部区域的中心。
[0079]
保存每一个中心点之间的距离，存储为一个上三角矩阵m，该矩阵为中心间距矩阵，用于刻画各个中心点之间的关系，且用于之后确定每一个中心对应的邻域大小。并以kd树为数据结构，将采样的中心点存储并排序。
[0080]
s4，降采样中心邻域提取；
[0081]
s41，输入原始点云数据、降采样得到的中心点和中心间距矩阵到优化的pointnet网络。
[0082]
其中中心间距矩阵的大小为(n-1)
×
n，n代表所有中心点的个数。该矩阵如下所示。
[0083][0084]
其中g
ij
代表第i个中心点与第j个中心点之间的距离。
[0085]
s42，依照中心点存储顺序将每一个中心点进行遍历。在遍历中计算k值。其计算方法如下式所示：
[0086]ki
＝α
·ki
+θ
[0087]
α为权重系数，θ为偏移常数，这两个参数用于对k值的手动调整。
[0088]ki
为第i个中心点对应的k值，用于进行邻域的确定，其中1≤i≤n；
[0089]ki
为为第i个中心点的初始k值，其计算方法如式所示：
[0090][0091]
s＝σ
×
n，该参数表示以中心点周围s个中心点为依据却确定初始k值；σ为范围可调参数，σ＝[0.2，1]。
[0092]
l表示区域间距，l值越小表示两个区域距离越近，每个区域由k值划分而成；
[0093]
min(ei)
l
表示所有中心点与第i个中心点距离的集合e中第l小的距离。
[0094]
从已经采样的数据集c中的第一个数据c1开始，计算原始点云数据附近点距离c1的距离，该距离为欧式距离，对计算的数据进行排序，选择小于k1的数据加入以c1为中心的邻
域。遍历完数据集c中的所有元素，即可确定以ci为中心数据的邻域。
[0095]
s5，点云语义分割；
[0096]
s51，将不同邻域的点云集合输入pointnet网络进行语义分割，输出不同邻域的局部特征。
[0097]
其中，优化的pointnet网络结构如图2所示，包括：input输入层，输入原始的点云数据；sample采样层，将点云降采样得到点云局部区域中心点；divide划分层，根据采样结果将点云拆分为不同的多个点云；pointnet，将多个点云分别输入pointnet网络进行特征提取，得到多个区域的局部特征；mlp特征提取层，对点云特征进行提取；maxpooling最大池化层，提取点云的全局特征；concat特征融合层，将局部特征与全局特征进行融合；score输出层，输出每一个点云对应类别的分数。
[0098]
s52，将输出的所有不同邻域的局部特征输入特征提取层进行进一步的特征提取，并通过最大池化得到原始点云数据的全局特征。mlp为多层感知机，是一种能够进行特征提取的人工神经网络。
[0099]
s53，将全局特征与之前得到的点云局部特征进行特征融合；将融合后的数据输入特征提取层进行数据压缩，然后将压缩后的数据经过输出层，输出每一个点云对应类别的分数，由此判断每一个点云对应的类别，从而完成语义地图的构建。
[0100]
s6，输出点云地图，点云语义地图输出如图4所示。
[0101]
此外，使用语义分割的总体准确率oa(overall accuracy)和语义分割的交并比iou(intersection over union)，作为系统的评价指标。
[0102]
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。