基于联合Transformer与稀疏卷积的点云语义分割方法

本发明属于室内场景点云语义分割，涉及基于联合transformer与稀疏卷积的点云语义分割方法。

背景技术：

1、伴随着智能时代的发展，人们对室内场景空间信息的获取和更新需求也日益增长。室内场景的理解是目前人工智能领域的一个重要模块，也是计算机视觉中关于场景理解和分析的重要一环。三维点云语义分割是室内场景理解和分析的基础，在室内机器人导航、目标检测与识别、三维重建、室内公共场所的定位及导航等方面有着广阔的应用前景。

2、室内场景语义分割是指将复杂的室内场景中的不同类别物体进行区分，根据点的坐标、颜色和法线等信息，为每个点分配不同的标签，将其标记为不同语义类别。近年来，由于计算机硬件性能的提升和大规模数据集的出现，深度学习逐渐成为点云分割领域的研究热点。pointnet在早期成功将基于点的深度学习应用于点云的特征提取。该方法采用t-net网络对模型进行旋转不变性处理，使用多层感知机提取点云的全局特征，但由于共享权重的多层感知机映射难以充分表达点云的空间分布，使得模型缺乏几何结构建模能力，无法有效提取局部特征。

技术实现思路

1、本发明的目的是提供基于联合transformer与稀疏卷积的点云语义分割方法(combining transformer and sparse convolution,tspconv-net)，解决了现有方法局部特征提取不充分的问题，提高了室内场景语义分割的精度和效率。

2、本发明采用的技术方案是，基于联合transformer与稀疏卷积的点云语义分割方法，首先采用transformer中的核心注意力机制对原始点云数据进行逐点的全局特征提取，然后将原始点云数据体素化，通过稀疏子流形卷积对体素化后的点云数据进行局部特征提取，最后将提取到的全局特征和局部特征进行融合，得到最终的语义分割结果。

3、本发明的特点还在于，

4、具体按照以下步骤实施：

5、步骤1，特征嵌入：输入点云数据，使用由两个级联的lbr组成的共享神经网络将原始位置编码和输入特征合并到一个基于坐标的编码模块中；

6、步骤2，计算偏移注意力：将嵌入特征输入到注意力机制模块进行进一步的特征提取，具体为，首先通过线性变换将点云映射到低维特征空间，然后计算每个点与周围点之间的偏移向量，利用偏移向量指导注意力的计算；

7、步骤3，构建残差模块：将偏移注意力的输入与输出相加，从而完成残差模块的构建；

8、步骤4，全局特征提取：首先线性连接四个残差模块，构成完整注意力机制模块，然后对注意力机制的输出进行线性变换得到点云特征，最后对点云特征进行最大池化操作和平均池化操作，将得到的最大池化特征映射和平均池化特征映射进行合并，得到全局特征；

9、步骤5，点云数据体素化：对原始输入点云进行坐标归一化，根据体素分辨率确定每个点的体素编号，以体素中每个点的平均特征作为当前的体素特征；

10、步骤6，局部特征提取：对体素化结果进行稀疏子流形卷积操作，以提取点云局部特征；

11、步骤7，去体素化处理：使用三线性插值上采样方法对步骤6提取到的局部特征进行去体素化处理，将每个体素的特征映射到对应点云中，得到局部特征；

12、步骤8，特征融合：将步骤4和步骤7中得到的全局特征和局部特征进行拼接融合，经过多个多层感知机处理得到最终语义分割的结果。

13、步骤1具体为：

14、步骤1.1，输入三维物体的点云数据p＝{p1,p2,…,pi,…,pn}，其中pi表示第i个点的位置信息，n为输入点云中点的个数，包含点云三维坐标信息；

15、步骤1.2，输入点云先经过linear层进行线性变换，该层通常包括权重矩阵和偏置项，其计算公式为y＝wx+b,其中w是权重矩阵，x是输入数据，b是偏执项，y是输出数据；

16、步骤1.3，在linear层后添加batch-normalization层；

17、步骤1.4，在batch-normalization层添加relu激活函数，对输入数据进行非线性映射，将所有负值置为0，保留所有正值不变；

18、步骤1.5，将步骤1.4的输出再次经过步骤1.2-步骤1.4处理，得到嵌入特征dpe为嵌入特征每个点包含的特征维数。

19、步骤2具体为：

20、步骤2.1，将嵌入特征模块输出fin经过线性层进行线性变换得到查询q、关键字k和值v矩阵，对应的计算公式如式(1)所示：

21、

22、式(1)中：

23、wq、wk和wv——代表共享可学习线性变换层的权重矩阵；

24、da——代表q和k的维度；

25、步骤2.2，在得到q、k和v矩阵之后，使用查询矩阵和关键字矩阵通过矩阵点积来计算注意力权重具体的计算公式如式(2)所示，

26、

27、步骤2.3，将注意力权重通过softmax算子和l1norm进行归一化处理得到注意力图，归一化后的结果用a＝αi,j表示，具体的计算公式如式(3)所示。

28、

29、步骤2.4，将得到的归一化结果和值向量进行加权和，得到偏移注意力的输出特征fsa，具体的计算公式如式(4)所示，

30、fsa＝a·v                        (4)；

31、步骤2.5，将偏移注意力的输出特征fsa和最开始输入的嵌入特征fin进行相加得到最终的输出特征fend，具体的计算公式如式(5)所示，

32、fend＝lbr(fin-fsa)+fin                   (5)。

33、步骤5具体如下：

34、步骤5.1，对输入的点云数据进行坐标归一化处理，平移所有点到以重心为原点的局部坐标系中，所有点除以坐标二范数的最大值max||pi||2来将这些点标准化到单位球体中，坐标就缩放到了[-1,1]之间；

35、步骤5.2，然后将[-1,1]的坐标线性映射到[0,1]，完成坐标归一化，将归一化后的坐标表示为其中得到归一化后的坐标信息后，紧接对坐标以及体素分辨率r进行计算，得到每个点对应的体素编号；

36、步骤5.3，对落入体素中的点坐标对应的所有特征fk进行平均池化操作，以平均特征作为当前的体素特征，将归一化点云转换为体素网格，至此完成点云数据的体素化操作，具体的计算公式如式(6)所示，

37、

38、式(6)中：

39、r——代表体素分辨率；

40、ⅱ[·]——代表坐标是否属于体素网格(u,v,w)的二进制指示符；

41、fk,c——代表与相关的第c个通道特征；

42、nu,v,w——代表归一化因子，即落在该体素网格中的点数。

43、步骤6具体如下：

44、步骤6.1，根据体素化数据建立输入哈希表hashin，将体素网格中数据pin存入哈希表hashin中，表中vin表示序号，keyin表示对应数据的坐标；

45、步骤6.2，建立输出哈希表hashout，对于输入哈希表hashin中的一组数据hi(i＝1,2,3……,in)，将能够包含到数据点hi的卷积操作得到的输出张量的坐标pout存入hashout中，表中vout表示hashin中被包含的数据，keyout表示坐标；

46、步骤6.3，将pout转化到getoffset(pin,p)，保存pout对应的卷积操作中卷积核权重的位置到getoffset(pin,p)中，重复步骤6.3，直到pout中所有的值都对应到getoffset中；

47、步骤6.4，将getoffset(pin,p)转化到rule book，记录对应的输入点位置以及卷积结果的输出位置，rule book表中第一列记录了getoffset的权重结果，count记录了各个卷积权重的数量统计，v_in记录了对应点的输入序号，v_out记录了卷积结果对应的输出序号；

48、步骤6.5，利用上述步骤得到的rule book，首先通过权重结果找到卷积核权重，其次，根据输入的数据点序号，查找输入哈希表找到对应的张量向量，然后根据卷积核权重乘以对应的张量向量得到最后的输出稀疏张量，通过稀疏卷积得到的局部特征。

49、步骤7具体如下：

50、步骤7.1：对局部特征中需要插值的点pi，在三个维度上找到与插值点最近的8个点a～g，对于每个维度，计算插值点c在这个维度离最近的两个点(x0,y0,z0)和(x1,y1,z1)的距离分别占总距离的比例，具体的计算如式(7)所示，

51、

52、步骤7.2：得到各个维度的权重之后，沿着三个坐标轴的方向进行插值，首先沿着x轴方向插值，具体的计算如式(8)，

53、

54、然后沿着y轴方向插值，具体的计算如式(9)，

55、

56、最后沿着z轴方向插值，具体的计算如式(10)，

57、c＝c0(1-zd)+c1zd (10)

58、步骤7.3：对所有需要插值的点重复上述步骤7.1-步骤7.2，将体素化后提取的局部特征映射回原始的点云空间，完成去体素化步骤。

59、本发明的有益效果是：

60、本发明基于联合transformer与稀疏卷积的点云语义分割方法，在基于点的方法的基础上，通过引入稀疏卷积模块实现局部特征的有效提取，同时采用更适用于点云处理的注意力机制来提取全局特征，以减少不必要的处理过程，解决了现有方法局部特征提取不充分的问题；在保证了逐点的全局特征提取精度的同时，通过基于体素的方法弥补了基于点的方法不能有效提取局部特征的问题，同时引入稀疏子流形卷积可以更好的提高体素化后卷积的效率，从而使得到的结果精度更高。本发明能够提高室内场景语义分割的精度和效率，并保证了数据处理的效率。