基于动态特征融合图卷积的建筑物点云分割方法

本发明属于计算机视觉及人工智能，涉及基于动态特征融合图卷积的建筑物点云分割方法。

背景技术：

1、点云分割旨在将原始点云数据依据数据间的共性将其划分成一系列简单的基元。在自动驾驶、深度地图、古建筑物保护修复、建筑物建模或装修等各个方面，都需要有更为高效的建筑物点云分割技术为其提供高精度的建筑物模型。然而，由于建筑物场景中结构的多样性、设计艺术性带来的结构复杂性、以及物体遮挡导致的数据断裂等因素，都毫无疑问增加了计算机对点云建筑物场景进行分割的难度，使得针对建筑物场景的分割工作仍然是一项极具挑战性的前沿课题。

2、目前，基于深度学习的分割方法正被学者广泛采用。而卷积神经网络(convolutional neural networks，cnn)擅长处理较为规则的数据，由于点云的无序性和不规则性使得传统的网络结构无法直接处理点云，因此研究者们进行了广泛的研究并提出了各种针对点云数据的神经网络模型，如pointnet、pointnet++以及pointecnn等，然而这些网络模型主要通过逐点分析来提取点云数据的特征，却忽略了点间的几何结构特征，导致现有方法对建筑物边缘细节分割不准确。

技术实现思路

1、本发明的目的是提供基于动态特征融合图卷积的建筑物点云分割方法，解决了现有方法对建筑物边缘细节分割不准确的问题。

2、本发明所采用的技术方案是，基于动态特征融合图卷积的建筑物点云分割方法，具体按照如下步骤实施：

3、步骤1，利用图卷积以及随机采样的扩张卷积设计fusionconv模块；

4、步骤2，使用fusionconv模块，基于dgcnn搭建网络模型框架；

5、步骤3，使用步骤2设计的网络模型，分割建筑物点云。

6、本发明的特点还在于，

7、步骤1具体为：

8、步骤1.1，构建两种局部特征，这两种局部特征为图卷积提取得到的局部特征以及设计的随机采样的扩张卷积提取到的特征；

9、步骤1.2，将步骤1.1中构建的两种局部特征进行融合，通过软注意力来自适应的对图卷积、随机采样的扩张卷积两个特征，构建分支上不同重要性的特征进行学习，得到紧凑特征；

10、步骤1.3，利用softmax处理步骤1.2中得到的紧凑特征，并将该特征与特征构造结构提取的特征相乘，最后将这些特征图相加以获得最终的点云特征。

11、步骤1.1具体为：

12、步骤1.1.1，使用k-nn算法为点云数据的每个点获取k个邻居点；

13、步骤1.1.2，为步骤1.1.1得到的点构建包含自循环的有向图来表示局部点云结构，顶点集v表示点云中的点，边集e表示点之间的连接；

14、步骤1.1.3，图卷积计算：某一点xi与它的邻居点xj的边特征表示为eij＝hθ(xi,xj)，其中θ作为训练参数，而hθ(xi,xj):rf×rf→rf′是一个非线性函数，rf′表示聚合之后的特征，图卷积在第i个顶点上的输出表示为下式：

15、

16、步骤1.1.4，类比于二维图像中的卷积操作，其中点xi就是卷积区域中的中心像素，而xj作为其周围的像素块，由eij设计的边函数hθ(xi,xj)定义如下

17、eij＝hθ(xi,xj)＝hθ(xi,xi-xj) (2)

18、这种非对称的边函数将由中心点xi所携带的全局形状特征与由xi-xj所捕获的局部信息相结合，并且这种结构通过mlp来实现，最后通过最大池化操作进行聚合运算；

19、步骤1.1.5，图卷积将大小为n×f的张量作为输入，通过多层感知器mlp计算每个点的边特征，大小为n×k×j，最后通过最大池化生成大小为n×j的特征张量；

20、步骤1.1.6，将随机采样的扩张卷积应用到三维点云中。将随机采样的扩张卷积与k-nn结合，扩张k-nn邻居点的数量，使其扩张率为d，其扩张邻居点n(d)(v)定义为：

21、

22、步骤1.1.7，通过随机采样方法选择顶点v在d扩张下的邻居点nr(d)(v)

23、

24、步骤1.1.8，使用扩张k-nn结合随机采样选择邻居点构建边e(d)，并应用到图卷积的聚合以及更新中，生成每个顶点xi对应的特征

25、步骤1.2具体为：

26、步骤1.2.1，首先使用逐元素相加来融合步骤1.1特征构建的图卷积和随机采样的扩张卷积两个特征构建分支所提取到的特征x和特征y，得到融合特征u，

27、u＝x+y (5)

28、步骤1.2.2，将融合后的特征u通过均值池化操作，得到特征s，

29、s＝fm(u)＝mean(u) (6)

30、步骤1.2.3，为了达到对感受野区域的精准选择，使用一个全连接层将均值池化后的特征s进行批量归一化处理后，再经过relu激活函数，得到紧凑特征z，

31、z＝ffc(s)＝relu(bn(s)) (7)

32、步骤1.3具体为：

33、步骤1.3.1，根据得到的紧凑特征z，使用softmax函数来归一化权重，以用来对齐注意力系数，

34、

35、式(8)中，a、b表示对于图卷积特征x和y的软注意力向量，也即特征构造模块中两个分支的权重选择，e表示自然常数，fc1(z)和fc2(z)分别表示通过两个不同的全连接层得到的特征；

36、步骤1.3.2，通过两个分支上的注意力权重获得特征图t，即使用矩阵求和操作得到区域选择后的特征。

37、t＝a·x+b·y (9)

38、步骤2具体为：

39、步骤2.1，通过堆叠3个fusionconv模块，提取点云局部特征，每个模块的输出特征维度均为n×64，其中n表示点云数量；

40、步骤2.2，将通过步骤2.1的3个fusionconv模块提取得到的特征通过特征聚合，即特征张量逐元素相加，以及mlp层输出为p个语义标签的分割分数，其中，mlp的参数为{256，256，128，p}。

41、步骤3具体为：

42、步骤3.1，通过最远点采样算法对于原始点云数据进行下采样，获得网络的输入点云数据；

43、步骤3.2，将采样后的点云数据作为输入数据，表示为一个n×3的张量，其中n为点数，3为特征维度，经过步骤2的网络模型处理获得最终的分割结果，表示为n×p。

44、步骤3.1具体为：

45、步骤3.1.1，对于原始点云集合p，选取第一个点作为采样点，并将该点存放到采样点集合s中，并将其从集合p中删除；

46、步骤3.1.2，计算出p中所有点到采样点的欧式距离，并选取距离最大的点作为下一个采样点存放到集合s中；

47、步骤3.1.3，计算集合p中的点到采样点集s的距离，保留最小距离值的点，全部计算完毕后取其中最大值的点最为第三个采样点；

48、步骤3.1.4，按照步骤3.1.3选取点，直到选取完所有点为止。

49、本发明的有益效果是：

50、本发明基于动态特征融合图卷积的建筑物点云分割方法，首先设计了fusionconv模块加强网络对点间几何特征的提取，接着通过堆叠fusionconv模块搭建的点云分割网络，其中，fusionconv模块主要包含三个部分，分别是特征构建、特征融合以及特征选择，特征构建中将构建两种局部特征，图卷积提取得到的局部特征以及设计的随机采样的扩张卷积提取到的特征，通过不同尺寸的感受野来加强网络对局部信息的分析，接着在特征融合中将构建的两种局部特征进行融合，然后通过一种软注意力来自适应的对两个分支上不同重要性的特征进行学习，最后，使用搭建的网络模型框架完成了建筑物点云分割任务；本发明提高了对建筑物中物体边缘细节的分割的准确率。