一种点云数据融合处理方法、装置、设备及介质与流程

本发明涉及激光雷达，具体涉及一种点云数据融合处理方法、装置、计算机设备及介质。

背景技术：

1、在自动驾驶中，感知任务将环境信息进行处理，并传递至融合以及后续的预测、规划、控制模块，从而保证车辆在道路上安全行驶，与环境信息进行交互。激光雷达因其具有极高的分辨率、隐蔽性好、抗有源干扰能力强、体积小、质量轻等优势，目前在自动驾驶的感知领域被广泛应用。激光雷达点云中包含了丰富的障碍物几何信息，同时携带了精准的测距信息，使其成为自动驾驶车辆最可靠的安全保障。然而，由于激光雷达接收到的点云中许多目标会被遮挡，因此目标在点云上的点是不完整的。

2、近年来，深度学习在感知领域有了长足的发展和使用，无论是检测任务、分割任务或是车道线检测任务，输入信息的特征提取都是十分重要的一个环节。以往的点云特征提取方案包括：在俯视图视角或是前视图视角的单一视角下通过2d卷积进行特征提取、在三维空间下使用3d卷积进行特征提取、将俯视图视角和前视图视角下的点通过空间几何映射后进行特征提取。以上的几种特征提取的方式均存在较大的局限性，其中，单一视角下的特征提取，会导致点云信息中一些信息的缺失，在俯视图视角下，点云由于遮挡等原因会变得非常稀疏，使得特征提取缺乏环境信息，而前视图视角下使得点云原本最有优势的自带距离的特点被大大弱化。在三维空间下采用3d卷积形式同样无法克服点云稀疏的问题，并且大大增加了运算的成本。

技术实现思路

1、有鉴于此，本发明提供了一种点云数据融合处理方法、装置、计算机设备及存储介质，以解决单一视角下的特征提取，会导致点云信息中一些信息的缺失，在俯视图视角下，点云由于遮挡等原因会变得非常稀疏，使得特征提取缺乏环境信息，而前视图视角下使得点云原本最有优势的自带距离的特点被大大弱化，在三维空间下采用3d卷积形式同样无法克服点云稀疏的问题，并且大大增加了运算的成本的问题。

2、第一方面，本发明提供了一种点云数据融合处理方法，所述方法包括：获取点云信息中各个点的三维坐标，基于所述三维坐标进行投射，分别得到所述点云信息的不同角度的视图信息；分别在所述不同角度的视图信息中进行特征提取，得到所述点云信息中各个点的点云特征向量；基于所述点云特征向量对各个点进行位置编码，得到所述点云信息中各个点的特征编码；基于所述点云特征向量和特征编码对各个点进行融合计算，得到各个点的融合点云特征。

3、本实施例提供的点云数据融合处理方法，首先，获取点云信息中各个点的三维坐标，基于所述三维坐标进行投射，分别得到所述点云信息的不同角度的视图信息，通过多视角的方式，将原本三维空间下的3d运算转换为2d运算，且没有新增额外的特殊算子，对于部署也十分友好，提高了点云数据融合处理的效率。其次，分别在所述不同角度的视图信息中进行特征提取，得到所述点云信息中各个点的点云特征向量，使得不同角度的视图信息相互映射，很好地丰富了点云信息，通过对于点云不同视角的观测，使得点云的信息维度有了较大的延展，提高了点云数据融合处理的准确性。最后，基于所述点云特征向量对各个点进行位置编码，得到所述点云信息中各个点的特征编码，基于所述点云特征向量和特征编码对各个点进行融合计算，得到各个点的融合点云特征，很好地对点云的局部空间信息和全局空间信息进行融合，既兼顾了点云带有绝对位置的优点，又兼顾了图像稠密利于特征提取的优点。

4、在一种可选的实施方式中，所述不同角度的视图信息至少包括：俯视图信息、侧视图信息和前视图信息。

5、本实施例提供的点云数据融合处理方法，通过将三维坐标进行投射，得到俯视图信息、侧视图信息和前视图信息，实现点云数据的降维处理，降低了计算量，提高了点云数据融合处理的效率。

6、在一种可选的实施方式中，所述分别在所述不同角度的视图信息中进行特征提取，得到所述点云信息中各个点的点云特征向量，包括：分别基于所述俯视图信息、侧视图信息和前视图信息，采用预设的编码方法对各个点进行单独视图上的特征提取，得到所述点云信息中各个点的点云特征向量。

7、本实施例提供的点云数据融合处理方法，虽然依然沿用了pointnet的方式，但是将原来的三维下的运算转换到二维的运算，提高了运算效率，降低了计算资源的消耗。

8、在一种可选的实施方式中，所述基于所述点云特征向量对各个点进行位置编码，得到所述点云信息中各个点的特征编码，包括：基于俯视图信息遍历各个点的点云特征向量，将各个点映射到前视图上的对应点；获取俯视图上各个点的第一位置编码，所述第一位置编码包含前视图上的位置关系。

9、本实施例提供的点云数据融合处理方法，通过基于俯视图信息遍历各个点的点云特征向量，将各个点映射到前视图上的对应点，来实现俯视图和前视图下的点的查询和关联，提高了点云数据融合处理的可靠性。

10、在一种可选的实施方式中，基于侧视图信息遍历各个点的点云特征向量，将各个点映射到前视图上的对应点；获取侧视图上各个点的第二位置编码，所述第二位置编码包含前视图上的位置关系；基于各个点的所述第一位置编码和所述第二位置编码，得到各个点的特征编码。

11、本实施例提供的点云数据融合处理方法，本实施例提供的点云数据融合处理方法，通过基于侧视图信息遍历各个点的点云特征向量，将各个点映射到前视图上的对应点，来实现侧视图和前视图下的点的查询和关联，提高了点云数据融合处理的可靠性。

12、在一种可选的实施方式中，所述基于所述点云特征向量和特征编码对各个点进行融合计算，得到各个点的融合点云特征，包括：将所述点云特征向量和特征编码输入预设的神经网络模型，对点云中的各个点的特征向量和特征编码进行自注意力运算，得到第一融合点云特征；所述预设的神经网络模型是用以进行融合点云特征提取的。

13、本实施例提供的点云数据融合处理方法，使用transformer的结构，很好地对点云的局部空间信息和全局空间信息进行融合，对点云中的各个点的特征向量和特征编码进行自注意力运算，得到第一融合点云特征，有效地捕捉序列中各个位置之间的依赖关系，提高了点云数据融合处理的全面性。

14、在一种可选的实施方式中，所述基于所述点云特征向量和特征编码对各个点进行融合计算，得到各个点的融合点云特征，还包括：基于所述第一融合点云特征，分别对所述前视图信息、俯视图信息和侧视图信息中的任意两个之间进行互注意力运算，得到第二融合点云特征；将所述第二融合点云特征分别映射到前视图、俯视图和侧视图中，得到融合点云特征。

15、本实施例提供的点云数据融合处理方法，基于所述第一融合点云特征，分别对所述前视图信息、俯视图信息和侧视图信息中的任意两个之间进行互注意力运算，结合transformer来融合不同视角下的点云特征，允许不同位置之间的信息传递和交流，能够更好地捕捉序列中的全局依赖关系，从而进一步提高点云数据融合处理的全面性。

16、第二方面，本发明提供了一种点云数据融合处理装置，所述装置包括：投射模块，用于获取点云信息中各个点的三维坐标，基于所述三维坐标进行投射，分别得到所述点云信息的不同角度的视图信息；提取模块，用于分别在所述不同角度的视图信息中进行特征提取，得到所述点云信息中各个点的点云特征向量；编码模块，用于基于所述点云特征向量对各个点进行位置编码，得到所述点云信息中各个点的特征编码；融合模块，用于基于所述点云特征向量和特征编码对各个点进行融合计算，得到各个点的融合点云特征。

17、第三方面，本发明提供了一种计算机设备，包括：存储器和处理器，存储器和处理器之间互相通信连接，存储器中存储有计算机指令，处理器通过执行计算机指令，从而执行上述第一方面或其对应的任一实施方式的点云数据融合处理方法。

18、第四方面，本发明提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机指令，计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的点云数据融合处理方法。

19、本发明的有益效果：

20、(1)本实施例提供的点云数据融合处理方法，首先，获取点云信息中各个点的三维坐标，基于所述三维坐标进行投射，分别得到所述点云信息的不同角度的视图信息，通过多视角的方式，将原本三维空间下的3d运算转换为2d运算，且没有新增额外的特殊算子，对于部署也十分友好，提高了点云数据融合处理的效率。其次，分别在所述不同角度的视图信息中进行特征提取，得到所述点云信息中各个点的点云特征向量，使得不同角度的视图信息相互映射，很好地丰富了点云信息，通过对于点云不同视角的观测，使得点云的信息维度有了较大的延展，提高了点云数据融合处理的准确性。最后，基于所述点云特征向量对各个点进行位置编码，得到所述点云信息中各个点的特征编码，基于所述点云特征向量和特征编码对各个点进行融合计算，得到各个点的融合点云特征，很好地对点云的局部空间信息和全局空间信息进行融合，既兼顾了点云带有绝对位置的优点，又兼顾了图像稠密利于特征提取的优点。

21、(2)本实施例提供的点云数据融合处理方法，通过将三维坐标进行投射，得到俯视图信息、侧视图信息和前视图信息，实现点云数据的降维处理，降低了计算量，提高了点云数据融合处理的效率。

22、(3)本实施例提供的点云数据融合处理方法，虽然依然沿用了pointnet的方式，但是将原来的三维下的运算转换到二维的运算，提高了运算效率，降低了计算资源的消耗。

23、(4)本实施例提供的点云数据融合处理方法，通过基于俯视图信息遍历各个点的点云特征向量，将各个点映射到前视图上的对应点，来实现俯视图和前视图下的点的查询和关联，提高了点云数据融合处理的可靠性。

24、(5)本实施例提供的点云数据融合处理方法，本实施例提供的点云数据融合处理方法，通过基于侧视图信息遍历各个点的点云特征向量，将各个点映射到前视图上的对应点，来实现侧视图和前视图下的点的查询和关联，提高了点云数据融合处理的可靠性。

25、(6)本实施例提供的点云数据融合处理方法，使用transformer的结构，很好地对点云的局部空间信息和全局空间信息进行融合，对点云中的各个点的特征向量和特征编码进行自注意力运算，得到第一融合点云特征，有效地捕捉序列中各个位置之间的依赖关系，提高了点云数据融合处理的全面性。

26、(7)本实施例提供的点云数据融合处理方法，基于所述第一融合点云特征，分别对所述前视图信息、俯视图信息和侧视图信息中的任意两个之间进行互注意力运算，结合transformer来融合不同视角下的点云特征，允许不同位置之间的信息传递和交流，能够更好地捕捉序列中的全局依赖关系，从而进一步提高点云数据融合处理的全面性。